画像IoT

「画像技術」（光学デバイスや画像センシング技術）× 最新のIoTやAIの技術

[Background]

なぜコニカミノルタは画像IoTに取り組むのか？

B2Bのものづくり領域では、ビジネスの現場（エッジ）を起点に、各種センサーから高品質なデータが得られ、それを元に高品質なアルゴリズムを開発し、リアルとサイバーをリアルタイムで処理していくことが可能です。その際、医療や製造業の実務に耐える精度を持つかが重要になってきます。

コニカミノルタは、現場（エッジ）から画像データを収集する優れたデバイスを有し、またグローバル150か国200万社の顧客が抱える課題に、リアルに接することができる立場にあります。

現場（エッジ）起点の「高品質なデータ」と、そこで「働くプロフェッショナル」の両方にアクセスした上で、画像認識に特化したディープラーニングに磨きをかけられるのが、コニカミノルタの画像IoTの強みです。

この強みを生かして、現場（エッジ）にいるプロフェッショナルを支援する「B2B2P」領域で、ハードとソフトの両面で最適化された画像IoT技術を使ったソリューションを提案していきます。

[Strategy]

コニカミノルタの画像IoT戦略

コニカミノルタは、社会課題を解決する最適ソリューションを提案し続けることで期待される企業になるために、課題提起型カンパニーへのデジタルトランスフォームを進めています。

これらの社会課題には例えば医療・介護需要の増大や労働力不足がありますが、コニカミノルタの画像IoTビジネスでは、お客様の様々な“みたい”という要望に対して、画像IoT技術を生かした高付加価値なサービスで応えています。

この画像IoT技術では、コニカミノルタのコア技術を生かした画像入力デバイスから得られる特殊な画像・動画の情報と、様々なセンサーデータを統合し、AI処理による高度な認識・判断をリアルタイムに現場(エッジ)サイドで実現します。

さらに、画像 IoT技術を使ったソリューションから得られる現場（エッジ）の時系列・周辺データを分析することで、新たな高付加価値のデータサービスも提供できます。

AI技術開発について

コニカミノルタの画像IoT技術は「人行動」「先端医療」「検査」の3つのカテゴリーに絞って必要なAI技術開発が行われています。この3つのカテゴリーはエッジ戦略をとるコニカミノルタと整合が高く、応用範囲が広いことが特徴です。

画像・動画は、大量のデータを学習する必要があるため、コニカミノルタではこの3つのカテゴリーに特化して、最適化のための独自の学習環境を整備しています。

画像・動画のAI処理は、クラウドの豊富なリソースで実施するやり方もありますが、コニカミノルタは情報機器や医療機器の画像処理を高速に行ってきた経験と、メーカーの強みを生かして、エッジ側 (組み込み機器やオンプレミスのサーバーなど) に、低消費電力で高速なAI機能を実装します。

すなわち、End To EndでAIシステムを最適化できる技術を持っていることが強みであり、コニカミノルタの画像 IoT戦略の基本になります。

[Solution]

動画で見る画像IoT活用の実例

以下の動画では、コニカミノルタの「姿勢-行動認識技術」を活用して、介護現場の転倒事故検知に必要な「要介護者の姿勢」をリアルタイムに判定しています。

画像IoTの製品・サービス化にあたっては、このように認識精度と高速処理の両立が重要です。

[Technology]

技術情報

FPGA用の高位合成コンパイラ「NNgen」の公開 - AI アルゴリズムのハードウェア実装最適化

コニカミノルタでは、ディープラーニング(深層学習)の学習済みモデルをFPGA(Field Programmable Gate Array)上に手軽に実装するための高位合成コンパイラ「NNgen（エヌエヌジェン）」を東京大学の高前田 伸也准教授と共同で開発し、オープンソースで一般公開しています。

NNgenを使うと、ハードウェアのチューニングに関する深い知識がないエンジニアやデザイナーでも、ディープラーニングの学習済みモデルから、FPGAで高速に動作するアクセラレータを効率的に開発できます。

その結果、FPGAが搭載されたデバイス機器などのエッジサイドで、AI処理をリアルタイムに実施する製品やサービスが実現できるようになります。

またNNgenはオープンソースで一般公開されているので、利用者は無償で利用したり、開発に貢献したりできます。

NNgenはGitHubで公開されています。
https://github.com/NNgen/nngen

開発経緯と技術概要

AIの中でも、ディープラーニングに大きな注目が集まっています。ディープラーニングにより、画像処理や音声処理など様々な分野で劇的な精度向上が実現されてきました。一方でその計算には膨大なコンピューターリソースが必要で、省電力・高性能な専用ハードウェアの重要性が増してきています。

このような専用ハードウェアの一つに、回路構成を変更可能なハードウェア「FPGA」を用いる方法があります。処理内容に応じて回路構成をカスタマイズできるFPGAの特性を生かして、学習済みのディープラーニングモデルに特化した回路構成を採用することで、小型かつ高速なアクセラレータを実現できる所がメリットです。

NNgenは、用途に応じて構築・学習済みのディープラーニングモデルを高速に処理できる専用アクセラレータを、FPGA上に手軽にかつ効率的に実装するためのドメイン固有型の拡張可能な高位合成コンパイラです。モデルに特化したハードウェアアクセラレータのハードウェア記述（Verilog HDL）およびIPコア設定ファイル（IP-XACT）を生成します。

「NNgen」の主な特徴は以下のとおりです。

1. 高い抽象度で手軽に実装できる
   • 一般的な深層学習フレームワークと同様のPythonによるモデル構造記述から自動的にアクセラレータ回路記述を生成
   • ONNX入力にも対応
   • ハードウェアパラメータを設定するだけで性能最適化が可能
2. 様々な粒度でコンパイラを機能拡張できる
   • コンパイラ・バックエンドには、高前田 伸也准教授が開発したマルチパラダイム型高位合成フレームワーク「Veriloggen」を用いており、カスタムレイヤーの追加などの拡張が可能
3. 様々なFPGA環境に対応できるポータビリティ
   • 学習済みのディープラーニングモデルからVerilog HDLを直接生成

※記載されている会社名、製品名は各社の登録商標または商標です。

姿勢-行動認識技術

※近日公開予定です。

エッジ IoT サービス用 プラットフォーム (CPS-PF)

※近日公開予定です。

[Future]

今後の展開

※近日公開予定です。