[Background]
なぜコニカミノルタは画像IoTに取り組むのか？
B2Bのものづくり領域では、ビジネスの現場（エッジ）を起点に、各種センサーから高品質なデータが得られ、それを元に高品質なアルゴリズムを開発し、リアルとサイバーをリアルタイムで処理していくことが可能です。その際、医療や製造業の実務に耐える精度を持つかが重要になってきます。
コニカミノルタは、現場（エッジ）から画像データを収集する優れたデバイスを有し、またグローバル150か国200万社の顧客が抱える課題に、リアルに接することができる立場にあります。
現場（エッジ）起点の「高品質なデータ」と、そこで「働くプロフェッショナル」の両方にアクセスした上で、画像認識に特化したディープラーニングに磨きをかけられるのが、コニカミノルタの画像IoTの強みです。
この強みを生かして、現場（エッジ）にいるプロフェッショナル（Professional）を支援する「B2B2P」領域で、ハードとソフトの両面で最適化された画像IoT技術を使ったソリューションを提案していきます。
[Strategy]
コニカミノルタの画像IoT戦略
コニカミノルタは、社会課題を解決する最適ソリューションを提案し続けることで期待される企業になるために、課題提起型カンパニーへのデジタルトランスフォームを進めています。
これらの社会課題には例えば医療・介護需要の増大や労働力不足がありますが、コニカミノルタの画像IoTビジネスでは、お客様の様々な“みたい”という要望に対して、画像IoT技術を生かした高付加価値なサービスで応えています。
この画像IoT技術では、コニカミノルタのコア技術を生かした画像入力デバイスから得られる特殊な画像・動画の情報と、様々なセンサーデータを統合し、AI処理による高度な認識・判断をリアルタイムに現場(エッジ)サイドで実現します。
さらに、画像 IoT技術を使ったソリューションから得られる現場（エッジ）の時系列・周辺データを分析することで、新たな高付加価値のデータサービスも提供できます。
AI技術開発について
コニカミノルタの画像IoT技術は「人行動」「先端医療」「検査」の3つのカテゴリーに絞って必要なAI技術開発が行われています。この3つのカテゴリーはエッジ戦略をとるコニカミノルタと整合が高く、応用範囲が広いことが特徴です。
画像・動画は、大量のデータを学習する必要があるため、コニカミノルタではこの3つのカテゴリーに特化して、最適化のための独自の学習環境を整備しています。
画像・動画のAI処理は、クラウドの豊富なリソースで実施するやり方もありますが、コニカミノルタは情報機器や医療機器の画像処理を高速に行ってきた経験と、メーカーの強みを生かして、エッジ側 (組み込み機器やオンプレミスのサーバーなど) に、低消費電力で高速なAI機能を実装します。
すなわち、End To EndでAIシステムを最適化できる技術を持っていることが強みであり、コニカミノルタの画像 IoT戦略の基本になります。
[Technology]
技術情報
認識精度の高さと高速処理を両立した「人行動」認識技術
コニカミノルタの「人物行動」カテゴリーにおける AI 技術開発では、Deep Learning を活用した人検知・姿勢推定・行動認識などのアルゴリズム開発を進めています。大量の現場画像を学習させることで、どのような環境でも誤認識しない、ロバストな「人行動」認識技術の開発を行っています。
実際に、単眼静止画像からの人検知・2D姿勢推定において、認識精度の高さと高速処理の両立を実現し、すでに次のような事業に活用しています。
データに基づいた新しい介護オペレーションを実現する「HitomeQ ケアサポート(ヒトメク ケアサポート)」の行動認識に活用
普及が進むこれまでの姿勢推定技術は、カメラで人を横から撮影することを前提としていて、そのままではこのHitomeQ ケアサポートでは利用できません。そこで、天井のカメラからでも認識可能な姿勢推定手法の開発に取り組みました。頭部や下腿部といった人体部位の位置関係を特徴量として用い、人物領域とその姿勢を推定する独自のアルゴリズムを開発しました。
この「人行動」認識技術は、店舗における購買行動プロセスをデータ分析してマーケティング活動につなげる「go insight」サービスで、顧客の滞在時間・棚前行動などの分析にも活用されています。
新たに開発した人検知・姿勢推定アルゴリズムは、世界トップレベルの認識精度と高速処理を両立する技術として、コンピュータービジョンの最難関国際学会であるECCV2018で発表しています。
FPGA用の高位合成コンパイラ「NNgen」の公開 - AI アルゴリズムのハードウェア実装最適化
コニカミノルタでは、ディープラーニング(深層学習)の学習済みモデルをFPGA(Field Programmable Gate Array)上に手軽に実装するための高位合成コンパイラ「NNgen（エヌエヌジェン）」を東京大学の高前田 伸也准教授と共同で開発し、オープンソースで一般公開しています。
NNgenを使うと、ハードウェアのチューニングに関する深い知識がないエンジニアやデザイナーでも、ディープラーニングの学習済みモデルから、FPGAで高速に動作するアクセラレータを効率的に開発できます。
その結果、FPGAが搭載されたデバイス機器などのエッジサイドで、AI処理をリアルタイムに実施する製品やサービスが実現できるようになります。
またNNgenはオープンソースで一般公開されているので、利用者は無償で利用したり、開発に貢献したりできます。
NNgenはGitHubで公開されています。
NNgen: ディープラーニングのアクセラレータ向け高位合成コンパイラ
開発経緯と技術概要
AIの中でも、ディープラーニングに大きな注目が集まっています。ディープラーニングにより、画像処理や音声処理など様々な分野で劇的な精度向上が実現されてきました。一方でその計算には膨大なコンピューターリソースが必要で、省電力・高性能な専用ハードウェアの重要性が増してきています。
このような専用ハードウェアの一つに、回路構成を変更可能なハードウェア「FPGA」を用いる方法があります。処理内容に応じて回路構成をカスタマイズできるFPGAの特性を生かして、学習済みのディープラーニングモデルに特化した回路構成を採用することで、小型かつ高速なアクセラレータを実現できる所がメリットです。
NNgenは、用途に応じて構築・学習済みのディープラーニングモデルを高速に処理できる専用アクセラレータを、FPGA上に手軽にかつ効率的に実装するためのドメイン固有型の拡張可能な高位合成コンパイラです。モデルに特化したハードウェアアクセラレータのハードウェア記述（Verilog HDL）およびIPコア設定ファイル（IP-XACT）を生成します。
「NNgen」の主な特徴は以下のとおりです。
- 高い抽象度で手軽に実装できる
- 一般的な深層学習フレームワークと同様のPythonによるモデル構造記述から自動的にアクセラレータ回路記述を生成
- ONNX入力にも対応
- ハードウェアパラメータを設定するだけで性能最適化が可能
- 様々な粒度でコンパイラを機能拡張できる
- コンパイラ・バックエンドには、高前田 伸也准教授が開発したマルチパラダイム型高位合成フレームワーク「Veriloggen」を用いており、カスタムレイヤーの追加などの拡張が可能
- 様々なFPGA環境に対応できるポータビリティ
- 学習済みのディープラーニングモデルからVerilog HDLを直接生成
※記載されている会社名、製品名は各社の登録商標または商標です。
エッジ IoT サービス用 プラットフォーム (CPS-PF)
コニカミノルタはエッジIoT戦略を掲げ、様々な領域で事業を展開しています。そこでコニカミノルタではエッジIoTの共通基盤となるCPSプラットフォーム（Cyber Physical System Platform。以下CPS-PF）を開発しました。
CPS-PFは、エッジIoT戦略で求められる現場での解析処理実行やクラウドとの連携だけでなく、実際に現場に機器を設置する際に求められる機器管理やセキュリティーなどの非機能要求に応えるための共通機能を提供するため効率的かつ俊敏にソリューションを提供できるようになります。
CPS-PFの概要
CPS-PFはクラウド・エッジ・デバイスの3階層からなり、それぞれに求められる機能をあらかじめ用意しています。
クラウド
CPS-PFのクラウドサービスでは、データの保管や検索などの管理、メールやモバイルプッシュ通知の送信、機器の管理などを実行するAPIを用意しています。
エッジ
エッジは現場に置かれたコンピューターで、デバイスからの情報を受け取りディープラーニングなどによる処理を実行し、クラウドに結果を送信するなどの機能を担います。
デバイス
デバイスは現場に設置するセンサーやアクチュエーター類、およびそれらを制御する組み込みシステムを指します。
CPS-PFで実現できるシステム
よくあるソリューションの例として、現場のカメラデバイスから動画像を取得し、AIで認識させた結果をクラウド経由で閲覧したり、特定状況が出現した場合スマートフォンへ通知したりできます。また、クラウド経由でデバイスの稼働状況も管理できます。
このほか、CPS-PFの詳細についてはテクノロジーレポート「コニカミノルタのエッジIoTを支える CPSプラットフォーム」を御覧ください。
[Future]
今後の展開
コニカミノルタは、課題提起型 デジタルカンパニーを目指すなかで、 独自の画像IoTビジネスを推進しています。
コニカミノルタの画像IoT技術の強みは、画像認識技術を活かしたAI処理を、お客様の現場(エッジ)で行えることです。大容量のAI処理を、サーバーではなく現場(エッジ)で高精度かつリアルタイムに実現できることが、高付加価値の源泉になります。
この強みをベースに差別化するため、画像IoTビジネスのターゲットを、「人行動」「先端医療」「検査」の3つに絞り込み、各領域で最先端の技術を追求し、AI技術の要であるアルゴリズムや、AIシステムの開発を今後も強化していきます。
このページを共有する
コニカミノルタから情報を受け取る