検索
ニュース

スマホでリアルタイムに骨格検出、省電力のエッジAIイマジネーションがデモを披露

Imagination Technologiesの日本法人イマジネーションテクノロジーズは「ET&IoT Technology 2019(ET展)」(2019年11月20〜22日、パシフィコ横浜)で、同社のニューラルネットワークアクセラレーター(NNA)を実装したSoC(System on Chip)搭載のスマートフォンで推論するデモを行った。

Share
Tweet
LINE
Hatena

 Imagination Technologiesの日本法人イマジネーションテクノロジーズは「ET&IoT Technology 2019(ET展)」(2019年11月20〜22日、パシフィコ横浜)で、低消費電力で機械学習の推論を行うニューラルネットワークアクセラレーター(NNA)のデモを行った。

 まずは、スマートフォンで骨格の認識と視点の検出を行うデモだ。中国Unisoc(紫光展鋭)のSoC(System on Chip)「Tiger T710」を搭載したスマートフォンを人物にかざすと、骨格と視点の検出がリアルタイムで行える。同SoCには、PowerVRコアのGPU「GM9446」と、ニューラルネットワークアクセラレーター(NNA)「PowerVR Series2NX」が実装されている。骨格検知アルゴリズムは「OpenPose」を使っているという。


Imagination TechnologiesのNNAを搭載したスマートフォンによる骨格検出のデモ(クリックで拡大)

 上記のデモでは、9fps(フレーム/秒)で推論していることが分かる(9 inferences per secondという表示が見える)。Tiger T710の動作周波数は800MHz。イマジネーションテクノロジーズによると、800MHz時における推論のスピードは理論値では100fpsを超えるという。ただ、実際の端末に実装すると、全てのバンド幅を推論に割り当てられるわけではないので、推論スピードが10分の1くらいまで落ちてしまうと説明した。

 Imagination Technologiesは、次世代NNAとして「PowerVR Series3NX」も既に開発している。PowerVR Series2NXとの最も大きな違いは、学習モデルのサイズとバンド幅を低減できる、ロスレス圧縮技術を導入している点だ。

 ET展では、プロトタイプとして、PowerVR Series3NXを実装したFPGAで、顔を認識するデモを行っていた。物体を検出するSSD(Single Shot Detector)と、台湾CyberLinkの顔認識エンジン「FaceMe」を使っていて、まずは「顔」を検出し、それを、あらかじめ顔を登録している人物とひもづけて認証を行うという、2段階のシステムになっている。こちらも低い消費電力で推論できるのが特長だ。

左=デモ用のプロトタイプ。「PowerVR Series3NX」を実装したFPGAが搭載されている/PowerVR Series3NXを使った顔認識のデモ。顔の検出→データベースにある人物とのマッチングという2段階で顔認証を行っている。推論のスピードは50MHz動作時で約7fps。800MHzでは112fpsを達成している。消費電力はミリワットオーダーだという(クリックで拡大)

 車載向けのコンセプトデモとして、360度全方位の映像から人物を検出するデモも披露した。PowerVR GPUを搭載したルネサス エレクトロニクスのSoC「R-Car H3」と、PowerVR Series2NXを実装したFPGAを使ったデモとなっている。

 クルマの模型に取り付けた4個のカメラで撮影した映像を、R-Car H3のGPUで高速にレンダリングし、360度の全周囲画像を生成する。その画像からPowerVR Series2NXの推論によって人物を検出していた。コンセプトデモなので、FPGAとR-Car H3の2チップを使っていたが、もちろん1チップ化することも可能だ。

左=4個のカメラを取り付けたクルマの模型/右=レンダリング後の画像から、人物を検出している様子。オレンジ色のエリアは検出範囲。そのエリア内で人物を検出した時には、黄色い三角で示していた(写真奥の人物に、黄色い三角が幾つも並んでいるのがうっすらと見える) (クリックで拡大)

Copyright © ITmedia, Inc. All Rights Reserved.

ページトップに戻る