スマホでリアルタイムに骨格検出、省電力のエッジAI：イマジネーションがデモを披露

Imagination Technologiesの日本法人イマジネーションテクノロジーズは「ET＆IoT Technology 2019（ET展）」（2019年11月20〜22日、パシフィコ横浜）で、同社のニューラルネットワークアクセラレーター（NNA）を実装したSoC（System on Chip）搭載のスマートフォンで推論するデモを行った。

[村尾麻悠子，EE Times Japan]

　Imagination Technologiesの日本法人イマジネーションテクノロジーズは「ET＆IoT Technology 2019（ET展）」（2019年11月20〜22日、パシフィコ横浜）で、低消費電力で機械学習の推論を行うニューラルネットワークアクセラレーター（NNA）のデモを行った。

　まずは、スマートフォンで骨格の認識と視点の検出を行うデモだ。中国Unisoc（紫光展鋭）のSoC（System on Chip）「Tiger T710」を搭載したスマートフォンを人物にかざすと、骨格と視点の検出がリアルタイムで行える。同SoCには、PowerVRコアのGPU「GM9446」と、ニューラルネットワークアクセラレーター（NNA）「PowerVR Series2NX」が実装されている。骨格検知アルゴリズムは「OpenPose」を使っているという。

Imagination TechnologiesのNNAを搭載したスマートフォンによる骨格検出のデモ（クリックで拡大）

　上記のデモでは、9fps（フレーム/秒）で推論していることが分かる（9 inferences per secondという表示が見える）。Tiger T710の動作周波数は800MHz。イマジネーションテクノロジーズによると、800MHz時における推論のスピードは理論値では100fpsを超えるという。ただ、実際の端末に実装すると、全てのバンド幅を推論に割り当てられるわけではないので、推論スピードが10分の1くらいまで落ちてしまうと説明した。

　Imagination Technologiesは、次世代NNAとして「PowerVR Series3NX」も既に開発している。PowerVR Series2NXとの最も大きな違いは、学習モデルのサイズとバンド幅を低減できる、ロスレス圧縮技術を導入している点だ。

　ET展では、プロトタイプとして、PowerVR Series3NXを実装したFPGAで、顔を認識するデモを行っていた。物体を検出するSSD（Single Shot Detector）と、台湾CyberLinkの顔認識エンジン「FaceMe」を使っていて、まずは「顔」を検出し、それを、あらかじめ顔を登録している人物とひもづけて認証を行うという、2段階のシステムになっている。こちらも低い消費電力で推論できるのが特長だ。

左＝デモ用のプロトタイプ。「PowerVR Series3NX」を実装したFPGAが搭載されている／PowerVR Series3NXを使った顔認識のデモ。顔の検出→データベースにある人物とのマッチングという2段階で顔認証を行っている。推論のスピードは50MHz動作時で約7fps。800MHzでは112fpsを達成している。消費電力はミリワットオーダーだという（クリックで拡大）

　車載向けのコンセプトデモとして、360度全方位の映像から人物を検出するデモも披露した。PowerVR GPUを搭載したルネサス エレクトロニクスのSoC「R-Car H3」と、PowerVR Series2NXを実装したFPGAを使ったデモとなっている。

　クルマの模型に取り付けた4個のカメラで撮影した映像を、R-Car H3のGPUで高速にレンダリングし、360度の全周囲画像を生成する。その画像からPowerVR Series2NXの推論によって人物を検出していた。コンセプトデモなので、FPGAとR-Car H3の2チップを使っていたが、もちろん1チップ化することも可能だ。

左＝4個のカメラを取り付けたクルマの模型／右＝レンダリング後の画像から、人物を検出している様子。オレンジ色のエリアは検出範囲。そのエリア内で人物を検出した時には、黄色い三角で示していた（写真奥の人物に、黄色い三角が幾つも並んでいるのがうっすらと見える） （クリックで拡大）