マルチモーダルAIソリューションを共同開発：ルネサスとシンティアント

ルネサス エレクトロニクスとSyntiant（シンティアント）は、ビジョンAI用とボイスAI用のICを組み合わせ、ハンズフリーを実現する「マルチモーダルAIソリューション」を共同で開発、レファレンスデザインの提供を始めた。

[馬本隆綱，EE Times Japan]

ビジョンAI用とボイスAI用のICを用いハンズフリーを実現

　ルネサス エレクトロニクスとSyntiant（シンティアント）は2021年7月、ビジョンAI用とボイスAI用のICを組み合わせ、ハンズフリーを実現する「マルチモーダルAIソリューション」を共同で開発、レファレンスデザインの提供を始めたと発表した。

　マルチモーダルAIソリューションは、ルネサス製のビジョンAI向けマイクロプロセッサ「RZ/Vシリーズ」と、Syntiant製のNeural Decision Processor「NDP120」を用いる。これにより、音声と画像のAIを組み合わせたマルチモーダルシステムの開発を容易に行うことが可能となった。例えば、音声でシステムを起動／操作し、ビジョンAIで物体認識や顔認識を行って、不審な動きがあれば操作を停止したり、注意を促したりすることができるという。

　ルネサス製のRZ/Vシリーズは、独自のAIアクセラレーター「DRP（Dynamically Reconfigurable Processor）-AI」を内蔵しており、精度の高いAI推論を低消費電力で実行できる。ヒートシンクや冷却ファンなどの放熱対策も不要で、部品コストの削減が可能となる。

　一方、Syntiant製のNDP120は、内蔵したAI機能により「話者の識別」や「キーワード検出」「複数のウェイクワード」「ローカルコマンドの認識」といった、多くのハンズフリー音声機能を実現する。内蔵したニューラルネットワーク推論エンジン「Syntiant Core 2」は、複数のアプリケーションを同時に実行することができる。しかも、バッテリー消費を1mWに抑えることが可能だという。

マルチモーダルAIソリューションの利用イメージ 出典：ルネサス エレクトロニクス

　マルチモーダルAIソリューションは、セルフレジや顔認証セキュリティカメラ、TV会議システム、ロボット掃除機などの用途に提案していく。