検索
ニュース

マルチモーダルAIソリューションを共同開発ルネサスとシンティアント

ルネサス エレクトロニクスとSyntiant(シンティアント)は、ビジョンAI用とボイスAI用のICを組み合わせ、ハンズフリーを実現する「マルチモーダルAIソリューション」を共同で開発、レファレンスデザインの提供を始めた。

Share
Tweet
LINE
Hatena

ビジョンAI用とボイスAI用のICを用いハンズフリーを実現

 ルネサス エレクトロニクスとSyntiant(シンティアント)は2021年7月、ビジョンAI用とボイスAI用のICを組み合わせ、ハンズフリーを実現する「マルチモーダルAIソリューション」を共同で開発、レファレンスデザインの提供を始めたと発表した。

 マルチモーダルAIソリューションは、ルネサス製のビジョンAI向けマイクロプロセッサ「RZ/Vシリーズ」と、Syntiant製のNeural Decision Processor「NDP120」を用いる。これにより、音声と画像のAIを組み合わせたマルチモーダルシステムの開発を容易に行うことが可能となった。例えば、音声でシステムを起動/操作し、ビジョンAIで物体認識や顔認識を行って、不審な動きがあれば操作を停止したり、注意を促したりすることができるという。

 ルネサス製のRZ/Vシリーズは、独自のAIアクセラレーター「DRP(Dynamically Reconfigurable Processor)-AI」を内蔵しており、精度の高いAI推論を低消費電力で実行できる。ヒートシンクや冷却ファンなどの放熱対策も不要で、部品コストの削減が可能となる。

 一方、Syntiant製のNDP120は、内蔵したAI機能により「話者の識別」や「キーワード検出」「複数のウェイクワード」「ローカルコマンドの認識」といった、多くのハンズフリー音声機能を実現する。内蔵したニューラルネットワーク推論エンジン「Syntiant Core 2」は、複数のアプリケーションを同時に実行することができる。しかも、バッテリー消費を1mWに抑えることが可能だという。


マルチモーダルAIソリューションの利用イメージ 出典:ルネサス エレクトロニクス

 マルチモーダルAIソリューションは、セルフレジや顔認証セキュリティカメラ、TV会議システム、ロボット掃除機などの用途に提案していく。

Copyright © ITmedia, Inc. All Rights Reserved.

ページトップに戻る