スマホ搭載に近づくイベントベースセンサー：低照度の環境でもブレを除去（1/2 ページ）

Propheseeは、Qualcommとの協業により、ニューロモーフィックチップ統合イベントベースイメージセンサー「Metavision」のモバイルデバイス搭載を進めていく方針だ。

[Sunny Bains，EE Times]

　PropheseeとQualcomm Technologies（以下、Qualcomm）は2023年2月27日（フランス時間）、Propheseeのニューロモーフィックチップ統合のイベントベースイメージセンサー「Metavision」と、Qualcommのモバイルプラットフォーム「Snapdragon」との間でネイティブな互換性を持たせるため、共同開発を行う複数年契約を締結したと発表した。

ダイナミックなシーンや低照度下でブレを除去

　人間の脳から着想を得たPropheseeのセンサーは、特定の時間に輝度レベルを変化させるピクセルだけを検出することで、データを本質的に圧縮する。つまりセンサーは、効率性にも優れた非常に高いフレームレートで動作できるが、ほとんどのタスクで、非常に低い電力および帯域幅で動作可能となる。この技術は既に、オートメーション／検査アプリケーションにおいて、振動の測定や物体のカウント／追跡などで広く使われている。

　センサーが提供するデータは、従来型のフレームベースカメラの画質を向上するために使用できる。照度が低い場合や、被写体の動きが素早い場合などに、ブレを除去することが可能だ。これは特に、集光力が低い小型カメラにとって重要な要素である。

　カメラなどのさまざまな消費者向けエレクトロニクス製品のテストを専業とするフランスのメーカーDXOMARKでCEO（最高経営責任者）兼CTO（最高技術責任者）を務めるFrederic Guichard氏は、米国EE Timesのインタビューに応じ、「このような状況下でブレを除去できるという機能は、確実な優位性をもたらすだろう」と述べる。

　Guichard氏は、「（ノイズを増加させることなく）被写体ブレを低減することは、実質的にカメラの感度を高めることに相当する。その潜在的なメリットとしては、同じ感度の場合、センサーの小型化とカメラの薄型化を実現できるという点と、センサーサイズを維持しながら、被写体ブレなしに長時間露光が可能になるという点の、2つが挙げられる。

従来のフレームカメラとイベントベースカメラのデータを組み合わせることで、被写体ブレを除去できる［クリックで拡大］ 出所：Prophesee

　Qualcommでカメラ／コンピュータビジョン／ビデオ部門のプロダクトマネジメント担当バイスプレジデントを務めるJudd Heape氏は、EE Timesの取材に対し、「この画質向上を実現するにあたり、イメージセンサーを追加搭載して処理を実行するための電力消費量が、約20〜30％増加するだろう」と述べている。

　また、同氏は、「処理完了まで時間を気にする必要はないため、オフラインでゆっくりと処理を実行できる」と付け加えた。

ジェスチャー認識など、さらなる機能性実現も

デュアルイベント/フレームセンサーカメラのコンセプト図［クリックで拡大］ 出所：Prophesee

　イベントベースセンサーは、他の機能性も実現できるはずだ。

　スイスのチューリッヒにあるニューロインフォマティクス研究所の教授で、Propheseeの競合メーカーIniVationの創設者であるTobi Delbruck氏は、EE Timesのインタビューに対し、「Samsung Electronics（以下、Samsung）の大規模な開発グループは、DVS（Dynamic Vision System）などの機器をスマートフォンに搭載することを検討していて、ジェスチャー認識をはじめ、数多くの素晴らしい機能のデモを成功させている」と述べる。

　Delbruck氏は、「以前はイベントベースカメラをスマホ上で動作させるために必要な信号処理を実行することは、技術的に不可能だった。しかし今や（QualcommのSnapdragonのように）、モバイルプラットフォームのニューラルアクセラレーターの性能向上と高効率化が進んでいることから、もはや障壁ではなくなっている」と説明する。

　QualcommのHeape氏は、「こうした他の可能性についても認識しており、関心を持っている」と述べている。

　同氏は、「当社には非常に多くの低電力のユースケースがある。電話機を耳元に持ち上げて起動させるのは、その一例だ。他には、ジェスチャー認識によって運転中に自動車を制御する例もある」と述べている。

　「これらのイベントベースのセンサーは、非常に低い電力で動きを簡単に検出するようにプログラムでき、効率的だ。センサーが作動していないときやシーンに動きや変化がないときは、センサーは基本的にほとんど電力を消費しない。これは、当社にとって非常に興味深いことだ」（同氏）

　Heape氏は、「当社はAR（拡張現実）およびVR（仮想現実）向けデバイスを製造しているため、アイトラッキングも非常に有用な可能性がある」と付け加えた。同氏は、「アイトラッキングや、腕や手、脚のモーショントラッキングは、イメージセンサーを使用すると非常に効率的に行える。その場合、消費電力だけでなくフレームレートも重要となる。アイトラッキングには毎秒約900フレームが必要となる。これを標準的なイメージセンサーで実現するのは難しい」と述べている。