予約注文100万ドルに、ニューロモーフィックAIの仏新興企業：GrAI Matter Labs（2/2 ページ）

[Sally Ward-Foxton，EE Times]

FP16対応のエッジAIチップ

　GrAI Matter Labsのビジネス開発担当バイスプレジデントを務めるMahesh Makhijani氏は、「この第3世代製品において、当社のニューロンフローファブリックに施した主要なアップグレードは、コアをFP16対応にしたことだ」と説明している。エンドポイントチップでは通常、電力を節約するために可能な限り精度を下げる中で、これは異例のことだ。

　Makhijani氏は、「当社のMAC操作は全て16ビット浮動小数点で行っており、これは他のほとんどのエッジアーキテクチャと異なる点だ。一般的には、8ビットINTに移行することで電力と効率をトレードオフすることが多い。スパース性とイベントベースの処理では、過去に起こったことを追跡するために、16ビット浮動小数点を使用する必要がある。16ビット浮動小数点は、得られるものが非常に多くオーバーヘッドではないため、本質的に優位に立つことができる。実際、リアルタイム処理の観点から見ると、重要なユースケースでかなり役に立つ場合もある」と述べている。

　これには、開発面のメリットも含まれる。32ビット浮動小数点でトレーニングしたモデルは、16ビット浮動小数点に量子化することが可能で、精度の低下は通常1％未満に抑えられる（Makhijani氏によると、典型的なINT8の量子化では2〜3％低下するという）。その結果、量子化されたモデルは再トレーニングが不要で、開発に多大な時間がかかる可能性のあるステップを省略することができる。

　Makhijani氏は、「消費電力に対するスループットを最大化したい場合、特に検出タスクでは、精度をある程度犠牲にすることも可能だ。ただし、トレーニング時間とのトレードオフがあるため、モデルのトレーニングに常に多くの時間を費やすことになる。市場の状況が変化して再トレーニングが必要になると、その点が大きく影響することになる」と述べている。

　GrAI Matter Labsは、より高精度なMACへのアップグレードに必要な消費電力と、イベントベースの処理とスパース性に基づく省エネコンセプトのバランスを取っている。精度が高いほど正確さを保持できるため、モデルを大幅にプルーニング（枝刈り）して、特定の予測精度に合わせてサイズを縮小することもできる。

　例えば、ImageNetデータセットでトレーニングしたResNet-50の場合、FP16からFP8に量子化すると、プルーニングによってモデルサイズを51.3Mバイトから5.8Mバイト（約9分の1）に削減しながら、精度の低下を0.5％以内に抑えることができる。これは、レイヤーやブランチ、出力クラスを削除することなく実現できる。Makhijani氏は、「さらに、混合精度（FP4とFP8の組み合わせ）を用いれば、さらにサイズを小さくできる」と述べている。

1800万ニューロン、4800万パラメータ

GrAI VIPは約1800万ニューロンを搭載し、4800万のニューラルネットワークのパラメータを保持できる［クリックで拡大］ 出所：GrAI Matter Labs

　Makhijani氏は、「GrAI Matter Labsの製品はエッジサーバチップとtinyMLの中間に位置するものと考えているが、デバイスはシステム内のセンサーの隣に置かれることを想定している。理想的な使用例としては、コンパクトカメラモジュールのカメラの隣にGrAI VIPを置くことだ」と付け加えた。

　「ユースケースに応じて、数十〜数百ミリワットの範囲の能力を提供することを目指している」（Makhijani氏）

　第1世代チップのGrAI Oneと比較すると、第3世代のGrAI VIPは7.6mm×7.6mmと物理的に若干小さくなっているが、プロセスノードをスキップしてTSMCの12nmプロセスに移行している。ニューロンコアは196個から144個と若干少なくなっているが、各コアサイズは大きくなっている。その結果、20万ニューロンコア（25万パラメータ）から、約1800万ニューロン、4800万パラメータに跳ね上がっている。オンチップメモリも4Mバイトから36Mバイトに大きく増加している。

【翻訳：滝本麻貴、編集：EE Times Japan】

原文へのリンク