新興企業Syntiant、tinyMLベンチマークで圧勝：MLPerfの推論スコア（1/2 ページ）

[Sally Ward-Foxton，EE Times]

tinyMLでSyntiantが圧勝

　エンジニアリングコンソーシアムのMLCommonsが最近、機械学習の業界標準ベンチマーク「MLPerf」の推論（Inference）ラウンドのスコア結果を発表した。MLPerf Tinyでは、米国の新興企業Syntiantが、キーワードスポッティングのレイテンシとエネルギー消費量のベンチマークでトップの座を獲得している。一方NVIDIAとQualcommは、エッジ／データセンターのカテゴリーにおいて再び激しい争いを繰り広げた。

　Syntiantの「NDP120」は、tinyML（超低消費電力の機械学習）キーワードスポッティングのベンチマークで1.80ミリ秒を達成し、圧倒的な勝利を獲得した（次に続く「Arm Cortex-M7」は、19.50ミリ秒）。同システムのエネルギー消費量は、1.1V/100MHzで49.59μJだった。Syntiantは、供給電圧を0.9V、クロック周波数を30MHzまでそれぞれ低減したことにより、エネルギー消費量を35.29μJに削減しながら、レイテンシを4.30ミリ秒に改善することができたとしている。

Syntiantの「NDP120」 出所：Syntiant

　SyntiantのNDP120は、同社の第2世代AI（人工知能）アクセラレーターコアと、特徴抽出用のTensilicaの「HiFi」DSP、システム管理用の「Arm Cortex-M0」コアをベースとする。NDP120は音声制御向けに設計されているため、Syntiantはこの他のベンチマークスコアにはエントリーしていない。

　MLPerf Tinyの他の部門では、STMicroelectronics（以下、ST）が、「Cortex-M4／M33／M7」をベースとした32ビットマイコン「STM32」シリーズで優れたスコアをマークした。STのCortex-M7コア搭載マイコン「STM32H7」は、異なる種類のベンチマークワークロード全体の中で、最短時間でタスクを完了したという。しかし、同社のCortex-M33コア搭載マイコン「STM32U5」は、性能面でやや劣るものの、STの全てのスコアの中で最も少ないエネルギー消費量で同じ推論タスクを完了させている。

　STのMatthieu Durnerin氏は、「Cortex-M33はエネルギー効率向けに最適化されている」と説明する。

　「STM32は大規模な製品ファミリーだが、さまざまな妥協点があるということを説明する必要がある。例えば、推論時間を短縮しながら、優れたエネルギー効率も維持したいという場合は、H7を選択するとよい。純粋なエネルギー効率という点では、通常U5を検討すべきだろう」（Durnerin氏）

　欧州の新興企業Plumeraiは、マイコン向け推論エンジンの自社開発に取り組んでいる。今回、複数のハードウェアセットアップ関連のスコアにエントリーした。STのCortex-M4ベースと同等のマイコンでは、Plumeraiがワークロード全体でSTのレイテンシスコアを13〜39％上回る結果となった。Plumeraiのエンジンは、メモリフットプリントを削減可能な設計で、全てのCortex-Mコアをサポートしている。

　ルネサス エレクトロニクスは、浮動小数点演算ユニットを備えたCortex-M33デバイスと、同社製32ビットコア「RXv2」ベースのデバイスの、2つのスコアでエントリーした。同社は、さまざまなAIアプリケーションにおいて、汎用マイコンを適切なレイテンシ／エネルギー効率で利用できるようにすることを目指している。

　Silicon Labsは、IoT（モノのインターネット）アプリケーション向けマルチプロトコルSoC（System on Chip）「MG24」でエントリーした。自社開発したAIアクセラレーターブロックと、Cortex-M33コアを搭載する。同社の資料によれば、「同じMLワークロードをCortex-M33コアで実行した場合と比べると、処理性能を最大4倍に高速化できる他、低消費電力量を最大で6分の1に低減することが可能だ」という。MG24のベンチマークスコアは、STの電力最適化されたCortex-M33ベースのマイコンと比べると、レイテンシは長いが、1.8分の1〜3.3分の1のエネルギー消費量で同じタスクを実行することが可能だ。またSilicon Labsのスコアは、同社最新のエンドツーエンドのML開発プラットフォームについても実証している。既存のワイヤレスSoC「シリーズ1」「シリーズ2」や、AIアクセラレーション搭載の新しい製品ファミリーをサポート可能だという。

　RISC-Vコアを手掛ける台湾のAndes Technologyは、同社の「AndesCore」シリーズのコアを搭載した複数のSoCでエントリーした。同社のAndeStar v5命令セットアーキテクチャをベースとしたコアだという。RISC-V DSP／SIMD拡張機能を備えた「D25F」「D45」コアは、IoTデバイスのAIをターゲットとしているが、「NX27V」コアは、エッジ／クラウドアプリケーション向けのRISC-Vベクトル拡張を備えた高性能ソリューションである。