検索
特集

新興企業Syntiant、tinyMLベンチマークで圧勝MLPerfの推論スコア(1/2 ページ)

エンジニアリングコンソーシアムのMLCommonsが最近、機械学習の業界標準ベンチマーク「MLPerf」の推論(Inference)ラウンドのスコア結果を発表した。MLPerf Tinyでは、米国の新興企業Syntiantが、キーワードスポッティングのレイテンシとエネルギー消費量のベンチマークでトップの座を獲得している。一方NVIDIAとQualcommは、エッジ/データセンターのカテゴリーにおいて再び激しい争いを繰り広げた。

Share
Tweet
LINE
Hatena

tinyMLでSyntiantが圧勝

 エンジニアリングコンソーシアムのMLCommonsが最近、機械学習の業界標準ベンチマーク「MLPerf」の推論(Inference)ラウンドのスコア結果を発表した。MLPerf Tinyでは、米国の新興企業Syntiantが、キーワードスポッティングのレイテンシとエネルギー消費量のベンチマークでトップの座を獲得している。一方NVIDIAとQualcommは、エッジ/データセンターのカテゴリーにおいて再び激しい争いを繰り広げた。

 Syntiantの「NDP120」は、tinyML(超低消費電力の機械学習)キーワードスポッティングのベンチマークで1.80ミリ秒を達成し、圧倒的な勝利を獲得した(次に続く「Arm Cortex-M7」は、19.50ミリ秒)。同システムのエネルギー消費量は、1.1V/100MHzで49.59μJだった。Syntiantは、供給電圧を0.9V、クロック周波数を30MHzまでそれぞれ低減したことにより、エネルギー消費量を35.29μJに削減しながら、レイテンシを4.30ミリ秒に改善することができたとしている。


Syntiantの「NDP120」 出所:Syntiant

 SyntiantのNDP120は、同社の第2世代AI(人工知能)アクセラレーターコアと、特徴抽出用のTensilicaの「HiFi」DSP、システム管理用の「Arm Cortex-M0」コアをベースとする。NDP120は音声制御向けに設計されているため、Syntiantはこの他のベンチマークスコアにはエントリーしていない。

 MLPerf Tinyの他の部門では、STMicroelectronics(以下、ST)が、「Cortex-M4/M33/M7」をベースとした32ビットマイコン「STM32」シリーズで優れたスコアをマークした。STのCortex-M7コア搭載マイコン「STM32H7」は、異なる種類のベンチマークワークロード全体の中で、最短時間でタスクを完了したという。しかし、同社のCortex-M33コア搭載マイコン「STM32U5」は、性能面でやや劣るものの、STの全てのスコアの中で最も少ないエネルギー消費量で同じ推論タスクを完了させている。

 STのMatthieu Durnerin氏は、「Cortex-M33はエネルギー効率向けに最適化されている」と説明する。

 「STM32は大規模な製品ファミリーだが、さまざまな妥協点があるということを説明する必要がある。例えば、推論時間を短縮しながら、優れたエネルギー効率も維持したいという場合は、H7を選択するとよい。純粋なエネルギー効率という点では、通常U5を検討すべきだろう」(Durnerin氏)

 欧州の新興企業Plumeraiは、マイコン向け推論エンジンの自社開発に取り組んでいる。今回、複数のハードウェアセットアップ関連のスコアにエントリーした。STのCortex-M4ベースと同等のマイコンでは、Plumeraiがワークロード全体でSTのレイテンシスコアを13〜39%上回る結果となった。Plumeraiのエンジンは、メモリフットプリントを削減可能な設計で、全てのCortex-Mコアをサポートしている。

 ルネサス エレクトロニクスは、浮動小数点演算ユニットを備えたCortex-M33デバイスと、同社製32ビットコア「RXv2」ベースのデバイスの、2つのスコアでエントリーした。同社は、さまざまなAIアプリケーションにおいて、汎用マイコンを適切なレイテンシ/エネルギー効率で利用できるようにすることを目指している。

 Silicon Labsは、IoT(モノのインターネット)アプリケーション向けマルチプロトコルSoC(System on Chip)「MG24」でエントリーした。自社開発したAIアクセラレーターブロックと、Cortex-M33コアを搭載する。同社の資料によれば、「同じMLワークロードをCortex-M33コアで実行した場合と比べると、処理性能を最大4倍に高速化できる他、低消費電力量を最大で6分の1に低減することが可能だ」という。MG24のベンチマークスコアは、STの電力最適化されたCortex-M33ベースのマイコンと比べると、レイテンシは長いが、1.8分の1〜3.3分の1のエネルギー消費量で同じタスクを実行することが可能だ。またSilicon Labsのスコアは、同社最新のエンドツーエンドのML開発プラットフォームについても実証している。既存のワイヤレスSoC「シリーズ1」「シリーズ2」や、AIアクセラレーション搭載の新しい製品ファミリーをサポート可能だという。

 RISC-Vコアを手掛ける台湾のAndes Technologyは、同社の「AndesCore」シリーズのコアを搭載した複数のSoCでエントリーした。同社のAndeStar v5命令セットアーキテクチャをベースとしたコアだという。RISC-V DSP/SIMD拡張機能を備えた「D25F」「D45」コアは、IoTデバイスのAIをターゲットとしているが、「NX27V」コアは、エッジ/クラウドアプリケーション向けのRISC-Vベクトル拡張を備えた高性能ソリューションである。

       | 次のページへ

Copyright © ITmedia, Inc. All Rights Reserved.

ページトップに戻る