NVIDIAとGoogle、AI指標でトップ性能達成を主張：MLPerf Training v0.7（1/2 ページ）

[Sally Ward-Foxton，EE Times]

　機械学習の業界標準ベンチマーク「MLPerf」の第3ラウンド（「MLPerf v0.7」）において、8種類の機械学習モデルを対象としたスコア結果が発表された。ライバル同士であるNVIDIAとGoogleは、いずれもトップ性能を達成したと主張する。

　両社とも自らの勝利を主張しているが、その成果についてはさらなる精査が必要だ。各スコアは、個々のアクセラレーターチップではなく、システムをベースとして測定される。NVIDIAは、同社の次世代アーキテクチャ「Ampere（アンペア）」のハイエンドGPU「NVIDIA A100」をベースとしたスーパーコンピュータを使用し、商用利用可能なシステムのカテゴリーにおいて圧倒的な勝利を収めている。一方Googleは、大規模な「TPU v3」システムと小規模な「TPU v4」システムで研究カテゴリーにエントリーし、強力な挑戦者とされている。

　NVIDIAのA100ベースのシステムは、商用利用可能なシステムのカテゴリーにおいて、全てのベンチマーク正規化結果で第1位の性能を達成した。同社のアクセラレーターのベンチマーク結果は、全体的に優位性を確立している。NVIDIAの他にも、富士通やInspur、Dell、Tencent、Alibabaなどのサードパーティーのシステムビルダーが、リストの中で大多数を占めている。

　Googleは、同社のTPU v3ベースのスーパーコンピュータ（スパコン）が、複数のベンチマークにおいて最速のトレーニング時間を記録したと主張する。ただし同社のシステムは、NVIDIAの大規模システムと比べると、アクセラレーターチップの数が約2倍だ。またTPU v4は、前回のラウンドでTPU v3が達成した性能スコアと比べて、2〜3倍高い成果を実現していることから、GoogleはTPU v4が優れた可能性を秘めていることを示した形となる。

ベンチマークの概要

　ベンチマーク測定では、全8種類のモデルに必要とされる精度に対して実施したトレーニング時間を測定する。これらのモデルは、現状のカスタマーAIの作業負荷を可能な限り反映できるものが選ばれている。例えば、画像分類や、2種類の物体検出、2種類の翻訳（1つはリカレント、もう1つはそれ以外）などが挙げられる。

8つのモデルのトレーニング時間。棒グラフの長さが短いほどよい 出典：NVIDIA（クリックで拡大）

NVIDIAの「A100」は、商用アクセラレーターの8つのテスト全てにおいて、性能（チップ当たりの性能）でトップスコアを記録した。NVIDIAの「V100」の性能を「1」としている 出典：NVIDIA（クリックで拡大）

　今回のラウンドでは、新たにAI言語モデルの「BERT（Bidirectional Encoder Representations from Transformers）」が追加された。この自然言語処理モデルは、会話や翻訳、検索、文章生成などに向けたビルディングブロックとして広範に使われている。また、もう一つ今回追加されたDLRM（Deep Learning Recommendation Model）は、オンラインショッピングのウェブサイトやソーシャルメディア、検索結果などで広く使われているモデルだ。

　Mini-Goベンチマークは、前回のラウンドから強化され、今回は19×19のフルサイズの碁盤を使用している。このベンチマークが最も難しいとされているのは、強化学習に依存していて、トレーニングデータセットが送られないためである。システムは、推論を実行することによって学習し（自らに対して囲碁で勝負する）、進めていく中で独自のトレーニングデータを生成する。

　ベンチマーク申請は、チップごとではなくシステムごとに行われ、アクセラレーターを搭載していない4x CPUから、Googleの4096コア搭載スパコンに至るまで、幅広い規模に対応する。カテゴリーは、「商用利用可能」と「プレビュー」「研究開発（R＆D）」の3つがある。商用利用可能に分類されるシステムは、全てのハードウェア／ソフトウェアが市場投入済みで、サードパーティーによって使用されているということを実証しなければならない。プレビューは、現在は市場投入されていないが、6カ月以内に（または次のベンチマークラウンドまでに）投入が予定されているシステムで、次のラウンドの商用利用可能カテゴリーにおいて、同じシステムを使用して前回と同等または前回を上回る成果を達成する必要がある。それができない場合は失格となる。研究開発に関しては、特に利用可能性に関する基準を満たす必要はない。