検索
ニュース

最大362TFLOPSの「D1」チップなど、Tesla AI Dayハイライト自動運転車用モデルのトレーニングを進化(1/3 ページ)

Teslaが2021年8月半ばに開催した「AI Day」では、自動車用チップの他、機械学習(ML)/ニューラルネットワーク(NN)トレーニング向けシステムとソフトウェアが紹介された。それらを共に用いることで、自動運転車用モデルのトレーニングが進化するという。

Share
Tweet
LINE
Hatena

 Teslaが2021年8月半ばに開催した「AI Day」では、自動車用チップの他、機械学習(ML)/ニューラルネットワーク(NN)トレーニング向けシステムとソフトウェアが紹介された。それらをともに用いることで、自動運転車用モデルのトレーニング(学習)が進化するという。

 同社CEO(最高経営責任者)のElon Musk氏とチップならびにシステム設計者から成るチームは、3時間以上に及ぶ発表会の中で、多くの技術的詳細を明らかにした。本稿では、発表会の見どころをまとめている。

ニューラルネットワーク

 Teslaは、柔軟性があり拡張可能な分散型コンピュータアーキテクチャを、NNトレーニングに合わせて開発した。このアーキテクチャは、354個のトレーニングノードを備えた特殊用途チップ「D1」で始まる。各ノードには強力なCPUが搭載されている。それらのCPUは、高性能なNNならびにMLタスクのために設計されており、32ビットの浮動小数点演算で65GFLOPSという最高性能を発揮するという。

 D1チップは354個のCPUを備えており、最高性能は32ビットの浮動小数点演算で22.6TFLOPSである。16ビットの浮動小数点演算で最高性能は362TFLOPSに跳ね上がる。

 TeslaはNNトレーニングに向けた2つのシステム(「Training Tile(トレーニングタイル)」と「ExaPOD」)を発表した。1つのトレーニングタイルに、接続されたD1チップが25個入ったマルチチップパッケージが搭載されている。25個のD1チップを備えた1つのトレーニングタイルは、8850個のトレーニングノードを構成しており、各ノードには前述した高性能CPUが搭載されている。1つのトレーニングタイルの最高性能は、32ビットの浮動小数点演算で565TFLOPSである。

 一方、ExaPODは120個のトレーニングタイル(つまりは106万2000個のトレーニングノードを備えた3000個のD1チップ)をシステムに接続する。ExaPODの最高性能は32ビットの浮動小数点演算で67.8P(ペタ)FLOPSである。

Teslaのニューラルネットワークに関する詳細

 D1チップとNNトレーニングシステム「Dojo」の発表によって、Teslaの方向性が示された。これらの製品を生産するための研究開発(R&D)への投資は、間違いなく膨大である。Teslaはこの技術を他社と共有する見込みだ。そうすることで、バッテリー式電気自動車(BEV)と同様、他の収益源を生み出す狙いだ。

 下表に、TeslaのNN関連製品の発表の特性を示した。これらのデータは、2021年8月19日(米国時間)のイベントのビデオから抽出したものである。チップとシステムアーキテクチャに対する筆者の理解もいくつかの箇所に加えてある。


Tesla AI Dayでのニューラルネットワーク関連製品の発表内容[クリックで拡大]

 Teslaの設計目標は、自社のチップとシステム全体の3つのシステム特性(コンピュータ性能、高帯域幅、コンピュータノード間の低遅延)を拡張することだった。高帯域幅と低遅延を数百または数千というコンピュータノードに拡張することは、これまで常に困難だった。

 トレーニングノードは、D1チップの中で最も小さいトレーニングユニットである。4ワイドスカラーと4ウェイマルチスレッドプログラム実行を備えた、64ビットプロセッサを搭載する。またCPUは、8×8ベクトル乗算の2ワイドベクトルデータパスも備える。

 CPUのISA(命令セットアーキテクチャ)は、機械学習とNNのトレーニングタスク向けとして調整されている。CPUは、32ビット/16ビット/8ビットと複数の浮動小数点フォーマットに対応している。具体的にはFP32、BFP16、そして新しいフォーマットのCFP8(Configurable FP8)だ。

 プロセッサは、プログラムおよびデータストレージ用に1.25MBの高速SRAMメモリを搭載する。メモリは、エラー訂正符号(ECC:Error Correction Code)によって信頼性の向上を実現している。

Copyright © ITmedia, Inc. All Rights Reserved.

       | 次のページへ
ページトップに戻る