1000コアを搭載、RISC-VベースのAIアクセラレーター：EsperantoがHot Chips 33で発表（2/2 ページ）

[Sally Ward-Foxton，EE Times]

低消費電力を追求したチップ設計

　大電力を必要とするチップアクセラレーターを提供する競合他社とは異なり、Esperantoは複数接続できる低消費電力のチップを提供する。高価なHBM（High Bandwidth Memory）に頼ることなく、より多くのピンをメモリI/Oに使用できるため、メモリ帯域幅の要件に対応できる。

　同社のハードウェアは、汎用コンピュータとしても設計されている。Ditzel氏は、「推奨モデル（recommendation model）に焦点を当てているが、当社のチップは並列処理を加速することができる。Glacier Pointには約6000個の並列コアが搭載されており、各コアは2つのスレッドを実行する」と説明する。

　もう1つの特長は、積極的な省エネ設計だ。顧客の要求により電力バジェットは合計120Wに設定されていて、Glacier Pointカードの電力は最大120W（20W×6）である。これに対し、AI推論アクセラレーターは、その10倍以上の電力で動作する。

　同社は、この問題に複数の方面からアプローチした。まず、クロック周波数を最適な1GHz程度まで下げたほか、電源電圧はSRAMの限界を超えた0.4V程度まで下げている。スイッチング容量は最小の命令セットを持つ無駄のないRISC-Vコアを使うことで改善し、トランジスタの数を減らすことができた。プロセス技術は、先進的でありながら安定したTSMCの7nmを採用している。

1GHzで動作する場合、最もエネルギー効率が高くなる”電力のスイートスポット” 出典：Esperanto（クリックで拡大）

コアの設計

　Esperantoのチップには、AIのワークロードを処理する1088個のET-Minionコアが搭載されている。コアは64ビットのインオーダーRISC-Vプロセッサで、Esperanto独自のAIに最適化されたベクトルとテンソルユニットがチップの大部分を占めている。浮動小数点のMACが構成の大半を占めており、珍しいことに、整数のMACは浮動小数点の2倍の処理幅を持っている（顧客の要求による）。

　また、深層学習モデルでよく使われるシグモイド関数などのベクトル超越命令もサポートしている。コアは単一の低電圧ドメインで動作するため、多くのトランジスタを使用し、小型のL1キャッシュにSRAMを搭載することで、安定した性能を確保している。

Esperantoのチップには1088個の「ET-Minion」コアが搭載されている 出典：Esperanto（クリックで拡大）

　各コアは1GHz当たり128GOPSの処理能力を有する。カスタムのマルチサイクルテンソル命令は、大規模な行列の乗算を別のコントローラーが引き継ぎ、512ビット幅をフルに使用し、最大512サイクル実行する。これにより、コントローラーが次のRISC-V命令をフェッチする前に、1つのテンソル命令で6万4000以上の演算を実行することができる。ワークロードの大部分がテンソル命令を使用するため、命令のバンド幅が減少。そのため、512クロックサイクル当たり1つの命令しか必要ない。

　8つのET-Minionコアが物理的に近いことを利用して、修正された命令が実行される。「Cooperative Load」と呼ばれる機能では、キャッシュを取得せずにコア間で直接データを転送することができ、省電力化を実現した。さらに、8つのコアが大容量のL2キャッシュを共有することで、エネルギー効率を高めている。

　ET-SoC-1では、8コア×4で「Minion Shire」と呼ぶ領域を構成している。1つのチップに34のMinion Shireがあるので合計1088コア（8×4×34）となっている（Ditzel氏は、「歩留まり向上のため1024個のコアだけで計算することも可能」と説明する）。現在のアクセラレーターの構成ではなく、将来のスタンドアロン動作を想定して、Arm「Cortex-A72」とほぼ同等の性能を持つ4つのET-Maxionコアを搭載している。Minion Shireそれぞれに独立した電圧供給を行い、個々の電圧を微調整することで、閾値電圧の変動を緩和している。

【翻訳：田中留美、編集：EE Times Japan】

原文へのリンク