「世界初」3次元Wafer on Wafer技術採用IPUの中身：機械学習特化型プロセッサ（2/2 ページ）

　Graphcoreは2022年3月、TSMCと連携して開発した3D Wafer on Wafer（以下、WoW）技術を用いたIPU（Intelligence Processing Unit）「Bow IPU」を発表した。3D WoW技術を用いることで、既存製品とほぼ同じ製造コストでありながら処理性能を40％、電力効率を16％それぞれ向上している。今回、同社の日本法人グラフコア・ジャパンがこの新製品の詳細について語った。

[永山準，EE Times Japan]

3D WoW技術適用IPUの詳細

　今回の新製品Bow IPUについては、既に下記記事でも紹介しているが、今回、グラフコア・ジャパンの代表取締役社長、中野守氏が同社のIPUの独自の構造や3D WoW技術に関して詳しく説明した。

　Bow IPUについて語るには、まずGraphcoreが提供してきた第2世代品IPU、GC200について紹介する必要がある。

　左下図はGC200の構成図だ。GC200は1チップに1472個の「IPU-Tile」（プロセッサコアとメモリで構成）を持ち、それぞれが6つのスレッドを持つことで、8832の独立した同時命令を一度に実行できる「超並列処理のMIMDアーキテクチャ」を採用しているのが最大の特長だ。

左＝「Colossus Mk2 GC200」の構成図。チップ面積の多くをメモリが占めており「メモリの中に計算機が入っているといってもいいくらいだ」という／右＝IPUとGPU、CPUの比較。SIMDアーキテクチャを採用するGPUでは並列処理に限界があるが、MIMDを採用するIPUでは、モデルや学習手順の多次元にわたるきめ細かな並列処理が可能としている［クリックで拡大］ 出所：グラフコア・ジャパン

　IPU-Tile内は各プロセッサコアにそれぞれ620KバイトのSRAMを結合する「In processor memory」の構成となっており、これによって高効率かつ広メモリ帯域（47.5TB/s）を実現している。GC200は、TSMCの7nmプロセスで製造され、動作周波数は1.35GHz。処理性能は、250TFLOPS（テラフロップス）を実現している。

　　また、機械学習で汎用のCPUやGPUを用いた場合、ダークシリコンの比率は半数近くなるが、専用プロセッサであるIPUであれば「ほぼ100%をAIで使うようなレイアウトになっており、非常に効率良くできている」と説明。さらに、In processor memoryによって低消費電力での高速推論が実現できるとも強調した。

左＝汎用プロセッサであるGPUと専用プロセッサIPUの比較／右＝電力、速度、サイズのトレードオフの関係について［クリックで拡大］ 出所：グラフコア・ジャパン

　今回、Graphcoreが発表したBow IPUは、このGC200に続く製品で、同社がTSMCと2年以上にわたる連携の末に開発した3D WoW技術を初めて適用したものだ。ただし、中野氏は「本製品は、第3世代ではなく、あくまでも第2世代の改良版という位置付けだ」と説明する。

3D Wafer On Wafer技術の概要。左下はIPUの断面図で、下にあるのがプロセッサーダイ、上にあるのが電源供給ダイだ［クリックで拡大］ 出所：グラフコア・ジャパン

　中野氏は、Bow IPUについて「（第2世代品と）プロセッサ部分は同じだが、電源供給の効率を上げるために3D WoW技術を用いた」と説明する。具体的には、GC200とほぼ同一な（「GC200からほとんど手を付けていない」という）プロセッサダイを用い、その上に電源供給用に設計された薄いフィルムのようなダイを垂直に積層している。

　電源供給ダイは、BTSV（Back sideThought Silicon VIA）とDTC（Deep Trench Capacitor）で構成（下図）。BTSVは、プロセッサダイから出た信号をC4 Bumpに伝えるためのもので、DTCは、シリコンに溝を掘りそこをバイパスコンデンサーとして使う技法だ。これによって低電圧でも安定して電力供給が可能となるため、動作周波数をGC200の1.35GHzから1.85GHzに高めることができ、メモリ帯域は65TB/s、処理性能は350TFLOPSとそれぞれ向上したとしている。

3D Wafer On Wafer技術の概要。電源供給ダイについてより詳細を記している［クリックで拡大］ 出所：グラフコア・ジャパン

　同社はBow IPUをGC200と同価格で提供していく。プロセッサダイはGC200同様TSMCの7nmプロセスで製造するが、中野氏は、「1年以上使ってきたダイであり、歩留まりも高くなりコストが下がっている」と説明。さらに、電源供給ダイも、電流供給に特化したシンプルな構造かつ「40nm〜50nmといったレベルの枯れた技術を用いている」ことから低コストに抑えられるといい、「コストも電力も上がらずに、性能は40%向上した形。さらに基本的なデザインは変えていないので、非常に早く製品化することもできた。あまり欲張らなかったがゆえに非常に効果が絶大となったといえる」と説明していた。