Euclydは、コンピューティングチップレットと「Ultra Bandwidth Memory(UBM)」と呼ぶカスタムメモリ設計を組み合わせるという。UBMによって、Craftwerk SiP内で1TBのDRAMと8000TB/sの帯域幅を実現する。
「SRAMは高速だが、それに依存する市販のAIアクセラレーターは、モデルを多数のシリコンピースに分割して実装せざるを得ない」とHeld氏は指摘する。「これは大きな課題だ。多額の投資が必要で、多くのシリコンを動作させるだけでなく、ラック内やラック間での拡張にはこれら全てを接続しなければならないためだ。当社のアイデアは、これを可能な限り高密度化することだ」と述べている。
広帯域メモリ(HBM)はSRAMの容量の弱点に対処できるが、その名称に反して、帯域幅はEuclydが望む値には達していない。Held氏は「カスタム設計によって“同じHBM”を使用する競合他社との差別化を図れる」と述べ、「EuclydのUBMはカスタム設計ではあるが、特殊なプロセス技術は必要ない」ことを強調した。
Held氏は「Craftwerkのサイズによって、3kW TPDの単一シリコン上でのマルチエージェントワークフローが可能になる」と述べている。
NVIDIAの「DGX-B200」(現行世代の「Blackwell」GPUを8基搭載)は、2025年5月に発表された数値によると、「Llama4-Maverick(400B)」において単一ユーザー当たり1038トークン/秒を実行できるという。Cerebras Systemsのデバイスは、Artificial Analysisの最新データによると、同2554トークン/秒を実行できるという。これに対し、単一のCraftwerk SiPは同2万トークン/秒を実行できる。
Euclydのラックは、125kW TDPの液冷式シャーシにホストCPU16基とCraftwerk 32基を搭載する。同社の予測によると、一般的なマルチユーザーシナリオでは、このシステムはLlama4-Maverickにおいて768万トークン/秒を実行できるという。
Copyright © ITmedia, Inc. All Rights Reserved.
記事ランキング