Cerebrasの最大の強みは、現在第3世代となるウエハースケールエンジン(WSE)だ。このディナープレートほどの大きさのチップは、それ自体がエンジニアリングの偉業であるが、チップを搭載するために構築されたカスタムサーバの卓越性は言うまでもない。同社のアーキテクチャはSRAMベースであるため、高速なトークンの生成が可能で、GPUや他のアーキテクチャのように演算ユニットとDRAM間のメモリ帯域幅に依存しない。
しかし、WSE3には限界がある。WSE3は44GBのSRAMを搭載しており、最先端GPUの広帯域メモリ(HBM)に比べてメモリ容量はかなり少ないものの、帯域幅ははるかに高い。44GB(ギガバイト)では、もはや単一のシリコンチップ上にモデル全体を収めるには不十分だ。その代わりに、当初のアーキテクチャの理念に反して、複数のWSEを相互接続する必要がある。相対的に見るとWSEにはI/Oの制約があるが、Cerebrasは現在、WSE間で(重みやデータよりも小さい)アクティベーションのみをやりとりすることでこの問題を回避している。しかし、これがさらに大規模なモデルにも拡張し続けられるかどうかは不明だ。また、WSEはもともとトレーニング用に設計されているため、推論に使用される低精度の数値フォーマットをネイティブにはサポートしていない(現在のサポートはFP16まで)
第4世代のWSEはこれらの問題の一部を解決できる可能性があるが、WSE3以降のノードではSRAMの密度スケーリングが頭打ちになっており、これが同社がまだ第4世代を発表していない主な理由だと考えられる。WSE4では、ウエハー上に3Dスタッキングを使用してメモリを追加できるだろうか。また、Cerebrasは何らかの形でウエハー間光接続を採用するのだろうか。どちらも大きな技術的課題であるが、Cerebrasにとって大きな課題の克服は初めてのことではない。
株価がこれほど高騰しているのは、Cerebrasへの期待が極めて高いからであり、同社は今後数四半期で非常に高い成長を示す必要がある。同社の主力分野である高速トークン生成分野では、2026年第3四半期に一般提供が開始される予定のNVIDIA/Groqの新たな提携による、はるかに強力な競争に直面することになる。IPOを果たしたCerebrasは、“NVIDIAの代替技術を持つ企業”に対する投資意欲の高さを証明した。今や他の多くの企業の将来は、同社の成否にかかっている。
【翻訳:滝本麻貴、編集:EE Times Japan】
買収ではなく提携に、SambaNovaとIntelの狙い
TSMCが次世代ロードマップ公表 A13/A12を29年投入へ
NVIDIAのGroq獲得 ハイパースケーラー顧客引き留めも狙いか
NVIDIAやCerebrasをはるかに上回るトークン性能、欧州新興のAIチップ
TED、巨大AIチップのCerebrasと代理店契約締結Copyright © ITmedia, Inc. All Rights Reserved.
記事ランキング