Cerebras、人間の脳に匹敵するAIシステムを発表：120兆個のパラメータの学習を実現

[Sally Ward-Foxton，EE Times]

　Cerebrasは、2021年8月22〜24日にオンラインで開催された「Hot Chips 33」で、自社の次世代AI（人工知能）アクセラレーター「CS-2」に向けた新たなメモリ拡張技術やソフトウェア実行アーキテクチャを発表した。それにより、単一のウエハースケールチップで120兆個のパラメータモデルをトレーニングできるようになるという。なお、人間の脳には約100兆個のシナプスがあるといわれる。

　CerebrasのCEO（最高経営責任者）であるAndrew Feldman氏は米国EE Timesに対し、「当社が携わる領域は過去2年間で桁外れの進化を経験した。モデルのパラメータ数は1000倍以上に拡張し、作業にかかる時間も1000倍以上になった」と述べた。

CerebrasのCEO（最高経営責任者）、Andrew Feldman氏　出典：Cerebras

　Feldman氏は、大規模な自然言語処理モデルが、「BERT」ベースの1億1000万パラメータから、「GPT-3」のような1750億以上のパラメータを持つモデルへと進化したことに言及した。1024台のGPUでトレーニングするGPT-3は、トレーニングに4カ月の時間と数メガワットの電力を要するという。

　こうした自然処理言語モデルの急成長に追従すべく、Cerebrasは演算エンジンであるCS-2向けのメモリ拡張技術「MemoryX」を開発した。DRAMとフラッシュストレージを組み合わせたMemoryXは、最大2.4ペタバイトの容量を実現し、全てがオンチップであるかのように動作する。最大120兆個のパラメータを持つモデルをサポートすることができる。MemoryXにより、小型冷蔵庫ほどのサイズのCS-2システム1台で、既存の最大のモデルを“週末の間に”トレーニングすることが可能になるという。

　Feldman氏は「このメモリアクセス技術を用いれば、極めて大規模なネットワークで活用できるだろう」と述べた。MemoryXには、重み付けのアップデートを正確に計画して実施するソフトウェアが含まれている。

新しいソフトウェア実行アーキテクチャ

　Cerebrasは新しいソフトウェア実行アーキテクチャ「Cerebras Weight Streaming」も発表した。

　既存のより小型のモデルでは、パラメータと重みはウエハー（チップ）上に保持され、アクティベーションデータはストリーミングされる。このパイプライン型の実行モードは、モデル全体をCS-2上にロードでき、非常に低いレイテンシで処理できることを意味する。

　一方、極めて大規模なモデル向けの新たな実行アーキテクチャであるWeight Streamingでは、モデルの重みは中央ストレージに保持されてウエハー上にストリーミングされる。トレーニングのデルタパスでは、勾配はウエハーから中央ストレージにストリーミングされて重みを更新するために利用される。

SwarmX技術

　Cerebrasは、AIに最適化した通信ファブリック「SwarmX」も発表した。最大192台のCS-2にまたがって最大1億6300万個のAIに最適化したコアを接続し、協調して1つのニューラルネットワークをトレーニングできるようになる。Feldman氏によれば、CS-2を追加していけば、性能をほぼリニアに向上できるという。

Cerebrasは、オンチップのインターコネクトであるSwarmをクラスタインターコネクトに拡張した 出典：Cerebras（クリックで拡大）

　モデルレイヤー全体を1台のCS-2にロードすることでシンプルになるため、1台のCS-2から複数台のCS-2へのアップグレードもソフトウェアの変更なしに行うことができる。

「CS-2」「SwarmX」「MemoryX」を通じてニューラルネットワークの重みが行き来するシステム概念図 出典：Cerebras（クリックで拡大）

【翻訳：青山麻由子、編集：EE Times Japan】