検索
ニュース

Cerebras、人間の脳に匹敵するAIシステムを発表120兆個のパラメータの学習を実現

Cerebrasは、2021年8月22〜24日にオンラインで開催された「Hot Chips 33」で、自社の次世代AI(人工知能)アクセラレーター「CS-2」に向けた新たなメモリ拡張技術やソフトウェア実行アーキテクチャを発表した。それにより、単一のウエハースケールチップで120兆個のパラメータモデルをトレーニングできるようになるという。

Share
Tweet
LINE
Hatena

 Cerebrasは、2021年8月22〜24日にオンラインで開催された「Hot Chips 33」で、自社の次世代AI(人工知能)アクセラレーター「CS-2」に向けた新たなメモリ拡張技術やソフトウェア実行アーキテクチャを発表した。それにより、単一のウエハースケールチップで120兆個のパラメータモデルをトレーニングできるようになるという。なお、人間の脳には約100兆個のシナプスがあるといわれる。

 CerebrasのCEO(最高経営責任者)であるAndrew Feldman氏は米国EE Timesに対し、「当社が携わる領域は過去2年間で桁外れの進化を経験した。モデルのパラメータ数は1000倍以上に拡張し、作業にかかる時間も1000倍以上になった」と述べた。


CerebrasのCEO(最高経営責任者)、Andrew Feldman氏 出典:Cerebras

 Feldman氏は、大規模な自然言語処理モデルが、「BERT」ベースの1億1000万パラメータから、「GPT-3」のような1750億以上のパラメータを持つモデルへと進化したことに言及した。1024台のGPUでトレーニングするGPT-3は、トレーニングに4カ月の時間と数メガワットの電力を要するという。

 こうした自然処理言語モデルの急成長に追従すべく、Cerebrasは演算エンジンであるCS-2向けのメモリ拡張技術「MemoryX」を開発した。DRAMとフラッシュストレージを組み合わせたMemoryXは、最大2.4ペタバイトの容量を実現し、全てがオンチップであるかのように動作する。最大120兆個のパラメータを持つモデルをサポートすることができる。MemoryXにより、小型冷蔵庫ほどのサイズのCS-2システム1台で、既存の最大のモデルを“週末の間に”トレーニングすることが可能になるという。

 Feldman氏は「このメモリアクセス技術を用いれば、極めて大規模なネットワークで活用できるだろう」と述べた。MemoryXには、重み付けのアップデートを正確に計画して実施するソフトウェアが含まれている。

新しいソフトウェア実行アーキテクチャ

 Cerebrasは新しいソフトウェア実行アーキテクチャ「Cerebras Weight Streaming」も発表した。

 既存のより小型のモデルでは、パラメータと重みはウエハー(チップ)上に保持され、アクティベーションデータはストリーミングされる。このパイプライン型の実行モードは、モデル全体をCS-2上にロードでき、非常に低いレイテンシで処理できることを意味する。

 一方、極めて大規模なモデル向けの新たな実行アーキテクチャであるWeight Streamingでは、モデルの重みは中央ストレージに保持されてウエハー上にストリーミングされる。トレーニングのデルタパスでは、勾配はウエハーから中央ストレージにストリーミングされて重みを更新するために利用される。

SwarmX技術

 Cerebrasは、AIに最適化した通信ファブリック「SwarmX」も発表した。最大192台のCS-2にまたがって最大1億6300万個のAIに最適化したコアを接続し、協調して1つのニューラルネットワークをトレーニングできるようになる。Feldman氏によれば、CS-2を追加していけば、性能をほぼリニアに向上できるという。


Cerebrasは、オンチップのインターコネクトであるSwarmをクラスタインターコネクトに拡張した 出典:Cerebras(クリックで拡大)

 モデルレイヤー全体を1台のCS-2にロードすることでシンプルになるため、1台のCS-2から複数台のCS-2へのアップグレードもソフトウェアの変更なしに行うことができる。


「CS-2」「SwarmX」「MemoryX」を通じてニューラルネットワークの重みが行き来するシステム概念図 出典:Cerebras(クリックで拡大)

【翻訳:青山麻由子、編集:EE Times Japan】

Copyright © ITmedia, Inc. All Rights Reserved.

ページトップに戻る