シングルプロセッサで200億パラメーターを持つAIモデルを学習：Cerebrasのウエハースケールエンジン（3/3 ページ）

Cerebras Systems（以下、Cerebras）は、第2世代のウエハースケールエンジンの能力を披露し、単一デバイスでトレーニングしたAI（人工知能）モデルとして最大記録を樹立したと発表した。

[Sally Ward-Foxton，EE Times]

幅広い業界へ与える影響は？

　NLPモデルは非常に大きくなっているため、実際には、演算コストとエンジニアリング時間の両方の観点において、NLPモデルをトレーニングするための十分なリソースを持つ企業はほんの一握りだけだ。

　Cerebrasは、CS-2システムをクラウドで利用できるようにし、顧客が必要とするエンジニアリング時間とリソースの削減を支援することで、より多くの企業が（大規模なシステムエンジニアリングチームを持たない企業でも）大規模モデルのトレーニングを利用できるようにしたいと考えている。NLPと同様に、科学および医学研究の加速も支援していくという。

　CS-2は1台で数千億から数兆のパラメーターを持つモデルをトレーニングできるため、現在のネットワークだけでなく、未来の巨大ネットワークにも十分対応できる。

Cerebrasの実際の活用例は？

　バイオ医薬品企業のAbbVieは、バイオメディカルNLPトランスフォーマーのトレーニングにCS-2を使用している。これにより、同社の翻訳サービスでは、生物医学文献の膨大なライブラリを180の言語で検索できるようになった。

　AbbVieのAI責任者を務めるBrian Martin氏は声明の中で、「BERTLARGEモデルのプログラミングとトレーニングでわれわれが経験する共通の課題は、十分なGPUクラスタリソースを十分な時間提供することだ。CS-2システムは、ウォールクロックを改善してこの課題の多くを軽減すると共に、よりシンプルなプログラミングモデルによって、チームがより多くのアイデアより迅速に繰り返し、テストできるようになるため、サービスの提供を加速することが可能になる」と述べている。

　GlaxoSmithKlineも、エピゲノム研究にCerebrasの第1世代のシステムであるCS-1を使用している。このシステムは、他の方法では不可能なほど大規模なデータセットでネットワークをトレーニングすることを可能にした。

　Cerebrasの他のユーザーには、バッテリー、バイオ燃料、風の流れ、掘削、CO₂貯蔵のシミュレーションを高速化するためにCS-2を使用しているTotalEnergiesや、物理ベースの計算流体力学をCS-2で高速化しているNational Energy Technology Laboratory、CS-1をコビット19研究と抗がん剤に使用しているアルゴンヌ国立研究所など、多くの事例がある。

【翻訳：滝本麻貴、編集：EE Times Japan】