メディア

シングルプロセッサで200億パラメーターを持つAIモデルを学習：Cerebrasのウエハースケールエンジン（3/3 ページ）

» 2022年07月08日 13時30分公開

幅広い業界へ与える影響は？

　NLPモデルは非常に大きくなっているため、実際には、演算コストとエンジニアリング時間の両方の観点において、NLPモデルをトレーニングするための十分なリソースを持つ企業はほんの一握りだけだ。

　Cerebrasは、CS-2システムをクラウドで利用できるようにし、顧客が必要とするエンジニアリング時間とリソースの削減を支援することで、より多くの企業が（大規模なシステムエンジニアリングチームを持たない企業でも）大規模モデルのトレーニングを利用できるようにしたいと考えている。NLPと同様に、科学および医学研究の加速も支援していくという。

　CS-2は1台で数千億から数兆のパラメーターを持つモデルをトレーニングできるため、現在のネットワークだけでなく、未来の巨大ネットワークにも十分対応できる。

Cerebrasの実際の活用例は？

　バイオ医薬品企業のAbbVieは、バイオメディカルNLPトランスフォーマーのトレーニングにCS-2を使用している。これにより、同社の翻訳サービスでは、生物医学文献の膨大なライブラリを180の言語で検索できるようになった。

　AbbVieのAI責任者を務めるBrian Martin氏は声明の中で、「BERTLARGEモデルのプログラミングとトレーニングでわれわれが経験する共通の課題は、十分なGPUクラスタリソースを十分な時間提供することだ。CS-2システムは、ウォールクロックを改善してこの課題の多くを軽減すると共に、よりシンプルなプログラミングモデルによって、チームがより多くのアイデアより迅速に繰り返し、テストできるようになるため、サービスの提供を加速することが可能になる」と述べている。

　GlaxoSmithKlineも、エピゲノム研究にCerebrasの第1世代のシステムであるCS-1を使用している。このシステムは、他の方法では不可能なほど大規模なデータセットでネットワークをトレーニングすることを可能にした。

　Cerebrasの他のユーザーには、バッテリー、バイオ燃料、風の流れ、掘削、CO₂貯蔵のシミュレーションを高速化するためにCS-2を使用しているTotalEnergiesや、物理ベースの計算流体力学をCS-2で高速化しているNational Energy Technology Laboratory、CS-1をコビット19研究と抗がん剤に使用しているアルゴンヌ国立研究所など、多くの事例がある。

【翻訳：滝本麻貴、編集：EE Times Japan】

原文へのリンク

ウエハースケールの超巨大プロセッサを実現した「InFO」技術
「InFO」技術を改良した2種類のパッケージのうち、ウエハー規模の巨大なパッケージング技術「InFO_SoW」を解説する。
Cerebras Systemsのウエハースケールエンジンがクラウドで利用可能に
大規模なAIワークロードを高速化するために開発されたCerebras Systems（以下、Cerebras）の第2世代ウエハースケールチップを搭載したディープラーニングシステム「CS-2」が、AIクラウドのスペシャリストプロバイダーであるCirrascale Cloud Services（以下、Cirrascale）のクラウドで、一般利用に向けて公開された。CS-2は、カリフォルニア州サンタクララのCirrascaleに導入されている。
AIチップ新興企業への大規模投資は妥当なのか
データセンター向けAI（人工知能）チップメーカーが、膨大な資金を調達している。2021年4月半ばも、GroqがシリーズCの投資ラウンドで3億米ドルを調達したと発表している他、SambaNova SystemsはシリーズDの投資ラウンドで6億7600万米ドルという大金を獲得したという。投資家たちがAIチップメーカーにこのような大金を投資する背景には、どのようなけん引要素があるのだろうか。
お皿サイズの巨大AIチップ「WSE2」、Cerebrasが発表
Cerebras Systems（セレブラスシステムズ／以下、Cerebras）は、同社のウエハースケールチップ「Wafer Scale Engine（WSE）」の計算能力をさらに向上させた第2世代品「Wafer Scale Engine 2（WSE2）」を発表した。TSMCの7nmプロセスで製造している。WSEを搭載したディープラーニングシステム「CS-2」は、2021年第3四半期に入手可能になる。
TED、巨大AIチップのCerebrasと代理店契約締結
東京エレクトロンデバイス（以下、TED）は2019年12月19日、Cerebras Systems（セレブラスシステムズ／以下、Cerebras）と販売代理店契約を締結し、Cerebrasの超高速ディープラーニングシステムの受注を開始したと発表した。TEDでは今後3年間で、同システムの販売を中心にAI（人工知能）／ディープラーニング関連事業で売上高100億円程度を見込む。