Tenstorrentは、Blackholeチップが利用できるようになった現在、引き続きより大規模なトレーニングクラスタを構築しているところだ。今のところ、6個の「Backhole Galaxy※)」(192チップ)のトレーニングクラスタを構築していて、今後6カ月以内にはさらに大きなクラスタを実現する予定だという。最終的な目標として、16台のGalaxyサーバによるデータプレーンエンジンの実現を目指す。スイッチング向けに16台のGalaxy(Tenstorrentは独自開発チップをスイッチとして使用)と、さらにオプティマイザとして16台のGalaxyを備え、ある程度の冗長性も持つという。
※編集注:「Galaxy」はTenstorrentがAIワークロード向けに設計した次世代サーバ。「Wormhole」プロセッサを用いたGalaxy「Tenstorrent Galaxy Wormhole サーバー」がある。
Keller氏は「デモでは、クラスターを稼働させ、どのケーブルを引き抜いても稼働が停止しないことを示す。原理上、どのサーバの電源を切っても稼働を継続させることが可能だ」と述べる。
さらに「高速推論は、4個のGalaxy(128チップ)で達成することができる。推論には、既存の大規模言語(LLM)ワークロードの100万倍以上のトークンが必要になる(必要な推論計算量の実際の上限は、『人間が考え付くことができるユニークな質問の数』の限界にある)」と指摘する。
Keller氏は「私のミッションは、トレーニングのコストを劇的に下げることだ」と強調した。「新しいことに取り組むための適切なプラットフォームを提供するにはどうすればよいのか。それはやりがいのある挑戦だ。トレーニングができなければ、新しいことにも取り組めないからだ」(同氏)
【翻訳:田中留美、編集:EE Times Japan】
25年の半導体市場も2桁成長へ 非AI領域は地政学リスクで弱含み
「本当に安全なのか」 中国の機器や部品を見直すべき
Rapidusとも提携、Tenstorrentの現状と戦略
32の同時ユーザーで15トークン/秒 TenstorrentがLLMのデモを披露
RapidusがTenstorrentと提携、AIエッジ領域の開発を加速
“天才設計者”Jim Keller氏がAI新興企業のCTOにCopyright © ITmedia, Inc. All Rights Reserved.
記事ランキング