”基盤モデル”に照準、SambaNovaの新世代RDU：処理能力688TFLOPSのプロセッサ（2/3 ページ）

SambaNova Systems（以下、SambaNova）の幹部は、米国カリフォルニア州サンタクララで開催された「AI Hardware Summit」において、新たなシリコンを披露した。また、複数のタスクに適用できる大規模な言語モデルの一種である「基盤モデル（foundation models）」をサポートするという同社の取り組みについて語った。

[Sally Ward-Foxton，EE Times]

基盤モデルの持つ可能性

　「基盤モデル（foundation model）」は、スタンフォード大学の基盤モデル研究センター（Stanford Center for Research on Foundation Models）で作られた用語で、特殊な種類の大規模言語モデルを指す。十分に大量かつ多種多様なデータの上で基盤モデルを学習させると、例えば質問応答、要約、感情分析といった多様なタスクを含め、複数の言語ベースのタスクの実行に適応できるようになる。

　Olukotun氏は「従来のタスク中心の機械学習では、タスクごとに特定のモデルを学習させる必要があったが、これは破綻している。基盤モデルは、そうした従来の機械学習モデルを完全に過去のものにする。基盤モデルを使えば、単一のモデルを取り出して、それを特定のタスクに適応させることができる。それにより、タスクに特化した数千もの個別モデルを単一のモデルに置き換えることができる。つまり、管理がより容易になる上に、AI能力をこれから発生する新たなタスクにマッチするように一層簡単に変換できるようになる」と述べた。

『インコンテキスト学習』と呼ばれる技術は、基盤モデルを用いてさまざまなタスクを実行可能にすることを意味する［クリックで拡大］ 撮影：EE Times

基盤モデルの課題を解決するSambaNovaの技術

　基盤モデルの規模は、一般的に100億パラメータより大きくなるため、利用を希望する企業にとって課題となっている。

　SambaNovaの共同創業者兼CEO（最高経営責任者）であるRodrigo Liang氏は「実際にハードウェアリソースを集約し、ソフトウェアを正しくプログラミングし、さらに実際に機械を正しく学習させた上でそれを配備／保守したり、モデルの学習や推論、持続的な管理を行ったりするほどの専門知識を得ることは容易ではない」と述べた。

　今日の技術を使ってゼロから基盤モデルを学習させるには、数カ月かかる可能性がある。SambaNovaは、あらかじめ学習させたモデルをハードウェアと共に供給し、その期間を短縮できるよう狙う。それらを用いると、企業はあらかじめ学習させたモデルを独自のプライベートデータ上で微調整できるようになり、顧客がそのモデルを使って行うタスクの精度を高めることができるという。