ハーバード中退コンビのLLM向けチップ新興が資金獲得：企業価値は3400万ドルと評価（2/2 ページ）

[Sally Ward-Foxton，EE Times]

LLM特化型アクセラレーターは「大きなチャンス」

　Uberti氏は、特化型のASICを提供する成功例として、ビットコインマイニングチップを挙げている。AIアクセラレーター分野では、数社のメーカーが特定のワークロード専用のアーキテクチャを用意している。エッジ上のCNN（畳み込みニューラルネットワーク）に特化したアーキテクチャについては数件の例があるが（参照：Kneron）、データセンター専用のアーキテクチャは、主にDLRM（深層学習レコメンデーションモデル）に焦点が当てられ、GPUでのアクセラレーションが非常に難しいことで知られている（参照：Neuchips）。一方、NVIDIAは既に、同社の既存GPU「H100」にソフトウェア機能「Transformer Engine」を完全導入しており、LLM推論を量子化せずに実行することが可能だという。

　また、ハイパースケーラー各社が、独自のワークロード向けに専用チップを開発することに意欲的だという問題もある。Metaが最近発表した、独自開発のDLRM推論チップは、既に広く導入されているという。Googleの「TPU」やAWSの「Inferentia」は、もっと一般的なワークロード向けに構築されている。

　Zhu氏は、「レコメンデーションワークロードと比較する場合は必ず、そのタイムスケールを考慮する必要がある。レコメンデーションは現在のところ、比較的成熟しているからだ」と述べる。

　「DLRMは比較的長く存在しているが、トランスフォーマーの実行をターゲットとした市場は、6カ月前までは存在していなかった、極めて新しい開発分野だ。世界は急激に変化しており、そこに大きなチャンスがあるのだ」（Zhu氏）

　その一方で、AI分野におけるワークロードの急激な変化は、Etched.aiが過度な特化を進めてしまうと、災いをもたらす可能性がある。

　Uberti氏は、「これは現実的なリスクであり、そのために他の多くの人々がこの道を進むことを諦めているようだが、トランスフォーマーは変化していない。4年前のGPT-2と、Metaが最近発表した学習済みオープンソースモデル『Llama』とを比較してみると、異なる点は“サイズ”と“活性化関数”の2つしかない。トレーニング方法にも違いがあるが、それは推論とは無関係のことだ」と述べている。

　トランスフォーマーの基本的な構成要素は決まっていて、微妙な違いはあるものの、Uberti氏は特に懸念はないようだ。

　「イノベーションは、何もないところから突然生まれない。学術界で発表されたものが実用化されるまでには、ある程度の時間がかかるというサイクルはまだ存在する」（Uberti氏）

　同氏の挙げた例は、GLU（Gated Linear Unit）のことで、2018年に初めて文献に登場したが、ようやく2020年にGoogleの言語モデル「PaLM」で採用され、2021年には位置エンコーディング「Alibi」で採用された。広く普及するようになったのは2022年末のことだ。一般的なスタートアップが半導体チップをゼロから開発するには、通常18〜24カ月かかるといわれている。

　「エッジ業界はわれわれに多くのことを教えてくれたが、一方でエッジ業界が学んだ教訓の一つに、『特化しないこと』がある。将来何が待ち受けているか分からないため、間違った場所に賭けて出ると、無駄に終わる可能性があるのだ。われわれはその教訓を、『窓から放り投げた』のだ」（Uberti氏）

独自開発「Sohu」チップの実力

　Etched.aiの「Sohu」チップは、GPT-3トークンを処理するNVIDIAのH100搭載PCIeカードと比較し、1米ドル当たり140倍のスループットを達成できるという。

　Uberti氏は、Sohuチップについて「大量のメモリを搭載したチップだ」と説明。上記の優位性は（劇的なコスト差によるものではなく）主に処理能力によるものであり、チップは大規模なバッチサイズに対応するよう設計されていることを示唆した。

　Uberti氏は、「われわれは既にほとんどのアーキテクチャを具現化している。タイル型のため、設計の高効率化が可能だ」と述べている。また、1種類のモデルのみのサポートとなるので、ソフトウェアスタック、特にコンパイラの複雑さも最小限に抑えられる。

　同社の顧客となるのは、『ChatGPTをより安く使う』ことを望む企業などになるが、今後のビジネスモデルについてはまだ検討中という。Uberti氏は既に引き合いがあることも触れたが、詳細は明かさなかった。

　Etched.aiは、今回獲得した資金を初期チームの雇用、RTL開発、IP（Intellectual Property）プロバイダーとの交渉に使う予定だ。Etched.aiは現在、2000年代前半にCypress SemiconductorのCTO（最高技術責任者）を務めていたMark Ross氏をチーフアーキテクトとして起用している。

　Etched.aiは、2024年にSohuチップの提供を開始することを目指している。

【翻訳：田中留美、編集：EE Times Japan】

原文へのリンク