3年かけてついに完成した「CUDA」の代替はAI開発を変えるのか：米新興Modularが発表（1/3 ページ）

「CUDA」の代替となるプラットフォーム開発を目指している新興企業のModularが、ついにその技術を完成させたという。NVIDIAの牙城を崩すのか。

[Sally Ward-Foxton，EE Times]

　CUDAの代替技術を開発することは、決して簡単なことではない。

　ModularのChris Lattner氏が率いる120人の開発チームは、CUDAだけでなくAIソフトウェアスタック全体をゼロから置き換えることを目指し、3年間にわたり取り組んできた。

Modular共同設立者兼CEOのChris Lattner氏 出所：LinkedIn

　Lattner氏は米国EE Timesの取材に応じ「そのためには何が必要だろうか。実際、CUDAの代替技術の開発は非常に難しく、何年もかかる。われわれはこの3年間、プログラミング言語やグラフコンパイラ、大規模言語モデル（LLM）の最適化などに取り組み、それを全て整理して、大規模実装や試験、検証などを行ってきた」と述べている。

　既存のAIソフトウェアスタックの問題の原因は、それが突然出現して、現在も非常に速く変化しているという事実にある。新しいユースケースやモデルに対応するために、すぐさまレイヤーが追加されるのだ。現在、CUDAの上には、OneMKLや、推論対応のvLLM、NVIDIAのTensorRT-LLMの他、最新のNVIDIAのNIMマイクロサービスといったライブラリがあり、Lattner氏はこれを「巨大スタック」と呼ぶ。

　Lattner氏は「CUDA自体は、登場してから20年近くになる。つまり、生成AIのユースケースや、テンソルコア／FP4などのGPUハードウェア機能が開発されるずっと前から存在しているということだ」と指摘する。

“使い捨てフレームワーク”をどうするのか

　Lattner氏が“使い捨てフレームワーク”と呼ぶ、導入されてはいるが置き換えられるまでの寿命が短いという一部のスタックも、役に立っていない。

　「あらゆるものが変化し、汎用向けの設計ではないため、やがて使われなくなってしまう。われわれがエンタープライズ向けに構築しているのは、実際にスケーラブルな技術プラットフォームであり、AIに遅れず対応できる」（Lattner氏）

　この他にも、CUDAを置き換えることや、CUDAからある程度のレベルのコード移植性を提供すること、またはその両方を目指すというプロジェクトはあった。

Apache TVMとOpenCL

　これまでに最も成功を収めたのが、オープンソースプロジェクト「Apache TVM」だ。TVMの主な目的は、カーネルフュージョンの自動化により、AIを多様なハードウェアで効率的に実行できるようにすることだが、生成AIは旧型のコンピュータビジョンアプリケーションと比べてアルゴリズムが大規模かつ複雑であるために、技術的な課題があることが明らかになった。また生成AIのアルゴリズムは、FlashAttentionのように、よりハードウェアに特化されている。TMVの主要な貢献者たちがOctoAIという企業を設立し、エンタープライズクラスタに向けた生成AI推論スタックを開発していたが、このOctoAIが最近NVIDIAに買収されたことで、プロジェクトの未来に疑問が投げかけられている。

　もう1つ広く知られた技術であるOpenCL（Open Computing Language）は、GPUと他の種類のハードウェアとの間のコード移植性を実現するために設計された標準規格であり、モバイル／組み込みデバイスなどで広く採用されている。しかし、この標準規格に批判的な人々（Lattner氏を含む）からは、急激に変化するAI技術に対応する上での敏しょう性に欠けるという点が指摘されている。その理由の1つは、このOpenCLが、将来的にハードウェア機能の共有は全般的に拒否するという競合企業の“コーペティション（co-opetition）”によって推進されているからだという。

　Lattner氏は「これと同様の他の商業プロジェクトは、まだ初期の段階にある」と述べる。

　「デモを構築して1つのモデルやユースケースを解決することと、大規模に汎用化されたものを構築し、非常に速いペースで進むAI研究に対応できるようにすることとの間には、大きなギャップがある」（Lattner氏）