「AIのスケーリング則はまだ続く」 OpenAIが強調：チップの設計期間短縮も鍵に（2/3 ページ）

[Sally Ward-Foxton，EE Times]

AIは「電気」のようなユーティリティーに

　スケーリング則の継続に伴って、AIインフラもスケーリングする必要が生じる。Ho氏によれば、OpenAIは、AIの能力は、電気のような今日のユーティリティーによく似たものになると見ているという。

　「AIはわれわれの日常生活を楽にするのに役立つ。AIを使用するかどうかではなく、どれだけ使用されるのか、そしてサプライヤーが幅広いユーザーや地域で公平なアクセスをいかに確保できるかが重要だ」（Ho氏）

　OpenAIは現在、Microsoftの「Azure」クラウドでモデルAPI（Application Programming Interface）を実行しているが、将来的には5000億米ドル規模の「Stargate」プロジェクトの一環としてデータセンターを運営する予定だという。業界全体では、AIインフラの構築にほぼ1兆米ドルが投じられている。

　Ho氏はAMDの元CEOであるJerry Sanders氏の有名な言葉「Real men have fabs（真の男ならファブを持つ）」を言い換えて、「Real AI labs have data centers（本物のAIラボにはデータセンターがある）」と言った。

　今日のインターネットインフラストラクチャは、Ho氏が「倉庫サイズのコンピュータ」と呼ぶように、既に巨大だが、「今後、AIインフラストラクチャは“地球規模のコンピューティング”に向けて桁違いに大きくなる」と同氏は言う。Ho氏は「大規模なAIトレーニングジョブは今日、さまざまな地域の複数のクラスタにまたがっていて、必要な規模のコンピューティングにアクセスできる」と指摘した。

　これらのコンピュータに搭載されるチップがどのようなものになるかについて、Ho氏は「GPUが大きな部分を占めるだろう」と述べている。「しかし、AI研究室の観点から言えば、モデルやコンパイラ、チップ、システム、カーネルなど全てを搭載したインフラの完全な共同設計を見たいと思う」（Ho氏）

　Ho氏は、OpenAIが独自のAIアクセラレーターシリコンの開発に取り組んでいるという報道を裏付けるかのように、AIアクセラレーターチップは、レイテンシやスループット、メモリ容量、メモリ帯域幅、ダイ間およびチップ間の帯域幅のバランスを必要とするため、「（スタックの中で）変更が最も難しい部分の1つ」だと説明した。

　Ho氏は、「アムダールの法則によれば、全体的な性能の向上を実現するにはスタックのあらゆる部分を改善する必要があるため、われわれのチームは総合的なアプローチを取っている」と語った。

　「ピーク値は多くのデバイスで公表されているが、実際に実現されているものではない。コンパイラが何をしているか、命令がどのように実行されているか、ボトルネックはどこか、待機状態はどこかなど、スタック全体を見ることができて初めて、スループットがどうなるか、レイテンシがどうなるかが実際に分かる。だからこそ、コード設計が極めて重要だと考えている」（Ho氏）