AIの消費電力、学習よりも推論がはるかに大きな課題：Ampereが懸念を示す（2/2 ページ）

Ampere Computingは、昨今急速に普及している生成AIでは、学習よりも推論の消費電力が大きな課題になると指摘した。「推論のスケールアウトの問題は、確実に破壊的な影響をもたらすだろう」と同氏は懸念を示している。

[Sally Ward-Foxton，EE Times]

消費電力が膨大に

　Wittich氏は、「AIトレーニングにより、データセンターの消費電力量が急増し、GPUを主とした専用ハードウェアに対する大規模投資が必要になっている。推論の電力効率にわずかな差が生じるだけでも、ワークロードが全体的に非常に大きいため、トレーニングの場合よりもかなり影響が大きくなるだろう」と述べる。

　同氏は、「もし推論の問題を解決して、もっと効率的な方法で大規模な推論を提供することができれば、消費電力の問題を緩和できるようになる」と付け加えた。

　問題の一つに、クラウドプロバイダー内部で意思決定がサイロ化されているという点がある。インフラに関する意思決定を行う担当者と、調達するコンピュートの種類を決定する担当者が、同一人物ではない場合が多いのだ。

　コンピュートに対する投資は、顧客需要とクラウドプロバイダーの選択とが混じり合うことで影響を受ける。Wittich氏によると、これが難しい問題になっているという。

　同氏は、「インフラプロバイダーであれば、省電力化とコスト削減を目の当たりにすることができるため、自分たちの価値が真に輝き、その分野において素晴らしいけん引力を発揮することができる。しかし、そのインフラを選択すべき理由をエンドユーザーに伝えるための作業が、山積みの状態のままだ」と述べる。

192コアの「AmpereOne」を提供

　Wittich氏は、「Ampereは現在、最大192コアのArmベースのデータセンター用CPU（『AmpereOne』）を提供し、AIフレンドリーな幅広いデータフォーマット（FP32、FP16、BF16、INT16、INT8）をサポートしている。AIアプリケーションは、Ampereの『AI Optimizer（AIO）』ソフトウェアレイヤーでサポートされており、データ再編成や最適命令選択などをはじめとする、モデル最適化やハードウェアマッピングを実行する。TensorFlowやPytorchファイルとのシームレスな連携が可能だ」と述べる。

　「Ampereは、他のアーキテクチャで効率性を発揮できるよう数年をかけて最適化・強化された顧客コードを、移植することができるツールを提供している。しかし、AIモデルは移植できるように構築されているため、AI推論コードは、異なる種類のCPU（および異なる種類のISA）や他のハードウェアとの間で比較的容易に移植することが可能だ」（Wittich氏）

　同氏は、「GPUからCPUへの切り替えはそれほど難しいことではないが、そこには心理的障壁がある。誰もが、実際よりもかなり難しくなると考えてしまうのだ。当社の多くの顧客企業は既に実行しており、決して難しいことではない。AIは、最も簡単に移行可能なものの一つである。TensorFlowでモデルを構築する場合、このモデルを至る所で実行することを想定しているのだから、それは実際に移植可能であるべきなのだ。AIOは役立つが、そこに大きな障壁はない」と語った。

【翻訳：田中留美、編集：EE Times Japan】