メディア

AIの消費電力、学習よりも推論がはるかに大きな課題Ampereが懸念を示す(2/2 ページ)

» 2024年07月08日 11時30分 公開
[Sally Ward-FoxtonEE Times]
前のページへ 1|2       

消費電力が膨大に

 Wittich氏は、「AIトレーニングにより、データセンターの消費電力量が急増し、GPUを主とした専用ハードウェアに対する大規模投資が必要になっている。推論の電力効率にわずかな差が生じるだけでも、ワークロードが全体的に非常に大きいため、トレーニングの場合よりもかなり影響が大きくなるだろう」と述べる。

 同氏は、「もし推論の問題を解決して、もっと効率的な方法で大規模な推論を提供することができれば、消費電力の問題を緩和できるようになる」と付け加えた。

 問題の一つに、クラウドプロバイダー内部で意思決定がサイロ化されているという点がある。インフラに関する意思決定を行う担当者と、調達するコンピュートの種類を決定する担当者が、同一人物ではない場合が多いのだ。

 コンピュートに対する投資は、顧客需要とクラウドプロバイダーの選択とが混じり合うことで影響を受ける。Wittich氏によると、これが難しい問題になっているという。

 同氏は、「インフラプロバイダーであれば、省電力化とコスト削減を目の当たりにすることができるため、自分たちの価値が真に輝き、その分野において素晴らしいけん引力を発揮することができる。しかし、そのインフラを選択すべき理由をエンドユーザーに伝えるための作業が、山積みの状態のままだ」と述べる。

192コアの「AmpereOne」を提供

 Wittich氏は、「Ampereは現在、最大192コアのArmベースのデータセンター用CPU(『AmpereOne』)を提供し、AIフレンドリーな幅広いデータフォーマット(FP32、FP16、BF16、INT16、INT8)をサポートしている。AIアプリケーションは、Ampereの『AI Optimizer(AIO)』ソフトウェアレイヤーでサポートされており、データ再編成や最適命令選択などをはじめとする、モデル最適化やハードウェアマッピングを実行する。TensorFlowやPytorchファイルとのシームレスな連携が可能だ」と述べる。

 「Ampereは、他のアーキテクチャで効率性を発揮できるよう数年をかけて最適化・強化された顧客コードを、移植することができるツールを提供している。しかし、AIモデルは移植できるように構築されているため、AI推論コードは、異なる種類のCPU(および異なる種類のISA)や他のハードウェアとの間で比較的容易に移植することが可能だ」(Wittich氏)

 同氏は、「GPUからCPUへの切り替えはそれほど難しいことではないが、そこには心理的障壁がある。誰もが、実際よりもかなり難しくなると考えてしまうのだ。当社の多くの顧客企業は既に実行しており、決して難しいことではない。AIは、最も簡単に移行可能なものの一つである。TensorFlowでモデルを構築する場合、このモデルを至る所で実行することを想定しているのだから、それは実際に移植可能であるべきなのだ。AIOは役立つが、そこに大きな障壁はない」と語った。

【翻訳:田中留美、編集:EE Times Japan】

前のページへ 1|2       

Copyright © ITmedia, Inc. All Rights Reserved.

RSSフィード

公式SNS

All material on this site Copyright © ITmedia, Inc. All Rights Reserved.
This site contains articles under license from AspenCore LLC.