メディア

AI推論はもっと「省エネ」にできる　メモリ圧縮技術で：ZeroPointとRebellionsが協業（3/3 ページ）

» 2025年04月25日 11時10分公開

生成AI性能が50％向上

　「Marvell TechnologyやIntelといった企業が近年、広帯域幅メモリ（HBM）を進化させたことにより、データセンター運営の長年にわたる非効率性に対処することが可能な性能向上が実現された。しかしわれわれは、ハードウェアアクセラレーションによるメモリ圧縮／コンパクション／管理技術の導入により、さらなる改善を実現できると確信している」（Moreau氏）

　また同氏は「われわれはこのような想定を検証してきた結果、大規模言語モデル（LLM）のような特殊なアプリケーションでは、ソフトウェア圧縮とインラインハードウェア展開（レイテンシの追加を最小限に抑える）とを組み合わせることにより、アプリケーション性能の重要な測定基準とされる、対応可能なメモリ容量や帯域幅、トークン/秒が、既に約50％向上していることを発見した」と付け加えた。

　「将来的に、インラインのハードウェア圧縮／展開技術を統合できれば、さらに大幅な性能向上が見込まれる。例えば、100ギガバイト（GB）のHBMを備えたデータセンターの基本的なモデルワークロードに、このような圧縮／コンパクション／メモリ管理技術を利用することで、150GBを搭載しているかのように機能し、コスト効率や性能、帯域幅を大幅に高めることが可能だ。これにより、数十億米ドル規模のコストを削減できるだけでなく、高性能AIモデルの性能も高められるだろう」（Moreau氏）

　Moreau氏は「こうした進化により、AIチップメーカーは、NVIDIAのような業界の巨人の優位性に挑戦するための強固な基盤を確立し、メモリ効率および性能を最適化する中核技術を得ることができる。AIチップメーカーはこのような力を得ることで、単に技術仕様に適合するだけでなく、電力／コスト効率のイノベーションによって、世界規模で競争できるようになる。こうした要素は、幅広い普及と技術的自立において非常に重要だ」と付け加えた。

【翻訳：田中留美、編集：EE Times Japan】

原文へのリンク

FPGAはAIデータセンターの新たな選択肢になるのか
データセンターAIシステムのスタートアップPositronは、FPGAベースのソリューションで、NVIDIAのGPUに対抗しようとしている。同社の技術と戦略について聞いた。
AI需要で盛り上がるデータセンター冷却の新技術
AI（人工知能）ワークロードの需要に対応するためにデータセンターが増加する中、冷却システムの重要性も増している。今回、水がいらない液冷や固体冷却など、近年登場してきた革新的新技術をまとめた。
方便か本気か　分からないTSMCの米国への1000億ドル投資の狙い
TSMCが米国に1000億米ドルを投じて最先端プロセスの工場を設立すると発表した。しかし筆者としてはその発表がどうもふに落ちない。TSMCの本音はどこにあるのか――。
ミニマルファブの時代がやってくる！
米国と英国の企業が、相次いでミニマルファブ（省スペースに構築できる半導体工場）の販売を開始した。3000万米ドル規模で工場を構築できるので、アフリカやグローバルサウスといった、これまで半導体工場を建てられなかった地域にも、工場ができる可能性が出てくるという。
関税よりはマシ？米国でのチップ生産を表明したNVIDIAとAMD
NVIDIAとAMDは2025年4月、TSMCのアリゾナ工場でチップの製造を開始すると発表した。トランプ政権の“先行き不透明な”関税政策に対処するためとみられる。アナリストらは、今回の関税政策により、米国で使われる半導体の大半が米国で製造されるようになる可能性もあると指摘する。