AI推論はもっと「省エネ」にできる メモリ圧縮技術で：ZeroPointとRebellionsが協業（3/3 ページ）

ZeroPoint TechnologiesとRebellionsが、AI推論を低コスト化、低消費電力化するAIアクセラレーターの開発を目指す。ZeroPoint Technologiesのメモリ最適化技術は高速にデータを圧縮し、データセンターのメモリ容量を増大し、1W当たりのAI推論性能を向上させられるという。

[Nitin Dahad，EE Times]

生成AI性能が50％向上

　「Marvell TechnologyやIntelといった企業が近年、広帯域幅メモリ（HBM）を進化させたことにより、データセンター運営の長年にわたる非効率性に対処することが可能な性能向上が実現された。しかしわれわれは、ハードウェアアクセラレーションによるメモリ圧縮／コンパクション／管理技術の導入により、さらなる改善を実現できると確信している」（Moreau氏）

　また同氏は「われわれはこのような想定を検証してきた結果、大規模言語モデル（LLM）のような特殊なアプリケーションでは、ソフトウェア圧縮とインラインハードウェア展開（レイテンシの追加を最小限に抑える）とを組み合わせることにより、アプリケーション性能の重要な測定基準とされる、対応可能なメモリ容量や帯域幅、トークン/秒が、既に約50％向上していることを発見した」と付け加えた。

　「将来的に、インラインのハードウェア圧縮／展開技術を統合できれば、さらに大幅な性能向上が見込まれる。例えば、100ギガバイト（GB）のHBMを備えたデータセンターの基本的なモデルワークロードに、このような圧縮／コンパクション／メモリ管理技術を利用することで、150GBを搭載しているかのように機能し、コスト効率や性能、帯域幅を大幅に高めることが可能だ。これにより、数十億米ドル規模のコストを削減できるだけでなく、高性能AIモデルの性能も高められるだろう」（Moreau氏）

　Moreau氏は「こうした進化により、AIチップメーカーは、NVIDIAのような業界の巨人の優位性に挑戦するための強固な基盤を確立し、メモリ効率および性能を最適化する中核技術を得ることができる。AIチップメーカーはこのような力を得ることで、単に技術仕様に適合するだけでなく、電力／コスト効率のイノベーションによって、世界規模で競争できるようになる。こうした要素は、幅広い普及と技術的自立において非常に重要だ」と付け加えた。

【翻訳：田中留美、編集：EE Times Japan】