続けて濱田氏は、AIエコシステムにおいてキオクシアが注目しているという「コンテキストキャッシュ」について説明した。
一般的なAIモデルは、データを小さなトークンに分割して扱う。トークン状態でデータをやりとりし、1つの回答に組み上げることで推論処理を行うため、濱田氏は「AIはデータセンターをトークンファクトリーへと変化させている。製造業は生産率と単位当たりのコストをKPIとするが、トークンファクトリーも同様に、トークン生成にかかる時間とコストがKPIになってくる」と述べる。
トークンファクトリーのKPIを上げる手法としてNVIDIAが提唱するのが、GPUが過去に行ったトークン処理の計算情報(コンテキストキャッシュ)を残しておき、新たなトークン処理で再利用する「CMX(Context Memory Storage)」だ。試算によると、既存のGPUシステムにCMXを追加することで、2〜3%の消費電力増と10%のコスト増でトークン生産量を5倍に向上できるという。
キオクシアはコンテキストキャッシュ向けのソリューションとして、CMXプラットフォームに対応したSSDのCM9シリーズを提案する。FMSでは、その後継に当たるCM10シリーズも発表した。濱田氏は「わずかなコンテキストキャッシュ用のSSDを追加するだけで、コストや電力を大幅に抑えたままGPU効率を5倍に向上できる。CMXはゲームチェンジャーの技術だと考えている」とする。
「生成AIによるインフラ構築の波は今まさに進行中で、一生に一度レベルの大きな変革だ。フラッシュメモリやSSDに新たな要求やチャレンジをもたらすと同時に、ビジネス機会を生み出している。AIの未来は、キオクシアの革新的な技術によって構築されると考えている」(濱田氏)
世界半導体企業ランキングでキオクシア8位、26年Q2
キオクシアとSandisk、日本に5兆円投資 北上に新棟建設
直接液冷に初対応、キオクシアがデータセンター用NVMe SSD
最大1000万IOPS キオクシアが「Super High IOPS SSD」第1弾を開発
時価総額45兆円に キオクシア復活劇を支えたNAND戦略
メモリ市場が大爆発 「5年の壁」を乗り越えられるかCopyright © ITmedia, Inc. All Rights Reserved.
記事ランキング