推論で需要増のSSD キオクシアが示す進化の方向性：GPU効率5倍の注目技術も紹介（2/2 ページ）

キオクシアは、半導体メモリとストレージに関するイベント「FMS: the Future of Memory and Storage」で紹介した技術のメディア向け説明会を開催し、AI発展に伴うSSDの需要動向と考えられる進化の方向性、GPU性能向上で注目の「コンテキストキャッシュ」について紹介した。

[杉山康介，EE Times Japan]

わずかなコストでGPU効率5倍

　続けて濱田氏は、AIエコシステムにおいてキオクシアが注目しているという「コンテキストキャッシュ」について説明した。

　一般的なAIモデルは、データを小さなトークンに分割して扱う。トークン状態でデータをやりとりし、1つの回答に組み上げることで推論処理を行うため、濱田氏は「AIはデータセンターをトークンファクトリーへと変化させている。製造業は生産率と単位当たりのコストをKPIとするが、トークンファクトリーも同様に、トークン生成にかかる時間とコストがKPIになってくる」と述べる。

AIデータセンターは「トークンファクトリー」に［クリックで拡大］

　トークンファクトリーのKPIを上げる手法としてNVIDIAが提唱するのが、GPUが過去に行ったトークン処理の計算情報（コンテキストキャッシュ）を残しておき、新たなトークン処理で再利用する「CMX（Context Memory Storage）」だ。試算によると、既存のGPUシステムにCMXを追加することで、2〜3％の消費電力増と10％のコスト増でトークン生産量を5倍に向上できるという。

CMXでトークンファクトリー生産量を5倍に［クリックで拡大］

　キオクシアはコンテキストキャッシュ向けのソリューションとして、CMXプラットフォームに対応したSSDのCM9シリーズを提案する。FMSでは、その後継に当たるCM10シリーズも発表した。濱田氏は「わずかなコンテキストキャッシュ用のSSDを追加するだけで、コストや電力を大幅に抑えたままGPU効率を5倍に向上できる。CMXはゲームチェンジャーの技術だと考えている」とする。

CM10シリーズ［クリックで拡大］

　「生成AIによるインフラ構築の波は今まさに進行中で、一生に一度レベルの大きな変革だ。フラッシュメモリやSSDに新たな要求やチャレンジをもたらすと同時に、ビジネス機会を生み出している。AIの未来は、キオクシアの革新的な技術によって構築されると考えている」（濱田氏）