1.2TB/s、24GBのHBM3 Gen2 LLMの学習を高速化：Micronがサンプル出荷を開始（2/2 ページ）

Micron Technologyは2023年7月、生成AI（人工知能）などの用途に向けて、1.2Tバイト/秒のメモリ帯域幅と、24Gバイトの容量を実現したHBM3 DRAM「HBM3 Gen2」のサンプリング出荷を開始したと発表した。

[村尾麻悠子，EE Times Japan]

LLMの学習時間を短縮

　これらの特長からHBM3 Gen2は、大規模言語モデル（LLM）の学習時間を短縮できる、AI推論向けに高効率なインフラを構築できるといった利点を提供できるとする。Micronによれば、HBM3をHBM3 Gen2に置き換えた場合、GPT3.5の学習時間は30％短縮し、推論のクエリ処理能力は50％向上するという。

HBM3 Gen2の特長と、HBM3 Gen2によるAIの学習／推論性能の向上［クリックで拡大］ 出所：Micron Technology

　Micronのコンピュート&ネットワーキング事業部門 バイスプレジデント兼ゼネラル・マネージャーのPraveen Vaidyanathan氏は、2023年7月27日に開催されたアジアの報道機関向けの説明会で、より広帯域幅で大容量のメモリが必要とされている背景について、「爆発的ともいえるAIの拡大が続き、アプリケーションの幅が広がっていることが挙げられる」と語った。特に、コンピューティングやメモリへの要求が大きい生成AIやHPC、大量のデータを扱うディープラーニングが、けん引する要因になっていると続けた。

　さらに、AI処理に向けたサーバ（AIサーバ）は汎用サーバとは異なり、DRAM搭載量が6〜8倍になると言及。こうした背景により、HBM市場（ビットベース）は2022〜2025年にかけて、年平均成長率（CAGR）50％以上で成長するとの予測を紹介した。

HBMの市場成長予測（ビットベース）［クリックで拡大］ 出所：Micron Technology

12層の36Gバイト品も2024年にサンプル出荷へ

　Vaidyanathan氏は、「MicronはAIインフラに必要なメモリに対する、あらゆるニーズに応えたい」と述べ、今後のロードマップも紹介した。

　HBM3 Gen2では、8層を積層した今回の24Gバイト品に加え、12層を積層した36Gバイト品のサンプル出荷を2024年第1四半期に開始する予定だ。2026年以降には、帯域幅と容量をさらに高めた「HBMNext」をリリースするという。

　2024年前半には128Gバイト/秒（32Gbps）のGDDR7を市場に投入する他、「MRDIMM（Multi-Ranked DIMM）」や「CXL（Compute Express Link）」対応のメモリも発表するとみられる。Micronは2021年3月に、Intelと共同開発した不揮発メモリ「3D XPoint」の開発から撤退し、CXL対応のメモリ開発へと舵を切る戦略を発表していた。

Micronのメモリのロードマップ。「MRDIMM」「CXL」といった新しい規格も書かれている（ビットベース）［クリックで拡大］ 出所：Micron Technology