生成AIを省電力で実行するアナログインメモリコンピューティング：電力やコストの課題解消を狙う（2/2 ページ）

[Majeed Ahmad，EE Times/EDN]

Sagenceのアナログインメモリコンピューティング技術、その詳細

　では、Sagenceのアナログインメモリコンピューティング技術は、AI推論が直面する電力や性能、価格、環境持続可能性といった困難な課題にどのように対処できるのだろうか。同社のインメモリコンピューティングソリューションは、アナログ技術を選択し、エネルギー効率とコストにおけるアナログ固有の利点を活用している。

インメモリコンピューティングによって、メモリとコンピューティングユニット間でデータを移動する必要がなくなり、性能と電力効率が最適化される［クリックで拡大］ 出所：Sagence AI

　まず、インメモリコンピューティングは、AI推論アプリケーションにおける効率性の本質的な要素と密接に関係している。メモリセル内のストレージと演算を統合することで、AIコンピューティングに不可欠なベクトル行列乗算を実行するための、単一目的のメモリストレージや複雑にスケジューリングされた乗算回路を排除できるのだ。

　Sagenceは、マルチレベルメモリセル内に「ディープサブスレッショルドコンピューティング」を組み込んだ初の技術だと主張している。「これは前例のない組み合わせで、スケールの大きな推論を実現するために必要な、飛躍的改善への扉を開くものだ」（Sarin氏）

　Sarin氏によると、静的にスケジューリングされた「ディープサブスレッショルドインメモリコンピューティング」アーキテクチャは非常にシンプルで、CPUやGPUに求められる動的スケジューリングのばらつきや複雑さを排除している。同氏は「動的スケジューリングは、ランタイムコードを生成するSDKに極端な要求を突きつけ、コストと消費電力の非効率をもたらす」と述べている。

　SagenceのAI設計フローは、PyTorch、ONNX、TensorFlowのような標準ベースのインタフェースを使用して学習済みのニューラルネットワークをインポートし、Sagenceのフォーマットに自動的に変換する。同社のシステムは、GPUソフトウェアがニューラルネットワークを作成したかなり後にニューラルネットワークを受け取るため、さらなるGPUソフトウェアの必要性を排除できるという。

　同社によると、大規模言語モデルLlama2-70Bを666Kトークン/秒に正規化した性能で処理するGPUと比較し、Sagenceのテクノロジーは10分の1の消費電力、20分の1の価格、20分の1のラックスペースで動作可能だという。これは、データセンターにおけるAIコンピューティングが、モデルのトレーニングからモデルの展開、推論タスクへと移行している現在、大幅な改善となる。

【翻訳：滝本麻貴、編集：EE Times Japan】

原文へのリンク