DRAM不足で変わるAIシステム設計 エッジAIや特化型モデルに追い風：「大規模化」から「最適化」へ（2/2 ページ）

[Avi Baum，EE Times]

リソースの制約は設計の前提に

　DRAM不足は、必ずしもAIの成長を鈍化させるわけではない。AIをより現実的なものへと強制的に変化させているのだ。

　設計の意思決定はかつて、モデルサイズやメモリフットプリントの他、どこで推論を実行するのかなど、抽象的なものだった。しかし現在はコストや可用性、そしてシステムが本当に導入可能なのかどうかという点に直接結び付いている。このため、技術的に可能なものと実際に実現可能なものとの差が縮まってきている。

　実際、性能の定義そのものも変化しつつある。特に、レイテンシや消費電力、メモリ制約などが固定された状態で継続的に実行する必要があるタスクでは、より大規模なモデルの方が優れているとは限らない。ローカル導入されたドメイン特化型のモデルが、最適な選択肢となる場合が多い。

　エッジAIは、このようなモデルに適した設計となっている。メモリ構成は実際に利用可能なものと合致していて、導入モデルも制約のあるコンポーネントや集中型インフラへの依存度を軽減している。

　これは、モデルサイズやメモリ要件の他、日々のタスクにおける「効果的な性能」とは何かを再検討することにつながる。多くの場合、ドメイン特化型のモデルは、特にレイテンシやプライバシー、消費電力量が重要な検討事項とされる環境下において、大規模な汎用システムよりも実用的であることが実証されている。

　こうした点で、制約を考慮した設計は、ある種の安定性をもたらす。より厳しいメモリ制約下で構築されたシステムは、コスト変動や供給の不透明性による影響を受けにくい。開発チームは、リソース可用性を予測できないような環境でも、より高い予測可能性をもって導入／拡大していける。

　問題はもはや「どれだけ多くのAIタスクを実行できるか」ではなく、「重要なAIタスクをいかに効率的に実行するか」なのだ。

【翻訳：田中留美、編集：EE Times Japan】

原文へのリンク