NXP SemiconductorsのAI戦略/技術部門担当グローバルディレクターを務めるAli Ors氏は「Embedded Vision Summit 2025」において、エッジデバイス上で大規模言語モデル(LLM)推論を実現するという同社の戦略の詳細を説明した。
NXP Semiconductors(以下、NXP)のAI戦略/技術部門担当グローバルディレクターを務めるAli Ors氏は、米国カリフォルニア州サンタクララで2025年5月20〜22日に開催された「Embedded Vision Summit 2025」において、エッジデバイス上で大規模言語モデル(LLM)推論を実現するという同社の戦略の詳細を説明した。
NXPのアプリケーションプロセッサ「i.MX-8M+」および「i.MX-95」はいずれもNPU(Neural Processing Unit)を搭載している。i.MX-95は、自動車や産業、スマート家電などのアプリケーションにおいて約40億パラメータ未満のLLM向け推論に対応するという。より規模の大きいLLMの場合には、外部アクセラレーターチップが必要になる。
NXPは2025年2月、AIアクセラレーターチップのスタートアップKinaraを買収することを発表した。KinaraのLLM特化型チップ「Ara-2」は、最大40eTOPS(40TOPSのGPUに相当。KinaraのアクセラレーターはMACアレイではないので、同社はTOPSという単位での数値を提示していない)を提供する。Ara-2は、最大16GB(ギガバイト)のLPDDR4を備え、高速データレート転送が可能なDDRをサポートする。NXPアプリケーションプロセッサや他のCPUなどのホストとは、PCIe/USB経由で接続するという。
Ors氏は「現在i.MX-8M+またはi.MX-95を使用している機器では、Ara-2を追加することでより大型のLLMをサポートできる。さらなる拡張が必要な場合は他のアクセラレーターも使用できる。Ara-2は、複数のデータストリームやモデルを同時に実行できるので、エージェントベースのワークロード向けとして不可欠だ。このような機能は、NXPにとって特に魅力的だ」と述べている。
ディスクリートAIアクセラレーターと連携するということは、アプリケーションプロセッサを単体で使用する場合よりも優れた性能を提供できるということだ。また、新しいオペレーター/モデルなどの変化するニーズや、エージェントAI/フィジカルAIといった新しいパラダイムに適応しうる汎用性も提供できる。
KinaraのこれまでのAIアクセラレーターチップ出荷数量は約50万個に達していて、その大半は組み込みアプリケーションやLenovoのAI PCなどを含むアプリケーションに向けたパイロットプログラムやユースケース評価で使われている。
Kinaraは既にPoC(Proof of Concept)を完成させ、NXPのアプリケーションプロセッサ上での実証を行っているという。Ors氏は「これは、ソフトウェア統合のレベルを示しているのではなく、単に両社のソフトウェアスタックが意図した通りに機能するということを示す」と述べている。
Ors氏は、プレゼンを終えた後に行った米EE Timesのインタビューの中で「顧客確保を追求し、Kinaraと共に勝利を目指していく中で、Kinaraが複数の大手企業の重要なデザインウィンを獲得するのを目の当たりにした。これはつまり、同社の技術が独立検証されていたということだ」と述べる。
Copyright © ITmedia, Inc. All Rights Reserved.