自動運転やロボティクスにマルチモーダルLLM適用を目指す：米Ambarella（2/3 ページ）

[Sally Ward-Foxton，EE Times]

ロボットへの応用にも適している

　マルチモーダルモデルは、自動運転と同様に、ロボット工学の分野にも革命を起こしつつある。新しいアプリケーションの開発にはコストと時間がかかるが、マルチモーダルモデルは、さまざまなロボティクスタスク向けにAIをトレーニングする代わりに、一般的な知識レベルからスタートして、少数のタスク例でトレーニングすることができる。

　Ambarellaの新しいAI開発スタック「Cooper Developer Platform」は、ロボット工学のようなエッジアプリケーションを想定して構築されている。Kohn氏によると、2024年初めに発売されたSoC（System on Chip）「N1」は、既存の「CV3-HD」と同じNVP（Neural Vector Processor）を搭載したシリコンをベースにしていて、Cooper Developer Platformとともに提供されるという。

　「特にロボット工学においては、ハードウェアプラットフォームを独自開発して自社の標準ハードウェアデバイスと統合することは望まれていない。簡単に入手でき、すぐに使いこなしてテストを始められるものが求められている」とKohn氏は述べる。

　Cooper Developer Platformには、Transformerモデル専用の新しいライブラリとツールのセットが含まれている。

　Kohn氏は、「Transformerのサイズは、一般的なコンピュータビジョンモデルよりも桁違いに大きいため、大規模なモデルを効率的に実行できるように多くのソフトウェア開発を行った。それを実現し、DRAMの帯域幅を可能な限り活用するには、ソフトウェア側で新しいアプローチが必要だった」と語った。

　また、リアルタイム（バッチサイズ1）アプリケーションのレイテンシ性能を最適化するために、新しいソフトウェアも必要だったという。

　同氏は、「これには、新しいソフトウェア構造と、チップ上の6つのNVPエンジンを活用する必要があった」と付け加え、「バッチサイズが1であっても、計算を6つのエンジンす全てに分散させなければならないからだ」と説明した。

　これには数カ月の開発期間を要したという。

　Ambarellaは以前、N1をデータセンター市場に提供することを検討していたという。だが、Kohn氏は、「N1の真の強みはエッジにあり、マルチチップシステムに拡大する可能性はまだある」と主張している。