20億パラメータのLLMを2.5Wで動かす Hailo最新チップ：エッジでもLLMを（1/2 ページ）

Hailoが、第2世代「Hailo-10」ファミリーの第1弾となる製品「Hailo-10H」の量産を開始した。20億（2B）パラメータの大規模言語モデル（LLM）を、2.5Wで動作できるという。

[Sally Ward-Foxton，EE Times]

　AIチップのスタートアップHailoが、第2世代の「Hailo-10」ファミリーの最初の製品「Hailo-10H」の市場投入を開始した。発表時の1年前（2024年）よりも、低い消費電力を実現したという。Hailo-10Hは現在量産が可能で、実測性能ベースで20億（2B）パラメータ規模の大規模言語モデル（LLM）を約2.5Wで動作させることが可能だ（発表当初の10シリーズの電力性能ポイントは、同じシリコンのシミュレーションベースで5W／70億（7B）パラメータのモデルの動作時）。HailoのCEOであるOrr Danon氏は、米国EE Timesのインタビューに応じ、「Hailo-10シリーズは今後、さまざまな電力性能ポイントの製品を取りそろえていく予定だが、市場には大きなギャップが存在していたことから、2.5Wのパワーエンベロープが第1の選択肢となるのは当然のことだった」と述べている。

Hailo CEO、Orr Danon氏 出所：Hailo

　「エッジでは大多数の人々が、10億〜30億パラメータでワークロードを実行しようとしている。これは、性能やメモリ容量、コストなどの観点からも、一般的な設定である」（Danon氏）

　Hailo-10Hは、Hailoの第2世代アーキテクチャをベースとしており、トランスフォーマーアーキテクチャ向けのサポートを改善し、よりフレキシブルな数値表現や、複数モデル向けの同時推論などを実現するという。処理能力は、INT8で最大20TOPS（またはINT4で40TOPS）を達成可能だが、2.5Wの電力性能ポイントでこの数値を実現できるのかは不明だ。

　Hailoは、Hailo-10Hで複数の2B言語モデルとマルチモーダルモデルを動作させるデモを行い、最初のトークンが出力されるまでの時間（TTFT：Time To First Token）が1秒未満、スループットは10トークン／秒超であることを実証したという。

「クラシックAI」も実装可能

　第2世代アーキテクチャには、LLM／生成AIと並行して、Danon氏が「クラシックAI」と呼ぶ、コンピュータビジョンやオーディオ処理のような既存のエッジワークロードを実行する機能が追加されている。例えば、YOLOv11mを4Kビデオストリームでリアルタイム実行することが可能だ。

　Danon氏は「さまざまな顧客企業から、『同じデバイス上で同じソフトウェアスタックを使用してクラシックAIを実行したい』という要望が寄せられている。2024年には数千件の相談が寄せられた。相談者たちは、『エッジの生成AIで何を行うのか』について、あるいは『複数のモダリティやLLM、VLM（Vision-Language Model）、畳み込みニューラルネットワーク（CNN）などを、同じプラットフォームのトランスフォーマーアーキテクチャとどう組み合わせるのか』について、さまざまなアイデアを持っていた」と述べる。

　「デバイスメーカーは一般的に、クラウドベースのAIで概念実証（PoC：Proof-of-Concept）段階には問題なく到達できるが、実際のコンピューティングコストや接続性、プライバシー、可用性などの実用的な課題を考慮すると、多くの企業がエッジソリューションを検討することになる」とDanon氏は述べる。

　「そして、特にサイズに制約のある組み込み型ファンレスデバイスの場合、2Wや3Wで何ができるのか、M.2のフォームファクターに何が収まるのかといった現実的な検討事項にたどり着く。そこで出番となるのが当社だ」（Danon氏）

　重要なのは、Hailo-10HがHailoの既存のソフトウェアスタックと互換性があることだ。

　Danon氏は「当社は『Hailo-8』で築いた評判を維持するために、非常に高い基準を維持しながら、適切なソフトウェア開発キット（SDK）と共にこの製品をリリースすることに多大な労力を注ぎ、市場で実現可能なものを確実に提供するために、細心の注意を払ってきた。これは単なるPoCレベルのソリューションではなく、実際に製品化できるものだ」と述べている。