「エッジでもLLMを動かす」 韓国新興DEEPX：HBMではなくLPDDRにこだわる（2/3 ページ）
エッジAI（人工知能）用チップの開発を手掛ける韓国のスタートアップDEEPXが、取り組みを活発化させている。将来的には、LLM（大規模言語モデル）を動作できるようにすることを目指すという。
「GPUより優れたAI精度」
DEEPXは特許を60件保有し、282件申請している。Kim氏は、「これは他のどのオンデバイスAIチップメーカーよりも多い」と述べている。ただし同氏は、ハードウェアとソフトウェアの両方に「4つまたは5つの」異なる技術を搭載していると明かしただけで、同社の量子化技術がどのように機能するか、詳細は明らかにしていない。
M1で、2種類のAIモデルを動作させているデモ。姿勢検知用にYOLOv5を、セマンティックセグメンテーション用にDDR Netを走らせている。このデモで使用したAIシステムは、Hyundai Motor Robotics Labと共同で開発したPoC（Proof of Concept）である［クリックで拡大］
「DEEPXは、INT8を使用しているにもかかわらず、GPUより優れたAI精度を提供する世界で唯一の企業ではないか。当社は、GPUを越えると自負している」（Kim氏）
V1のサンプルは2023年11月から市場に出ている。Kim氏によると、同社は現在、欧州、北米、アジアの約100社の顧客と取引しているという。
同社は以前、EE Timesに対し、「自動車分野の顧客にNPUをライセンス供与する」と語っていた。Kim氏によると、主に欧州と日本の自動車メーカーとの間で交渉が進んでいるという。自動車メーカーはアプローチを変えつつある。以前はチップメーカーがティア1の要望を聞いて対応していたが、現在は、独自のAIアクセラレーターチップを製造するTeslaに対抗すべく、自動車メーカー自身がチップメーカーに直接コンタクトを取るようになっているという。
同氏は、「中国市場にもチャンスがある。中国の自動車メーカーは、2027年までに全ての車載アプリケーションに中国製のチップを搭載することを義務付けられているが、高度なNPU技術を持っていない。そのため、NPU IPに対する（中国からの）需要は高い」と述べている。
DEEPXの最優先事項は、依然としてチップの販売であると同氏は明言している。
エッジデバイスでLLMをサポート
DEEPXは、次世代チップでTransformerをさらにサポートする計画だという。
Kim氏は、「現在、当社は一部のTransformerしかサポートしていない。（NPUでは）Transformerエンコーダーはサポートしているが、デコーダーはサポートしていない。技術的には可能だが、それよりも、次世代チップでのサポートに注力している」と述べている。
2025年末に登場する次世代チップは、エッジデバイスでLLM（大規模言語モデル）をサポートするという。Kim氏によると、M.2モジュールは、5W以下で毎秒20〜30トークンを提供できる見通しだ。これは、DEEPXのAI研究グループが現在、共同研究を行っている韓国の家電大手LGを含む潜在顧客からの要請に応えたものである。Kim氏は、「テレビの寿命期間中ずっとデータセンターでAI推論を行うと、テレビのプライスポイントを上回るコストが掛かるため、LGはモバイル機器や自動車、白物家電のDEEPXチップにLLMを移植することに興味を示している」と述べている。
「（デバイスにAIを搭載することは）LGのLLMジネスモデルにとって、実に理にかなっている。だからこそ、われわれは協力している。同社がLLM技術を提供してくれることで、当社はモデルの特性について学び、オンデバイスアプリケーション向けに最適化することができる」（Kim氏）
その結果、デバイスのLLM向けに最適化されたNPUチップが実現できる。Kim氏は、「最初のバージョンは、アクセラレーターのみになる予定だ。今のところエンドポイントデバイスでは、必要なメモリ容量に対応できないため、LLM対応SoCを実現するには3〜5年かかるだろう」と述べている。
Copyright © ITmedia, Inc. All Rights Reserved.