「エッジでもLLMを動かす」 韓国新興DEEPX:HBMではなくLPDDRにこだわる(3/3 ページ)
エッジAI(人工知能)用チップの開発を手掛ける韓国のスタートアップDEEPXが、取り組みを活発化させている。将来的には、LLM(大規模言語モデル)を動作できるようにすることを目指すという。
HBMではなく、LPDDRにこだわる
「当社はLPDDRにこだわっている。これは重要なポイントだ。HBM(広帯域メモリ)は、帯域幅は優れているが、コストと消費電力の点でモバイル機器に適していない。帯域幅が限られていることから(LLMに)実装するのが難しいにもかかわらず、LPDDRに重点を置いているのはそのためだ」とKim氏は説明する。
「DEEPXのチップにLLMを実装することは、ソフトウェア上の大きな課題だ。当社はまだ、量子化技術をLLMに適用していない」(Kim氏)
一方、DEEPXのロードマップの次のチップとなる「V3」は、以前提案された「L2」を中国と台湾の顧客からの要請に応じて再設計したものである。15TOPSのデュアルコアDEEPX NPUと「Arm Cortex A52」クアッドコアCPUを搭載し、平均5W以下で動作する。V1と同じ12MP ISPに加えて、SLAM(Simultaneous Localization And Mapping)およびレーダーアプリケーションをサポートする75GFLOPSのDSPも搭載する。
「以前はRISC-V CPUを使用していたが、顧客はArmを望んでいた。そのため、Armクアッドコアをターゲットにした。また、顧客はNPUのアップグレードではなく、より強力なISPであるUSB 3.1を望んでいた。そこで、設計を見直した」(Kim氏)
Kim氏は、「顧客がArmのCPUを望んだ理由の一つに、多くの顧客がセキュリティカメラシステムを構築しており、Armのエコシステムがより優れたセキュリティソリューションを提供できることがある。他の顧客は、現在ArmでサポートされているがRISC-Vはまだ対応していないロボットオペレーティングシステムを導入したいと考えている。だが、RISC-Vにはまだエコシステムがない」と付け加えた。
【翻訳:滝本麻貴、田中留美、編集:EE Times Japan】
Copyright © ITmedia, Inc. All Rights Reserved.
関連記事
- ハーバード中退コンビのLLM向けチップ新興が資金獲得
ハーバード大を中退した20代コンビによるAIチップ新興Etched.aiが、シードラウンドで536万米ドルを獲得した。同社のLLMアクセラレーターは、NVIDIAのH100 PCIeと比較し、1ドル当たり140倍のスループットを達成できるという。 - Transformerモデルの推論を実行するエッジAIチップ
XperiからスピンアウトしたAIチップ開発の新興企業Perceiveが、第2世代チップ「Ergo 2」をリリースした。1万パラメータ超のTransformerモデルの推論をエッジで実行可能だという。 - 組み込み機器でも生成AIが使える 日本発のアクセラレーター
エッジAI(人工知能)向けのアクセラレーターを手掛ける日本のスタートアップEdgeCortixが、新しいプラットフォーム「SAKURA-II」を発表した。CNN(畳み込みニューラルネットワーク)モデルだけでなく、トランスフォーマーモデルを容易に実装できることが特徴だ。 - Intelの最新AI戦略と製品 「AIが全てのタスクを引き継ぐ時代へ」
Intelは、同社の年次イベント「Intel Vision 2024」にて、エッジからクラウドまであらゆる所でのAI(人工知能)の活用を目指す「AI Everywhere」戦略に関する製品や戦略を説明した。 - Rapidusとも提携、Tenstorrentの現状と戦略
2nmプロセスベースのAIエッジデバイス領域での半導体IPに関して、Rapidusと提携を結んだTenstorrent。同社CEOのJim Keller氏が今回、米国EE Timesのインタビューに応じ、事業の現状や戦略などを語った。