メディア

「エッジでもLLMを動かす」　韓国新興DEEPX：HBMではなくLPDDRにこだわる（3/3 ページ）

» 2024年10月21日 15時30分公開

HBMではなく、LPDDRにこだわる

　「当社はLPDDRにこだわっている。これは重要なポイントだ。HBM（広帯域メモリ）は、帯域幅は優れているが、コストと消費電力の点でモバイル機器に適していない。帯域幅が限られていることから（LLMに）実装するのが難しいにもかかわらず、LPDDRに重点を置いているのはそのためだ」とKim氏は説明する。

　「DEEPXのチップにLLMを実装することは、ソフトウェア上の大きな課題だ。当社はまだ、量子化技術をLLMに適用していない」（Kim氏）

　一方、DEEPXのロードマップの次のチップとなる「V3」は、以前提案された「L2」を中国と台湾の顧客からの要請に応じて再設計したものである。15TOPSのデュアルコアDEEPX NPUと「Arm Cortex A52」クアッドコアCPUを搭載し、平均5W以下で動作する。V1と同じ12MP ISPに加えて、SLAM（Simultaneous Localization And Mapping）およびレーダーアプリケーションをサポートする75GFLOPSのDSPも搭載する。

　「以前はRISC-V CPUを使用していたが、顧客はArmを望んでいた。そのため、Armクアッドコアをターゲットにした。また、顧客はNPUのアップグレードではなく、より強力なISPであるUSB 3.1を望んでいた。そこで、設計を見直した」（Kim氏）

　Kim氏は、「顧客がArmのCPUを望んだ理由の一つに、多くの顧客がセキュリティカメラシステムを構築しており、Armのエコシステムがより優れたセキュリティソリューションを提供できることがある。他の顧客は、現在ArmでサポートされているがRISC-Vはまだ対応していないロボットオペレーティングシステムを導入したいと考えている。だが、RISC-Vにはまだエコシステムがない」と付け加えた。

【翻訳：滝本麻貴、田中留美、編集：EE Times Japan】

原文へのリンク

ハーバード中退コンビのLLM向けチップ新興が資金獲得
ハーバード大を中退した20代コンビによるAIチップ新興Etched.aiが、シードラウンドで536万米ドルを獲得した。同社のLLMアクセラレーターは、NVIDIAのH100 PCIeと比較し、1ドル当たり140倍のスループットを達成できるという。
Transformerモデルの推論を実行するエッジAIチップ
XperiからスピンアウトしたAIチップ開発の新興企業Perceiveが、第2世代チップ「Ergo 2」をリリースした。1万パラメータ超のTransformerモデルの推論をエッジで実行可能だという。
組み込み機器でも生成AIが使える　日本発のアクセラレーター
エッジAI（人工知能）向けのアクセラレーターを手掛ける日本のスタートアップEdgeCortixが、新しいプラットフォーム「SAKURA-II」を発表した。CNN（畳み込みニューラルネットワーク）モデルだけでなく、トランスフォーマーモデルを容易に実装できることが特徴だ。
Intelの最新AI戦略と製品　「AIが全てのタスクを引き継ぐ時代へ」
Intelは、同社の年次イベント「Intel Vision 2024」にて、エッジからクラウドまであらゆる所でのAI（人工知能）の活用を目指す「AI Everywhere」戦略に関する製品や戦略を説明した。
Rapidusとも提携、Tenstorrentの現状と戦略
2nmプロセスベースのAIエッジデバイス領域での半導体IPに関して、Rapidusと提携を結んだTenstorrent。同社CEOのJim Keller氏が今回、米国EE Timesのインタビューに応じ、事業の現状や戦略などを語った。