検索
ニュース

組み込み機器でも生成AIが使える 日本発のアクセラレーターEdgeCortixが「SAKURA-II」を発表(2/3 ページ)

エッジAI(人工知能)向けのアクセラレーターを手掛ける日本のスタートアップEdgeCortixが、新しいプラットフォーム「SAKURA-II」を発表した。CNN(畳み込みニューラルネットワーク)モデルだけでなく、トランスフォーマーモデルを容易に実装できることが特徴だ。

Share
Tweet
LINE
Hatena

ピーク帯域幅が68Gバイト/秒のDRAMを搭載

 M.2モジュールは、8Gバイトまたは16Gバイトの堅牢なメモリを搭載していて、これはエッジで生成AIワークロードを実行する上で重要である。特筆すべきはDRAMの帯域幅で、「競合のAIアクセラレーターに比べて2〜4倍の帯域幅を持つ」(Vehling氏)という。「AIモデルのパラメータ数が桁違いに増加する中、エッジで生成AIを実行するためには広い帯域幅が極めて重要だ。SAKURA-IIに搭載したDRAMのピーク帯域幅は68Gバイト/秒になる。エッジAI向けとしてはかなり高い」


SAKURA-IIの2種類のフォームファクターと仕様。PCIeカードの方が、SAKURA-IIを1個搭載した「Single」と2個搭載した「Dual」がある。SingleとDualは、カメラの数や解像度、実行するAIモデルの規模などに合わせて選ぶ[クリックで拡大] 出所:EdgeCortix

 EdgeCortixが提供するMERAは、モデルの生成からSAKURA-IIへの実装までを包括的にサポートする。従来のCNNモデルだけでなく、パラメータ数が70億〜80億などのLLMなど、新しいTransformerモデルにも対応している。

MERAの構造サポートするモデルの一例 MERAの構造(左)と、サポートするモデルの一例[クリックで拡大] 出所:EdgeCortix

 Vehling氏は、エッジAIには、それに特化したアクセラレーターが電力効率の点では最もよいと述べる。「CPUは設計に柔軟性があるが、AIアプリケーション向けには最適化されておらず電力効率は低い。GPUは高性能だが電力消費量が大きく、こちらも電力効率の点でいえば低い。エッジAIは、コスト、サイズ、電力の点で他のアプリケーションよりも制約が多いので、エッジAIに最適化したアクセラレーターが不可欠であるというのが、われわれの考え方だ」

Copyright © ITmedia, Inc. All Rights Reserved.

ページトップに戻る