NEDOとOKI、深層学習モデルの軽量化技術を開発：エッジデバイスへのAI搭載を加速

新エネルギー・産業技術総合開発機構（NEDO）と沖電気工業（OKI）は、ディープラーニング（深層学習）モデルの軽量化技術を開発した。

[馬本隆綱，EE Times Japan]

認識精度の劣化は約1％、演算量は約80％削減

　新エネルギー・産業技術総合開発機構（NEDO）と沖電気工業（OKI）は2019年9月、ディープラーニング（深層学習）モデルの軽量化技術を開発したと発表した。高精度モデルに比べ、認識精度の劣化を約1％に抑え、演算量は約80％も削減できるという。

　ディープラーニングは画像や音声の認識などに活用されている。ただ、認識性能を向上させたディープラーニングモデルは、大量の演算リソースが必要で電力消費も大きくなる。車載システムやスマートフォン、組み込みシステム上で活用するには、モデルの軽量化が不可欠となる。

　これまで、軽量化を可能にする方法として、チャネルプルーニング技術などが提案されてきた。モデルの畳み込み層から冗長なチャネルを削減し、チャネルに関連する演算、パラメーター、メモリ容量を削減する技術である。ところが、この方法は手間がかかる割には、演算量などを十分に削減できないという課題があった。

従来のチャネルプルーニング手法によるチャネルの削減効果 出典：NEDO、OKI

　NEDOとOKIはこれまで、NEDO事業としてモデル軽量化技術の開発に取り組んできた。そして今回、OKI独自のチャネルプルーニング技術「PCAS（Pruning Channels with Attention Statics）」を発展させ、モデル軽量化を可能とする技術を開発した。PCAS技術は、チャネルの重要度推定にアテンションモジュールを導入。これによって認識性能の維持効果を高め、層単位の削減率設定をなくすことができる技術である。

アテンションに基づくモデル軽量化技術「PCAS」の概要 出典：NEDO、OKI

　新たに開発した軽量化技術は、多様な分岐や合流経路を含むモデルでも柔軟に対応できるようにした。ディープラーニングモデル内の分岐経路は、経路ごとに認識性能にかかわるチャネルが異なるため、その差異を吸収する必要があるという。

　そこで、各分岐には単一チャネルに対し複数のアテンションモジュールを用意し、複数経路のチャネルの重要度を全体最適で推定。重要なチャネルを自動選択することで認識性能を維持し、演算量を大幅に削減することに成功した。さらに、経路によって異なるチャネル構成の不一致を整合させる仕組みと、学習過程の詳細な分析に基づく誤差伝播量の制御方法も開発し、さまざまなモデルに対して認識性能の向上を図った。

開発したモデル軽量化技術 出典：NEDO、OKI

　開発した軽量化技術は、ベンチマークに用いられる一般的な高精度モデルに比べて、認識精度の劣化は約1％に抑え、積和演算回路と処理時間をそれぞれ約80％も削減できたという。演算性能や電力消費などに制限があるエッジデバイスなどへの応用を目指す。

　NEDOとOKIは今後、低ビット演算環境にも対応し、さらなる高度化と高効率化に取り組む計画だ。大規模な認識モデルへの適用も予定している。