性能と演算量を調整可能なスケーラブルAI技術：2023年までの実用化を目指す

東芝と理化学研究所（理研）は、学習済みAIの性能をできる限り落とさずに、演算量を調整できる「スケーラブルAI技術」を開発した。プロセッサの処理能力が異なる応用システムの場合でも、AIエンジンの共有化が可能となる。

[馬本隆綱，EE Times Japan]

演算量を1/3に削減しても、分類性能の低下率を2.1％に抑える

　東芝と理化学研究所（理研）は2021年8月、学習済みAI（人工知能）の性能をできる限り落とさずに、演算量を調整できる「スケーラブルAI技術」を開発したと発表した。プロセッサの処理能力が異なる応用システムの場合でも、AIエンジンの共有化が可能となる。

　AIエンジンは、適用するシステムやサービスに合わせて、AIのモデルサイズなどを設計／開発していた。このため、開発に必要な期間やコストが増え、課題となっていた。しかも、個別対応となるため、その管理も煩雑になっていたという。

　これらの課題を解決する手法として、「スケーラブルAI」が注目されている。利用するシステムの演算能力に応じて、単一のAIを展開することができるからだ。しかし現状では、「演算量を落とすとAI性能も低下する」という課題があったという。

上図は新技術を開発した背景、下図はスケーラブルAIの効果 出典：東芝、理研

　そこで東芝と理研は、2017年4月に設立した「理研AIP−東芝連携センター」で、性能の低下を抑えて演算量を調整できる、スケーラブルAI技術の開発を行ってきた。そして、独自の深層学習技術により、学習済みのAIがその性能を維持しつつ、処理能力が異なるプロセッサでも動作可能な技術を開発した。

　具体的には、フルサイズの深層ニューラルネットワーク（フルサイズDNN）を、誤差が出ないように近似した「小さな行列」に分解し、演算量を削減する「コンパクトDNN」を用いる。従来のコンパクトDNNと異なるのは、演算量を削減する方法だ。

　これまでは、全ての層で行列の一部を一律に削除していた。開発した技術は、重要な情報が多い層の行列をできるだけ残しながら演算量を削減する。これによって、近似による誤差を極めて小さくすることに成功した。

開発した技術の特長 出典：東芝、理研

　学習中は、演算量が異なるさまざまなコンパクトDNNからの出力と、フルサイズDNNからの出力の差が小さくなるよう、フルサイズDNNの重みを更新する。これによって、あらゆる演算量の大きさで、バランスよく学習できるという。

学習後は、適用するシステムに適したコンパクトDNNへと、フルサイズDNNを展開することが可能である。さらに、学習によって演算量と性能の対応関係が可視化され、組み込みシステムに搭載するプロセッサの選択が容易になるという。

　実験では、著名な一般画像の公開データを用い、被写体に応じてデータを分類するタスクの精度を評価した。この結果、学習したフルサイズDNNから演算量を1/2、1/3および、1/4に削減しても、分類性能の低下率はそれぞれ1.1％、2.1％、3.3％に抑えることができたという。ちなみに、従来のスケーラブルAIによる低下率は、それぞれ2.7％、3.9％、5.0％であった。

　東芝と理研は今後、開発した技術をハードウェアアーキテクチャに対して最適化。その上で、エッジデバイスなどへの適用を進め、その有効性を検証していく。2023年までには実用化したい考えである。