生成AI向け基盤モデルのメモリ使用量を98％削減：枝刈りアルゴリズムを新たに開発

中部大学の研究チームは、生成AIに必要となる「基盤モデル」のメモリ使用量を、従来に比べ98％も削減可能なアルゴリズムを開発した。開発したアルゴリズムを物体認識に適用したところ、従来と同等の性能が得られることを確認した。

[馬本隆綱，EE Times Japan]

再学習によって大きく変化しなかったパラメーターを枝刈り

　中部大学の研究チームは2023年7月、生成AIに必要となる「基盤モデル」のメモリ使用量を、従来に比べ98％も削減可能なアルゴリズムを開発したと発表した。開発したアルゴリズムを物体認識に適用したところ、従来と同等の性能が得られることを確認した。今後は半導体メーカーと手を組み、早期実用化を目指す。

　生成AI技術は、文書や画像の生成において、その活用が注目されている。こうした中で、自動運転車や工作用ロボットなどに向けた用途では、エッジ端末側でリアルタイム処理を行う必要がある。そこで取り組んだのが、大規模な基盤モデルのメモリ使用量を削減して処理時間を短縮しても、実用レベルの性能が得られるアルゴリズムの開発である。

　演算量を減らすアルゴリズムとしてはこれまで、事前学習時に求めたパラメーターの中で、値（重み）が小さいものを「枝刈り」する方法などが考えられていた。これに対し研究チームは、枝刈りをするパラメーターについて、事前学習で得た「重み」で選ぶのでなく、「チューニング（再学習）によって大きく変化する」パラメーターを選ぶことにした。

　実験の結果によると、再学習で大きく変化しなかったパラメーターを、最大98％枝刈りしても、刈り取る前とほぼ同等の出力が得られることが分かった。約6.3億個のパラメーター数で構成される汎用的な基盤モデルについて、開発したアルゴリズムを用い98％枝刈りした。これにより、特定用途向けモデルのパラメーター数は約1260万個となり、2.35Gバイトだったメモリ使用量を、47Mバイトに削減できたという。これだけ使用量が小さくなれば、特定用途向け組み込みシステムでも、画像生成AIを構築できる可能性があるとみている。

枝刈りアルゴリズムのイメージ［クリックで拡大］ 出所：中部大学

　ちなみに、1750億個のパラメーターで構成される文書生成AIの代表的な大規模言語モデルに、今回のアルゴリズムを適用した場合、演算に必要なメモリ容量を約560Gバイトから約11Gバイトに削減できるという。つまり、PC単体で質問の入力から文書の生成まで対応可能になることが分かった。

　今回の研究成果は、中部大学工学部情報工学科の山下隆義教授と理工学部AIロボティクス学科の藤吉弘亘教授、AI数理データサイエンスセンターの平川翼講師、大学院工学研究科情報工学専攻の小濱大和大学院生らによるものである。