隠れニューラルネットワーク理論に基づく推論LSI：オンチップモデル構築で転送量半減

東京工業大学は、「隠れニューラルネットワーク」理論に基づいた「推論アクセラレータLSI」を開発した。新提案のオンチップモデル構築技術により、外部メモリへのアクセスを大幅に削減。世界最高レベルの電力効率と推論精度を実現した。

[馬本隆綱，EE Times Japan]

演算効率は最大34.8TOPS/W、推論精度はImageNet70.1％を達成

　東京工業大学科学技術創成研究院の劉載勲准教授や本村真人教授らによる研究チームは2022年2月、「隠れニューラルネットワーク（Hidden Neural Network）」理論に基づいた「推論アクセラレータLSI」を開発したと発表した。新提案の「オンチップモデル構築（On-chip Model Construction）」技術により、外部メモリへのアクセスを大幅に削減。世界最高レベルの電力効率と推論精度を実現した。

　深層ニューラルネットワーク（DNN）と呼ばれる人間の脳を模した情報処理モデルを用い、画像や映像情報から状況を判断する深層学習（ディープラーニング）は、自動運転車やロボット、顔認証などの分野で、活用が期待されている。ところが、推論に必要となる情報量が爆発的に増加し、計算時の電力消費が増えるため、自動車やドローンなど移動機器では課題となっていた。

　2020年には、軽量なDNNモデルを実現する技術として「隠れニューラルネットワーク」理論が登場した。今回の研究では、この隠れニューラルネットワーク理論に着目。「重みを学習しない」「スーパーマスクで部分ネットワークを発掘する」という、これまでのDNNにない2つの特長を備えたDNN推論アクセラレータを実現した。

隠れニューラルネットワーク理論の概念図 出所：東京工業大学

　研究チームは今回、隠れニューラルネットワーク理論を効率的に扱うことができる「ヒデナイト（Hiddenite：Hidden Neural Network Inference Tensor Engine）」と呼ぶハードウェアアーキテクチャを考案。そして実際にTSMCの40nmプロセスを用い、推論アクセラレータLSIを試作した。

　新たに開発した推論アクセラレータLSIは、二値の重みとスーパーマスクが必要となるため、モデルサイズは二値化ネットワークの2倍となる。しかし、「オンチップモデル構築」技術により、二値化ネットワークに比べ転送量を約半分に減らすことができ、全体の電力消費も大幅に削減できるという。

従来技術とヒデナイトによる推論LSIのデータ転送量比較 出所：東京工業大学

　ヒデナイトは、重みとスーパーマスクがそれぞれ1ビットであるため乗算器を必要とせず、ニューロン演算器を多数配置して並列演算を行うことができる。この能力を生かすため、畳み込みニューラルネットワークの4次元（入力チャネル数、特徴マップの高さ、特徴マップの幅、出力チャネル数）方向に、バランスよく割り当てる工夫も行った。

ヒデナイトアーキテクチャの概略 出所：東京工業大学

　試作した推論アクセラレータLSIのチップサイズは3×3mmで、4096個のニューロン演算器を並列動作させ、4次元の並列性を生かした高速推論処理を行うことができる。DNNモデルの転送量を二値化ネットワークの半分に抑えながら、最大34.8TOPS/Wの演算効率を実現。しかも、この時の消費電力は約40mWと極めて小さい。推論精度もImageNet70.1％で、従来と同等の値を達成したという。

隠れニューラルネットワーク理論に基づくDNN推論アクセラレータLSIの外観 出所：東京工業大学

今回実現したモデルサイズと認識精度および、従来技術との比較（Resnet50、ImageNet、活性値8ビット） 出所：東京工業大学