Rain NeuromorphicsがアナログAIのデモチップをテープアウト：ReRAM利用で高性能を実現（2/2 ページ）

[Sally Ward-Foxton，EE Times]

ランダムに分散されたデンドライト接続

　なぜデンドライト接続は、チップ全体でランダムに分散されているのだろうか。

　Kendall氏は、「ランダム性が重要とされる理由は、ニューラルネットワークの規模がかなり大きい場合に、ある程度の疎密性を維持する必要があるためだ。しかしその場合、どのニューロンを選べばよいだろうか。例えば格子や規則的なパターンなど、管理された手法で選ぶとなると、その情報を処理すべき方法に対して大きな先入観が入ったり、仮説が導入されたりすることになる。しかしそれは、学習の全体目標に反する」と述べる。

　「学習の目標は、“パターンを発見すること”であるべきだ」（Kendall氏）

　“ランダム”は、完全に正確であるとはいえない。実際のところ、“ランダムに”分散されたデンドライトは、各層を形成するために使われるリソグラフィマスクによって定義されるため、各チップで同じだ。ある程度の構造が導入される場合もある。1つの戦略として挙げられるのが、脳の接続と同様に、長距離接続ではなく短距離接続を多く導入するというものだ。Rain Neuromorphicsのアルゴリズムは最終的に、最適な接続パターンを決定することができるが、今のところは以下の2つの手法に注力しているという。

　1つ目の手法は、広く知られているスパース性パターンで、最適化されたネットワークを取り出し、リソグラフィマスクでパターンを複製するというもの。もう1つは、生物学的モチーフから着手するという方法で、こちらの方が難易度が高い。その理由としては、（このような生物学的モチーフのメリットを評価するために必要とされる）大規模な疎行列の積和演算が、既存のAIアクセラレータハードウェアには適していないという点が挙げられる。Rain NeuromorphicsはToDoリストの中に、「モジュール方式とスモールワールド性を備えたモチーフの実現」を掲げている。

　Kendall氏は、「われわれとしては、これらが全て生物学的な脳のプロパティであるということを理解している。これまでにも、脳内でどのように実行され、どのように機能するのかについて、多くの人々が仮説を立てている。当社は直ちに、さまざまな種類の大量のパターンについてテストを開始することにより、機能するものとしないものとを判断できるようにしたい」と述べている。

　Rain Neuromorphicsのロードマップには、さまざまな種類のスパース性パターンを備えたチップを開発することが掲げられている。これは、さまざまな部位で異なるタスクを処理するという脳の機能によく似ている。スパース性パターンを備えたチップは、さまざまな種類のAIワークロードに対応することが可能だ。また同社は、ナノワイヤ技術関連の取り組みも進めていくことにより、1つのステップで高密度のメモリ素子を蒸着できるようにしたい考えだ。

ReRAMの特性

　商用PIMチップは、フラッシュやDRAMなどのメモリ技術を適用している。Rain Neuromorphicsは、ReRAMの耐性や消費電力量、書き込み速度、保持特性などをベースとして使用しているという。

　Kendall氏は、「フラッシュは性能面で大きな壁に直面している。レイヤー数を追加することはできるが、それはニューラルネットワークの学習においてあまり関係がない。より重要な点としては、『基本的なレベルにおいて耐久性が制限されていること』と『デバイスの切り替えに必要な速度』、そして『読み出し動作の消費電力量』の3つが挙げられる。これらが、トレーニングを実行する上でのボトルネックとなっている」と述べる。

Rain NeuromorphicsのCEO、Gordon Wilson氏 出所：Rain Neuromorphics

　同氏は、「ReRAMは、高度なプロセスノードにおいてさらなる微細化が可能なため、密度の面でメリットを提供することができる。フラッシュを超える耐性を実現できる可能性も秘めている」と指摘する。

　2021年にテープアウトされたチップは、1万個のニューロンを実装した180nm CMOSプロセスで、Rain Neuromorphicsのアーキテクチャのデモを披露している。研究チームは、メモリスタの重みの更新（トレーニング）と行列の乗算（推論）を行った。同社の学習アルゴリズムは、SONOSのフラッシュアレイ上での学習に比べ3倍以上の速度を示し、「最先端の精度だ」と主張している。

　Rain Neuromorphics のCEO（最高経営責任者）、Gordon Wilson氏は、「当社の技術は、例えば40nmプロセス技術に移行することで、1チップ上に数千万個のニューロンを搭載するまでに拡張できる可能性がある」と述べている。

【翻訳：田中留美、編集：EE Times Japan】

原文へのリンク