不幸な人工知能 〜尊敬と軽蔑の狭間で揺れるニューラルネットワーク：Over the AI ―― AIの向こう側に（21）（3/9 ページ）

[江端智一，EE Times Japan]

そしてまたもや、ダイナミックな手のひら返しが

　この後、「ニューラルネットワークはconvex（凸問題）でないものには使えない。これからはサポートベクタマシンだ」（関連記事：「外交する人工知能 〜 理想的な国境を、超空間の中に作る）という、よく分からない主張がされるなど（これ、論理的に奇妙な主張です）、ニューラルネットワークを続けている研究者は、思い切りディスられ、バカにされてきました ―― ディープラーニング（深層学習）が登場するまでは。

　ここから、またもや、ダイナミックな手のひら返しが始まります。

　2006年ごろ、ニューラルネットワークを諦めなかった研究者が、徐々に各種の改善（RBM、ReLU、Dropoutなど）を図っていきます。そして、カナダ・トロント大学のチームが、2012年の画像認識コンペで圧勝したことが決定打となり、これ（ディープラーニング）が、今回の第3次AIブームの火付けとなったのです^＊）。

＊）もっとも、この背景には、信じられないほど安価になった計算機リソースや、コストダウンした記憶媒体（メモリ、HDD、SSDなど）の存在があります。

　私が、このディープラーニングで、のけぞりそうになるほど驚いたことは、逆伝搬学習方式 ―― プロパゲーションを、「ニューラルネットワーク全体で行うのを止めてしまう」という、逆転の発想にありました。

　ニューラルネットワークを各層単位でぶった切って、バラバラにして、パーツ化して、そのパーツ単位で逆伝搬学習を実施させるという、言われてみれば、あーー！ その手があったかぁーー!! あったかぁーー!! あったかぁーー!! と叫んでしまいそうになるほど、劇的なパラダイムシフトだったのです（まあ、万一、私が、そのパラダイムにたどりついていたとしても、その方式を考案することはできなかったでしょう（私にはそんな知性はない））。

　このディープラーニングによって、学習収束問題は劇的に改善し、3桁を超える深いレベルの層を使ったニューラルネットワークの学習に成功するに至りました。ここに第2次AIブームの、「多層ニューラルネットワークは使えない」は完全に否定されるに至った訳です。

　AI技術というのは、こういう逆転の発想で、劇的に物事が動くことがあり、それがAI研究の魅力であるとも言えます。

　しかし ―― 私は、この深層学習（ディープラーニング）を理解した時、衝撃を受けましたが、それでも、逆伝搬学習（バックプロパゲーション）の時ほどの衝撃はありませんでした。

　それは、当時、私が「若くて純粋であった」ということがあります。それに加えて、今は、「厚顔甚だしい研究者たち（私を含む）の立ち振る舞い」を知り尽してしまったからでもあります（後述します）。

　これまで2回にわたる、壮大な「手の平返し」を知り、また、実際に体験してきた私は、現在の深層学習（ディープラーニング）でさえも、いずれ決定的な問題点が発見され、そして、3回目の「尊敬」から「軽蔑」への大転換が行われるだろう、と考えているのです。