この後、「ニューラルネットワークはconvex(凸問題)でないものには使えない。これからはサポートベクタマシンだ」(関連記事:「外交する人工知能 〜 理想的な国境を、超空間の中に作る)という、よく分からない主張がされるなど(これ、論理的に奇妙な主張です)、ニューラルネットワークを続けている研究者は、思い切りディスられ、バカにされてきました ―― ディープラーニング(深層学習)が登場するまでは。
ここから、またもや、ダイナミックな手のひら返しが始まります。
2006年ごろ、ニューラルネットワークを諦めなかった研究者が、徐々に各種の改善(RBM、ReLU、Dropoutなど)を図っていきます。そして、カナダ・トロント大学のチームが、2012年の画像認識コンペで圧勝したことが決定打となり、これ(ディープラーニング)が、今回の第3次AIブームの火付けとなったのです*)。
*)もっとも、この背景には、信じられないほど安価になった計算機リソースや、コストダウンした記憶媒体(メモリ、HDD、SSDなど)の存在があります。
私が、このディープラーニングで、のけぞりそうになるほど驚いたことは、逆伝搬学習方式 ―― プロパゲーションを、「ニューラルネットワーク全体で行うのを止めてしまう」という、逆転の発想にありました。
ニューラルネットワークを各層単位でぶった切って、バラバラにして、パーツ化して、そのパーツ単位で逆伝搬学習を実施させるという、言われてみれば、あーー! その手があったかぁーー!! あったかぁーー!! あったかぁーー!! と叫んでしまいそうになるほど、劇的なパラダイムシフトだったのです(まあ、万一、私が、そのパラダイムにたどりついていたとしても、その方式を考案することはできなかったでしょう(私にはそんな知性はない))。
このディープラーニングによって、学習収束問題は劇的に改善し、3桁を超える深いレベルの層を使ったニューラルネットワークの学習に成功するに至りました。ここに第2次AIブームの、「多層ニューラルネットワークは使えない」は完全に否定されるに至った訳です。
AI技術というのは、こういう逆転の発想で、劇的に物事が動くことがあり、それがAI研究の魅力であるとも言えます。
しかし ―― 私は、この深層学習(ディープラーニング)を理解した時、衝撃を受けましたが、それでも、逆伝搬学習(バックプロパゲーション)の時ほどの衝撃はありませんでした。
それは、当時、私が「若くて純粋であった」ということがあります。それに加えて、今は、「厚顔甚だしい研究者たち(私を含む)の立ち振る舞い」を知り尽してしまったからでもあります(後述します)。
これまで2回にわたる、壮大な「手の平返し」を知り、また、実際に体験してきた私は、現在の深層学習(ディープラーニング)でさえも、いずれ決定的な問題点が発見され、そして、3回目の「尊敬」から「軽蔑」への大転換が行われるだろう、と考えているのです。
Copyright © ITmedia, Inc. All Rights Reserved.