NVIDIAが解説するディープラーニングの基礎（前編）：歴史から仕組み、学習まで（4/4 ページ）

[松本貴志，EE Times Japan]

過学習と局所解について

　このように、層が深いディープラーニングでは勾配法と誤差逆伝播法が学習に重要な役割を果たしているが、一方で課題も存在する。その代表的なものとして、山崎氏は「過学習」と「局所解」を説明した。

　ニューラルネットワークの学習では、一般的に学習データと学習状態を検証する検証データを分けて学習の妥当性を検証する。学習が成功した場合、学習が進むにつれ学習用データと検証データの誤差が0に漸近するが、学習が失敗した場合は学習データのみ誤差が0に漸近し、検証データでは学習データほどの精度が出ないことがある。これを過学習とし、そのネットワークは一般的なデータ処理性能（汎化性能）が低い状態にあるという。

　山崎氏は過学習の回避について、隠れ層の一部パーセプトロンをランダムに無効化し学習を行う「Dropout」と呼ばれる手法が有効だと紹介した。

左：過学習のイメージ　右：Dropoutの概要

　また、以下の重み係数と誤差の関数で図示されているように、複数の極小値を持つ場合では、誤差が最も小さい重み係数でない「局所解」で学習が収束することがあるという。山崎氏は、重み係数更新のステップである学習率を学習の序盤では大きめに設定し、途中から学習率を下げていくことで局所解での学習収束を回避できるとした。

局所解のイメージ

　後編では、セッション後半で語られた畳み込みニューラルネットワークなどのさまざまなネットワークやその応用例、ディープラーニングフレームワークの概要について紹介する。

＞＞＞NVIDIAが解説するディープラーニングの基礎（後編）＜＜＜