半導体レーザーのカオス現象で強化学習を高速化：1ナノ秒で意思決定（2/2 ページ）

[馬本隆綱，EE Times Japan]

1ナノ秒で強化学習を実現

　実験では、レーザーカオスを最大1000億回/秒でサンプリングし、データ処理をオフラインで行った。2台のスロットマシンの当たり確率を［0.2、0.8］、［0.4、0.6］と設定した場合に、正しい意思決定が行えるかどうかを検証した。スロットマシンの当たり確率は10ナノ秒ごとに入れ替えた。

上段はレーザーカオスを用いた超高速意思決定システムの概要、中段はレーザーカオスなどの時系列信号、下段は環境変化への適応を示したグラフ 出典：NICT他

　実験結果から、事前の知識が全くない状態から強化学習を行った場合、レーザーカオスの信号を50ピコ秒間隔でサンプリングしたときに、最も適応性に優れた性能が得られた。約20回の試行で正解率は9割台となった。1ナノ秒という極めて短い時間で強化学習を実現したことになる。

　レーザーカオスの波形を特徴づける自己相関関数の値は、強化学習の性能が最大となるサンプリング間隔50ピコ秒のときに、負の最大値を示した。これに対して、負の自己相関の最大値がより大きな擬似周期信号では、レーザーカオスを用いた場合よりも強化学習の性能が劣ることが分かった。

上段は事前の知識が全くない状態からの強化学習の実現例、下段は実験に用いた信号の自己相関関数 出典：NICT他

　強化学習はこれまで、コンピュータ上のアルゴリズムを用いて実現されてきた。今回の研究成果により、レーザーカオスを用いた方式が実証された。これにより、極めて高速な強化学習を実現することが可能になるとみている。