深層強化学習法により、超音波モーターを最適制御：遠隔手術装置などへの応用に期待

東京大学は、深層強化学習法を用いて、超音波モーターを最適駆動する制御システムを開発した。超音波モーターを手術ロボティックスや触覚提示システムなどへ搭載することが可能になるという。

[馬本隆綱，EE Times Japan]

ActorニューラルネットワークとCriticニューラルネットワークを構築

　東京大学大学院新領域創成科学研究科の森田剛教授（現在は大学院工学系研究科精密工学専攻）とアブドラ ムスタファ氏、笹村樹生氏は2022年5月、深層強化学習法を用いて、超音波モーターを最適駆動する制御システムを開発したと発表した。超音波モーターを手術ロボティックスや触覚提示システムなどへ搭載することが可能になるという。

　超音波モーターは、「重量当たりのトルクが大きい」「小型化が可能」「高速応答性に優れている」といった特長を持つ。半面、温度上昇によって各種パラメーターが変化することや、入力電圧信号に対する回転出力の非線形性が強いことなどから、最適に制御するのが難しかったという。

　そこで今回、深層強化学習法を適用した超音波モーターの制御手法を新たに開発し、従来の課題を解決した。具体的には、強化学習法の中でも連続値制御のための有力手法である「Soft Actor-Critic（SAC）」を用い、超音波モーターへの入出力関係を学習する「Actorニューラルネットワーク」と、このシステムを評価する「Criticニューラルネットワーク」を構築した。

　Actorニューラルネットワークの入力パラメーターには、駆動周波数や超音波モーターの温度、エンコーダーで計測した回転速度、目標回転速度として駆動周波数の増減量を出力するシステムとした。

超音波モーター制御における深層強化学習のシステム構成 出所：東京大学

　実験では、目標回転速度を変化させながら超音波モーターを制御し、実際の回転速度との関係からニューラルネットワークの重み付けパラメーターを学習することにより、極めて柔軟な制御則を得ることができたという。Criticニューラルネットワークの出力による評価値も、収束することを確認した。学習で得られたパラメーターを用いて超音波モーターを駆動すれば、温度変化に対応しながら、最適条件で高速駆動させることが可能になる。

上図は深層強化学習法の学習履歴、下図は深層強化学習法による制御システムを用いた回転速度制御の結果 出所：東京大学

　深層強化学習法は今回、回転速度の制御に適用したが、トルク制御や位置制御、コンプライアンス制御、効率最適化などに対しても有用な手法だという。