映像認識AI技術で正しい手洗い動作を自動判定：富士通研究所とFRDC

富士通研究所と富士通研究開発中心有限公司（FRDC）は、手洗いが正しい方法で行われたかどうかを自動で判定できる映像認識AI技術「行動分析技術Actlyzer（アクトライザー）手洗い動作認識」を開発した。

[馬本隆綱，EE Times Japan]

「両手の全体形状」と「こすりの反復動作」で捉える

　富士通研究所と富士通研究開発中心有限公司（FRDC）は2020年5月、手洗いが正しい方法で行われたかどうかを自動で判定できる映像認識AI技術「行動分析技術Actlyzer（アクトライザー）手洗い動作認識」を開発したと発表した。

　両社はこれまで、撮影した映像から人の行動を認識する独自のAI「行動分析技術 Actlyzer」を開発している。今回はこの技術に「手指動作の認識機能」を追加した。これによって、衛生管理のために義務付けられている手洗い動作の確認を、従来の目視から自動に切り替えることが可能になるという。

　開発した技術を用いると、両手の全体形状と手洗いの一連の動きから、手洗い時の複雑な手指の動作を自動で認識することができる。例えば、厚生労働省が推奨している「正しい手の洗い方6ステップ」についても、規定された通りに実行されたかどうかの合否判定を自動で行えるという。

正しい手の洗い方6ステップ 出典：富士通研究所

　これまでも、ハンドジェスチャー認識技術などを用いて、手や指の動作を認識することはできた。しかし、両手が重なり泡の影響などもある手洗い動作だと、手指の特徴点を正確に検出できず、正しく認識できないケースもあるという。

従来のハンドトラッキング技術（左はジェスチャー認識、右は手洗い動作への適用例） 出典：富士通研究所

　開発したAI技術は、手洗いの複雑な手指動作を、「両手の全体形状」と「こすりの反復動作」の組み合わせとして捉え、「両手形状認識」と「動き認識」という2つのディープラーニングエンジンを用いて検出することにした。

　両手形状認識エンジンは、規定された両手基本形状について、あらかじめ学習したモデルを用い、映像の各フレームに対して手形状を判定する。また、データ変化を追跡できる富士通独自のAI技術「High Durability Learning」を適用し、撮影中にカメラ位置や照明が変化した場合でも、両手基本形状を高い精度で認識できるようにした。

　動き認識エンジンは、連続フレームから周期的に変化する動きを検出する学習済みモデルを利用する。これによって反復パターンとその周期から、反復回数をこすり回数として判断する。これら2つの認識エンジンによる結果を相互にフィードバックし、手洗いに関係ない手の揺れによる誤検出を防ぐなど、認識精度をさらに高める工夫も行っているという。

両手の全体形状と動きパターンの組み合わせにより、複雑な両手指の動作を認識 （クリックで拡大） 出典：富士通研究所

　両社は、開発したAI技術を用い検証を行った。人やカメラ位置、せっけんの種類などを変えて約2000パターンの手洗い映像を撮影。これらの学習モデルを用いて、「正しい手の洗い方6ステップ」について確認した。この結果、95％以上の平均判定精度で手洗い動作を認識することができたという。また、手をこすった回数の判定精度は90％以上であることも確認した。

手洗い動作認識の様子

手洗い動作認識画面のイメージ （クリックで拡大） 出典：富士通研究所