3DセンサーとAIで骨格認識、体操競技の採点を支援：CEATEC 2019

[村尾麻悠子，EE Times Japan]

　富士通は、「CEATEC 2019」（2019年10月15〜18日、幕張メッセ）で、3D（3次元）センシングと機械学習を活用する自動採点システムなどを展示した。

　この自動採点システムは、演技している選手の動きを3Dレーザーセンサーで収集し、そこから骨格データを生成する。あらかじめデータベースとして用意している“技を正しくできた時の骨格データ”をモデルとして、推論によって、ほぼリアルタイムにその選手の骨格データを生成。両者を比較し、正しく採点できるよう支援する仕組みになっている。

　同システムは、富士通が国際体操連盟と2016年から共同で開発してきたもので、ドイツ・シュトゥットガルトで開催された「第49回世界体操競技選手権大会」（2019年10月4〜13日）で、あん馬と吊り輪、跳馬（男女とも）の計4種目に実際に使われた。あん馬、吊り輪、跳馬それぞれに4個ほど3Dレーザーセンサーを取り付け、1秒間に200万回のレーザーを選手に当てて、そこから得られた点群データを基に骨格データを生成する。

　3Dレーザーセンサーと、骨格データを生成するための推論エンジンは、どちらも富士通が開発。国際体操連盟からフィードバックをもらってブラッシュアップを重ねてきた。

左＝3Dレーザーセンサーの本体。実物は、まだドイツ（！）にあり、CEATECには間に合わなかったという／中央＝3Dレーザーセンサーで収集した点群データと、推論によって生成した骨格データ（ディスプレイ上部に表示されているもの）／右＝自動採点システムを表示したディスプレイ（クリックで拡大）

　「体操は技の種類が多い上に、年々高度になっている。審査員の目だけでは判断が難しい時に、それをサポートするシステムとなっている」と富士通の担当者は語る。「今後は、他の種目にも採用を広げていってほしいし、五輪などを含め、国際大会の場で使ってもらいたいと思っている。競技だけでなく、トレーニングや、新しいスポーツ観戦の開発にも応用できるのではないか」（同社）

　なお、この自動採点支援システムは、「CEATEC AWARD 2019」の総務大臣賞を獲得している。

製造業向けのVR

　この他、製造業向けのVR（仮想現実）技術「DIPRO Xphere（ディプロ クロスフィア）を参考出展した。富士通のグループ会社であるデジタルプロセスが開発しているもの。製造設備や自動車などを設計する際、そのデータをVR空間上にリアルスケールで3次元表示し、プロトタイプを作らなくても、部品の取り付けや取り外し、組み立て順番といった作業を、実際の視点で確認できるようになるという。

　3次元データを軽くし、高速に表示する同社の技術によって、自動車1台のフルアセンブリをVR空間上に再現して確認しても、人の動きに追従する高速レスポンスを実現でき、“VR酔い”がないという。

　現在対応しているVRヘッドマウントディスプレイはHTCの「VIVE」のみ。「リフレッシュレートが90Hzと高速で、視野角も110度と広いことから、VIVE対応とした」（同社）という。DIPRO Xphereは、2019年末のリリースを予定している。

「DIPRO Xphere」の概要（左）。手元のコントローラーを利用し、“部品をつかんで外す、取り付ける”といった動作もVR空間上でできる（クリックで拡大）