【ESEC 2010】身ぶり手ぶりで機器を操作、ジェスチャ認識システムは実用段階へ（前編）：センシング技術

[前川慎光，EE Times Japan]

　デジタル・テレビやPC、デジタル・カメラ、携帯電話機など、身の回りにあるさまざまな電子機器に、利用者の意思を伝えるより良い手法は何か･･･。機器開発者が、常に頭を悩ませている課題かもしれない。

　押しボタン式スイッチを使ったリモコンに加えて、最近では触れて操作するタッチ・スイッチやタッチ・パネルの利用が進んでいる。これらに加えて、機器操作の新手法として、2008年ころから注目を集めているのが「ジェスチャ・インターフェース」である。

　いわば、身ぶり手ぶりで機器を操作するもので、例えば横方向や縦方向に手を動かすことで、テレビの音量を上げたり、選局したりできる。これまでの機器操作は利用者が機器に触れることが前提だった。一方のジェスチャ・インターフェイスは、利用者が機器に触れる必要がないことが大きく異なる。用途は、デジタル家電やアミューズメント機器、デジタル・サイネージと幅広い（図1）。

図1　ジェスチャ認識システムでデジタル家電の使い勝手を高めることを目指す　ジェスチャ認識システムを使えば、ディスプレイに表示させた膨大な写真から希望の写真を探し出すのも容易になるかもしれない。表示写真は、東芝情報システムのデモ画面。

　2010年5月12日〜14日の会期で開催された組み込み機器の総合展示会「第13回組込みシステム開発技術展（ESEC 2010）」では、ジェスチャ・インターフェイスを使うことで、機器操作の自由度が高まることを、複数の企業がアピールしていた。「2010年以降、ジェスチャ・インターフェイスを採用した機器が普及するだろう」（複数の説明者）という期待が背景にあるようだ。中には、「ゲーム機をはじめとしたアミューズメント機器の分野では、一気に広がる可能性もある」といったコメントもあった。

　実際、島根県にある水族館「しまね海洋館アクアス」では、「時期はまだ未定だが、島根県産業技術センターが開発したジェスチャ装置を設置すべく、具体的に検討している」（しまね海洋館アクアスの担当者）という。手をかざしたり、動かしたりすることで、イルカのトレーニング体験ができるというもの。「ジェスチャ装置をはじめて見たとき、未来的だと感じた。現在はタッチパネルの設備があり、子どもたちが喜んで使っている。ジェスチャ装置は、操作に慣れるまで少し時間が掛かるかもしれないが、子どもたちに喜んで使ってもらえると期待している」（同担当者）と語った。

安価に、プロセッサの負荷は軽く、操作はシンプルに

　ジェスチャ・インターフェイスでは、利用者の動きを何らかの手法で数値情報に変える必要がある。利用者の動きを数値情報に変える仕組みに、各社の違いがある。以下では展示会で撮影した写真を見ながら、各社の取り組みを紹介しよう。

　図2は、東芝情報システムが開発した「組み込み機器向け次世代UI開発用ライブラリAirSwing」である。

図2　東芝情報システムが開発した「組み込み機器向け次世代UI開発用ライブラリAirSwing」

　デジタル・テレビをフォト・ビューアとして使ったデモと、デジタル・サイネージ端末に適用したデモを披露していた。図2は、フォト・ビューアとして使ったデモの様子である。手を横方向または縦方向に動かすことで、写真をスクロールしたり、縮小/拡大したりできる。図2では分かりにくいものの、利用者が自らの動作を認識しやすくするために、ディスプレイには利用者の姿をうっすらと表示させている。

　利用者の動きは、カメラで撮影した映像を画像処理することで抽出している。具体的には、映像の隣接するフレームを比較して、肌の色の部分の差分を算出することで、利用者の動きを監視する。この肌の色の部分がディスプレイ中の特定の領域（検出領域）を通過したときに、機器制御のためのトリガー信号を出す仕組みである。図2のデモでは、ディスプレイの中央部上、中央部下、中央部左、中央部右の4つの検出領域がある。利用するカメラは、Webカメラのような安価なカメラでよいという。

　縦方向や横方向といった簡潔な動作のみに対応するようにしたことで、利用者が複雑なジェスチャを覚える必要がなくなるというメリットがある。「安価に、プロセッサの負荷は軽く、操作はシンプルにという3点を追求した」（同社の説明員）。ARM 11コア（動作周波数400MHz）のプロセッサを使ったとき、プロセッサの使用率は平均5％程度だという。現在、開発キット（SDK）やAPI（Application Programming Interface）の用意を進めている段階である。

画像認識用の並列処理プロセッサを利用

　図3は、ルネサス エレクトロニクスが展示したジェスチャ・インターフェイスを採用したテレビである。これも利用者の手の動きを認識して、表示している画像を切り替えたりする様子を見せていた。

図3　ルネサス エレクトロニクスが展示したジェスチャ・インターフェイスTV

　利用者の動きは、東芝情報システムのデモと同様に、一般的なカラー・カメラで撮影した映像を画像処理することで抽出している。ただし、画像処理の手法が大きく異なる。ルネサス エレクトロニクスが見せていたデモでは、まず取得した画像に顔認識処理を施すことで、テレビの前に利用者がいるかどうかを判別する。利用者がいる場合は、顔の横で手を振る動作をトリガーにして、利用者の手の動きの認識を始める。その後であれば、例えば手を左や右に振る、回転させる、スナップさせる（ものを投げる動作）というような動作を使って、機器を操作できるという仕組みである。

　プロセッサには、自動車での画像認識処理に採用実績がある「IMAPCAR2」を使った。歩行者や障害物の検知という用途に使われている。このプロセッサは、最大64個の演算器を使って画像を高速に並列処理できることや、動作周波数が低いため消費電力が小さいといった特徴があるという。

　ジェスチャ認識ソフトウエアの開発は、画像処理技術に強みを持つベンチャー企業「モルフォ」が担当した。同社は、ESECのデモに使ったジェスチャ認識ソフトウエア「Morpho Gesture Control」の販売を、2010年5月11日に開始した。