“目線”でピアノを弾く！ 視線追跡型ヘッドマウントディスプレイを楽器演奏に応用：全国の特別支援学校に届けたい

視線追跡の機能を搭載したヘッドマウントディスプレイを使い、“目線”だけでピアノを弾けるシステムが誕生した。視線で弾きたい音を選択し、まばたきすると、ヘッドマウントディスプレイに接続されたピアノから実際に音が鳴るという仕組みである。

[EE Times Japan]

　視線を追跡する機能を搭載したヘッドマウントディスプレイ「FOVE」の開発を手掛けるFOVEは2014年12月18日、FOVEを用いて、手や腕を使わずに目線だけでピアノを演奏できるピアノシステム「Eye Play the Piano」を開発したと発表した。

　Eye Play the Pianoは、

1. FOVEに搭載した視線追跡機能で、ユーザーの視線の動きを感知する
2. 視線で演奏できるように開発したインタフェース上のパネルに視点を合わせることで、自分が弾きたい音を選択する
3. まばたきによって選択している音のMIDI信号が送られ、FOVEに接続されたピアノから実際に音が鳴る

という仕組みになっている。弾いた音を伸ばしたい（＝ピアノのペダルを踏む）時は、頭を下に傾ければよい。

「Eye Play the Piano」のイメージ。弾きたい音を目線で選択すると、「FOVE」に接続されたピアノから音が出る（クリックで拡大） 出典：FOVE

単音モード（左）と和音モード（クリックで拡大） 出典：FOVE

　Eye Play the Pianoは、2014年7月頃にスタートした、筑波大学附属桐が丘特別支援学校とFOVEが共同で進めるプロジェクトでもある。ヘッドマウントディスプレイFOVEを、医療/特別支援教育分野へ活用し、児童/生徒の表現の可能性を広げることが目的だ。

　脊髄性筋萎縮症である同校高等部二年生の沼尻光太さん（17歳）が、Eye Play the Pianoを使ったピアノ演奏を披露している。沼尻さんは、Eye Play the Pianoの開発者の1人でもあり、Eye Play the Pianoには沼尻さんの意見を多く取り入れているという。

Eye Play the Pianoでピアノを演奏する沼尻光太さん（クリックで拡大） 出典：FOVE

　同プロジェクトは、ギターやドラムなどにもFOVEを応用することも検討している。

　なお、Eye Play the Pianoを日本全国の特別支援学校にも届けられるよう、ファンドレイジングサイト「JustGiving」で寄付を開始する。

　FOVEは、東京大学大学院生が中心となって 2013年に設立された、テクノロジー開発ラボ「Intellectual Backyard株式会社」が出資している企業。2014年5月に設立された。