指でなぞると話した言葉が軌跡になるUI技術：8人のデザイナーの自主研究から生まれた？

三菱電機は、話した言葉を指でなぞった軌跡に表示できる音声認識表示技術「しゃべり描きUI」を開発したと発表した。お絵かきや多言語翻訳などの機能を組み合わせることで、手話／外国語ができなくても、聴覚障がい者や外国人との円滑なコミュニケーションを実現できるという。

[庄司智昭，EE Times Japan]

喋った言葉を目に見える形に

　「耳の不自由な社員や大学生のインターンが職場にいて、そういう人たちとのコミュニケーションをもっと円滑にできないかという思いが開発のきっかけだった。『しゃべり描きUI』を通じて、聴覚障がい者や外国人と喋った言葉を目に見える形にしたい」――三菱電機デザイン研究所産業システムデザイン部の平井正人氏はこう語る。

「しゃべり描きUI」の操作イメージ （クリックで拡大） 出典：三菱電機

　三菱電機は2016年2月9日、タブレット端末やスマートフォン向けに「しゃべり描きUI」を開発したと発表した。しゃべり描きUIとは、端末の好きな場所を指で長押して、話しながらなぞると、なぞった跡に沿って、話したばかりの言葉が表示される音声認識表示技術である。自由な形状で表示でき、文字を書く手間がないのが特長だ。

　同社は今回、しゃべり描きUIにお絵かきや多言語翻訳などの機能を組み合わせたアプリケーション「しゃべり描きアプリ」も発表した。アプリでは、背景に画像を表示する機能や、手書き文字の認識機能も搭載している。人と向かい合って使っても、逆さまに表示されることがない対面二画面表示機能もある。これにより、手話／外国語ができなくても、聴覚障がい者や外国人との多様なコミュニケーションを実現するという。

動画が取得できませんでした

「しゃべり描きアプリ」を活用した、旅行先で目的地までの道のりを尋ねるデモ。しゃべり描きアプリは対面二画面表示機能があるため、向かい合って使っても、逆さまに表示されることがない。翻訳エンジンは日本語／英語／中国語／韓国語／ドイツ語など10カ国語に対応するため、外国人とのコミュニケーションも円滑に行えるという。

「しゃべり描きUI」にお絵かき／多言語翻訳の機能を組み合わせたイメージ。翻訳エンジンと音声を認識してテキスト化するのは、サードパーティー製を活用しているとした （クリックで拡大） 出典：三菱電機

「しゃべり描きUI」に背景画像表示機能を組み合わせたイメージ。聴覚障がい者にレントゲン写真を表示しながら説明を行ったり、観光客に写真を見せながら案内ができるという （クリックで拡大） 出典：三菱電機

2016年度中に実証実験へ

三菱電機デザイン研究所産業システムデザイン部の平井正人氏 （クリックで拡大）

　平井氏は、「しゃべり描きUIは、人間くさいアナログ感を大事にしている。UIのキモはいかに“気持ちの良い”操作感を出せるかが大事だからだ。その工夫として、先になぞったときと喋った場合で処理の仕方を変えている。先になぞった場合は、軌跡を先に表示して、その軌跡に処理した言葉を徐々に表示していく。先に喋った場合は、すぐに言葉が表示されないようにバッファをとり、1文字ずつ順番に表示していくといった工夫を行っている。もし指でなぞった軌跡が、喋った言葉の数よりも短い場合は、自動的に軌跡が補完されていく仕組みである」と語る。

　しゃべり描きUIは、同社のデザイナー8人が集まり、コミュニケーションの壁をUIの力で乗り越えることを目標にした自主研究プロジェクト「Design X」の開発成果である。2016年度中に大学などへ実証実験の協力を呼びかけ、事業化を目指すとしている。