IoT機器を直感的に操作できる最新HMIをマイコンで実現する術：音声認識もマイコン1つで

スパンション（Spansion）は、同社汎用マイクロコントローラ（MCU）FM4ファミリ ――ARM Cortex M4コア搭載―― に、HMI（Human Machine Interface）機能に対応した製品群を新たに追加した。新型MCUは、画像処理、または音声認識の機能を内蔵しており、IoT機器を直感的に操作し制御することを可能とする。

[PR／EE Times]

Embedded Innovations top＞スペシャルレポート一覧＞

　あらゆる機器がインターネットに接続されるIoT（モノのインターネット）時代を迎えつつある。身の回りにあるさまざまなIoT機器を、手軽に使いこなしたり、その価値を高めたりするための技術としてHMI（Human Machine Interface）が注目されている。スパンション（Spansion）は、ARM Cortex M4搭載マイクロコントローラ（MCU）ファミリに新しい製品群として、HMI機能に対応したMCUを新たに追加した。開発の狙いや製品の特長について紹介する。

　スパンションは、車載機器や産業機器、民生機器、通信機器など組み込みシステムに向けた半導体IC事業を展開する。ARM Cortex-M/RシリーズCPUコアをベースとした各種MCU製品に加えて、NOR/ NAND型フラッシュメモリ製品、アナログIC製品の分野においても高い技術力と製品力を有する。さらに、開発環境なども含めてさまざまな組み込みシステム向けのソリューションを提案している。

　スパンションが注力している分野で、今後大きな成長が期待できる市場の1つがIoT機器分野である。同社でマスマーケット・産業・民生ビジネスユニット担当のシニアバイスプレジデント兼ジェネラルマネージャを務めるDhiraj Handa氏は、「IoT機器を開発する中で、重要となる要素技術はMCU/メモリ、HMI、センサー、ワイヤレス、そしてエネルギマネジメントの5つである」と話す。

マスマーケット・産業・民生ビジネスユニット担当のシニアバイスプレジデント兼ジェネラルマネージャを務めるDhiraj Handa氏

　新製品は、Handa氏が要素技術の1つに挙げるHMI機能を、もう1つの要素技術MCU／メモリを使って実現している。Handa氏は、さらに主なHMI機能として「ボイス」「グラフィックス」「タッチ」そして「ジェスチャ」の4つを挙げた。この中で今回は、グラフィック処理とボイス制御の機能をそれぞれ備えたMCU製品を発表した。

直感的なヒューマンマシンインタフェース（HMI）が求められている主なアプリケーション

　「IoT機器を直観的に操作できるとともに、コスト効率にも優れたHMI機能の開発を、設計者が迅速に行えるよう支援していく」（Handa氏）方針だ。しかも、さまざまな組み込みシステムに向けたMCU製品に加えて、フラッシュメモリ技術、センサー技術、ワイヤレス技術、エナジーハーベスティング技術などをトータルで提供できるのも同社の強みである。

MCUに独自開発2DグラフィックスエンジンとVRAMを統合

FM4ファミリ製品「S6E2DH」のデモボードを使用した高品質グラフィックスの表示デモの様子 （クリックで拡大）

　今回発表した新型MCU製品の1つが、グラフィックスディスプレイコントローラ（GDC）とビデオRAMを統合したFM4ファミリ製品「S6E2DH」シリーズである。動作周波数が最大160MHzのARM Cortex-M4コアを実装している。このCPUコアとは別に、画像処理をハードウェアで処理するための独自開発2Dグラフィックスエンジンや専用のビデオRAMを内蔵した。これにより、重なり合う画像の透過処理を行うアルファブレンディングを始め、2D画像の回転、縮小/拡大、エッジ部分の粗くなった画質を補正するアンチエイリアスなどの処理をGDCで高速に実行することが可能となった。この結果、メインCPUは画像処理に関連する負荷を大幅に軽減することができ、他の処理にリソースを有効活用できる。

グラフィックスディスプレイコントローラ（GDC）とビデオRAMを統合したFM4ファミリ製品「S6E2DH」シリーズのブロック図 （クリックで拡大）

　GDCは、圧縮された画像を外部メモリから取り込んで表示させるフェッチ機能もサポートしている。S6E2DHシリーズに内蔵されたQSPI（Quad Serial Peripheral Interface）および独自の「HyperBus」インタフェースを介して、拡張用の外部フラッシュメモリと接続することができる。ビットマップ形式などの画像データをあらかじめ圧縮した、外部フラッシュメモリに記憶させておけば、比較的データ量の大きい表示用画像でも短時間で転送することが可能である。可逆圧縮のため画像の劣化もなく表示させることができるという。

　特に、HyperBusインタフェースのデバイスは読み取り速度が最大333Mバイト/秒（S6E2DHシリーズ接続の場合、最大200Mバイト/秒）で、QSPIに比べて5倍に相当する速さである。その上、画像データは圧縮して保存されているため、外部メモリの容量も少なくて済むことになる。これらの画像処理技術は、同社の車載機器用途MCUで採用されるなど、既に数多くの実績があるという。

　この他、I²C/SPIを利用して、外部のタッチセンサーやTFT液晶モジュールと接続することができる。これまでは、実装されたCPUコアの処理能力や部材コストの制限などから、モノクロLCD表示にしか対応できなかった家電機器やAV機器、産業機器、ウェアラブル機器/ヘルスケア機器などの用途において、新型MCU製品を採用することで、QVGAあるいはそれ以上の解像度を持つカラーグラフィックス表示への切り替えが可能になるという。解像度は、内部ビデオRAMで最大WVGAまで、外部にSDRAMを拡張すれば最大SVGAまで対応することが可能である。

　S6E2DHシリーズは、パッケージが120端子のLQFP品とLQFP-SiP品、161端子のBGA品の他、外部にSDRAMを拡張するためのインタフェースを内蔵した176端子のLQFP品などを用意した。

　市販されている主要なサードパーティー製オーサリングツールの利用や自社製ツールの場合、設計者は表示させたい画面を作成するだけで済み、ソースコードは開発ツール側で自動生成される。また、自社製のスターターキットを利用することで、さらに開発が容易になる。

話者に依存せず方言なども認識、ボイス制御MCU

　新型MCU製品の2つ目が、ボイスコマンド制御を1チップに統合したFM4ファミリ製品「S6E2CCxxF」と「MB9BF568F」である。S6E2CCxxFは動作周波数が最大200MHzのARM Cortex-M4コアを内蔵し、搭載するフラッシュメモリの容量によって1Mバイト品と2Mバイト品が用意されている。MB9BF568Fは同じCPUコアながら動作周波数は最大160MHzで、フラッシュメモリの容量は1Mバイトである。これらのボイス制御MCU製品に、外付けで16ビット音声コーデックや疑似SRAMなどを接続すれば、音声認識の機能ブロックを実現することができる。

ボイスコマンド制御を1チップに統合したFM4ファミリ製品「S6E2CCxxF」のブロック図 （クリックで拡大）

　ボイス制御MCU製品には、入力した音声を認識するソフトウェア「ASR（Automatic Speech Recognition）」が実装されている。事前にユーザーコマンドを定義して、テキストファイルを作成する。最終的にユーザーコマンドは、幾つかの発音記号で表現し、ライブラリとしてフラッシュメモリに登録される。音声認識は具体的に言葉を音として識別し、登録されたライブラリの発音記号と比較することで、入力した音声を認識する仕組みだ。このため、イントネーションの違い、方言なども解釈することができ、話者に依存しない認識が可能となる。一例だが、「ライブテレビ」という言葉も8パターンの発音記号が用意されているという。つまり、入力した音声が登録された8パターンの発音記号のいずれかと合致すれば認識されることになる。

動画が取得できませんでした

FM4ファミリ製品「S6E2CCxxF」の評価ボードを使用した音声入力デモ。入力した音声を認識し、音声と同じテキストを表示させている

　定義するユーザーコマンドとして、「25℃に設定」（エアコンなど）、「強く」、「弱く」（以上、扇風機）、「明るく」「暗く」（以上、照明器具）「10階」（エレベーター）などを事例として紹介した。ボイス制御MCU製品の評価用モジュールで検証できるのは、マイクで入力された音声を認識し、ディスプレイにテキスト表示する機能までだが、機器制御に必要な信号を出力することができるため、別の制御用モジュール/ボードなどと組み合わせた実際の機器では、動作制御を音声で行うことが可能となる。

　前述の通り、ボイス制御MCU では事前にテキストファイルでユーザーコマンドを定義して、そのコマンドをコンパイルしライブラリとしてフラッシュメモリに登録しておく。ユーザー側でもボイスコマンドおよび音声記号の追加/変更は可能だが、メモリ容量の制限から、登録可能なボイスコマンドは最大200種類という。既にサポートされている言語は英語、ドイツ語、中国語、および日本語である。今後はスペイン語やフランス語についても、対応していく計画だ。

　ボイス制御MCU製品についてHanda氏は、「音声認識処理をクラウドベースではなく、ローカルでリアルタイムに実行できるのが特長の1つである。推定値だが音声認識の処理は、ARM Cortex-M4コアが備えている演算能力の半分程度の負荷で済み、ユーザーコマンドを格納するためのメモリ容量も0.5Mバイト程度である」と述べ、ソフトウェア処理でも十分実用レベルであることを示した。

　なお、ボイス制御MCU製品ではデュアルフラッシュバンク構成を採用している。片方のフラッシュメモリブロックで演算処理やデータ収集を行いながら、もう一方のフラッシュメモリブロックでは、IoT機器にとって必須の機能であるプログラムの更新などを同時に実行することができる。このため、組み込みシステムの動作を停止させることなく、機能の強化などをソフトウェアで容易に行うことも可能である。

　スパンションは、2014年11月にARM社からCortex-M7コアライセンスを取得したことを発表し、高機能CPUコアを実装した汎用MCUをさらに拡充していく。

---

Embedded Innovations top＞スペシャルレポート一覧＞