「理論限界を超える高精細化を実現」、4Kテレビ向け超解像で工学院が新提案：ディスプレイ技術

家庭用テレビの最上位機種として既に4K対応モデルが登場している。しかし現状では4Kの映像コンテンツはほとんど流通していない。そのためハイビジョンの映像信号を拡大し、「超解像技術」を使って画質を高めて表示している。その超解像技術で「従来の理論限界を超える」という新方式を工学院大学の研究グループが開発した。

[鈴木啓一，EE Times Japan]

　工学院大学 情報学部情報デザイン学科 合志清一教授の研究グループは、ハイビジョンの映像コンテンツを4Kフォーマットのテレビに出力する際の拡大変換に適用可能で、「従来の理論的限界を超える」（合志教授）という超解像技術を開発し、2012年12月12日、報道機関向け説明会でデモを披露した。

　合志教授によれば、旧来の超解像技術は、映像を構成する画像のナイキスト周波数を超える高精細成分は再生できず、それが高精細化の理論的な限界だとされてきた。これに対し工学院大学が提案する独自方式は、簡単な非線形信号処理を施すことでナイキスト周波数を超える高精細成分を作り出す（本稿では以下、この方式を「非線形超解像」と呼ぶ）。既存方式では実現できなかったレベルの高精細化が可能になり、ボケ感のない、くっきりと鮮明な高解像度映像が再生できるのが特徴だという。

デモの様子である。手前側は従来の超解像機能を備えた市販の4Kテレビ。奥側は4Kモニターで、工学院大学が提案する新手法を適用した信号処理ユニットの試作機を介して、フルハイビジョンの映像信号を供給している。その信号処理ユニットをオン／オフすることで、映像の改善効果を実演した。

対応コンテンツ不在の4Kテレビ、超解像技術に注目

　家電市場では既に薄型テレビの最上位機種として4K対応モデルが登場している。ディスプレイの画素数が約4000×2000と多く、フルハイビジョン（フルHD、約2000×1000画素）の約4倍に相当するモデルである。

　その一方で、4Kフォーマットの映像コンテンツの流通は非常に限られているのが実情だ。テレビ放送も、現時点ではハイビジョンやフルハイビジョンのフォーマットに対応がとどまっており、4K化にはまだ時間がかかる。これが、フルハイビジョンの映像信号を4Kテレビで再生する際の拡大変換で画質を高める超解像技術が注目される理由だ。

従来技術は限界と課題を抱える

工学院大学 情報学部情報デザイン学科で教授を務める合志清一氏が説明した。同氏は、NHKの放送技術研究所技術局に長く勤務した後、2008年にシャープに移り、ディスプレイシステム研究所の副所長を務めた。2011年4月より現職。

　合志教授によると、従来、デジタルハイビジョンテレビなどに用いられてきた高精細化技術には大きく2種類の方法がある。

　1つは、超解像技術が導入される以前に採用されていた手法で、映像を構成する画像中のエッジを検出して強調し、くっきり感を出すというものだ。「エンハンサー」や「アンシャープマスク」として知られる技術である。ただしこれには、エッジを強調し過ぎると粒状のノイズが目立ってしまったり、エッジの周辺にリンギングと呼ばれる波紋状のノイズが生じやすかったりする問題点があった。

　もう1つが旧来の超解像技術で、「再構成型超解像」と呼ばれる手法をとる。消費者向けに現在市販されている4Kテレビでは、例えば東芝の「REGZA（レグザ）」シリーズがこの再構成型超解像技術を採用している。映像を構成する数多くの画像（フレーム）のうち、時間的に近い複数のフレームから解像度の最も高い部分を抜き出して組み合わせ、精細度を高めた1枚のフレームを“再構成”するという方式だ。精細感は高まるものの、元の画像の解像度を超えるような画像は原理的に作り出せない。「元の画像のナイキスト周波数を超える高精細成分は再現していない。従って、処理後の画像が持つ情報の量は、元の画像のままだ。単に、元の画像を大きく引き延ばしたにすぎない」（合志教授）。

　加えて再構成型超解像は、処理を担う回路やソフトウェアが複雑になる課題や、静止画では再構成の材料になる元の画像が1枚しか存在しないので原理的に適用できないという制約もあった。

全ての課題を解決できる

　工学院大学が提案する非線形超解像は、これらの従来方式が抱えていた課題を全て解決できるという。具体的には、ナイキスト周波数を超える、元の画像に存在しない高精細成分を再生することが可能だとする。つまり解像度が向上するという。しかも画像のエッジにノイズが発生しにくく、簡単な回路やソフトウェアで処理可能な上、静止画にも適用できるとした。

　一体、「ナイキスト周波数を超える高精細成分を再生する」とは、どういうことだろうか？

　ナイキスト周波数とは、アナログ画像をデジタル画像に変換する工程で標本化を施す際、サンプリング周波数（標本化間隔の逆数で、解像度に相当する）の1/2に相当する周波数である。元のアナログ画像の周波数成分のうち、ナイキスト周波数を超える成分は、再生時に元の信号として忠実に再現できない。これは標本化定理としてよく知られている。逆に、もしナイキスト周波数を超える成分を何らかの手法で再生できれば、サンプリング周波数を高めたのと同じ効果が得られるわけだ。

　合志教授の研究グループは、拡大後の映像信号に簡単な非線形信号処理を施すことで、ナイキスト周波数を超える成分を再生できることを確認した。具体的には、映像信号を2系統に分割し、一方の低域成分をカットした上で3乗し、さらに強度を調整した後、一定値以下に収まるようにリミッタをかける。その上で、分割したもう一方と足し合わせるという処理だ。この処理の出力信号には、入力の映像信号には含まれないナイキスト周波数を超える成分が含まれる。映像の被写体をカメラで捉えた元々のアナログ画像に無い情報を作り出せるわけではないが、デジタル映像の拡大後の解像度を高める効果が得られるという。なお、この非線形信号処理の詳細については、論文で既に発表済みである（関連論文）。

「図1」は元のデジタル画像を縦横2倍に拡大した画像で、「図2」はそれに旧来のエンハンサー処理を施したもの、「図3」は工学院大学が提案する新手法を施したものである。各図の下に示されているのは、2次元フーリエ変換の結果で、周波数スペクトラムの分布が読み取れる。赤色の四角い枠はナイキスト周波数を示しており、EE Times Japanが書きこんだもの（図1と図2で縦軸方向にナイキスト周波数を超えた辺りに共通して存在するわずかなスペクトラムは、サンプリング時の折り返し現象で生じたものと思われる）。旧来の処理（図2）のスペクトラムを見ると、図1から大きな変化がない。ナイキスト周波数を超える新たな成分は生じていない。これに対し新手法（図3）は、ナイキスト周波数を超える領域に新たな成分が出現していることが分かる。（出典：工学院大学）　クリックで画像を拡大

再構成型超解像技術（左側）と工学院大学が提案する新方式（右側）の比較である。（出典：工学院大学）　クリックで画像を拡大

　合志教授によれば、この非線形信号処理はごく簡単な回路やソフトウェアで実装することが可能だ。実際に、今回のデモで用いた信号処理ユニットの試作機では数世代前の比較的古いFPGAを用いてこの処理を実装しており、仮に同じ処理をソフトウェアで記述すればC言語で数百行といった規模に収まるという。これに対し、旧来方式である再構成型超解像では、複雑な処理が必要なので「1万行クラスになる」（同教授）と説明する。

信号処理ユニットの試作機である。計測技術研究所と合志教授が共同で開発した。

改善効果を実演

　今回の説明会では、非線形超解像による画質の向上を実際に確認できるデモを披露した。フルハイビジョンの入力映像を4Kテレビで再生するシステム構成で、2台のテレビを用意し、非線形信号処理を実装した回路をオン／オフしながら、その画質改善効果を見せた。記者の印象では、映像の細部がかなりくっきりとし、特に高精細な成分が再現されていると感じた。しかもノイズが増えたという感じではない。「本来見えているはずのものが見えた」という感覚で、違和感はほとんどなかった。

　合志教授によると、今回発表した非線形超解像の技術は、ハイビジョンテレビや4Kテレビの他、監視カメラや放送設備、映画設備、内視鏡、画像／映像修復などの分野での応用が期待できるという。産学連携で活用を推進していきたいとの考えだ。