View
215
Download
0
Category
Preview:
Citation preview
工学院大学情報学部
情報デザイン学科合志 清一
2014年2月14日
映像のリアルタイム超解像化― 理論的限界を超える超解像技術 ―
映像はビッグデータ
• 非圧縮ハイビジョンデータは1.5Gbps1時間で162Tbit
• 4Kテレビはハイビジョンの8倍のデータ量• 8Kテレビはハイビジョンの16～32のデータ量
2K（ハイビジョン）から8Kへ
ハイビジョン(1920x1080)
4K(3840x2160)
8K(7680x4320)
時代は4Kテレビへ
4Kテレビが店頭に並んでも4Kコンテンツが無い
4Kテレビは販売されているけれど・・・
ハイビジョン放送も4Kテレビで見ればきれい？
ハイビジョン放送を高画質化して4Kテレビで表示
高画質化：見た目をきれいにする
高解像度化：解像度を向上させる
精細情報（エッジ）を検出
加算
エンハンサーやアンシャープマスクの名前で広く知られる技術
従 来 技 術
エンハンサーの欠点エンハンサーによるエッジ強調が強すぎるとノイズ（粒上雑音）が目立つ
http://www.toshiba.co.jp/regza/detail/superresolution/resolution.html
夢の技術超解像
超解像化
実現不可能！可能ならばハイビジョン放送は不要
ハイビジョンテレビに搭載された超解像技術は？
• 地上ディジタル放送の画質を超解像機能搭載のハイビジョン受信機と非搭載のハイビジョン受信機で比較
• ２台はいずれも55インチのフラグシップモデル• 画面を10Mピクセルのディジタルカメラで撮影
地上デジタル放送の画質
超解像機能搭載超解像機能未搭載 著作権取扱注意
超解像機能搭載テレビは同一サイズでも低解像度
ハイビジョン放送を受信し4Kテレビに表示すれば・・・。
繰り返し計算 低解像度画像
高解像度画像
再構成超解像による高解像度化
低解像度画像をたくさん集めると高解像度画像を作ることが出来る
http://www.nikikai21.net/blog/cat4/
テノール、バリトン、バスをたくさん集めるとソプラノの音になる
ボケ画像をたくさん集めると高精細画像を作ることができる
http://www.ok.ctrl.titech.ac.jp/res/CSR/NSR/index-ja.htmlよりダウンロード可能
現画像と再構成超解像画像で同一画角（拡大無し）
http://www.ok.ctrl.titech.ac.jp/res/CSR/NSR/index-ja.htmlよりダウンロード可能
図1 映像における連続フレーム
ビデオカメラ1ビデオカメラ2 ビデオカメラ3 ビデオカメラ4
図7 位相差を有する4枚の静止画
ビデオカメラ1
ビデオカメラ2
ビデオカメラ3
ビデオカメラ4
収束条件
難しい理論（数式）を使えば結果がよいわけではない
提 案 手 法
HPF CUB LMT
ADD
Image
Input
Image
Output
HPF: High Pass FilterCUB: CubeLMT: Limiter
ADD: Adder
The proposed method
(c)(b)(a)
(d)
Horizontal axes
Level
(a) Image Input
Horizontal axes
Level
(b) Output of HPF
Horizontal axes
Level
(c) Output of CUB
Horizontal axes
Level
(d) Image Output
解像度の定量的測定（従来手法では拡大画像の高精細化は困難）
図3の２次元フーリエ変換結果図2の２次元フーリエ変換結果図1の２次元フーリエ変換結果
図3. 提案手法による超解像化図1.縦横２倍に拡大した画像 図2.従来手法による高解像度化
HD->４K HD->４K＋超解像映像
SR with non-Linear signal processing
展示系統図
信号源（フルハイビジョン）
フルハイビジョン信号（1920x1080）
既存超解像機能付き4K TV
（3840x2160）
ハイビジョン=>4K TV拡大＋非線形超解像
4K TV(モニタ)（3840x2160）超解像機能無
非線形超解像ON/OFF可能
4K TV信号として入力 4K TV付属機能を用いてHDTV=>4K変換+超解像処理
（1920x1080）（3840x2160）
• (0.01)=0.218
• 工学院ON-既存間で優位水準1%有意差が存在
ヤードスティック結果：A
刺激間距離OFF-ON ON-既存 OFF-既存
1.55 1.53 0.03
-1 -0.5 0 0.5 1 1.5
OFF ON 既存
0.03 1.53
■ HD=>4K拡大(OFF) ▲ HD=>4K拡大+工学院超解像(ON) ◆ 既存4K+超解像(既存)
ヤードスティック結果：B
• (0.01) =0.193
• 工学院ON-既存間で優位水準1%有意差が存在
刺激間距離OFF-ON ON-既存 OFF-既存
1.73 1.67 0.07
-1 -0.5 0 0.5 1 1.5
OFF ON 既存
0.07 1.67
■ HD=>4K拡大(OFF) ▲ HD=>4K拡大+工学院超解像(ON) ◆ 既存4K+超解像(既存)
8K映像超解像処理前
8K映像超解像処理後
他の超解像技術との違い
1. 理論的限界（ナイキスト周波数）を超える高解像度化が可能
2. 処理が非常に軽い
理論的根拠提示
3. １枚の画像に適用可能
8K映像でリアルタイム（実時間）処理可能 再構成超解像では処理不可能
複数枚（フレーム）の映像は不要 再構成超解像は複数フレーム必要
4. フォーカスずれにも効果有り
1
お問い合わせ先
工学院大学 総合研究所
研究推進課 山岸 勉
ＴＥＬ ０４２－６２８－４９４０
ＦＡＸ ０４２－６２６－６７２６
e-mail souken@sc.kogakuin.ac.jp
Thank you!
Recommended