NEC、高感度撮影時の映像品質を改善する映像鮮明 … 11 NEC Corporation 2012 特長2：小さい回路規模・省メモリでリアルタイム処理を実現計算アルゴリズムの最適化、処理タイミングの無駄を排除する

NEC、高感度撮影時の映像品質を改善する映像鮮明化技術を開発

－

本技術を放送業務用カメラ新製品に搭載し発売

－

ＮＥＣ

情報・メディアプロセッシング研究所

自動高画質化技術への取り組み

カラー画像を人間が好ましいと感じる画質に自動的に補正

入力された画像を解析し、その結果に基づいて画質を自動的に補正

自動高画質化エンジン

解析補正彩度補正コントラスト補正露光補正鮮鋭度補正白色補正好ましい色再現逆光日陰補正etc

シーン解析注目領域検出顔検出などパラメータ

算出入力画像

出力画像

画像最適化システム（大手新聞社に導入）

これまでの実績

カメラ付き携帯組込みソフト民生用LSI

NECの登録商標です。

強化：ノイズ抑圧

NEC Corporation 2012Page 2

放送業務用カメラ

今回

背景：暗所での撮影ニーズの高まり

▐

夜間、暗所における24時間連続撮影など

▐

暗所での撮影ではセンサ出力の映像信号増幅が不可欠


明るい環境（300lx）下での撮影映像

暗い環境(2lx)下での撮影映像

視認できるように増幅

映像ノイズについて

レンズセンサ


シーン映像データ

画像処理LSI

センサノイズ（光ショットノイズ）

センサノイズも増幅され映像品質が劣化

ノイズ抑圧による選択的な映像

信号増幅（映像鮮明化技術）が

必要

カメラ内部

入力信号の増幅

ノイズ抑圧の基本フロー


ノイズ抑圧入力映像

成分分離

出力映像

統合

特徴解析

強エッジ・平坦成分

残差成分（ノイズ・テクスチャ）

ノイズ抑圧における２つの課題


（課題A）

暗部領域は高周波ノイズが多く発生高周波成分の分析によるエッジ成分の抽出が困難

解像感が低下ぼやけた映像に

（課題B）

低周波ノイズ（ムラ）がエッジ・平坦成分にみなされて抑圧されない

明度ムラや色ムラが残った映像に

ノイズ抑圧入力映像

残差成分（ノイズ・テクスチャ）

強エッジ・平坦成分成分分離

出力映像

統合

特徴解析

本技術の特長

（２）小さい回路規模・省メモリでリアルタイム処理を実現

（１）エッジを保ったノイズ抑圧を実現し主観画質を向上


イメージセンサのノイズ特性が輝度レベルに依存する性質に着目し、「強エッジ･平坦成分」と「ノイズ･テクスチャ成分」の分離精度を向上（課題A）

低解像度画像から順次ノイズ抑圧することで低周波ノイズも抑圧（課題B）

回路規模200Kゲート、メモリサイズ1Mビットのハードウェア構成で実装可能（入力映像：HD映像（8bit YUV422、30フレーム/秒）の場合）

特長1-A：ノイズ特性に着目したエッジ分離


入力映像

ノイズ多

画素輝度暗明

ノイズ少輝度レベル

に依存

イメージセンサのノイズ特性が輝度レベルに依存するという性質に着目「強エッジ･平坦成分」と「ノイズ･テクスチャ成分」の判定閾値を制御し、分離精度を高精度化

「強エッジ･平坦成分」と「ノイズ･

テクスチャ成分」の判定閾値を制

御し分離精度を向上

イメージセンサのノイズ特性情報

強エッジ・平坦成分成分分離

ノイズ・テクスチャ成分

特徴解析

特長1-B：低周波のノイズの効果的抑圧


低周波ノイズ（ムラ）が含まれる低解像度画像から順次ノイズ抑圧を適用する

ことで低周波から高周波のノイズ抑圧を実現

入力映像

低解像度

映像生成

成分分離差分解析

入力映像成分分離差分解析

低周波ノイズを抑圧した

きれいな低解像度画像

NEC方式

従来方式

低解像度画像から順次ノイズ抑圧を適用

特徴解析

特徴解析

低周波ノイズ抑圧

中周波ノイズを抑圧

（参考）低周波ノイズまで除去する仕組み


高解像度画像

低解像度画像

特徴解析･成分分離ノイズ抑圧


中解像度画像


さらに低解像度な画像

高周波ノイズを抑圧

出力映像

生成

生成

生成

低周波ノイズ（ムラ）

高周波ノイズ

中周波ノイズ

（イメージ図）


特長2：小さい回路規模・省メモリでリアルタイム処理を実現

▐ 計算アルゴリズムの最適化、処理タイミングの無駄を排除する最適スケジューリングによって小規模なハードウェア構成を実現

入力映像ソースがHD映像（YUV422, 各8Bit, 30フレーム/秒）の場合回路規模

: 200Kゲート

メモリサイズ

: 1Mビット

の回路構成で、リアルタイム処理が可能▐ 映像処理LSIやFPGA向けノイズ抑圧IPコアとして提供可能

映像処理LSI/FPGA入力映像出力映像

ノイズ抑圧IPコア

（イメージ図）

本技術の応用例

（２）映像コミュニケーション向けサーバソフト、ＰＣソフトウェア

（１）カラー画像機器向けIPコアや組み込みソフト

（監視カメラ、スマートフォン、デジタルカメラなど）

導入メーカーのメリット○各装置において、エンドユーザーが望む高品質映像が可能。○パラメータ調整によりメーカー独自の画質調整が可能。

エンドユーザーのメリット○ネットに保管したプライベート写真が自動的に高画質化。○自分の好みに合わせて高画質化された写真をSNSなどの共有に活用可能。

SNSコミュニケーション


種々の撮像機器の撮影条件限界を拡大し、映像活用の場面を広げる

NC-H1000Ⅱ HDTV高感度CCDカラーカメラ

商品の紹介


●

CLEAR VIEW機能による低ノイズ化

・新開発の映像鮮明化技術（CLEAR VIEW）の搭載によりＳ／Ｎを改善特に感度アップ時のノイズを低減し見やすさを向上

・情報カメラ用途だけでなく、顔出しカメラや監視カメラなどの用途にも使用可能

●

自動モード

・24時間定点監視をサポートする自動感度切替機能や自動追従型ホワイトバランス機能を搭載夕方～夜間でも見た目に近い明るさ、自然な色あいを表現

・災害報道や地震カメラ、報道中継現場における昼夜連続撮影をHDカメラで実現

●

近赤外撮影モードでの高感度撮影

・高感度CCDと近赤外波長帯透過ﾌｨﾙﾀｰの組合せとカメラ設定の適化で夜間の更なる高感度撮影が可能

●

情報カメラに適した多彩な機能

・220万画素CCDと0.1倍刻みのズーム倍率設定で高画質な撮影ができるデジタルズーム機能

・各種設定を4つのファイルに記憶できるシーンファイル機能

・ＩＰ伝送などの伝送遅延が大きい時に効果を発揮するＮＥＣオリジナルのオートフォーカス機能


参考：処理例

（PSNR R/G/B）

26.0/25.3/26.7 dB（PSNR R/G/B）

19.5/19.6/19.7dB約6dB改善

入力画像（ノイズあり）処理結果


Documents

NEC、高感度撮影時の映像品質を改善する 映像鮮明 … 11 NEC Corporation 2012 特長2：小さい回路規模・省メモリでリアルタイム処理を実現 計算アルゴリズムの最適化、処理タイミングの無駄を排除する

NEC、高感度撮影時の映像品質を改善する映像鮮明 … 11 NEC Corporation 2012 特長2：小さい回路規模・省メモリでリアルタイム処理を実現計算アルゴリズムの最適化、処理タイミングの無駄を排除する