Introduction to Networked Video Lab (NVL)cwlin/Introduction/Lab_Intro...ideo L ab, Department of Electrical Engineering, National Tsing Hua University Digital Magnifiers： Face Hallucination

Networked Video Lab, Department of Electrical Engineering, National Tsing Hua University

2011/11/10 1

Introduction to Networked Video Lab (NVL)

Introduction to Networked Video Lab (NVL)

林嘉文清華大學電機系

[email protected] 03-5731152

mailto:[email protected]

Networked Video Lab, Department of Electrical Engineering, National Tsing Hua University 2011/11/10 2

Profile of NVL @ EE/NTHU 指導教授：林嘉文副教授 (http://www.ee.nthu.edu.tw/~cwlin)

學歷：清華大學電機博士 (2000年1月)

經歷： • 清華大學電機系副教授 (2007/8~迄今)

• 中正大學資工系助理教授、副教授 (2000/8~2007/7)

• Associate/Area Editor of

IEEE Trans. Circuits & Systems for Video Tech. (2009/3~present)

IEEE Trans. Multimedia (2011/10~present)

J. Visual Commun. Image Representation (2007/4~present)

EURASIP Signal Process.: Image Commun. (2011/7~present)

Honors

中正大學青年學者獎 (2005~2006)

國科會吳大猷先生紀念獎 (2006~2009)

國科會優秀年輕學者計畫獎助 (2011~2014)

SPIE VCIP 2005 Young Investigator Award

研究群成員：4名博士生 + 13名碩士生

畢業學生(PhD: 2人、 MS: 44人)：Corel (7人) 、ITRI (3) 、University (4)、MediaTek (3)、Novatek (2)、中華電信(2) 、HTC (2) 、RealTek (1) 、正文 (1), etc.


On-Going Projects

國科會群體計畫多媒体雕塑工作室－智慧型音視訊編修處理系統 (2009~2012) 參與教授：清華大學電機系林嘉文(總計畫主持人)、資工系許秋婷&陳煥

宗，交通大學電子系王聖智，中央大學通訊系張寶基

子計畫一主持人：基於機器學習之視訊內容擬真修補與強化

國科會優秀年輕學者計畫：網狀網路中點對點傳輸視訊串流之跨層次最佳化 (2011~2014)

國科會網路通訊國家型計畫建置計畫 (2011~2014) 具可調式編碼之Mobile P2P影音傳播網路平台建置 (分項二主持人)

行政院檔案管理局電子檔案轉置品質評估及強化軟體委託服務案 (2010~2011)

聯詠科技、清華大學研究合作計畫


Video Editing

多媒体雕塑工作室 (2009/8~2012/7)

清大電機林嘉文

清大資工陳煥宗

中央通訊張寶基

清大資工許秋婷

交大電子王聖智


計畫預期開發視訊編輯工具

數位剪刀 (利用簡單的互動，可擷取出一段視訊影片中所標示之視訊物件輪廓)

數位橡皮擦 (將某一視訊物件移除後，將靜態或動態紋理背景或所遮蔽之其他物體填補回來)

數位放大鏡 (可有效地增加照片或視訊之空間解析度，以達到放大之效果)

數位膠帶 (可將大量的視訊資料片段，依照期望的順序或運鏡模式，平順地連接成為完整的影片)

數位分鏡表 (替影片產生分鏡表，可將分鏡表套用其他視訊資料，產生具備類似分鏡效果的新影片)

數位吸塵器 (可消除音視訊擷取時產生的雜訊)


計畫預期開發視訊編輯工具

數位調光板 (可調整因曝光不足或過曝之畫面，產生高動態範圍影像與視訊)

數位捕捉器 (藉由音源定位與視訊畫面內容自動捕捉鏡頭中之焦點)

數位時光機 (可預測視訊資料中人物的年齡，並利用其人臉老化合成結果，對影片進行個人化的自動分類)

數位剪接機 (可針對個人對視訊影片的不同喜好，進行視訊影片內容的品質改進、色彩優化、畫面重組等)

數位抹布 (可抹去視訊資料中的“污漬”，改善視訊資料的色澤、對比與銳利度)

數位粉撲 (可修改視訊資料中人物的皮膚顏色，使其呈現較豐潤討喜的膚色)

數位萃取機 (可依據視訊場景內容，自動分離萃取出屬性相仿的物件)


My Project

數位剪刀數位剪刀

數位橡皮擦數位橡皮擦

數位放大鏡數位放大鏡

子計畫一子計畫一

數位時光機數位時光機

子計畫四子計畫四子計畫二子計畫二

數位膠帶數位膠帶

數位分鏡表數位分鏡表

智慧型音視訊編修處理系統智慧型音視訊編修處理系統

核心工具

數位抹布數位抹布

數位粉撲數位粉撲

子計畫五子計畫五

數位萃取機數位萃取機

數位吸塵器數位吸塵器

數位調光板數位調光板

子計畫三子計畫三

數位捕捉器數位捕捉器

數位剪接機數位剪接機

超解析度技術

超解析度技術

動態紋理合成技術

動態紋理合成技術

視訊融合技術

視訊融合技術

畫面重組技術

畫面重組技術

影像切割技術

影像切割技術

視訊追蹤技術

視訊追蹤技術

雜訊清除技術

雜訊清除技術

音源定位技術

音源定位技術

機器學習技術

機器學習技術

人臉老化模型

人臉老化模型

影像損壞模型

影像損壞模型

視訊成像模型

視訊成像模型

視覺焦點模型

視覺焦點模型

色調偏好模型

色調偏好模型

基本技術與模型

Digital Scissors, Erasers, and Magnifiers


2011/11/10 8

Intelligent Video Editting Intelligent Video Editting





2011/11/10 9

Interactive Object Extraction as a Digital Scissor (數位剪刀) Interactive Object Extraction as a Digital Scissor (數位剪刀)


[email protected]


我抓得住你 – 智慧型數位剪刀

10 CCU CSIE

物件物件物件

背景背景背景

物件裁剪結果

Networked Video Lab, Department of Electrical Engineering, National Tsing Hua University 11 CCU CSIE

Incoming frame

MAP Decision

Region-wise tracker Pixel-wise Tracker

Manual Refinement Tool

Update

NO YES

Flowchart of Digital Scissor


Digital Scissors- Demo


2011/11/10 15

Video Inpainitng as a Digital Eraser (數位橡皮擦) Video Inpainitng as a Digital Eraser (數位橡皮擦)


[email protected]


原始影片: 編修後影片(遮蔽背景重建):

數位橡皮擦：以假亂真之影片編修


千禧石纹螳

Optical Camouflage

How to Make an Object Invisible?


… … …

Mosaic-Based Inpainting/Completion Classes of Scenes：Static Background, Dynamic Background, and Occluded Objects


Inpainted Video Original Video

Mosaics-Based Copy & Paste

Video Inpainting of Static Background


Linear Dynamic System (LDS):

(t):observation vectors

(t):hidden state vectors

(t):noise

y

x

v

)()(

)()()1(

tt

ttt

Cxy

BvAxx : parametersA,B,C

Training number: 20

Synthesizing number: 100

Dynamic Texture Synthesis


Digital Erasers: Dynamic Background

Original Video Inpainted Video


Original Video Inpainted Video

Digital Erasers: Dynamic Background


Digital Erasers: Occluded Object Flowchart


2011/11/10 24

Learning-Based Video Resizing as a Digital Magnifier (放大鏡) Learning-Based Video Resizing as a Digital Magnifier (放大鏡)


[email protected]


Digital Magnifiers: Learning-Based Super-Resolution/Hallucination

Feature

Extraction

Downsizing

Machine

Learning

Feature

Extraction

Training Images

Mapping

Training Stage

HR Patches

LR Patches


Learning-Based Super-Resolution

(c) Initial interpolation (d) Ground truth

feature extraction

Input

Find closet image

patches from database

Training data

(database)

Output

Optimizing high

frequencies

Generation

MRF network model

H

mG

mG

(b) Gradient magnitude of

(e) Gradient magnitude of (c) and (d)

(a) upsampling

H


Digital Magnifiers: Image Super-Resolution

Traditional Interpolation Learning-Based Super-resolution


Digital Magnifiers: Image Hallucination


Texture Synthesis Based Video Hallucination

Traditional Interpolation Hallucinated Video


Texture Synthesis Based Video Hallucination

Traditional Interpolation

強化後影像

Ground-truth

Hallucinated Video 2 Hallucinated Video 1


Digital Magnifiers： Face Hallucination

[Baker and Kanade]

population worldhistory human36524606030

Number of all possible 1612 images 812162

Reconstruct

Both human vision and machine vision need prior


Digital Magnifiers： Face Hallucination

Input LR face image

Basis decomposition

Training set

Residual components

compensation

Output HR face image

+

Training set

Face region

partition

Overcomplete

basis

decomposition

Basis

decomposition

Overcomplete

basesGlobal bases

Global Local

Training phase

MAP estimator

in feature

domain

Selection of

facial features

Input LR face

image

Face region

partition

Local

Global

Face

hallucination

Global bases

Overcomplete

bases

Output HR

face image

Hallucination phase


(e) (f) (g) (h)

(i) (j) (k) (l)

(a) (b) (c) (d)

Input

Our Result MIT UIUC Korea

Face Hallucination: Demo


Video Retargeting：麻雀雖小，五臟俱全 Small displays often have different aspect ratios

limited to display less content than larger ones

Retain important regions and reduce unimportant regions

(a) Original video frame (16:9) (b) Letterboxing (c) Scaling (d) Cropping


Image Resizing: Seam Carving

M. Rubinstein et al., "Improved seam carving for video

retargeting," ACM Trans. Graphics, vol. 27, no. 3, 2008.


Video Retargeting: Flowchart

Spatial Coherence

Constraints

Camera Model

Estimation

Panoramic

Mosaic Mapping

...

Initial Local

Scaling Factor

Map

Original

Frames

Energy-based

Frame Retargeting

Refined

...Energy Map

Retargeted

Frames

Final Local Scaling

Factor Map

...

Mosaic Guided

Scaling

Global Scaling

Factor Map

......


Video Retargeting: Demo


黃山照片

五嶽歸來不看山，黃山歸來不看嶽 (徐霞客)


Realtime Automatic De-hazing


Automatic Rain Removal

原始影像一般濾波器清除效果數位雨刷清除效果


2011/11/10 43

Intelligent Video Surveillance

Intelligent Video Surveillance





Video-Based Face Authentication 目的

利用人臉嘴型所產生連續性的變化為特徵值，作為身份驗證的依據。

身分驗證方式

電腦隨機產生一組密語，使用者念出此密語

要通過身份確認，必需使用者的嘴型變化和電腦由訓練模型資料所合成之嘴型變化相符

每次使用密語皆為隨機產生，次次不同，部於有被偷聽或側錄之風險

可應用於門禁管理，或結合手持式設備進行電子商務之身分認證

Image Sequences

Image Sequences

Face LocationFeature

Extractionfor Training

K-Means Clustering

Feature

Vectors

Symbol

Sequences

TrainingHMM

Face LocationFeature

Extractionto be Recognized

K-Means Clustering

Feature

Vectors

Symbol

Sequences

ProbabilityCalculation

HMM

Reject

Accept

< Threshold

> Threshold

Feat

…… Ft={f1,f2,…,fT}

辨識正確率比較


芝麻開門：人臉視訊身分驗證技術


我抓得住您：視訊物件追蹤目的

視訊監控中之即時視訊物件追蹤

物件追蹤技術使用全景攝影機之大區域物件追蹤

使用Pan-Tilt-Zoom (PTZ) 攝影機之物件追蹤


視訊監控：居家照護之意外事件偵測目的

分析視訊攝影機傳送過來的畫面中，是否有特定的意外事件發生，提供早期預警或警告，以降低災害損失

事件偵測煙霧偵測 – 判斷是否有過多煙霧，警告火災發生

跌倒偵測 – 判斷是否有跌倒事件發生，縮短搶救時間

跌倒偵測過程煙霧偵測


視訊監控：居家照護之意外事件偵測


2011/11/10 49

智慧型網路視訊傳輸

智慧型網路視訊傳輸

林嘉文

清華大學電機系 [email protected]

03-5731152



天涯若比鄰 - 網路視訊傳輸

2007/10/30 50

Edge server

Edge server

Data Farms /

Storage

Web Server Apps/DB

Server

E-Commerce

Server

Media Server

Wireless Comm Server


異質性環境之視訊內容調適

• 技術說明轉換視訊內容以應用於各種異質環境

已發展出各種不同之視訊調適工具：視訊轉碼、可調式編碼、位元流切換

頻寬、畫面解析度、通道狀況等不同調適技術

技轉給凌陽、沛錦、工研院

Pre-encoded MPEG-2 video

Satellite

Heterogeneous

Networks

Networks

Satellite dish

MPEG/H.26x decoder

Adaptor 1

Laptop

MPEG-2 decoder

Comm. Tower

Computer

Adaptor 2

H.264 decoder


Video over Wireless

目的

利用無線網路網路特性，發展高效能視訊傳輸技術

特色

利用跨層次(cross-layer)最佳化技術，有效增進傳輸效能

Streaming Server

Resource Management

Packet Scheduling

Cache Management

Unicasting

Multicasting ARQ

Up-link

Contention


無線網路視訊摘要技術 (展示)

技術說明無線網路之頻寬通常較小，有時無法觀看完整視訊影片

在一段視訊影片中，抽取出重點畫面以轉碼成小檔案影片供快速瀏覽

利用最佳化理論，讓濃縮影片可以盡量保留原影片的內容

魔戒, 1132 frames, 70 key frames 蜘蛛人, 1123 frames, 55 key frames

國際電機電子學會影像處理研討(IEEE ICIP)會最佳學生論文獎提名(第六名)


無線網路視訊錯誤防護 (展示)

技術說明無線網路容易受雜訊干擾，容易產生資料遺失

根據用戶端之無線網路通道狀況及視訊內容特性，對視訊內容進行錯誤防護

可大幅減少視訊資料遺失所造成之畫質失真

封包遺失率：5%

無錯誤防護有錯誤防護無錯誤防護有錯誤防護


謝謝指教!

NVL @ EE/NTHU

Documents

Introduction to Networked Video Lab (NVL)cwlin/Introduction/Lab_Intro...ideo L ab, Department of Electrical Engineering, National Tsing Hua University Digital Magnifiers： Face Hallucination