Embed Size (px)
DESCRIPTION
以支援向量分類為依據之影片場景分割. 研究生 ： 高志邦 指導教授：蔣依吾博士 中山大學資訊工程學系. 場景變化主要形式. 突然場景變化 ( Abrupt cut) 緩慢場景變化 (Gradual transition). 淡入、淡出 (fade in 、 fade out) ： 淡入：逐漸顯示出影像 淡出：影像逐漸消失 溶解 (Dissolve) ：淡入淡出同時進行. Dither transition ： 變換過程中，原始影格依照特定圖形樣式消失，而被目的影格所取代. Wipe ： 變換過程中，影格的邊界有所移動 - PowerPoint PPT Presentation
Citation preview
以支援向量分類為依據之影片場景分割
研究生：高志邦指導教授：蔣依吾博士中山大學資訊工程學系
場景變化主要形式
• 突然場景變化 (Abrupt cut)
• 緩慢場景變化 (Gradual transition)
淡入、淡出 (fade in 、 fade out) ： 淡入：逐漸顯示出影像 淡出：影像逐漸消失
溶解 (Dissolve) ：淡入淡出同時進行
Dither transition ： 變換過程中，原始影格依照特定圖形樣式消失，而被目的影格所取代
Wipe ： 變換過程中，影格的邊界有所移動
horizontal wipe
diagonal wipe
Push ： Wipe 之變形，原始影格是被推擠出去，而不是被取代
1 2
3 4
更多緩慢場景變化過程
利用相鄰影格差異• Zhang[1993], 色彩直方圖 ,兩個門檻值
• Han(2003), 線性回歸法與相關係數
• Cernekova[2002], 交互信息 (mutual information) 和聯合熵 (joint entropy)
Mutual information => abrupt cut
Joint entropy => gradual transition
利用特徵點• Gong[2000]
•空間轉換 -> 主值分析法
•資料分群
利用統計模型
• Fernando[1999] 溶解 (dissolve) ：平均值 -> 線性 變異數 -> 二次式
• Dan[2003]
•使用 I、 P影格的 DC係數來計算
•高斯分布 Ν(μ,Σ)
- Abrupt cut: μ 值變動 - Gradual transition: μ,Σ 值變動
利用 motion vector
• Wang[1997], 統計移動向量分布情形
利用 Mpeg 的 macro-blocks
• Kobla[1996]
• 統計 P 、 B 影格中，不同類型之macro-blocks 數目
主值分析法
• Principal Component Analysis
找出“主要成份” - 降低資料複雜性 - 去除雜訊
(a) (b)
(c)
支援向量分類• 峰值效應 (Small sample size effect)
• Vapnik[1982] => 找尋最佳的超平面
線性可分割
線性不可分割 => 失敗
• Benhur[2000]
支援向量分類 (support vector clustering)
=> 轉換至高維度空間，且轉換函數非線性
• 原始資料 X 轉換至較高維度的空間=>用最小半徑 R之圓球包住所有資料點
a 為圓球中心 加入一可調變數 ξi
iRaxi 22)(
ii Rax 22)(
二次規劃問題：引入 Lagrangian
j
jjjjjj CaxRRL ))((222
分析：(1)βj=C => 位於球體外，稱作 bounded support vect
or (BSV)
(2) 當 0<βj< C => 位於球體邊界，稱作 support vector (SV)
高斯型態核心函式
q = (a)0.005 (b)0.05 (c)0.2 (d)0.5
2exp(),( jiji xxqxxK
距球心距離 j ji
jijijj xxKxxKxxKxD,
2 ),(),(2),()(
)exp(),(2
jiji xxqxxK
研究步驟• 空間轉換1.資料中心化
P
1t
ii xP
1m wherem,xx i
2.建立資料矩陣3.產生共變異數矩陣4.計算特徵值與特徵向量5.選擇空間的維度6.投影至空間，得到特徵點
• 資料分類1.設定初始類別： 前二張影格當作第一個群集，作 SVC
2.輸入下一組資料，計算球體半徑，並判斷是否產生新的群集：
判斷依據 => 球體半徑之變化
起始半徑：控制參數 q ，讓起始半徑在一小區間
3. 分析曲線變化
對半徑變化圖作一次微分
1)突然場景變化=> ，產生新群集
2)緩慢場景變化
cutthresholdt
R
frontback MeanMeaniDiff )(
• 簡化計算複雜度
新輸入資料和舊球體之支援向量作 SVC
實驗結果
• 效能評估
fc
c
mc
c
NN
NPrecision
NN
NRecall
•比對方法
Gong, 利用特徵點 , PCA
Han, 線性回歸法 , Regression
檔案名稱 影片長度 突然場景變化 緩慢場景變化
Anni005.mpg 06:19 39 27
Anni009.mpg 06:50 38 63
Anni005 Correct Miss False Recal Precision
PCA 17 22 109 0.435 0.134
Regression 19 20 40 0.487 0.322
SVC 31 8 12 0.794 0.72
Anni009 Correct Miss False Recal Precision
PCA 18 19 52 0.486 0.257
Regression 17 20 33 0.459 0.34
SVC 25 12 14 0.675 0.641
Anni005 Correct Miss False Recal Precision
PCA 14 13 112 0.518 0.111
Regression 17 10 53 0.629 0.242
SVC 21 6 10 0.777 0.677
Anni009 Correct Miss False Recal Precision
PCA 30 33 103 0.476 0.225
Regression 24 39 51 0.38 0.32
SVC 35 28 32 0.555 0.522
結論
• SVC能對特徵點分布情形作良好描述
• 未來工作 : 建立動態門檻值
