Upload
msu-gml-videogroup
View
1.801
Download
6
Embed Size (px)
DESCRIPTION
Citation preview
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
1
Деинтерлейсинг
Петров Александр
Video GroupCS MSU Graphics & Media Lab
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
2
Содержание Введение
Понятие интерлейсинга
Понятие деинтерлейсинга
Постановка задачи
Визуальные дефекты
Примеры
Классификация методов
Простые методы
Сложные методы
Дальнейшие планы
Список материалов
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
3
Введение
Интерлейсинг (Interlacing) - метод отображения, передачи или хранения видео, при котором:
Захват видео по строчкам в разные моменты времени: сначала четные, потом нечетные (или наоборот).
Поле (field) – набор строчек одинаковой четности, соответствующих одному моменту времени.
Видео-поток с удвоенной частотой.
При построении кадра, четные и нечетные поля смешиваются. Образуется один кадр (frame).
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
4
Введение
Кадр #3Поле #5
Поле #6
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
5
Введение
Деинтерлейсинг (Deinterlacing)— процесс создания кадров из полукадров чересстрочного формата для дальнейшего вывода на экран с прогрессивной развѐрткой.
Применяется:
В компьютерных системах обработки видео.
В LCD и плазменных дисплеях.
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
6
Введение
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
7
ВведениеПостановка задачи
- результат
- интерполированный пиксель
- исходный пиксель
- номер поля
- положение пикселя
Задача – интерполировать недостающие пиксели и, в то же время обеспечить хорошее качество изображения
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
8
ВведениеВизуальные дефекты
Мерцание границ (edge flicking)
Сползание строк (line crawling)
Размытость (blur)
Зубчатость (jaggedness)
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
9
ВведениеПример
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
10
ВведениеПример
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
11
ВведениеПример
до после
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
12
Содержание
Введение
Классификация методов
Простые методы
Сложные методы
Дальнейшие планы
Список материалов
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
13
Классификация методов
Методы
Не использующие MC Использующие MC
Линейные Нелинейные
Пространственные
(Spatial)
Временные
(Temporal)
Пространственно-временные
(Spatio-temporal)
Адаптирующиеся к движению
(Motion Adaptive)
Адаптирующиеся к границам
(Edge-based)
VT-медианные
Смешанные
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
14
Содержание Введение Классификация методов Простые методы
Пространственные (Spatial) Временные (Temporal) Пространственно-временные (Spatio-temporal) Адаптирующиеся к границам (Edge-based)
Сложные методы Дальнейшие планы Список материалов
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
15
Простые методы Spatial
иначеkyxp
kykyxpkyxp
),,1,(
,02)%(),,,(),,(0
Line Repetition (LR)
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
16
Простые методы Spatial
,,),1,(),1,(
2
1
,02)%(),,,(
),,(0 иначеkyxpkyxp
kykyxp
kyxp
Line Averaging (LA, ―Bob‖)
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
17
Содержание Введение Классификация методов Простые методы
Пространственные (Spatial) Временные (Temporal) Пространственно-временные (Spatio-temporal) Адаптирующиеся к границам (Edge-based)
Сложные методы Дальнейшие планы Список материалов
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
18
Простые методы Temporal
,),1,,(
,02)%(),,,(),,(0
иначеkyxp
kykyxpkyxp
Field Insertion (FI, FR, ―Weave‖)
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
19
Простые методы Temporal
Inter-field Line Averaging
,,)1,,()1,,(
2
1
,02)%(),,,(
),,(0 иначеkyxpkyxp
kykyxp
kyxp
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
20
Содержание Введение Классификация методов Простые методы
Пространственные (Spatial) Временные (Temporal) Пространственно-временные (Spatio-temporal)
VTMF VT linear
Адаптирующиеся к границам (Edge-based)
Сложные методы Дальнейшие планы Список материалов
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
21
Простые методы Spatial-temporal
Vertical-Temporal Median Filter
)`,,()(0 CBAmedianXp
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
22
Простые методы Spatial-temporal
k
иначеdkdyhdkkdyyxp
kykyxpkyxp
),,(*),,(
,02)%(),,,(),,(0
иначе
dkANDdy
dkANDdy
dkdyh
,0
)1()2,0,2(,5,10,5
)0()3,1,1,3(,1,8,8,1
),(*18
Vertical-Temporal Linear
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
23
Содержание Введение Классификация методов Простые методы
Пространственные (Spatial) Временные (Temporal) Пространственно-временные (Spatio-temporal) Адаптирующиеся к границам (Edge-based)
Сложные методы Дальнейшие планы Список материалов
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
24
Простые методы Адаптирующиеся к границам
Edge-based Line Averaging (ELA, ELI, EDI)
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
25
A recursive approach for de-interlacing using improved ELA and motion compensation based on bi-directional BMA. Seungchan Byun, Jeongmonn Byun, Gyeonghwan Kim. 2004 International Conference on Image Processing, Volume 3, 24-27, pp.1679 – 1682, Oct. 2004.
Простые методы Адаптирующиеся к границам
Улучшения: Можно рассматривать 12 направлений
Weighted Edge-based Line Averaging (WELA)
1,0,1
321 1),2
)1,()1,((*),(
k
kn WWWykxfykxf
Wyxf
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
26
Простые методы Сравнение
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
27
Простые методы Сравнение (Неподвижные регионы)
Field Insertion Line Repetition Linear VT
Edge-dependent VT median
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
28
Простые методы Сравнение (регионы с движением)
Field Insertion Line Repetition Linear VT
Edge-dependent VT median
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
29
Содержание Введение
Классификация методов
Простые методы
Сложные методы Motion Adaptive
Motion Compensation based
MSU filter
Дальнейшие планы
Список материалов
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
30
Сложные методы Motion Adaptive
Region
Motion Detector
Spatial
Method
Temporal
Method
MotionNo Motion
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
31
Содержание Введение Классификация методов Простые методы Сложные методы
Motion Adaptive Motion Detector HMDERP
Motion Compensation based MSU filter
Дальнейшие планы Список материалов
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
32
Motion AdaptiveMotion Detector
Сравниваем поля одной четности
Строим маску движения
Морфологическая операция открытия
(чтобы убрать шумы в движении)
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
33
Motion AdaptiveMotion Detector
Сравниваем поля одной четности
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
34
Yu-Lin Chang, Shyh-Feng Lin, Ching-Yeh Chen, Liang-Gee Chen, “Video De-Interlacing by Adaptive 4-Field Global/Local Motion
Compensated Approach” IEEE Transactions on Circuits and Systems for Video Technology, Dec. 2005
Motion Detector4-field motion detection
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
35Li G.-L., Chen M.-J., “High Performance De-Interlacing Algorithm for
Digital Television Displays” Journal of Display Technology, Volume 2, Issue 1, pp.85 - 90, March 2006
Motion DetectorMoving-Stationary Detector
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
36
Содержание Введение Классификация методов Простые методы Сложные методы
Motion Adaptive Motion Detector HMDERP
Motion Compensation based MSU filter
Дальнейшие планы Список материалов
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
37Gwo Giun Lee, Ming-JiunWang, Hsin-Te Li, He-Yuan Lin. AMotion-
Adaptive Deinterlacer via Hybrid Motion Detection and Edge-Pattern Recognition. EURASIP Journal on Image and Video Processing, 2008.
Motion AdaptiveHMDEPR
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
38Gwo Giun Lee, Ming-JiunWang, Hsin-Te Li, He-Yuan Lin. AMotion-
Adaptive Deinterlacer via Hybrid Motion Detection and Edge-Pattern Recognition. EURASIP Journal on Image and Video Processing, 2008.
Motion AdaptiveHMDEPR
Hybrid Motion Detector (HMD):
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
39Gwo Giun Lee, Ming-JiunWang, Hsin-Te Li, He-Yuan Lin. AMotion-
Adaptive Deinterlacer via Hybrid Motion Detection and Edge-Pattern Recognition. EURASIP Journal on Image and Video Processing, 2008.
Motion AdaptiveHMDEPR
Результат детектора движения - карта движения (motion map).
(a) 1st condition
(b) 2nd condition
(c) 3rd condition
(d) output of HMD
(e) erosion
(f) opening
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
40Gwo Giun Lee, Ming-JiunWang, Hsin-Te Li, He-Yuan Lin. AMotion-
Adaptive Deinterlacer via Hybrid Motion Detection and Edge-Pattern Recognition. EURASIP Journal on Image and Video Processing, 2008.
HMDEPRТестирование
Предложенный алгоритм.
Интерполированы (FI) только статичные регионы.
3 Field Motion Adaptive (3FMA).
Интерполированы только статичные регионы.
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
41Gwo Giun Lee, Ming-JiunWang, Hsin-Te Li, He-Yuan Lin. AMotion-
Adaptive Deinterlacer via Hybrid Motion Detection and Edge-Pattern Recognition. EURASIP Journal on Image and Video Processing, 2008.
Motion AdaptiveHMDEPR
4
dcbaave
avepL
avepHpi
,
,,ˆ
Edge Pattern Recognition (EPR):
Рассматривается область 3x3
4 типа шаблона
3H1L, 3L1H
2H2L - угол
2H2L - линия
18 различных шаблонов
енносоответств ,,, для ˆˆˆˆ,4,3,2,1 dcbapppp
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
42Gwo Giun Lee, Ming-JiunWang, Hsin-Te Li, He-Yuan Lin. AMotion-
Adaptive Deinterlacer via Hybrid Motion Detection and Edge-Pattern Recognition. EURASIP Journal on Image and Video Processing, 2008.
Motion AdaptiveHMDEPR
,13),,,(
,13),,,(
321
321
0 HLpppmedian
LHpppmedianp
LLL
HHH
В случае 3H1L, 3L1H наиболее вероятно, что центральный пиксел принадлежит к большинству (H для 3H1L и L для 3L1H)
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
43Gwo Giun Lee, Ming-JiunWang, Hsin-Te Li, He-Yuan Lin. AMotion-
Adaptive Deinterlacer via Hybrid Motion Detection and Edge-Pattern Recognition. EURASIP Journal on Image and Video Processing, 2008.
Motion AdaptiveHMDEPR
2H2L – угол:
2H2L – линия:
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
44Gwo Giun Lee, Ming-JiunWang, Hsin-Te Li, He-Yuan Lin. AMotion-
Adaptive Deinterlacer via Hybrid Motion Detection and Edge-Pattern Recognition. EURASIP Journal on Image and Video Processing, 2008.
Motion AdaptiveHMDEPR
2
sqc
Пиксели b и с, также как и X, недостающие.Как же их получить?
EPR without MAP (Motion-Adaption Prediction)
EPR with MAP
EPR without MAP
Усреднение по строкам (Line Averaging)
EPR with MAP
Усреднение по строкам (Line Averaging), если b (c) принадлежат
области движения (Motion Area)
Иначе, берем пиксель с предыдущего поля
2
rpb
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
45Gwo Giun Lee, Ming-JiunWang, Hsin-Te Li, He-Yuan Lin. AMotion-
Adaptive Deinterlacer via Hybrid Motion Detection and Edge-Pattern Recognition. EURASIP Journal on Image and Video Processing, 2008.
HMDEPRТестирование
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
46Gwo Giun Lee, Ming-JiunWang, Hsin-Te Li, He-Yuan Lin. AMotion-
Adaptive Deinterlacer via Hybrid Motion Detection and Edge-Pattern Recognition. EURASIP Journal on Image and Video Processing, 2008.
HMDEPRТестирование (текстуры)
PSNR in dB
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
47Gwo Giun Lee, Ming-JiunWang, Hsin-Te Li, He-Yuan Lin. AMotion-
Adaptive Deinterlacer via Hybrid Motion Detection and Edge-Pattern Recognition. EURASIP Journal on Image and Video Processing, 2008.
HMDEPRТестирование
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
48Gwo Giun Lee, Ming-JiunWang, Hsin-Te Li, He-Yuan Lin. AMotion-
Adaptive Deinterlacer via Hybrid Motion Detection and Edge-Pattern Recognition. EURASIP Journal on Image and Video Processing, 2008.
HMDEPRТестирование
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
49
HMDEPRВыводы
Достоинства
Хорошо интерполирует границы
Неплохо строит маску движения
Недостатки
Проигрывает на текстурах
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
50
Содержание Введение
Классификация методов
Простые методы
Сложные методы Motion Adaptive
Motion Compensation based
MSU filter
Дальнейшие планы
Список материалов
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
51
Сложные методы MC-based Deinterlacing
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
52
Сложные методы MC-based Deinterlacing
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
53
Taehyeun Ha, Seongjoo Lee, Jaeseok Kim, “Motion compensated frame interpolation by new block-based motion estimation
algorithm”, IEEE Transactions on Consumer Electronics, Volume 50, Issue 2, pp.752 - 759, May 2004.
Сложные методы MC-based Deinterlacing
Поиск похожих блоков
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
54
Taehyeun Ha, Seongjoo Lee, Jaeseok Kim, “Motion compensated frame interpolation by new block-based motion estimation
algorithm”, IEEE Transactions on Consumer Electronics, Volume 50, Issue 2, pp.752 - 759, May 2004.
Сложные методы MC-based Deinterlacing
nBПодгоним найденный блок под сетку
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
55
MC-based DeinterlacingПример работы
Field Insertion MC-based
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
56
Содержание Введение
Классификация методов
Простые методы
Сложные методы Motion Adaptive
Motion Compensation based
MSU filter
Дальнейшие планы
Список материалов
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
57
MSU Filter
MSU MA
Temporal Interpolation
Spatial Interpolation
MSU MC
Тестирование
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
58
MSU MA
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
59
MSU MA
ткоэффициен весовой венныйпространст SpatCoef
,,*),,(ˆ*),,(ˆ
,02)%(),,,(),,(0
иначеTempCoefkyxpSpatCoefkyxp
kykyxpkyxp
ts
ткоэффициен весовой временнойTempCoef
пиксел способом веннымпространст ованныйинтерполир),,(ˆ kyxps
Пиксель интерполируется двумя способами
Пространственная интерполяция (Spatial)
Временная интерполяция (Temporal)
Каждый из двух получившихся пикселей вносит свой вклад в конечный результат с определенным весами, зависящим от характера движения
пиксел способом временным ованныйинтерполир),,(ˆ kyxpt
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
60
MSU MATemporal Interpolation
В качестве временного приближения используется Field Insertionили Field Averaging
Весовая функция для временного приближения (―Static‖ weighting function) задается так:
)(*)(150
*53
5DhEf
D
D
ESt
E - so called SAD (Sum of Absolute Differences). Так называемая сумма абсолютных разностей, рассчитанная для полей n+1, n, n-1, n-2.
D - дисперсия текущего поля. Считается по восьми соседним пикселям.
St влияет на TempCoef
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
61
MSU MASpatial Interpolation
Интерполяция Vertical Bilinear – позволяет
избежать эффект Гиббса (рингинг)
Diagonal – позволяет избежать ступенчатые границы
Low-angle Edge – интерполирует границы с маленькими углами наклона
Пиксели, получившиеся разными способами берем с определенным весом
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
62
MSU MASpatial Interpolation
,иначе ,***
,совпадают строки и поля четность ,
bilinearbilinearlowlowdiagdiag XWXWXW
XX
ionInterpolatBilinear ованныйинтерполир пиксел, -
ionInterpolat Edge angle-Low ованныйинтерполир пиксел, -
ionInterpolat Diagonal ованныйинтерполир пиксел, -
bilinear
low
diag
X
X
X
bilinearbilinear
lowlow
diagdiag
XW
XW
XW
ющийсоответсву вес, -
ющийсоответсву вес, -
ющийсоответсву вес, -
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
63
MSU MASpatial Interpolation
A i-1
X i-1
B i-1
X i X i+1
A i+1
B i+1 B i
A i
C i-1
D i-1
C i+1
D i+1
C i
D i
E i-1 E i+1 E i
F i-1 F i+1 F i
Prev i ous
Field Current
Field
)()(2)()(_
||)(
)2
(
)2
(
)2
(
11
321
3
2
1
iiii
i
iii
iii
iii
XDifXDifXDifXmeasuregInterlacin
mmmXDif
DXBm
BAXm
XCAm
Весовая функция, влияющая на SpatCoef
Вес больше, когда присутствует «зубчатость»
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
64
MSU Filter
MSU MA
MSU MC
Тестирование
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
65
MSU MC
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
66
MSU MC
,,*),,(ˆ*),,(ˆ*),,(ˆ
,02)%(),,,(),,(0
иначеMCCoefkyxpTempCoefkyxpSpatCoefkyxp
kykyxpkyxp
mcts
ткоэффициен весовой венныйпространст SpatCoef
ткоэффициен весовой временнойTempCoef
пиксел способом веннымпространст ованныйинтерполир),,(ˆ kyxps
пиксел способом временным ованныйинтерполир),,(ˆ kyxpt
MC ткоэффициен весовойMCCoef
пиксел способом-MC ованныйинтерполир),,(ˆ kyxpt
Пиксель интерполируется тремя способами
Пространственная интерполяция (Spatial)
Временная интерполяция (Temporal)
MC-интерполяция
Веса SpatCoef и TempCoef определяются похожим (как в MSU MA) образом
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
67
MSU MC
Мера ошибки ME (ME Error Measure)
Влияет на вес MC кадра.
Определяет отсутствие движения и слабое движение.
Может обнаружить только объекты с большой дисперсией.
Зависит от:
различия блоков (SAD) текущего и предыдущего полей – B.
различия 6 соседей (SAD) предыдущего и текущего полей – L.
дисперсии - D. Чем больше дисперсия, тем меньше вероятность движения.
1*
1__
12
LB
B
L
D
motionofyprobabilitW
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
68
MSU MC
Весовая функция горизонтальных границ (Horizontal Edge Detection weighting function)
Влияет на вес MC-кадра
Нужна для более точно интерполяции границ, близких к горизонтальным.
Пиксель принадлежит горизонтальной границе, если выполнено два условия:
Градиент по вертикали больше определенного порога (для области этого пикселя).
Значение пикселя лежит между значениями соседей.
1,min,max
)(21*)()(
,min,,maxmin)(
)2()2()( 1111
iiii
iii
iiiii
iiiiiii
BABA
XMatchXGradientXW
BAXXBAXMatch
BBBAAAXGradient
A i-1
X i-1
B i-1
X i X i+1
A i+1
B i+1 B i
A i
Motion Compensated
Field
Current
Field
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
69
MSU Filter
MSU MA
MSU MC
Тестирование
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
70
MSU FilterТестирование
Original frame
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
71
MSU FilterТестирование
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
72
MSU FilterТестирование
Smart Deinterlace De Haan DeinterlacerMSU Deinterlacer (motion
adaptive)
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
73
MSU FilterТестирование
MSU Deinterlacer (motion
adaptive)
MSU Deinterlacer (motion
compensation)
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
74
MSU FilterТестирование
1 2 3 4 5 620
30
40
50
VirtualDub Internal
Smart Deinterlace
AlparySoft Deinterlace
De Haan deinterlacer
MSU MA
MSU MC
PSNR Measuring (average)
Sequence Number
PS
NR
val
ue
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
75
Содержание
Введение
Классификация методов
Простые методы
Сложные методы
Дальнейшие планы
Список материалов
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
76
Дальнейшие планы
Опробовать изложенные методы
Совместить следующие подходы
Motion Adaptive Spatial
Temporal
Edge-based
Motion Compensation based
Возможно, вероятностный подход
Анализ области и весовые функции
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
77
Содержание
Введение
Классификация методов
Простые методы
Сложные методы
Дальнейшие планы
Список материалов
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
78
Список материалов
1. A De-interlacing Algorithm Based on True Motion Vectors. Yi-Shan Shiu, Institute of Computer &Communication, 2006 .
2. Video De-Interlacing by Adaptive 4-Field Global/Local Motion Compensated Approach. Yu-Lin Chang,Shyh-Feng Lin, Ching-Yeh Chen, Liang-Gee Chen, IEEE Transactions on Circuits and Systems for VideoTechnology, Volume 15, Issue 12, pp.1569 - 1582, Dec. 2005.
3. High Performance De-Interlacing Algorithm for Digital Television Displays. Li G.-L., Chen M.-J. Journalof Display Technology, Volume 2, Issue 1, pp.85 - 90, March 2006.
4. Motion compensated frame interpolation by new block-based motion estimation algorithm. TaehyeunHa, Seongjoo Lee, Jaeseok Kim. IEEE Transactions on Consumer Electronics, Volume 50, Issue 2,pp.752 - 759, May 2004.
5. Advanced de-interlacing techniques. E.B. Bellers and G. de Haan.6. Direction-Oriented Interpolation and Its Application to De-interlacing. Hoon Yoo and Jechang Jeong.
IEEE Transactions on Consumer Electronics, Volume 48, Issue 4, pp.954 – 962, Nov. 2002.7. A recursive approach for de-interlacing using improved ELA and motion compensation based on bi-
directional BMA. Seungchan Byun, Jeongmonn Byun, Gyeonghwan Kim. 2004 International Conferenceon Image Processing, Volume 3, 24-27, pp.1679 – 1682, Oct. 2004.
8. A Motion-Adaptive Deinterlacer via Hybrid Motion Detection and Edge-Pattern Recognition. Gwo GiunLee, Ming-JiunWang, Hsin-Te Li, He-Yuan Lin. EURASIP Journal on Image and Video Processing, 2008.
9. Презентации Видеогруппы. Сергей Путилин, Денис Кубасов. 2003, 2004.10. Отчет по MSU Deinterlacer.
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
79
Вопросы
?
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
80
Содержание Введение Классификация методов Простые методы Сложные методы
Motion Adaptive Motion Compensation based MSU filter Вероятностный подход
Дальнейшие планы Список материалов
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
81
YIN XueMin, YUAN JianHua, LU XiaoPeng, ZOU MouYan. De-interlacing technique based on total variation with spatial-temporal
smoothness constraint. Science in China Series F: Information Science. 2007.
Сложные методы Вероятностный подход
– текущее поле (четные или нечетные строки)
– кадр на выходе, соответствующий
– область, соответствующая
– область, соответствующая
– const
Оценка максимального правдоподобия:
Максимальная апостериорная гипотеза (MAP):
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
82
YIN XueMin, YUAN JianHua, LU XiaoPeng, ZOU MouYan. De-interlacing technique based on total variation with spatial-temporal
smoothness constraint. Science in China Series F: Information Science. 2007.
Сложные методы Вероятностный подход
- «похожесть» и на области . По сути, плотность
распределения шума.
Существующие пиксели ( ) желательно оставить без изменений
- позиция каждого пикселя кадра
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
83
YIN XueMin, YUAN JianHua, LU XiaoPeng, ZOU MouYan. De-interlacing technique based on total variation with spatial-temporal
smoothness constraint. Science in China Series F: Information Science. 2007.
Сложные методы Вероятностный подход
- априорная оценка
Модель Гиббса:
- функция энергии
- обратная абсолютная температура
- пространственно-временной градиент
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
84
YIN XueMin, YUAN JianHua, LU XiaoPeng, ZOU MouYan. De-interlacing technique based on total variation with spatial-temporal
smoothness constraint. Science in China Series F: Information Science. 2007.
Сложные методы Вероятностный подход
Таким образом, задача сводится к минимизации
функционала энергии:
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
85
YIN XueMin, YUAN JianHua, LU XiaoPeng, ZOU MouYan. De-interlacing technique based on total variation with spatial-temporal
smoothness constraint. Science in China Series F: Information Science. 2007.
Сложные методы Вероятностный подход
- нормаль вектора границы области
Соответствующее уравнение Эйлера-Лагранжа:
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
86
YIN XueMin, YUAN JianHua, LU XiaoPeng, ZOU MouYan. De-interlacing technique based on total variation with spatial-temporal
smoothness constraint. Science in China Series F: Information Science. 2007.
Сложные методы Вероятностный подход
Стандартное видео (без шума)
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
87
YIN XueMin, YUAN JianHua, LU XiaoPeng, ZOU MouYan. De-interlacing technique based on total variation with spatial-temporal
smoothness constraint. Science in China Series F: Information Science. 2007.
Вероятностный подходтестирование
(a) original video
(b) video with noise (zero-mean,
SNR=20 dB)
(c) LR (PSNR=22.10 dB)
(d) LA (PSNR=24.80 dB)
(e) FI (PSNR=21.78 dB)
(f) VT (PSNR = 22.68)
(g) MCmed (PSNR=24.11 dB)
(h) McVT (PSNR=25.96 dB)
(i) Proposed (PSNR=27.81dB)
Стандартное видео (с шумом)
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
88
YIN XueMin, YUAN JianHua, LU XiaoPeng, ZOU MouYan. De-interlacing technique based on total variation with spatial-temporal
smoothness constraint. Science in China Series F: Information Science. 2007.
Вероятностный подходтестирование
Стандартное видео (с шумом)
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
89
YIN XueMin, YUAN JianHua, LU XiaoPeng, ZOU MouYan. De-interlacing technique based on total variation with spatial-temporal
smoothness constraint. Science in China Series F: Information Science. 2007.
Вероятностный подходтестирование
Реальное видео
(a) original video
(b) LR
(c) LA
(d) Proposed
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
90
Motion AdaptiveMotion Detector
- различие во времени
- различие в пространстве