Поиск и удаление дефектов в старом видео

CS MSU Graphics & Media Lab (Video Group)

Only for Maxus

1

Поиск и удаление дефектов

архивного видео

Матюнин Сергей

Video GroupCS MSU Graphics & Media Lab


Only for Maxus

2

Содержание

Введение

Примеры дефектов

Методы обработки

Методы поиска дефектов

Методы удаления дефектов

Дальнейшие планы

Список материалов


Only for Maxus

3Restoration of Archived Film and Video. P. M. B. van Roosmalen. Ph.D. dissertation, Tech. Univ. Delft, Delft, The Netherlands, 1999.

ВведениеПримеры дефектов


Only for Maxus




Only for Maxus




Only for Maxus

6On missing data treatment for degraded video and film archives: a

survey and a new Bayesian approach. Kokaram, A.C. IEEE Transactions on Image Processing. 2004.



Only for Maxus

7



Only for Maxus

8



Only for Maxus

9

ВведениеМетоды обработки

Ручной Очень качественный

Медленный

Дорогой

Автоматический Быстрый

Дешевый

Возможны ошибки

Полуавтоматический Средняя скорость

Средняя цена

Хорошее качество


Only for Maxus

10

ВведениеАвтоматическая обработка

Вход

Выход

Предобработка

(ME, MC)

Детектор

дефектов

Восстановление

повреждений

Постобработка

(уточнение)


Only for Maxus

11

ВведениеМетоды тестирования

Классический – создание искусственных дефектов Недостаточно реалистичный

Прост в реализации

Инфракрасная съемка Необходимо дополнительное оборудование

Порог бинаризации инфракрасного снимка нужно подбирать вручную

Черные дефекты на черном фоне не видны


Only for Maxus

12


Введение


Пространственные

Временные

Метод объединения результатов детекторов

Методы удаления ложных срабатываний





Only for Maxus

13Joyeux L., Boukir S., Besserer B., Buisson O. Reconstruction of

degraded image sequences. Application to film restoration. Image and Vision Computing, UK: Elsevier, 2001.

Поиск дефектовПространственный метод

Основан на специфических свойствах дефектов:

Маленькая площадь (до 2% изображения)

Четкие границы

Используются операции математической морфологии


Only for Maxus




Исходное изображение, закрытие, разность.


Only for Maxus





Only for Maxus

16

Содержание Введение Методы поиска дефектов

Временные SDI ROD SROD Улучшенный алгоритм MSU Old Film Restore

Методы удаления дефектов Дальнейшие планы Список материалов


Only for Maxus

17On missing data treatment for degraded video and film archives: a

survey and a new Bayesian approach. Kokaram, A.C. IEEE Transactions on Image Processing. 2004.

Поиск дефектовSDI-детектор

Spike Detection Index

иначе,0

)()( и и если,1

иначе,0

и если,1

)()()()(

1

1

bffbSDIp

fbSDIa

nnf

nnb

EsignEsignTETE (x) b

TETE (x) b

xIxIExIxIE


Only for Maxus

18





Only for Maxus

19

Blotch and Scratch Detection in Image Sequences based on Rank Ordered Differences M. J. Nadenau and S. K. Mitra 5th International

Workshop on Time-Varying Image Processing and Moving Object Recognition, September 5-6, 1996

Поиск дефектовROD-детектор

Ranked Ordered Difference

.,,izmzIzpzI

zmzIzIzpzd

(z)p(z)p m(z)

(z)p(z)p

ninn

nnin

in

n,n,

nn,i

321 )()(,)()(

)()( ,)()()(

2

величине по ныеупорядочен

7,

,

,

43


Only for Maxus

20





Only for Maxus

21Restoration and Storage of Film and Video Archive Material. P.M.B. van Roosmalen and J. Biemond and R.L. Lagendijk Restoration and

Storage of Film and Video Archive Material. 1999.

Поиск дефектовSROD-детектор

Simplified Ranked Ordered Difference

иначе

Tzdеслиzmask

n

n,0

)( ,1)(

1


Only for Maxus


Поиск дефектовСравнение


Only for Maxus

23





Only for Maxus

24An improved motion-compensated restoration method for damaged

color motion picture films. Gangal Ali ; Kayikcioglu Temel; Dizdaroglu Bekir; Signal processing. Image communication. 2004

Поиск дефектовУлучшенный алгоритм


Only for Maxus




Для обнаружения дефектов используется ROD детекторы


Only for Maxus




ME по пяти

кадрамСтарт

Нашли MV по

направлениям

№1-4?

Детектор

дефектов

Меньше чем T%

пикселей блока

дефектны?

Удаление

дефектов

Нашли MV по

направлениям 5-

7?

Оцениваем MV

для n-го кадра

по MV №5-7

Получили

близкие

векторы?

MV[n] =

среднему

вектору

Да

Нет

ДаДа

Да

Не удалось

предсказать

MVF

Нет

Детектор

дефектов

Меньше чем T%

пикселей блока

дефектны?

Да

Нет

Нет

Нет


Only for Maxus



Улучшенный алгоритмТестирование

Использовалось K=4 уровня в схеме multiresolution.

Фильтр: гауссовский. На нулевом уровне

на остальных:

и т.д.

Размер изображения: CIF.

Параметры ME


Only for Maxus





Only for Maxus





Only for Maxus





Only for Maxus

31





Only for Maxus

32Методы подавления шума и царапин в старых видеозаписях. Титаренко А. В. 2007

Поиск дефектовMSU Old Film Restore

Считаем локальную ошибку компенсации:

Две вспомогательные маски:

Применяем операции сужения и расширения:

Окончательная маска:

2

2

2

2

,,,,,,LSADp q

qjpiktmc_frameqjpitframejikt

иначе

TjitLSADjit

,0

),,1(,1,,1mask

иначе

qpqjpitmaskjit

,0

31;1,|1),,(,1,,mask

иначе

qpqjpitmaskjit

,0

01;1,|1),,(,1,,mask

jitИjitji ,,1mask,,1mask,mask


Only for Maxus

33


Введение



Временные







Only for Maxus

34Fusion of complementary detectors for improving blotch detection in

digitized films. Sorin Tilie, Isabelle Bloch, Louis Laborelli. Elsevier Science Inc. 2007.

Поиск дефектовОбъединение детекторов

Используем детекторы: SROD и пространственный.


Only for Maxus



Поиск дефектовОбъединение детекторов

Старт

Вероятность того, что оба

детектора показывают

неоднозначный результат < T

Результат

не

определен

Оба детектора

обнаружили дефект

Пиксель

дефектный

Оба детектора не

обнаружили дефекта

Пиксель не

дефектный

Да

Нет

Да

Нет

ДаНет


Only for Maxus



Объединение детекторовТесты


Only for Maxus





Only for Maxus





Only for Maxus




T=0.1


Only for Maxus



Поиск дефектовТесты

T=0.6


Only for Maxus





Only for Maxus





Only for Maxus

43


Введение



Временные







Only for Maxus

44A contrario False Alarms Removal for Improving Blotch Detection in Digitized Films Restoration. Tilie, S. Laborelli, L. Bloch, I. Systems,

Signals and Image Processing, 2007.

Удаление ложных срабатываний

A contrario FA removal


Only for Maxus





Дефекты распределены независимо.

Если распределение не равномерное –

ложное срабатывание.


Only for Maxus





Рассматриваем области, соседние с проверяемой.

ki - количество дефектов в области

n - пикселей в области

N - всего областей

Распределение дефектов считаем биномиальным с вероятностью p.

p оцениваем как .

Оцениваем для каждой области, с какой вероятностью по крайней мере ki пикселей в области дефектны

n

kj

njk

ji ppCknpB i 1)1(),,(

)*/( nNki


Only for Maxus





Вероятность того, чтобы хотя бы в одной области по крайней мере ki пикселей в области дефектны

Если , то считаем что было ложное срабатывание.

),,( iknp NBNFA


Only for Maxus





Два прохода:

Временной

Пространственный (проверяем только области, отмеченные на первом проходе)

Оценка для хвоста биномиального распределения

n

kp

p

pp

p

ppnknpB

l

l

l

l

l

где

)),1

1log)1(log(exp(),,(


Only for Maxus



A contrario FA removalТесты


Only for Maxus





Only for Maxus




После удаления FA(слева) и ИК изображение дефектов


Only for Maxus




M2D – multiresolution global motion estimatorPhC – phase correlation dense motion estimator

*P4, CPU 3GHz. Наиболее затратная часть алгоритма – Motion Estimation. Обнаружение дефектов и пост-обработка занимает 300 ms/frame

ME До После Скорость*

True FA True FA

M2D 50% 4.5% 39% 0.43% 1 s/frame

PhC 37.81%

0.29% 32% 0.19% 2.3 s/frame


Only for Maxus

53Pathological Motion Detection for Robust Missing Data Treatment in Degraded Archived Media. Corrigan, D. Harte, N. Kokaram, A. IEEE

International Conference on Image Processing, 2006.

Удаление ложных срабатыванийБайесовский подход


Only for Maxus




Необходимо создать маску для изображения вида

движение сложное,2

дефект,1

движения сложного и дефектов нет,0

)(xmask


Only for Maxus




kk

kk

k

k

T

Tt

t

,0

,1остинеоднородн

временной индикатор -

(x)] t(x), t(x),t(x),[t state(x) 2n1n1-n2-n


Only for Maxus




Только состояние 6 указывает на дефект в текущем кадре. Состояния 3 и

12 могут свидетельствовать о присутствии дефекта с соседних кадрах.


Only for Maxus




Сложное движение идефекты зачастую нарушаютгладкость поля векторовдвижения. Можноиспользовать отклонениевекторов как индикаторподозрительных областей.Таким образом строим маску

иначе0,

области ьнойподозрител 1, (x)bdiv

x


Only for Maxus




Необходимо оценить state(x) и mask(x). Воспользуемся формулой для апостериорной вероятности:

ухL

xΔxΔxΔxΔxΔmask|bpe)p(mask|L|mask,stat,L)~p(Δ,bte|Δp(mask,sta

nnnnn

divndivn

пикселей ссоседних всех для mask(y) значений множество

)],(),(),(),([)( где),()

2112

областяхх недефектны в дисперсия где

,2

])[])[1(2

][(

3

02

2

ne

kstatekstatek

n

Δ

e)~e|mask,statp(Δk e

n


Only for Maxus




Регионы со сложным движением расположены рядом

xсоседей множество )(

,y-x

1~

гладкости, веннойпространст ткоэффициен где,)(

)()(

xN

ep(mask|L)~

y

l

ymaskxmaskxNy

yl


Only for Maxus




Для получения окончательного решениявычисляем вероятности для каждого mask(x)методом максимизации апостериорной оценки(MAP).

гладкости веннойпространст ткоэффициен где

,2

2)1(

b

b

b

divmaske

maske)~p(mask|b

divb

divb


Only for Maxus





Only for Maxus

62

Содержание Введение Методы поиска дефектов Методы удаления дефектов

Внутрикадровая интерполяция Интерполяция рациональными функциями Многошаговая медианная фильтрация Смешивание Байесовский подход

Дальнейшие планы Список материалов


Only for Maxus

63Motion compensated film restoration. Buisson O., Boukir S., Besserer

B. Machine Vision and Applications N 13. IEEE Computer Society, 2003.

Удаление дефектовВнутрикадровая интерполяция

Кубическая интерполяция

Оценка коэффициентов методом наименьших квадратов по недефектным пикселям.

Восстанавливает только низкие частоты.

Удаляет только небольшие дефекты.

Не требует ME.

3

0

3

0

,),(k l

lk

lkКИ yxayxI


Only for Maxus

64





Only for Maxus

65Old Movie Restoration Using Rational Spatial Interpolators. Khriji L., Gabbouj M., Ramponi G., Ferrandiere E.D. IEEE. 1999.

Удаление дефектовИнтерполяция рациональными функциями

Работает в пространственной области.

k – коэффициент нелинейности

a3 a2 a1 X b1 b2 b3

2

31

2

31

2

31

)()(2

)(1

abbak

bak

11 )1( baX


Only for Maxus

66Old Movie Restoration Using Rational Spatial Interpolators. Khriji L., Gabbouj M., Ramponi G., Ferrandiere E.D. IEEE. 1999.

Удаление дефектовИнтерполяция рациональными функциями

1. Вычислить

2. Временно вычислить и



5. Повторно вычислить и

)4,1,1,4(0 bbaaRX

3

2 012

XaX

3

2 012

XbX

)2,,,( 2201 bXXXRX

),,,2( 2021 XXXaRX

),,1,3( 112 XXaaRX

)3,1,,( 112 bbXXRX

Для дефектной области длиной 5 пикселей


Only for Maxus

67





Only for Maxus

68

Удаление дефектовМногошаговая медианная фильтрация

где W – множество пикселей, среди которых ищется

медиана, а – значения яркостей этих пикселей.if

Wf

jiWf

ji

ffmedian minarg

),,,,()(5,...,1),(

54321 mmmmmmedianrxlWmedianm ll


Only for Maxus

69





Only for Maxus

70

Удаление дефектовСмешивание

. пикселя значение новое -

, пикселя яркостьтыкоэффициен весовые -

пиксели, с соседние - пискель, аемыйрассматрив - где

,

rrI'rrI

Wrr

r

rW

rIrWrI'

r

r


Only for Maxus

71A NEW NON-LINEAR FILTER FOR VIDEO PROCESSING. V. Zlokolica,

W. Philips, D. Van De Ville, 3rd IEEE Benelux Signal Processing Symposium (SPS-2002). 2002.


Пиксели из пространственно-временной области вокруг текущего пикселя

Среднее.W=1. Усеченное среднее.Сортируем пиксели:

Улучшенный алгоритм.Сортируем пиксели:

Nxx ,...,1

Nxxx ...21

NNxyNN

Ni

i **2 ,1 *

1*

Nxxxxxx ...21

MaMiaMia

xay

N

i

iii

N

i

ii

1

1

, 0 ,..1 1

,1


Only for Maxus

72


Вес может зависеть от

значения маски дефекта

пространственной и временной удаленности пикселей от текущего

качества ME


Only for Maxus

73





Only for Maxus

74Practical MCMC for Missing Data Treatment in Degraded Video. Anil

Kokaram European Conference on Computer Vision workshop on Statistical methods in video processing. 2002.

Удаление дефектовБайесовский подход

Модель поврежденной последовательности:

- пиксель исходного кадра

- изображение дефекта

- маска дефекта

- шум


Only for Maxus




Модель последовательности:

- MV

- ошибка оценки


Only for Maxus




и - маски несоответствия.

равна 1, если данных кадра n нет на кадре n-1.

- маска дефектов.

- вектор объединяющий , ,

, ,

- значения в точках, отличных от x.

Нужно оценить


Only for Maxus




и - распределение

и в окрестности x

- вероятность ошибки


Only for Maxus





Only for Maxus




ME – по блокам

- множество соседних блоков

- обратно пропорциональна расстоянию между блоками


Only for Maxus




- векторы смещения между x и пикселями из окрестности x

равно 1, если между и есть резкий переход.


Only for Maxus




Нужно найти, где достигается максимум

Можно использовать сэмплер Гиббса.


Only for Maxus



Удаление дефектовСэмплер Гиббса

},~,~

~{

выполняем раз z,..., руемИнициализи

,,, Известно

11

11

00

),...,ybp(z|az),...,zcp(b|ab

),...,zp(a|ba

Na

y)p(z|a,...,...,z) p(b|a,cz)p(a|b,...,

iiii

iiii

iii


Only for Maxus

83


Введение






Only for Maxus

84


Опробовать рассмотренные методы

Доработать фильтр для обработки Betacam видео

Поиск и удаление цветовых пятен

Адаптивность

Модификация для восстановления архивного видео


Only for Maxus

85


Введение






Only for Maxus

86

Список материалов(1/2)

1. A contrario False Alarms Removal for Improving Blotch Detection in Digitized Films Restoration. Tilie, S.Laborelli, L. Bloch, I. Systems, Signals and Image Processing, 2007 .

2. Advances in the detection and reconstruction of blotches in archived film and video. Kokaram, A.C. IEESeminar on Digital Restoration of Film and Video Archives

3. An improved motion-compensated restoration method for damaged color motion picture films. Gangal Ali ;Kayikcioglu Temel; Dizdaroglu Bekir; Signal processing. Image communication. 2004

4. Automated treatment of film tear in degraded archived media. D. Corrigan, A. Kokaram, IEEE, 2004.5. Blotch Detection for Digital Archives Restoration based on the Fusion of Spatial and Temporal Detectors.

Tilie, S. Laborelli, L. Bloch, I. 9th International Conference on Information Fusion, 2006.6. Complex event classification in degraded image sequences. Rares, A.; Reinders, M.J.T.; Biemond, J.

Image Processing, 2001.7. Fast and efficient MRF-based blotch detection algorithm for degraded film sequences. Sang-Churl Nam;

Abe, M.; Kawamata, M. Intelligent Signal Processing and Communication Systems, 2007. ISPACS 2007.8. A NEW NON-LINEAR FILTER FOR VIDEO PROCESSING. V. Zlokolica, W. Philips, D. Van De Ville, 3rd IEEE

Benelux Signal Processing Symposium (SPS-2002). 2002.9. Motion compensated film restoration. Buisson O., Boukir S., Besserer B. Machine Vision and Applications N

13. IEEE Computer Society, 2003.


Only for Maxus

87

Список материалов (2/2)

10. Fusion of complementary detectors for improving blotch detection in digitized films. Sorin Tilie, Isabelle Bloch, Louis Laborelli. Elsevier Science Inc. 2007.

11. On missing data treatment for degraded video and film archives: a survey and a new Bayesian approach.Kokaram, A.C. IEEE Transactions on Image Processing. 2004.

12. Pathological Motion Detection for Robust Missing Data Treatment in Degraded Archived Media. Corrigan, D. Harte, N. Kokaram, A. IEEE International Conference on Image Processing, 2006.

13. Practical MCMC for Missing Data Treatment in Degraded Video. Anil Kokaram European Conference on Computer Vision workshop on Statistical methods in video processing. 2002.

14. Trainable blotch detection on high resolution archive films minimizing the human interaction. Attila Licsár, Tamás Szirányi and László Czúni. Machine Vision and Applications. 2007.

15. Trainable post-processing method to reduce false alarms in the detection of small blotches of archive films. Licsar, A.; Czuni, L.; Sziranyi, T. IEEE International Conference on Image Processing, 2005. ICIP 2005.

16. Restoration and Storage of Film and Video Archive Material. P.M.B. van Roosmalen and J. Biemond and R.L. Lagendijk Restoration and Storage of Film and Video Archive Material. 1999.

17. Blotch and Scratch Detection in Image Sequences based on Rank Ordered Differences M. J. Nadenau and S. K. Mitra 5th International Workshop on Time-Varying Image Processing and Moving Object Recognition, September 5-6, 1996

18. Restoration of Archived Film and Video. P. M. B. van Roosmalen. Ph.D. dissertation, Tech. Univ. Delft, Delft, The Netherlands, 1999.

19. Joyeux L., Boukir S., Besserer B., Buisson O. Reconstruction of degraded image sequences. Application to film restoration // Image and Vision Computing Volume 19 N 8. London, UK: Elsevier, 2001. P, 503-516.


Only for Maxus

88

Вопросы

?

Technology

Поиск и удаление дефектов в старом видео