Пространственно-временная коррекция видеопоследовательностей

в задачах стереовидения

Фаворская М. Н., Пьянков Д. И., Горошкин А. Н.

ГОУ ВПО «Сибирский государственный аэрокосмический университет им.академика М.Ф.Решетнева»

Красноярск 2011

2

Классификация методов преобразования частоты кадров

DLab SibSAU

Методы преобразования частоты кадров

Без оценки движения С оценкой движения

Повторение кадров(Frame Repetition)

Линейная интерполяция(Linear Interpolation)

Слежение за особенными точками(Feature Tracking)

Методы оптического потока(Optical Flow)

Методы сопоставления блоков(Block-matching Algorithm)

Нелинейная интерполяция(Non-Linear Interpolation)

3

Классификация методов совмещения изображенийDLab SibSAU

Методы совмещения изображений

Методы корреляции

Фазовая корреляция(Phase Correlation)

Отображение точек с обратной связью

(Point Mapping with Feedback)

Перекрестная спектральная функция(Cross power spectrum)

Управляющие точки(Control points)

Общий многочлен(Global Polynomial)

Методы на основе преобразований

Методы на основе отображения точек

Степенной кепстр(Power cepstrum)

4

Обзор существующих программных средств

Название Дата выпуска Предназначен для

FrameDouble июнь, 2003 Avisynth

Motion июнь, 2003 Avisynth

Twixtor июнь, 2003 Adobe AfterEffects

RealViz Retimer лето, 2007 Adobe AfterEffects

MSU FRC сентябрь, 2007 Avisynth

MVTools ноябрь, 2008 Avisynth

MVTools2 ноябрь, 2009 Avisynth

Название Версия Дата выпуска

DynaPel MotionPerfect 4.3.1.1 июнь, 2003

Dynapel SlowMotion 1.0.4.0 июнь, 2003

Smootz7 1.6 beta июнь, 2003

Программы Плагины

Системы преобразования частоты кадров на основе интерполяции

Системы ручной коррекции стереопар

Название Страна Год выпуска

StereoFoto Maker USA 2010

Zerene Stacker USA 2009

Anaglyph Maker  Japan 2004

DLab SibSAU

5

DLab SibSAU

Обобщенная схема пространственно-временной коррекции

Левая видеопоследовательность

Преобразование в YUV-пространство

Преобразование в YUV-пространство

Построение интерполированных кадров

Текущий кадр

Последовательное совмещение интерполированных кадров с текущим кадром

Выбор оптимального интерполированного кадра

Правая видеопоследовательность

Построение стереовидеопоследовательности

6

,...}4{2,3,..},{0,1,2,3,.

,}1,..,3,2,1{ , ,)(

..}{0,1,2,3,. , ,)()(

nznlltnztL

ttnztLzL

in

inout

где n – параметр, определяющий, во сколько раз увеличить число кадров;z – общее число кадров.

DLab SibSAU

Построение интерполированных кадров

7

DLab SibSAU

Обобщенная схема построения интерполированных кадров

Текущий кадрL(t)

Оценка движения по межкадровой разнице

Построение поля векторов движения

Следующий кадрL(t+1)

Интерполяция в найденных областях движения

Построение интерполированных кадров

8

shift

B(x,y)

B(x-shift,y- shift) B(x+shift,y- shift)

B(x,y- shift)

B(x-shift,y+ shift)

B(x,y+ shift)

y

x

B(x+shift,y+ shift)

B(x+shift,y)B(x-shift,y)

shift

B(x,y)

B(x+shift,y- shift)

y

x

move

y

x

Область поиска движения Вектор движения

Поле векторов движения

DLab SibSAU

Оценки движения при построении интерполированных кадров

9

DLab SibSAU

Схема оценки движения при построении интерполированных кадров

Текущий кадр L(t)

Разбиение на блоки B(x,y) заданного размера

Выбор текущего блока B(x,y)

Следующий кадр L(t+1)

Вычисление суммы s яркости пикселей для B(x,y)

Сравнение суммы s с пороговым значением err

s < err, движения нет s > err, движение есть

Вычисление суммы s с пороговым значением err

Минимизация функции ошибки

Вычисление соседних блоков со смещением

Построение векторов движения

10L(t)

L(t+1)

n = 2

1

2

move

B(x,y)

DLab SibSAU

Интерполяция кадров

11

]1[0;,)( 121 ttCCCCn

},...,3,2,1{,1

nmn

mt

Cn - значение цветовой компоненты Y пикселя (x,y) блока B(x,y) на интерполированном кадре n;

где

t – параметр, задающий линейное смещение пикселей на каждом интерполированном кадре.

DLab SibSAU

Схема построения интерполированных кадров

Текущий кадрL(t)

Текущий блок B(x,y) с вектором движения move

Линейное смещение каждого пикселя C1 к C2

Следующий кадрL(t+1)

Построение интерполированного кадра

12

L(t)

L(z)

R(t)

n

hw

yxVyxVyxUyxUyxYyxYMSE

h w

x y

3

))),(),(()),(),(()),(),(((1 1

212

212

212

0 0

MSEMAXzpsnr 10log20)(

}{2,3,...,))),((),(max( nztLpsnrzpsnrlike

DLab SibSAU

Совмещение кадров

13

DLab SibSAU

Схема совмещения кадров

Левая видеопоследовательность

Текущий кадр L(t)

Построение интерполированных кадров

Текущий кадр R(t)

Вычисление попиксельной межкадровой разницы по метрике PSNR

Правая видеопоследовательность

Построение стереокадра

14

DLab SibSAU

Реализация программного продукта

Левая видеопоследовательность

Плагин интерполяции MyPlugin.dll

Правая видеопоследовательность

Фреймсервер Avisynth

Скрипт avs

Плагин интерполяции MyCompare.dll

Видеоредактор (VirtualDub, Windows Media player)

Откорректированная левая видеопоследовательность

Стереовидеопоследовательность

15

DLab SibSAU

Реализация метода. Построение векторов движения

16

DLab SibSAU

Реализация метода. Преобразование частоты кадров

17

DLab SibSAU

Реализация метода. Совмещение кадров

18

79,229

79,095

79,159

79,367

79,04379,028

79,045

79,147

79,08579,095

79,159

79,297

79,04379,028

79,045

79,187

79,000

79,050

79,100

79,150

79,200

79,250

79,300

79,350

79,400

psnr

, dB

Быстрая видеопоследовательность foreman

psnr 1 psnr 2

DLab SibSAU

Результаты экспериментов. PSNR (быстрая видеопоследовательность)

19

85,263

85,407

85,514

85,634

85,284

85,373

85,487

85,684

85,263

85,407

85,514

85,634

85,284

85,373

85,487

85,564

85,200

85,250

85,300

85,350

85,400

85,450

85,500

85,550

85,600

85,650

85,700

psnr

, dB

Медленная видеопоследовательность container

psnr 1 psnr 2

DLab SibSAU

Результаты экспериментов. PSNR (медленная видеопоследовательность)

20

44 37 33 28

176

587

2218

7150

9476 69 60

365

1190

4460

14250

10

100

1000

10000

Врем

я вы

полн

ение

я, с

Быстрая видеопоследовательность foreman, 300 кадров Медленная видеопоследовательность container, 300 кадров

DLab SibSAU

Результаты экспериментов. Время выполнения алгоритма

21

• Приведена классификация методов преобразования частоты кадров и методов совмещения изображений. Представлен обзор существующих программных средств для построения стереовидеопоследовательности.

• Разработаны схемы пространственно-временной коррекции, построения интерполированных кадров, оценки движения, совмещения кадров.

• Рассмотрена реализация программного продукта, приведены примеры построения векторов движения, преобразования частоты кадров, совмещения кадров.

• Построены экспериментальные зависимости отношения сигнал/шум для «быстрой» и «медленной» видеопоследовательностей, а также время выполнения алгоритмов.

DLab SibSAU

Заключение

Спасибо за внимание

DLab SibSAU

Фаворская Маргарита Николаевна e-mail: favorskaya@sibsau.ru

Пьянков Дмитрий Игоревич e-mail: pyankovdi@sibsau.ru

Горошкин Антон Николаевич e-mail: neobit@sibsau.ru