Уточнение сеточной модели трехмерной сцены, предварительно

восстановленной по малому количеству характеристических точек

Н.Н.  В.В.  СвешниковаСвешникова, аспирант МФТИ, , аспирант МФТИ, sveshnikova_n@list.rusveshnikova_n@list.ru

Д.Д.  В.В.  ЮринЮрин,, к.ф.-м.н., нач. отдела (НПП ОПТЭКС),к.ф.-м.н., нач. отдела (НПП ОПТЭКС), yurin_d@inbox.ruyurin_d@inbox.ru

МОСКОВСКИЙ ФИЗИКО-ТЕХНИЧЕСКИЙ ИНСТИТУТ

Российское авиационно-космическое агентствоФедеральное государственное унитарное предприятие

НПП ОПТЭКС

Подходы к восстановлению трехмерных сценПодходы к восстановлению трехмерных сцен

Плотное восстановление Плотное восстановление (стерео подход)(стерео подход)

Восстановление сетки Восстановление сетки характеристических точекхарактеристических точек

большое количество точек сцены

малое количество точек сцены

Восстанавливает

пару кадров с жесткими условиями

съемки

несколько кадров, снятых весьма произвольно

Требует

Требует задать диапазон поиска

Алгоритмы факторизации предоставляют оценку точности результата

+

-

-

+

+-

Алгоритм факторизации в качестве способа Алгоритм факторизации в качестве способа первичного восстановленияпервичного восстановления

F изображений сцены Детектирование и прослеживание

характеристических точек

Восстановление 3D алгоритмами на

основе факторизации

...

...

Сеточная модель, положения и ориентации камер

S – 3D координаты точек сценыR, t, g – ориентации, положения и фокусное расстояние камерEshape, Erotation, Ecamera_z – погрешности восстановления формы и параметров съемки

Примеры результатов восстановления сцен Примеры результатов восстановления сцен алгоритмами факторизацииалгоритмами факторизации

Небольшое количество точек иНебольшое количество точек иавтоматическая триангуляцияавтоматическая триангуляциячасто приводят к несоответствиючасто приводят к несоответствиюсеточной модели и реальнойсеточной модели и реальнойповерхности сцены.поверхности сцены.

Следовательно, необходимо Следовательно, необходимо уточнить модель.уточнить модель.

Схема алгоритма уточнения сеточной моделиСхема алгоритма уточнения сеточной модели

Выбрать пару изображений

Найти на одном кадре уголки с помощью детектора Харриса

Построить гипотезы о положении соответствующих

точек на втором кадре

KK’

L

L’M M’

X X’

Уточнить гипотезы трекером Канаде-Лукаса

Вычислить эпиполярную геометрию по известным из предварительного восстановления параметрам съемки

Проверить, что результаты трекера удовлетворяют эпиполярной геометрии Получить уточненную модель

Поиск новых характеристических точек с Поиск новых характеристических точек с помощью детектора Харрисапомощью детектора Харриса

Выбираем (вручную) из исходной Выбираем (вручную) из исходной последовательности два кадра последовательности два кадра

На одном из них ищем характеристические отметки с На одном из них ищем характеристические отметки с помощью детектора Харрисапомощью детектора Харриса

Выбор уголков и построение гипотез их Выбор уголков и построение гипотез их положения на выбранном кадреположения на выбранном кадре

3. 3. Вершины пары соответствующих треугольников связаны Вершины пары соответствующих треугольников связаны аффинным преобразованием аффинным преобразованием А. А.

4. Предположим, что треугольник соответствует плоскому 4. Предположим, что треугольник соответствует плоскому участку реальной сцены. Тогда положением уголка участку реальной сцены. Тогда положением уголка ХХ на на втором кадре можно считать точку втором кадре можно считать точку ХХ’’ = = ААХХ

1. Выбрать треугольник.

2. Выбрать уголок Х вблизи одной из вершин треугольника, например возле точки K.

KK’

L

L’M M’

X X’

Уточнение гипотезы и проверка эпиполярной Уточнение гипотезы и проверка эпиполярной геометриейгеометрией

Гипотеза уточняется трекером Канаде-ЛукасаГипотеза уточняется трекером Канаде-Лукаса

Для последующего отсева ложных соответствий Для последующего отсева ложных соответствий используются ограничения эпиполярной геометриииспользуются ограничения эпиполярной геометрии

Фундаментальная матрица и ее погрешность Фундаментальная матрица и ее погрешность вычисляются по восстановленным на предварительном вычисляются по восстановленным на предварительном этапе параметрам съемки и их погрешностямэтапе параметрам съемки и их погрешностям

( ) ( ) ( )( )krightbleftrightleftbk RRtt

,,−=F 3..1, =kb

,

Результаты уточнения сеточной моделиРезультаты уточнения сеточной модели

++ Количество Количество восстановленных точек восстановленных точек сцены увеличеносцены увеличено

++ Сеточная модель Сеточная модель уточненауточнена

- Необходим более Необходим более строгий критерий отсева строгий критерий отсева ложных соответствийложных соответствий

- Требуются Требуются дополнительные дополнительные способы детектирования способы детектирования точек для слабо точек для слабо текстурированных сцен текстурированных сцен

ЗаключениеЗаключение

Предложен подход к восстановлению трехмерных сценПредложен подход к восстановлению трехмерных сценДля восстановления используются изображения Для восстановления используются изображения неподвижной сцены, полученные вручную с помощью неподвижной сцены, полученные вручную с помощью обычного цифрового фотоаппарата обычного цифрового фотоаппарата Подход основан на поиске характеристических точек на Подход основан на поиске характеристических точек на изображениях и состоит из предварительного изображениях и состоит из предварительного восстановления и последующего уточнения.восстановления и последующего уточнения.Для первого этапа используются алгоритмы Для первого этапа используются алгоритмы факторизации, которые обеспечивают факторизации, которые обеспечивают достоверноедостоверное восстановление небольшого количества точек и восстановление небольшого количества точек и параметров съемкипараметров съемкиДля последующего уточнения используются детектор Для последующего уточнения используются детектор Харриса, механизм построения гипотез о положении Харриса, механизм построения гипотез о положении соответствующих точек на втором кадре и трекер соответствующих точек на втором кадре и трекер Канаде-Лукаса.Канаде-Лукаса.

Спасибо за внимание.Спасибо за внимание.

Вопросы?Вопросы?