Embed Size (px)
Citation preview
ПОСТРОЕНИЕ ВИДЕОМОЗАИКИНА ОСНОВЕ СЛАБОКОНТРАСТНЫХ
ИЗОБРАЖЕНИЙ ДОННОЙ ПОВЕРХНОСТИ
Кропотов А.Н., Макашов А.А., Сахарова Е.И., Плясунов В.М.
НИИ СМ МГТУ им. Н.Э. Баумана, 105005, Москва, ул. 2-я Бауманская д.5, тел. (499)261-36-14 Эл. почта:
Особенности постановки задачи для системы видеосклейкиизображений донной поверхности
• Полностью автоматическая система, без использования ручной коррекции и навигационной информации – эта информация в режиме постобработки зачастую оказывается недоступной, и данное допущение позволяет обеспечить универсальность;
• Склейка большей частью малоинформативных низкоконтрастных слайдов, «особенности» которых сильно чувствительны к углу освещения (песок, галька);
• Склейка большей частью плоских участков дна (относительная высота выпуклых объектов на дне не превышает 5% высоты аппарата над дном);
• Движение видеокамеры, находящейся на борту аппарата, характеризуется незначительными колебаниями по крену и дифференту (5-10:) и резкими поворотами по курсу (до 180: при угловой скорости до 30:/сек).
Изображения дна Авачинской бухты, снятые системой видеонавигации СОТИ
Чёрные полосы по краям
Неровное освещениев кадре
Изображения нуждаются в предварительной обработке
Предварительная обработка изображений перед добавлением в видеосклейку
• Чёрные полосы по краям – обрезка по контуру:
Чтобы избавиться от чёрных полос в кадре, обрезаем с каждой стороныпо 2 пикселя.
Предварительная обработка изображений перед добавлением в видеосклейку
• Неравномерное освещение – коррекция по яркости.
К значениям яркости пикселей добавляется разница в освещении эталонногокадра по отношению к максимуму.
+ =
Результат: тёмные области становятся светлее
Различные подходы к сопоставлению изображений для решения поставленной задачи
В настоящее время для решения подобных задач существует несколько возможных подходов:
1. Использование методов «оптического потока» - рассматривается целый кадр без поиска «особенностей» (features);
2. Использование различных детекторов точечных «особенностей» и дескрипторов их локальных окрестностей;
3. Различные интегральные детекторы, производящие анализ областей, строчное или контурное сравнение.
Третья группа в данной работе не рассматривается ввиду специфики изображений морского дна (очень часто является невозможным выделить некие контуры и области, либо они оказываются нестабильными, сильно зависящими от освещения).
Использование методов оптического потока: функционал
В качестве функционала схожести используется функционал вида:
m,n = csize/2 - половина размера ячейки по соответствующей координате, пиксели
Использование методов оптического потока – результаты
Слева направо: дно Авачинской бухты, дно бассейна ЦАГИ, вертолётная аэросъёмка. Видно, что метод даёт плохие результаты при резких поворотах камеры.
Использование точечных дескрипторов: SIFT – функционал
Приближение производной гауссиана
k – масштабный коэффициент
- дескриптор
Использование точечных дескрипторов: SIFT – результаты
Нет совпадений: слабые отклики
Использование точечных дескрипторов: SURF – функционал
В качестве детектора используется быстрый гессиан
где L = ѲG. Для σ=1.2 и стороны 9 квадрата окрестности, функция имеет вид:
На рисунке слева направо: Lyy, Lxy, и их отклики Хаар-вейвлета (робастное приближение).
Данный метод наиболее стабилен в том числе на слабоконтрастных изображениях ввиду его робастности, работает без срывов.
– четырёхкомпонентный вектор окрестности «особенности»
Использование точечных дескрипторов: SURF – результаты
Использование точечных дескрипторов: BRISK - функционал
вокруг точки kСубпиксельная точность:
Использование точечных дескрипторов: BRISK - результаты
Также, как и SIFT, нестабилен на слабоконтрастных входных данных.
Использование точечных дескрипторов: ORB – функционал
Детектор: oFAST + sBRIEF
центроид
ориентация
центральный момент «особенности»
oFAST: кроме базового FAST-детектора,
Sbright – пиксели, яркость которых выше яркости «особенности» на величину более, чем порог t;
Sdark – пиксели, яркость которых ниже яркости «особенности» на величину более, чем порог t;
вычисляется ориентация:
sBRIEF: кроме базового BRIEF-дескриптора, вычисляется дескриптор для различных ориентаций:
р – «патч» ,х,у – точки.
Каждой точке ставится в соответствие вектор:
R – матрица поворота
Ѳ=[0..2π), шаг 2π/30=12:
Использование точечных дескрипторов: ORB – результаты
Нет совпадений: слабые отклики
Выводы
• Методы оптического потока стабильны по отношению к срывам, но не дают точной оценки при больших углах поворота.
• Из методов, основанных на точечных детекторах и дескрипторах, для слабоконтрастных изображений наиболее стабильную и корректную работу показывает SURF ввиду его робастности.
• Многие из рассмотренных дескрипторов неспособны выдать результат ввиду слабой контрастности точечных особенностей и их неустойчивости к освещению (были приведены SIFT, ORB, также сюда относятся FAST, FREAK и большинство остальных).
• Из быстрых дескрипторов, способных работать в реальном времени, возможно использование BRISK c оценкой полученной гомографии и вектора «особенностей» и при необходимости переключением на более стабильный SURF.
Спасибо за внимание!
