Best papers on ECCV2012

ECCV 2012 Новикова Татьяна 521 группа

Семинар "Компьютерное зрение" Лаборатория Компьютерной Графики и Мультимедиа Факультет ВМК МГУ имени М.В. Ломоносова

29 октября 2012

Общая информация

• Флоренция, Италия • 7 дней ( 7 октября – 13 октября) • Основная конференция – 4 дня • Устные доклады • Постеры • Демо презентации

• Тематические секции (workshop) – 3 дня • Мастер-классы (tutorial) – 1 день

Основные направления работ

• Семантическая сегментация изображений

• Анализ выражения лица

• Отслеживание людей на видео

• Анализ поведения людей и групп людей на

видео

• Бинарное кодирование

Призовые работы

• Best student paper award • Reconstructing the World’s Museums

Jianxiong Xiao and Yasutaka Furukawa • Demo paper award • Emotion Mirror: A novel intervention for autism using real-time

expression recognition. David Derisory, Josh Susskind, Lauren Kreiger and Marian Bartlett

• Best Paper Award – Honorable Mention • Activity Forecasting

Kris Kitani, Brian D. Ziebart, James Bagnell and Martial Hebert • Best paper award • Segmentation Propagation in ImageNet

Daniel Kuettel, Matthieu Guillaumin and Vittorio Ferrari








Reconstructing the World’s Museums Получение фотореалистичной карты музеев

Невозвожно получить фотографии всех ракурсов интерьера с воздуха!

Reconstructing the World’s Museums

Фотографии из музея + 3D точки с лазерного сканера

Чистая, хорошо регуляризованная, текстурированная 3D модель интерьера

Сбор информации: автобус с 2 вертикальными линейными сканерами и 1 горизонтальным + множество камер


Фотографии из музея + 3D точки с лазерного сканера

Чистая, хорошо регуляризованная, текстурированная 3D модель интерьера

Сбор информации: автобус с 2 вертикальными линейными сканерами и 1 горизонтальным + множество камер


Hough-transform для выделения гипотез линий Из линий получают гипотезы геометрических примитивов

Reconstructing the World’s Museums Генерируется Constructing Solid Geometry модель жадным алгоритмом, добавляющим и вычитающим примитивы Тем самым каждый раз улучшаем соответствие модели лазерным данным

Reconstructing the World’s Museums Аналогичным образом получаем из множества 2D кусков целую 3D модель









Emotion Mirror: A novel intervention for autism using real-time expression recognition. • Компьютерное зрение + медицина • Игры для улучшения восприятия и воспроизведения

эмоций у детей, больных аутизмом

Emotion Mirror: A novel intervention for autism using real-time expression recognition. • Использует разработки по извлечению эмоций из изображений

лица • Computer Expression Recognition Toolbox (CERT), кодирует: • Меру 6 эмоций (злость, отвращение, страх, радость, грусть и

удивение) • 3 измерения положение головы • 20 мимических движений из Facial Action Coding System • 12-15 кадров в секунду

• Два варианта • Участник показывает одну из 6 эмоций – персонаж повторяет • Участник должен повторить эмоцию за персонажем








Activity Forecasting

• Для одного пешехода нужно оценить путь, по которому будет двигаться пешеход в будущем

• Используется: • Семантическое понимания сцены (физическое понимание

сцены) • Теория оптимального управления (априорные знания цели)

Activity Forecasting • Метод инвертированного принятия решения • Мгновенное поощрение • Ожидаемое поощрение в будущем • Цель

• Марковский процесс принятия решения

• S – текущее состояние, a – действие, r – стоимость, u –

зашумленные данные


• Для оценки стоимости извлекались карты вероятностей для 9 семантических меток: • Здания, машины, бордюр, трава, проезжая часть, люди,

тротуары, забор, гравий.









Segmentation Propagation in ImageNet • ImageNet – милионная база изображений • Иерархические метки основного изображенного класса • Некоторые катринки имеют bounding box главного объекта • Никто не имеет сегментации объект-фон

Segmentation Propagation in ImageNet • Предлагается алгоритм автоматической сегментации

ImageNet

Segmentation Propagation in ImageNet • Рекурсивно расширяем множество сегментированных

изображений

• Используем набор уже сегментированных изображений ܵ௧ିଵ для сегментации набора новых изображений ߬ ௧

• Переносим сегментацию с маски окна из ܵ௧ିଵ на визуально схожее окно изображения из ߬௧

• Уточнаяем сегментацию с помощью GrabCut

• Совместная сегментация изображений одного класса с разделяемой моделье внешнего вида

Segmentation Propagation in ImageNet • ܵ - размеченные изображения с PASCAL VOC 2010 • ଵܵ - расширена с помощь изображений с ImageNet, у

которых есть bounding box • ܵ௧ - расширяется с помощью изображений классов, у

которх есть размеченные примерны • ܵ௧ା - расширяется с помощью смежных классов

• Множество сегментированных изображений расширяется

с помощью наиболее схожих изображений • Ошибка сегментации накапливается

Segmentation Propagation in ImageNet • Перенос сегментации • Извлекаем 100 кандидатов окна через objectness sampling • Переносим маску на визуально похожие окна из

сегментированных изображений (взвешенное среднее) • Соединяем окна в единую маску

• Описание окна – HOG + бинарное кодирование

Segmentation Propagation in ImageNet • Унарный потенциал • Для конкретного изображения • Внешний вид класса • При новом классе (нет сегментированных примеров,

последние этапы) – унарные потенциалы для всех связанных классов

Segmentation Propagation in ImageNet • Результаты iCoseg:

• ImageNet (10 изображений 446 классов) – 77.1%

• Сравнение полная модель vs перенос сегментации только с начальной сегментации: • Шаг 2 + 3.6 %, шаг 3 + 0.7%, шаг 4 - 0%, шаг 5 - 5.9% • Итоговое улучшение - + 1.2%

Education

Best papers on ECCV2012