Best papers on ECCV2012

ECCV 2012 Новикова Татьяна 521 группа

Семинар "Компьютерное зрение" Лаборатория Компьютерной Графики и Мультимедиа Факультет ВМК МГУ имени М.В. Ломоносова

29 октября 2012

Общая информация

• Флоренция, Италия • 7 дней ( 7 октября – 13 октября) • Основная конференция – 4 дня • Устные доклады • Постеры • Демо презентации

• Тематические секции (workshop) – 3 дня • Мастер-классы (tutorial) – 1 день

Основные направления работ

• Семантическая сегментация изображений

• Анализ выражения лица

• Отслеживание людей на видео

• Анализ поведения людей и групп людей на

видео

• Бинарное кодирование

Призовые работы

• Best student paper award • Reconstructing the World’s Museums

Jianxiong Xiao and Yasutaka Furukawa • Demo paper award • Emotion Mirror: A novel intervention for autism using real-time

expression recognition. David Derisory, Josh Susskind, Lauren Kreiger and Marian Bartlett

• Best Paper Award – Honorable Mention • Activity Forecasting

Kris Kitani, Brian D. Ziebart, James Bagnell and Martial Hebert • Best paper award • Segmentation Propagation in ImageNet

Daniel Kuettel, Matthieu Guillaumin and Vittorio Ferrari

Призовые работы

• Best student paper award • Reconstructing the World’s Museums

Jianxiong Xiao and Yasutaka Furukawa • Demo paper award • Emotion Mirror: A novel intervention for autism using real-time

expression recognition. David Derisory, Josh Susskind, Lauren Kreiger and Marian Bartlett

• Best Paper Award – Honorable Mention • Activity Forecasting

Kris Kitani, Brian D. Ziebart, James Bagnell and Martial Hebert • Best paper award • Segmentation Propagation in ImageNet

Daniel Kuettel, Matthieu Guillaumin and Vittorio Ferrari

Reconstructing the World’s Museums Получение фотореалистичной карты музеев

Невозвожно получить фотографии всех ракурсов интерьера с воздуха!

Reconstructing the World’s Museums

Фотографии из музея + 3D точки с лазерного сканера

Чистая, хорошо регуляризованная, текстурированная 3D модель интерьера

Сбор информации: автобус с 2 вертикальными линейными сканерами и 1 горизонтальным + множество камер

Reconstructing the World’s Museums

Фотографии из музея + 3D точки с лазерного сканера

Чистая, хорошо регуляризованная, текстурированная 3D модель интерьера

Сбор информации: автобус с 2 вертикальными линейными сканерами и 1 горизонтальным + множество камер

Reconstructing the World’s Museums

Hough-transform для выделения гипотез линий Из линий получают гипотезы геометрических примитивов

Reconstructing the World’s Museums Генерируется Constructing Solid Geometry модель жадным алгоритмом, добавляющим и вычитающим примитивы Тем самым каждый раз улучшаем соответствие модели лазерным данным

Reconstructing the World’s Museums Аналогичным образом получаем из множества 2D кусков целую 3D модель

Reconstructing the World’s Museums

Призовые работы

• Best student paper award • Reconstructing the World’s Museums

Jianxiong Xiao and Yasutaka Furukawa • Demo paper award • Emotion Mirror: A novel intervention for autism using real-time

expression recognition. David Derisory, Josh Susskind, Lauren Kreiger and Marian Bartlett

• Best Paper Award – Honorable Mention • Activity Forecasting

Kris Kitani, Brian D. Ziebart, James Bagnell and Martial Hebert • Best paper award • Segmentation Propagation in ImageNet

Daniel Kuettel, Matthieu Guillaumin and Vittorio Ferrari

Emotion Mirror: A novel intervention for autism using real-time expression recognition. • Компьютерное зрение + медицина • Игры для улучшения восприятия и воспроизведения

эмоций у детей, больных аутизмом

Emotion Mirror: A novel intervention for autism using real-time expression recognition. • Использует разработки по извлечению эмоций из изображений

лица • Computer Expression Recognition Toolbox (CERT), кодирует: • Меру 6 эмоций (злость, отвращение, страх, радость, грусть и

удивение) • 3 измерения положение головы • 20 мимических движений из Facial Action Coding System • 12-15 кадров в секунду

• Два варианта • Участник показывает одну из 6 эмоций – персонаж повторяет • Участник должен повторить эмоцию за персонажем

Призовые работы

• Best student paper award • Reconstructing the World’s Museums

Jianxiong Xiao and Yasutaka Furukawa • Demo paper award • Emotion Mirror: A novel intervention for autism using real-time

expression recognition. David Derisory, Josh Susskind, Lauren Kreiger and Marian Bartlett

• Best Paper Award – Honorable Mention • Activity Forecasting

Kris Kitani, Brian D. Ziebart, James Bagnell and Martial Hebert • Best paper award • Segmentation Propagation in ImageNet

Daniel Kuettel, Matthieu Guillaumin and Vittorio Ferrari

Activity Forecasting

• Для одного пешехода нужно оценить путь, по которому будет двигаться пешеход в будущем

• Используется: • Семантическое понимания сцены (физическое понимание

сцены) • Теория оптимального управления (априорные знания цели)

Activity Forecasting • Метод инвертированного принятия решения • Мгновенное поощрение • Ожидаемое поощрение в будущем • Цель

• Марковский процесс принятия решения

• S – текущее состояние, a – действие, r – стоимость, u –

зашумленные данные

Activity Forecasting

• Для оценки стоимости извлекались карты вероятностей для 9 семантических меток: • Здания, машины, бордюр, трава, проезжая часть, люди,

тротуары, забор, гравий.

Activity Forecasting

Призовые работы

• Best student paper award • Reconstructing the World’s Museums

Jianxiong Xiao and Yasutaka Furukawa • Demo paper award • Emotion Mirror: A novel intervention for autism using real-time

expression recognition. David Derisory, Josh Susskind, Lauren Kreiger and Marian Bartlett

• Best Paper Award – Honorable Mention • Activity Forecasting

Kris Kitani, Brian D. Ziebart, James Bagnell and Martial Hebert • Best paper award • Segmentation Propagation in ImageNet

Daniel Kuettel, Matthieu Guillaumin and Vittorio Ferrari

Segmentation Propagation in ImageNet • ImageNet – милионная база изображений • Иерархические метки основного изображенного класса • Некоторые катринки имеют bounding box главного объекта • Никто не имеет сегментации объект-фон

Segmentation Propagation in ImageNet • Предлагается алгоритм автоматической сегментации

ImageNet

Segmentation Propagation in ImageNet • Рекурсивно расширяем множество сегментированных

изображений

• Используем набор уже сегментированных изображений ܵ௧ିଵ для сегментации набора новых изображений ߬ ௧

• Переносим сегментацию с маски окна из ܵ௧ିଵ на визуально схожее окно изображения из ߬௧

• Уточнаяем сегментацию с помощью GrabCut

• Совместная сегментация изображений одного класса с разделяемой моделье внешнего вида

Segmentation Propagation in ImageNet • ܵ - размеченные изображения с PASCAL VOC 2010 • ଵܵ - расширена с помощь изображений с ImageNet, у

которых есть bounding box • ܵ௧ - расширяется с помощью изображений классов, у

которх есть размеченные примерны • ܵ௧ା - расширяется с помощью смежных классов

• Множество сегментированных изображений расширяется

с помощью наиболее схожих изображений • Ошибка сегментации накапливается

Segmentation Propagation in ImageNet • Перенос сегментации • Извлекаем 100 кандидатов окна через objectness sampling • Переносим маску на визуально похожие окна из

сегментированных изображений (взвешенное среднее) • Соединяем окна в единую маску

• Описание окна – HOG + бинарное кодирование

Segmentation Propagation in ImageNet • Унарный потенциал • Для конкретного изображения • Внешний вид класса • При новом классе (нет сегментированных примеров,

последние этапы) – унарные потенциалы для всех связанных классов

Segmentation Propagation in ImageNet • Результаты iCoseg:

• ImageNet (10 изображений 446 классов) – 77.1%

• Сравнение полная модель vs перенос сегментации только с начальной сегментации: • Шаг 2 + 3.6 %, шаг 3 + 0.7%, шаг 4 - 0%, шаг 5 - 5.9% • Итоговое улучшение - + 1.2%