Embed Size (px)
DESCRIPTION
Citation preview
Классификация людей по лицу для измерения аудитории
и поиска в архиве
1
Вадим Конушин генеральный директор
ООО «Технологии видеоанализа»
О себе
• ООО «Технологии видеоанализа» – Основана в 2010 году выпускниками Лаборатории компьютерной
графики и мультимедиа ВМК МГУ – В настоящее время – 7 человек в штате – Область деятельности: видеоаналитика, биометрия
• Идентификация людей по лицу • Классификация людей по лицу • Выделение и сопровождение объектов в видео • Поиск в видеоархивах
– Гранты СТАРТ от фонда Бортника по теме «Система анализа аудитории»
– Совместные НИР и разработки модулей видеоаналитики с компанией Синезис
2
План
• Что можно сказать по лицу? • Как работают алгоритмы классификации по лицу • Проблемы классификации • Области использования • Ожидаемая точность
3
Что можно сказать по лицу?
• Постоянные характеристики: – Пол, возраст, этническая
принадлежность
• Временные характеристики: – Наличие волос, цвет волос, усы,
борода
• Характеристики вида: – Наличие очков, головного убора
• Мимика лица (не эмоции) – Улыбка
4 Изображение взято из базы Color FERET: http://www.nist.gov/itl/iad/ig/colorferet.cfm
Принцип работы алгоритмов
• Стандартная схема: – Выделение лица – Поиск антропометрических точек (глаза) – Нормализация изображения – Вычисление дескриптора – Классификация
5 Изображение взято из базы Labeled Faces in the Wild: http://vis-www.cs.umass.edu/lfw/
Принцип работы алгоритмов
• В видео: – Сопровождение лица – Выбор наилучшего кадра (или нескольких) – Классификация
6
Проблемы классификации
• Разрешение
• Четкость изображения
• Поворот лица
• Освещение
• Мимика
7
Области использования
• Бизнес аналитика – Системы Digital Signage
• «Мягкая биометрия»
– Поиск в архиве или идентификация человека
• Прочие применения – Фильтрация поиска изображений – Интерактивная реклама – Умные интерфейсы
8
Бизнес аналитика
• Подсчет количества и состава аудитории, динамика изменения
9
020406080
100120140160
Мужчины Женщины
Системы Digital Signage
• Фронтальные, неподвижные лица
• Близкое расстояние
• Анализ внимания аудитории
10 Изображение: https://aimsuite.intel.com/get-started/how-does-it-work
Бизнес аналитика, компании
• Panasonic • 3VR • Cognitec
• Digital Signage
– CognoVision (куплен Intel в 2010 г. за $25 млн.) – TruMedia – AiTech
– Rhonda software
11
Мягкая биометрия
• Soft Biometrics – Физические характеристики
• пол, возраст, цвет кожи, глаз, волос, наличие бороды или усов, рост, вес
– Поведенческие характеристики • походка, нажатие клавиш
– Характеристики внешнего вида • тип и цвет одежды, наличие очков, аксессуары
12
Мягкая биометрия
• Помощь в идентификации: – Пол – Раса – Цвет волос – Наличие очков – Форма и размер носа – Двойной подбородок – … (всего 65 признаков)
13 Kumar N. et. al. Attribute and simile classifiers for face verification // ICCV, 2009
Поиск в архивах
• IBM – Обычная и
инфракрасная камера
14
Запрос: лысый человек
Запрос: красная рубашка
Vaquero D.A. et. al. Attribute-based people search in surveillance environments // WACV, 2009
Поиск в архивах
• IntuVision – Разные признаки в зависимости от
размера объекта – Сопровождение людей между
разными камерами
15 Demirkus M. et. al. Automated person categorization for video surveillance using soft biometrics // SPIE Defense and Security Conference, 2010
Прочие применения
• Фильтрация поиска изображений – Google, Microsoft, Yandex – Face.com (куплен Facebook в 2012 г. за $55-$60 млн.)
• Интерактивная реклама
• Умные интерфейсы
16
Точность классификации
• Нет общепризнанных баз и протоколов сравнения
• Только цифры мало что значат – На каких данных тестировали и обучали?
17
Точность классификации
• Классификация пола – База LFW
• 13233 изображений • 5749 человека • 40-50 пикселей между
центрами глаз
– Точность (в статьях): 94%
18 Изображения взяты из базы Labeled Faces in the Wild: http://vis-www.cs.umass.edu/lfw/
Точность классификации
• Классификация возраста
– База FG-NET • 1002 изображения
– База MORPH • 5492 изображения
19 Изображения взяты из баз FG-NET Aging Database (http://www.fgnet.rsunit.com/) и MORPH (http://faceaginggroup.com/projects.html#morph)
Точность классификации
• Классификация возраста
20
0
20
40
60
80
100
0 1 2 3 4 5 6 7 8 9 10
Средняя ошибка, лет
Ошибка не более 5 лет
FG-NET 4,48 74%
MORPH 6,07 56%
Ошибка не более n лет, %
Точность классификации
• Информация по компаниям – 3VR
• Оценка возраста: ошибка 7 лет
– TruMedia • Классификация пола: 90% • Классификация возраста: 85%
– (деление на 3 группы – молодой, взрослый, пожилой)
– IntuVision • Классификация пола (лица 60х60 пикселей) – 90% • Классификация пола (лица 30х30 пикселей) – 70-75%
21
Точность классификации
• Наша точность – Классификация пола, LFW: 90,18%
• Лучший результат 92.96%
– Классификация возраста, MORPH: ошибка в 5 лет • Пока плохо обобщается на другие данные
22
Резюме
• Классификация по лицу – Схожие алгоритмы и проблемы по сравнению с
идентификацией по лицу – Обширные применения:
• Самостоятельные – бизнес аналитика • «Мягкая биометрия» – помощь в поиске/идентификации
– Нет общепризнанных протоколов сравнения – Оценка точности:
• Классификация пола – 90% на хороших данных • Классификация возраста – 85% для 3 возрастных групп
23
