111
Введение в компьютерное зрение Антон Конушин 2 марта 2015 года ВМК МГУ имени М.В. Ломоносова

CV2015. Лекция 1. Понятия и история компьютерного зрения. Свет и цвет

Embed Size (px)

Citation preview

Page 1: CV2015. Лекция 1. Понятия и история компьютерного зрения. Свет и цвет

Введение в компьютерное зрение

Антон Конушин

2 марта 2015 года ВМК МГУ имени М.В. Ломоносова

Page 2: CV2015. Лекция 1. Понятия и история компьютерного зрения. Свет и цвет

Лектор

• Доцент, к.ф.-м.н., зав. лаборатории компьютерной графики и мультимедиа, каф. АСВК, ВМК МГУ имени М.В. Ломоносова

• Доцент, академический руководитель программы бакалавриата «Прикладная математика и информатика» ФКН НИУ ВШЭ

• Лектор Школы Анализа Данных Яндекс • Научный консультант стартапа

«Технологии видеоанализа» • Руководитель семинара «Компьютерное

зрение» на АСВК E-mail: [email protected]

Антон Конушин

Page 3: CV2015. Лекция 1. Понятия и история компьютерного зрения. Свет и цвет

Ассистент

• Студент лаборатории компьютерной графики и мультимедиа ВМК МГУ имени М.В. Ломоносова

• Научные интересы: выделение и распознавание объектов на изображениях

Влад Шахуро

E-mail: [email protected]

Page 4: CV2015. Лекция 1. Понятия и история компьютерного зрения. Свет и цвет

План лекции

• Введение • Что такое «компьютерное зрение» и почему это сложно • История и достижения компьютерного зрения • Информация о курсе

• Компьютерное зрение и зрение человека

• Цифровое изображение • Глаз человека и цифровая камера • Цвет и модели цвета

Page 5: CV2015. Лекция 1. Понятия и история компьютерного зрения. Свет и цвет

1. Что такое «компьютерное зрение» и почему это сложно?

Page 6: CV2015. Лекция 1. Понятия и история компьютерного зрения. Свет и цвет

Задача компьютерного зрения Понять, что запечатлено на изображении

Мы видим Компьютер видит Source: S. Narasimhan

Page 7: CV2015. Лекция 1. Понятия и история компьютерного зрения. Свет и цвет

Задача компьютерного зрения

• «To see means to know what is where by looking» • David Marr, Vision, 1982

• «Тест Тьюринга» - компьютер должен ответить на

любой вопрос об изображении, на который может ответить человек

• Что это в действительности обозначает? • Зрение - источник семантической информации о мире • Зрение - источник информации о расстояниях и размерах

объектов

Page 8: CV2015. Лекция 1. Понятия и история компьютерного зрения. Свет и цвет

Выделение объектов

Здание

Лицо Текст

Лицо

Текст

Человек Человек

Необходимо определить, есть ли на изображении объекты заданного типа и если да, то определить их положение

Page 9: CV2015. Лекция 1. Понятия и история компьютерного зрения. Свет и цвет

Классификация изображений • вне помещения • город • Пекин, Китай • Пл. Тяньаньмэнь

Общая характеристика изображения

Page 10: CV2015. Лекция 1. Понятия и история компьютерного зрения. Свет и цвет

Характеристики объектов

Наклонная

Анфас

Мао

Профиль

Голубое Ветер слабый

Page 11: CV2015. Лекция 1. Понятия и история компьютерного зрения. Свет и цвет

Измерения по изображению

Стерео-зрение Измерения

расстояний по снимкам

NASA Mars Rover

Pollefeys et al.

3D моделирование по снимкам

Goesele et al. Slide: Svetlana Lazebnik

Page 12: CV2015. Лекция 1. Понятия и история компьютерного зрения. Свет и цвет

Почему зрение – это сложно?

Page 13: CV2015. Лекция 1. Понятия и история компьютерного зрения. Свет и цвет

Michelangelo 1475-1564

slide credit: Fei-Fei, Fergus & Torralba

Точка наблюдения (ракурс)

Page 14: CV2015. Лекция 1. Понятия и история компьютерного зрения. Свет и цвет

image credit: J. Koenderink

Освещение

Page 15: CV2015. Лекция 1. Понятия и история компьютерного зрения. Свет и цвет

Slide credit: Fei-Fei, Fergus & Torralba

Размер

Page 16: CV2015. Лекция 1. Понятия и история компьютерного зрения. Свет и цвет

Xu, Beihong 1943

Slide credit: Fei-Fei, Fergus & Torralba

Деформация

Page 17: CV2015. Лекция 1. Понятия и история компьютерного зрения. Свет и цвет

Magritte, 1957

slide credit: Fei-Fei, Fergus & Torralba

Перекрытие

Page 18: CV2015. Лекция 1. Понятия и история компьютерного зрения. Свет и цвет

Маскировка

Page 19: CV2015. Лекция 1. Понятия и история компьютерного зрения. Свет и цвет

Движение

Page 20: CV2015. Лекция 1. Понятия и история компьютерного зрения. Свет и цвет

Внутриклассовая изменчивость

Slide credit: Fei-Fei, Fergus & Torralba

Page 21: CV2015. Лекция 1. Понятия и история компьютерного зрения. Свет и цвет

Сложности или возможности? • Изображение запутывает, но дает много

подсказок • Наша задача – интерпретировать подсказки

Image source: J. Koenderink

Page 22: CV2015. Лекция 1. Понятия и история компьютерного зрения. Свет и цвет

Цвет

Page 23: CV2015. Лекция 1. Понятия и история компьютерного зрения. Свет и цвет

Освещение

Source: J. Koenderink

Page 24: CV2015. Лекция 1. Понятия и история компьютерного зрения. Свет и цвет

Текстура

Page 25: CV2015. Лекция 1. Понятия и история компьютерного зрения. Свет и цвет

Контекст

Slide credit: Fei-Fei, Fergus & Torralba

Что это?

Page 26: CV2015. Лекция 1. Понятия и история компьютерного зрения. Свет и цвет

Интерпретация изображений

• Мы сопоставляем наблюдения (подсказки) и априорные знания для интерпретации изображения

• По оценкам, 25% мозга занято решением задачи зрения • Это типичная задача искусственного интеллекта • Это можно делать с помощью машинного обучения! • Поэтому машинное обучение играет такую большую роль

Image source: F. Durand

• Одно 2D изображение допускает разные 3D интерпретации

• Нужны априорные знания о структуре и свойствах мира

Page 27: CV2015. Лекция 1. Понятия и история компьютерного зрения. Свет и цвет

2. История и достижения компьютерного зрения

Page 28: CV2015. Лекция 1. Понятия и история компьютерного зрения. Свет и цвет

Камера-обскура

Принцип был известен еще Аристотелю (384-322 до Н.Э.)

Page 29: CV2015. Лекция 1. Понятия и история компьютерного зрения. Свет и цвет

“Магический фонарь” (1492)

Page 30: CV2015. Лекция 1. Понятия и история компьютерного зрения. Свет и цвет

Живопись Ренессанса

Яна Ван Эйк «Портрет Четы Арнольфини» 1434г

Page 31: CV2015. Лекция 1. Понятия и история компьютерного зрения. Свет и цвет

Секреты мастеров

BBC David Hockney’s «Secret Knowledge»

Page 32: CV2015. Лекция 1. Понятия и история компьютерного зрения. Свет и цвет

Камера-обскура с линзой (1500-1600е)

http://www.adme.ru/hudozhniki-i-art-proekty/sekretnoe-znanie-543505/

Возможность проецировать изображение на большой холст. Побочный результат – много левшей на картинах

Page 33: CV2015. Лекция 1. Понятия и история компьютерного зрения. Свет и цвет

Камера-люцида (1807)

Camera Lucida — устройство, которое представляет собой конструкцию с призмой, которая крепится, например, на стойке к планшету.

Художник, глядя на свой рисунок одним глазом, видит реальное изображение, а другим — собственно рисунок и свою руку. Получается оптическая иллюзия, позволяющая точно переносить пропорции реальные на бумагу.

Page 34: CV2015. Лекция 1. Понятия и история компьютерного зрения. Свет и цвет

Первая фотография

Самая первая фотография 1825 год

Требовала 8 часов проявки

Page 35: CV2015. Лекция 1. Понятия и история компьютерного зрения. Свет и цвет

Фотограмметрия

1837 – первые практически применимые фотографии

1840 – «Фотограмметрия – будущее геодезии»

Фотограмметрия (Photogrammetry) - измерение расстояний между объектами по 2D изображениям

Page 36: CV2015. Лекция 1. Понятия и история компьютерного зрения. Свет и цвет

Видео

1878 – первая скоростная съемка, Eadweard Muybridge

1888 – первое кино на плёнке, Louis Le Prince

Page 37: CV2015. Лекция 1. Понятия и история компьютерного зрения. Свет и цвет

Стереофотограмметрия (1896)

Стереокамера и теодолит

Page 38: CV2015. Лекция 1. Понятия и история компьютерного зрения. Свет и цвет

Растровый дисплей (1927)

Philo Farnsworth – 60-строчный растровый дисплей

Page 39: CV2015. Лекция 1. Понятия и история компьютерного зрения. Свет и цвет

Whirlwind, MIT (1951)

• Первый компьютер, отображающий текст и графику в реальном времени на мониторе

• Точками карту, значком самолёт. • «Световое перо» для взаимодействия с экраном

(запрос информации об объекте)

Page 40: CV2015. Лекция 1. Понятия и история компьютерного зрения. Свет и цвет

Зарождение компьютерного зрения (1960)

L. G. Roberts, Machine Perception of Three Dimensional Solids, Ph.D. thesis, MIT Department of Electrical Engineering, 19601963.

Page 41: CV2015. Лекция 1. Понятия и история компьютерного зрения. Свет и цвет

SketchPad, MIT (1963)

Ivan Sutherland демонстрирует интерактивный графический редактор SketchPad

Page 42: CV2015. Лекция 1. Понятия и история компьютерного зрения. Свет и цвет

Freddy II (1973) • Университет Эдинбурга • Один из первых роботов

с системой машинного зрения

• 5 степеней свободы • Умеет собирать

машинки из кубиков, разбросанных по столу

• 384Кб RAM в управляющем компьютере

Page 43: CV2015. Лекция 1. Понятия и история компьютерного зрения. Свет и цвет

Давид Марр (1970е)

• «Primal sketch» • Низкоуровневые («low-level») свойства

изображения: направленные края, отрезки и т.д.

• «2.5D sketch» • Упорядочивание по глубине (бинокулярное

стерое), учёт текстуры и т.д.

• «3D model» • Распознавание объектов и представление о

3х мерном мире

“The Marr Prize” – главная премия в области компьютерного зрения

Page 44: CV2015. Лекция 1. Понятия и история компьютерного зрения. Свет и цвет

Детектор лиц Viola-Jones (2001)

Алгоритм Viola-Jones – первый быстрый и надежный алгоритм поиска лиц. Демонстрация силы машинного

обучения.

Source: S. Seitz

Page 45: CV2015. Лекция 1. Понятия и история компьютерного зрения. Свет и цвет

Обнаружение лица и улыбки

Sony Cyber-shot® T70 Digital Still Camera Source: S. Seitz

Page 46: CV2015. Лекция 1. Понятия и история компьютерного зрения. Свет и цвет

Распознавание текста

FineReader, ABBYY, Россия http://www.abbyy.ru/finereader/

Cognitive Technologies, Россия http://cognitiveforms.ru/products/cogni

tive-forms/

Распознавание текста в произвольных изображениях пока

работает плохо!

Page 47: CV2015. Лекция 1. Понятия и история компьютерного зрения. Свет и цвет

Спортивные соревнования

http://www.hawkeyeinnovations.co.uk

Page 48: CV2015. Лекция 1. Понятия и история компьютерного зрения. Свет и цвет

Видеонаблюдение

VOCORD Traffic, Vocord, Россия http://www.vocord.ru/218/

Автоматизация видеонаблюдения за счёт видеоаналитики

(в т.ч. в нашей лаборатории)

Page 49: CV2015. Лекция 1. Понятия и история компьютерного зрения. Свет и цвет

Биометрия

Кто она?

Source: S. Seitz

Page 50: CV2015. Лекция 1. Понятия и история компьютерного зрения. Свет и цвет

Биометрия

“Как девушку из Афганистана идентифицировали по радужке глаза” Читайте историю

Source: S. Seitz

Page 51: CV2015. Лекция 1. Понятия и история компьютерного зрения. Свет и цвет

L.A. Noire, Team Bondi/Rockstar, 2011

3D модели и захват движения

Page 52: CV2015. Лекция 1. Понятия и история компьютерного зрения. Свет и цвет

Microsoft Kinect (2010)

Первая потребительская система взаимодействия с компьютером с помощью жестов. При создании

использовались суперкомпьютеры

Page 53: CV2015. Лекция 1. Понятия и история компьютерного зрения. Свет и цвет

Поиск изображений

Page 54: CV2015. Лекция 1. Понятия и история компьютерного зрения. Свет и цвет

Мобильные приложения

www.kooaba.com

Дополненная реальность

Page 55: CV2015. Лекция 1. Понятия и история компьютерного зрения. Свет и цвет

Трехмерные карты

Изображение из Microsoft’s Virtual Earth (аналогичные Google Earth)

Source: S. Seitz

Page 56: CV2015. Лекция 1. Понятия и история компьютерного зрения. Свет и цвет

Робототехника

Зрение автомобилей от Mobileye

Source: S. Seitz

Перспектива!

Page 57: CV2015. Лекция 1. Понятия и история компьютерного зрения. Свет и цвет

3. О курсе

Page 58: CV2015. Лекция 1. Понятия и история компьютерного зрения. Свет и цвет

Зачем этот курс?

• Познакомиться с основами компьютерного зрения

• Узнать и попробовать на практике некоторые методы распознавания и машинного обучения

• Научиться работать на Python • Получить оценку за спецкурс

• Результаты курса играют большую роль при

собеседовании в лабораторию компьютерной графики

Page 59: CV2015. Лекция 1. Понятия и история компьютерного зрения. Свет и цвет

Структура курса

8 лекций 4 домашних задания на Python Страница курса на сайте: http://машграф.рф/ http://courses.graphics.cs.msu.ru

Page 60: CV2015. Лекция 1. Понятия и история компьютерного зрения. Свет и цвет

План курса

• (2 марта )Введение + цвет • Тьюториал по питону (Прокудин-Горский)

• (9 марта) Лекции нет, выходной • (16 марта) Простой анализ изображений

• Распознавание автомобильных номеров/клад (конкурс) • (23 марта) Основы обработки изображений • (30 марта) Классификация изображений и введение в

машинное обучение • Классификация дорожных знаков через HOG + SVM (конкурс)

• (6 апреля) Выделение объектов на изображении • (13 апреля) Нейросетевые алгоритмы

• Детектор объектов - развитие HOG + SVM (конкурс) • (20 апреля) Поиск и большие коллекции • (27 апреля) Распознавание лица человека

Page 61: CV2015. Лекция 1. Понятия и история компьютерного зрения. Свет и цвет

Дополнительный практикум

• Детектор объектов с библиотекой P.Dollar • Поиск полудубликатов через GIST и ANN с

библиотекой vlfeat • Перенос выражений лиц c библиотекой intraface +

vlfeat • Задание по нейросетям с библиотекой Caffe

Page 62: CV2015. Лекция 1. Понятия и история компьютерного зрения. Свет и цвет

Про группу «компьютерное зрение»

Дорожные знаки

Видеоаналитика «Person of interest»

Построение карт

Page 63: CV2015. Лекция 1. Понятия и история компьютерного зрения. Свет и цвет

4. Цифровое изображение

Page 64: CV2015. Лекция 1. Понятия и история компьютерного зрения. Свет и цвет

Изображение

Изображение оптическое – картина, получаемая в результате прохождения через оптическую систему лучей, распространяющихся от объекта, и воспроизводящая его контуры и детали. (Физический энциклопедический словарь.)

Оптические системы могут быть очень разными!

Page 65: CV2015. Лекция 1. Понятия и история компьютерного зрения. Свет и цвет

Камера-обскура

Математическая модель – перспективная проекция: • Пучок лучей проходит через одну точку (точечное отверстие)

– Эта точка называется «центр проекции» (фокальная точка / focal point)

• Изображение формируется на картинной плоскости (image plane)

Slide by Steve Seitz

• Простейшее устройство для получения изображений

• Основная модель оптической системы получения изображений

Page 66: CV2015. Лекция 1. Понятия и история компьютерного зрения. Свет и цвет

Figures © Stephen E. Palmer, 2002

Машина Понижения Размерности

3D мир 2D картина

Что мы теряем? • Углы • Расстояния и длины

Slide by A. Efros

Подробнее геометрическая модель рассматривается

позже

Page 67: CV2015. Лекция 1. Понятия и история компьютерного зрения. Свет и цвет

Перспективные искажения

• Крайние колонны кажутся толще • Эти искажения вызваны не погрешностью линз! • Проблема была отмечена еще да Винчи

Slide by F. Durand

Page 68: CV2015. Лекция 1. Понятия и история компьютерного зрения. Свет и цвет

Перспективные искажения: Люди

Slide by S. Lazebnik

Page 69: CV2015. Лекция 1. Понятия и история компьютерного зрения. Свет и цвет

Современная камера

Тот же самый принцип, но с объективом и цифровой матрицей

Page 70: CV2015. Лекция 1. Понятия и история компьютерного зрения. Свет и цвет

Цифровая камера - дискретизация

По пространству По яркости

Page 71: CV2015. Лекция 1. Понятия и история компьютерного зрения. Свет и цвет

Цифровое изображение

Функция интенсивности (яркости) канала, заданная на 2х мерной сетке (матрице) Используется дискретное представление

]},[],,[{),,( 1010 yyyxxxyxgI

},1,,1{),,( mjnijigI

Page 72: CV2015. Лекция 1. Понятия и история компьютерного зрения. Свет и цвет

Первое цифровое фото (1957)

http://listverse.com/history/top-10-incredible-early-firsts-in-photography/

Slide by S. Lazebnik

Разрешение 176*176 пикселов

Page 73: CV2015. Лекция 1. Понятия и история компьютерного зрения. Свет и цвет

5. Цвет

Page 74: CV2015. Лекция 1. Понятия и история компьютерного зрения. Свет и цвет

Цветные фотографии??

Page 75: CV2015. Лекция 1. Понятия и история компьютерного зрения. Свет и цвет

Что такое цвет? Цвет – это психологическое свойство нашего

зрения, возникающее при наблюдении объектов и света, а не физические свойства объектов и света (S. Palmer, Vision Science: Photons to Phenomenology)

Цвет – это результат взаимодействия света, сцены и нашей зрительной системы

Wassily Kandinsky (1866-1944), Murnau Street with Women, 1908 Slide by S. Lazebnik

Page 76: CV2015. Лекция 1. Понятия и история компьютерного зрения. Свет и цвет

Электромагнитный спектр

Мы видим свет именно в таком диапазоне, потому что на него приходится значительная доля энергии солнца.

Human Luminance Sensitivity Function

Slide by S. Lazebnik

Page 77: CV2015. Лекция 1. Понятия и история компьютерного зрения. Свет и цвет

Физика света

Любой источник света можно полностью описать спектром: количество излученной энергии в единицу времени для каждой длины волны в интервале 400 - 700 nm.

© Stephen E. Palmer, 2002

Относительная энергия

#фотонов в мс.

Длина волны

Page 78: CV2015. Лекция 1. Понятия и история компьютерного зрения. Свет и цвет

# Ph

oton

s

D. Normal Daylight

Wavelength (nm.)

B. Gallium Phosphide Crystal

400 500 600 700

# Ph

oton

s

Wavelength (nm.)

A. Ruby Laser

400 500 600 700

400 500 600 700

# Ph

oton

s

C. Tungsten Lightbulb

400 500 600 700

# Ph

oton

s

Примеры спектров разных источников света

© Stephen E. Palmer, 2002

Rel

. pow

er

Rel

. pow

er

Rel

. pow

er

Rel

. pow

er

Slide by S. Lazebnik

Физика света

Page 79: CV2015. Лекция 1. Понятия и история компьютерного зрения. Свет и цвет

Взаимодействие света и объектов

Отраженный свет это результат взаимодействия

излучаемого света и поверхности

Slide by S. Lazebnik

Page 80: CV2015. Лекция 1. Понятия и история компьютерного зрения. Свет и цвет

Примеры спектров отраженного света от предметов

Wavelength (nm)

% О

траж

енно

го с

вета

Red

400 700

Yellow

400 700

Blue

400 700

Purple

400 700

© Stephen E. Palmer, 2002 Slide by S. Lazebnik

Физика света

Page 81: CV2015. Лекция 1. Понятия и история компьютерного зрения. Свет и цвет

Человеческий глаз

Глаз как камера! • Радужка – цветная пленка с радиальными мышцами • Зрачок - отверстие (апертура), диаметр управляется

радужкой • Хрусталик – «линза», меняющая форму под действием мышц • Где матрица?

– Клетки-фоторецепторы на сетчатке Slide by Steve Seitz

Page 82: CV2015. Лекция 1. Понятия и история компьютерного зрения. Свет и цвет

Сетчатка глаза

Свет

• Палочки (Rods) измеряют яркость

• Колбочки

(Cones) измеряют цвет

Page 83: CV2015. Лекция 1. Понятия и история компьютерного зрения. Свет и цвет

Восприятие цвета

Палочки и колбочки – фильтры спектра • Спектр умножается на кривую отклика, производится

интегрирование по всем длинам волн – Каждый тип колбочек даёт 1 число

S

M L

Wavelength

Power

• В: Как же мы можем описать весь спектр 3мя числами? • О: Мы и не можем! Большая часть информации теряется.

– Два разных спектра могут быть неотличимы » Такие спектры называются метамеры

Slide by Steve Seitz

Page 84: CV2015. Лекция 1. Понятия и история компьютерного зрения. Свет и цвет

Спектры некоторых объектов

метамеры

Slide by S. Lazebnik

Page 85: CV2015. Лекция 1. Понятия и история компьютерного зрения. Свет и цвет

6. Цветовые модели

Page 86: CV2015. Лекция 1. Понятия и история компьютерного зрения. Свет и цвет

Трихроматическая теория

• Любой видимый «свет» можно описать композицией 3х основных цветов

• Для одного и того же «света» люди выберут одинаковые композиции основных цветов • Исключения: цветовая слепота

• История восходит к 18у веку (Томас Юнг)

Page 87: CV2015. Лекция 1. Понятия и история компьютерного зрения. Свет и цвет

Стандартизация восприятия цвета

Экспериментальная проверка трихроматической теории – сопоставление цветов

Foundations of Vision, by Brian Wandell, Sinauer Assoc., 1995

Page 88: CV2015. Лекция 1. Понятия и история компьютерного зрения. Свет и цвет

Эксперимент №1

Source: W. Freeman

Page 89: CV2015. Лекция 1. Понятия и история компьютерного зрения. Свет и цвет

Эксперимент №1

p1 p2 p3 Source: W. Freeman

Page 90: CV2015. Лекция 1. Понятия и история компьютерного зрения. Свет и цвет

Эксперимент №1

p1 p2 p3 Source: W. Freeman

Page 91: CV2015. Лекция 1. Понятия и история компьютерного зрения. Свет и цвет

Эксперимент №1

p1 p2 p3

Основные цвета, необходимые для сопоставления

Source: W. Freeman

Page 92: CV2015. Лекция 1. Понятия и история компьютерного зрения. Свет и цвет

Эксперимент №2

Source: W. Freeman

Page 93: CV2015. Лекция 1. Понятия и история компьютерного зрения. Свет и цвет

Эксперимент №2

p1 p2 p3 Source: W. Freeman

Page 94: CV2015. Лекция 1. Понятия и история компьютерного зрения. Свет и цвет

Эксперимент №2

p1 p2 p3 Source: W. Freeman

Page 95: CV2015. Лекция 1. Понятия и история компьютерного зрения. Свет и цвет

Эксперимент №2

p1 p2 p3 p1 p2 p3

Мы называем м «отрицательным» весом основного цвета, если цвет нужно добавлять к сопоставляемому свету.

Веса основных цветов, необходимых для сопоставления:

p1 p2 p3

Source: W. Freeman

Page 96: CV2015. Лекция 1. Понятия и история компьютерного зрения. Свет и цвет

Линейные цветовые пространства • Определяются выбором 3х основных цветов • «Координаты цвета» задаются весами основных

цветов, необходимых для сопоставления • Каждая координата кодируется 1-2 байтами • Функции сопоставления: веса, необходимые для

сопоставления с когерентными источниками света

Смешение двух основных цветов Смешение трех цветов

Page 97: CV2015. Лекция 1. Понятия и история компьютерного зрения. Свет и цвет

Линейные цветовые модели: RGB

• Основные цвета – монохроматические (в мониторе им соответствует три вида фосфоров)

• Вычитание необходимо для соответствия некоторым длинам волны

RGB matching functions

Slide by S. Lazebnik

Page 98: CV2015. Лекция 1. Понятия и история компьютерного зрения. Свет и цвет

Цветовой куб и CMYK

• Аддитивная система – RGB • Субтрактивная система – CMY • CMYK для повышения качества

C=G+B=W−R M=R+B=W−G Y=R+G=W−B

CMY

Page 99: CV2015. Лекция 1. Понятия и история компьютерного зрения. Свет и цвет

Модель YIQ

В RGB нет отдельной «яркости», что бывает неудобно

Page 100: CV2015. Лекция 1. Понятия и история компьютерного зрения. Свет и цвет

Модель HSV (HIS)

Координаты выбраны с учетом человеческого восприятия: Hue (Тон), Saturation(Насыщенность), Value (Intensity) (Интенсивность)

Slide by S. Lazebnik

Page 101: CV2015. Лекция 1. Понятия и история компьютерного зрения. Свет и цвет

Перевод из RGB в HSV

Page 102: CV2015. Лекция 1. Понятия и история компьютерного зрения. Свет и цвет

Первые цветные фотографии

Сергей Прокудин-Горский (1863-1944) Фотографии Российской империи(1909-

1916)

http://www.loc.gov/exhibits/empire/ http://en.wikipedia.org/wiki/Sergei_Mikhailovich_Prokudin-Gorskii

Ламповый проектор

Slide by А.Efros

Page 103: CV2015. Лекция 1. Понятия и история компьютерного зрения. Свет и цвет

Лев Толстой

Page 104: CV2015. Лекция 1. Понятия и история компьютерного зрения. Свет и цвет

Цветное цифровое изображение

Source: Steve Seitz

Демозаикинг (оценка пропущенных значений цвета)

Байеровский шаблон

Page 105: CV2015. Лекция 1. Понятия и история компьютерного зрения. Свет и цвет

Устранение мозаичности и ошибки

Тонкие черные и белые детали интерпретируются как изменения цвета

Page 106: CV2015. Лекция 1. Понятия и история компьютерного зрения. Свет и цвет

7. Фокус внимания

Page 107: CV2015. Лекция 1. Понятия и история компьютерного зрения. Свет и цвет

Тест на внимательность

Page 108: CV2015. Лекция 1. Понятия и история компьютерного зрения. Свет и цвет

Что мы на самом деле видим

Yarbus, A. L. (1967), Eye Movements and Vision, New York: Plenum.

Page 109: CV2015. Лекция 1. Понятия и история компьютерного зрения. Свет и цвет

Плотность палочек и колбочек

Палочки и колбочки распределены неравномерно • Палочки измеряют яркость, колбочки цвет • Fovea («желтое пятно»)– маленькая область(1 or 2°) в центре визуального

поля с наибольшей плотностью колбочек и без палочек • На периферии все больше палочек подсоединены к одному нейрону

Slide by Steve Seitz

cone

rod

pigment molecules

0

150,000100,00050,000

020 40 60 8020406080

Visual Angle (degrees from fovea)

Rods

Cones Cones

Rods

FoveaBlindSpot

# R

ecep

tors

/mm

2

Page 110: CV2015. Лекция 1. Понятия и история компьютерного зрения. Свет и цвет

Движения глаз

Page 111: CV2015. Лекция 1. Понятия и история компьютерного зрения. Свет и цвет

Резюме

• Понятие о компьютерном зрении • История и задачи компьютерного зрения • Устройство глаза и фотокамеры • Трихроматическая теория цвета • Цветовые модели RGB, CMYK, YIQ, HSV