Методы фотореалистичногосинтеза изображений

Спецкурс

Алексей Викторович Игнатенко, к.ф.-м.н.

Кафедра АСВК, Кафедра матфизики

Структура курса. Принципы восприятия цвета и света человеком

Алексей Игнатенко

Лекция 1

16 марта 2009

На лекции

Структура курса, баллы и оценки Задача синтеза изображений Структура и оптика глаза Спектральное и темпоральное восприятие

света Визуальные явления Восприятие глубины

На лекции

Структура курса, баллы и оценки Задача синтеза изображений Структура и оптика глаза Спектральное и темпоральное восприятие

света Визуальные явления Восприятие глубины

На лекции

Структура курса, баллы и оценки Задача синтеза изображений Структура и оптика глаза Спектральное и темпоральное восприятие

света Визуальные явления Восприятие глубины

Тематика курса

О чем курс? В курсе рассматриваются теоретические и

практические основы фотореалистичного синтеза изображений моделей трехмерных объектов и сцен

Для кого курс? Для студентов 2-5 курсов. Для 2-го курса: для желающих распределиться на

кафедру АСВК, лаборатория компьютерной графики и мультимедиа

Взаимосвязь курса с поточным курсом по графике Выбраны темы, не освещаемые широко в

основном курсе машграфа Более «продвинутое» и детальное

рассмотрение Уровень сложности выше!

Не требует знаний из поточного курса

Структура курса

Лекционная часть 9 лекций

Практическая часть Три практических задания Экзамен-тест

Баллы и оценки

http://courses.graphicon.ru/main/imagesynt

Структура курса: Лекционная часть Лекция 1: Принципы восприятия света и цвета человеком Лекция 2: Свет как энергия, радиометрия Лекция 3: Цвета, цветовые пространства и модели Лекция 4: Гамма, HDR.

Лекция 5: Модели камеры. Стереопроекция. Лекция 6: Модели освещения. Лекция 7: Геометрическое моделирование. Разновидности

моделей.

Лекция 8: Трассировка лучей. Алгоритмы поиска пересечений и ускоряющие структуры.

Лекция 9: Синтез изображений методом излучательности

Структура курса: Практическая часть Три задания:

Свет и цвет: цветовые модели Моделирование: представления геометрии Синтез фотореалистичных изображений:

трассировка фотонов

Структура курса: Баллы и оценки Распределение баллов

Посещение лекции: +1 балл Задание 1: 15-35 баллов Задание 2: 20-40 баллов Задание 3: 25-45 баллов Экзамен-тест: 30 баллов

Оценки 5 -- 80 баллов и выше 4 -- 66-79 баллов 3 -- 50-65 баллов 2 -- менее 50 баллов

Структура курса: Вебсайт http://courses.graphicon.ru/main/imagesynt

На сайте: Новости Выкладываются лекции

.ppt + доп. материалы Выкладываются задания Сдача практических заданий и оценки Общение: Форум

На лекции

Структура курса, баллы и оценки Задача синтеза изображений Структура и оптика глаза Спектральное и темпоральное восприятие

света Визуальные явления Восприятие глубины

Задача синтеза изображений

Знания, идеи

Изображение

Текст

Информационная коммуникация

Фотореаличные изображения

Разработка алгоритмов синтеза изображений = разработка способов коммуникации с помощью изображений

В: Что такое синтез фотореалистичных изображений?

О: Синтез «убедительных» изображений, неотличимых от восприятия реальности глазом или фотоаппаратом

Виртуальная реальность

Одна из задач в рамках создания убедительной модели реальности – создание неотличимых от реальности изображений

Синтез фотореалистичных изображений необходим для создания приложений виртуальной реальности

Задача синтеза изображений

Необходимо разработать следующие модели и алгоритмы: Модель функционирования зрительной

системы и головного мозга * Модель переноса световой энергии Геометрическая модель пространства Алгоритм синтеза изображения

* вариант – оптики и матрицы камеры

Модель функционирования зрительной системы Для синтеза убедительных изображений нужно

понимание принципов функционирования человеческой зрительной системы

Модель этого механизма => генерация изображений, аналогичных воспринимаемым глазом и мозгом => создание ощущения полной реалистичности синтезированного изображения.

Любая зрительная система состоит из двух частей оптическая чувствительная

Изображение

Текст

Модель переноса световой энергии Необходимо понять законы распространения света

и его взаимодействия с материалами

Невозможно передать всю полноту физических законов, по которым происходит перенос световой энергии в мире

Возможно моделировать только ключевые и существенные эффекты

Пример зная, что основную роль в формировании ощущение глубины

на плоском анимированном изображении играют перспектива и параллакс и падающие тени, в очередь нужно обратить внимание на эти эффекты

Геометрическая модель пространства Модели зрительной системы и принципов

распространения света не могут функционировать без приложения к модели интересующей части пространства

Модель содержит информацию о форме и материалах объектов, оптических свойствах среды и т.п.

Невозможно полностью оцифровать => тип модели подбирается под конкретную задачу

Пример некоторые модели оцифровывают объемы объектов

(воксельные модели), другие хранят информацию только о поверхности (граничные модели)

Алгоритм экранизации

Методы синтеза изображений моделей трехмерных объектов (еще называемые методами экранизации) – отдельный раздел науки

Цель – рассчитать цвет каждой точки финального изображения в условиях ограниченных вычислительных мощностей и требуемых характеристик изображения

К процессу экранизации предъявляются противоречивые требования: в одних приложениях требуется максимальная точность

получаемого изображения в других можно пожертвовать качеством ради

интерактивности

На лекции

Структура курса, баллы и оценки Задача синтеза изображений Структура и оптика глаза Спектральное и темпоральное восприятие

света Визуальные явления Восприятие глубины

Что такое свет

Свет Электромагнитное излучение, испускаемое

нагретым или находящимся в возбужденном состоянии веществом

Принцип дуальности Электромагнитная волна Поток фотонов

Фотон - частица, обладающая определенной энергией и нулевой массой покоя

Электромагнитный спектр

Видимым диапазон Диапазон частоты электромагнитного излучения, на который

реагирует чувствительная система глаза Обычно в видимый диапазон включают частоты от 380 до

780 нанометров (1 нм = 10-9м)

Спектр излучения

Видимый свет испускается источниками света, которыми служит все, что не является абсолютно черным -- солнце, лампы, отражения от объектов

Каждый источник света характеризуется спектральным составом излучения

Спектральный состав характеризуется функцией спектрального распределения C(λ), еще называемой просто спектром.

Аргументом функции является длина волны λ, а значением функции – мощность излучения соответствующей частоты

Практически все источники света излучают колебания в достаточно широком диапазоне частот. Исключение составляют источники когерентных колебаний – лазеры

Структура и оптика человеческого глаза

Светопреломляющий аппарат Роговица Жидкости камер Хрусталик Стекловидное тело

Аккомодационный аппарат Радужка Зрачок Хрусталик

Рецепторный аппарат сетчатка

Структура и оптика глаза: светопреломляющий аппарат Как мы видим свет:

Световые лучи входят в глаз через роговицу фокусировка

Проходят через зрачок, окруженный радужкой Изменение количества света

Проходят через хрусталик дальнейшая фокусировка)

Проходят через стекловидное тело

Попадают на сетчатку

Изображение уменьшенное и перевернутое

Структура и оптика глаза: аккомодационный аппарат

Аккомодация – процесс изменений оптической силы глаза для поддержания четкого изображения на сетчатке

На лекции

Структура курса, баллы и оценки Задача синтеза изображений Структура и оптика глаза Спектральное и темпоральное

восприятие света Визуальные явления Восприятие глубины

Структура и оптика глаза: рецепторный аппарат

Поле зрения глаза составляет 125° по вертикали и 150° по горизонтали

В каждом глазу 6 млн колбочек и 120 млн палочек

Спектральное восприятие цвета

После фокусировки света на сетчатке происходит восприятие и обработка получаемой электромагнитной энергии

Первый этап обработки: получение светового сигнала фоточувствительными ячейками на сетчатке глаза

Свет порождает химическую реакцию основа – фотопигмент на сетчатке

Результат: электрический сигнал, посылаемый далее в мозг

Спектральное восприятие цвета: Палочки Фоточувствительные сенсоры

глаза не одинаково чувствительны во всех областях видимого диапазона

Вещество палочек – родопсин (зрительный пигмент)

Пик чувствительности в области 500нм (сине-зеленый цвет)

Это согласуется с чувствительностью зрительной системы в ночное время света не хватает для работы

колбочек, и палочки становятся доминирующим сенсором

Высокая чувствительность к свету, но низкое разрешение! Комбинируется сигнал с большого

количества палочек

Спектральное восприятие цвета: Колбочки Три вида колбочек

Колбочки каждого вида содержат свой особый пигмент

Три типа колбочек называют либо как B, G и R, либо как S, M и L (от Small, Medium, Long)

Пики их чувствительности приходятся примерно на 440 нм, 545 нм и 580 нм (для "усредненного" наблюдателя).

Спектральное восприятие цвета: Принцип одномерности Единственной информацией, посылаемой палочкой или

колбочкой является факт стимуляции фотопигмента светом, т.е. информации о длине световой волны не передается! Это называется «принципом одномерности»

Вероятность поглощения фотона конкретным рецептором является функцией спектральной чувствительности рецептора и интенсивности света т.е. если рецептор на 30% чувствителен на некоторой длине волны,

то около 30 их 100 фотонов будут поглощены)

Зрительная система может восстановить интенсивность и цветовую характеристику входного сигнала только путем комбинации сигналов фоторецепторов с разной чувствительностью такая реконструкция выполняется на одном из ранних этапов

визуальной обработки

Спектральное восприятие цвета: Принцип одномерности (2) Почему визуальная система

эволюционировала таким образом, что самый первый шаг обработки отбрасывает информацию, которая затем должна быть реконструирована?

Зрительная система человека представляет собой компромисс между точной передачей цвета и высоким пространственным разрешением

Темпоральное восприятие цвета

Химические процессы в фоторецепторе длятся несколько миллисекунд

Дополнительные фотоны, попавшие на рецептор в течение этого времени, добавляются к общему отклику

Появляется эффект, называемый темпоральным сглаживанием

Темпоральное восприятие цвета: реакция на мигание Когда мигание медленное – воспринимаем индивидуальные

вспышки света

После увеличения частоты мигания до некоторой критической отметки мигания сливаются в одно

Критическая частота для человека при наилучших условиях находится около 60Hz

Ранние фильмы производили эффект мигания, т.к. скорость воспроизведения пленки была недостаточна для того, чтобы глаз передавал интегрированное, гладкое изображение вместо последовательности статичных картинок.

Темпоральное сглаживание: адаптация Наши глаза могут

различать очень широкий диапазон интенсивности света

Это достигается за счет явления адаптации

Увеличение чувствительности рецепторов при низком уровне освещения и уменьшение при высоком

Диапазон адаптации крайне широк

Фон Излучение (кандел)

Ночное небо (без луны)

0.00003

Ночное небо (луна)

0.003

Ясный день 3000

Ясный день (солнце)

30000

На лекции

Структура курса, баллы и оценки Задача синтеза изображений Структура и оптика глаза Спектральное и темпоральное восприятие

света Визуальные явления Восприятие глубины

Визуальные явления

Известно очень много особенностей (явлений) человеческого зрения по сравнению с идеальной оптической системой

Некоторые из них можно и нужно учитывать в задачах синтеза изображений Чувствительность к контрасту Восприятие цвета

Визуальные явления: чувствительность к контрасту Чувствительность зрительной системы к

контрасту определяет способность восприятия деталей и общую четкость восприятия

Чувствительность к контрасту: минимальная различимая разница Задача – найти

минимальную различимую разницу интенсивностей ΔI JND – just noticeable

difference Экспериментально получена

кривая чувствительности к контрасту (закон Вебера)

ΔI/I ~ const ~ 0.02 Вывод: глаз реагирует на

относительные интенсивности!

I+ΔI

I

I (яркость источника)

ΔI/I

http://en.wikipedia.org/wiki/Weber-Fechner_lawhttp://en.wikipedia.org/wiki/Jndhttp://www.usd.edu/psyc301/WebersLaw.htm

Чувствительность к контрасту: функция чувствительности к контрасту

Функция чувствительности к контрасту: дневное/ночное зрение

Функция чувствительности к контрасту: изменение с возрастом

Функция чувствительности к контрасту: ориентация

Наибольшая чувствительность к горизонтальным и вертикальным перепадам яркости

Визуальные явления: шум

Человеческий глаз крайне толерантен к шуму

Визуальные явления: полосы Маха «Полосы Маха» - иллюзия границ на

стыке участков разной интенсивности или плавного градиента

Ernst Mach

http://www.yorku.ca/eye/machban1.htmhttp://en.wikipedia.org/wiki/Mach_band

http://www.purveslab.net/research/explanation/brightness/mach.html

Визуальные явления: полосы Маха (2)

+ -

+ -+ -

+ -A

B

C

D

Визуальные явления: яркостный контраст

Яркость цвета зависит от контекста Одновременный контраст, последовательный

контраст Невозможно выбрать два цвета и ожидать

предсказуемого поведения в разных частях изображения

http://en.wikipedia.org/wiki/Simultaneous_contrast

Яркостный контраст: пример

Яркостный контраст: пример (2)

На лекции

Структура курса, баллы и оценки Задача синтеза изображений Структура и оптика глаза Спектральное и темпоральное восприятие

света Визуальные явления Восприятие глубины

Восприятие глубины

Информация о глубине

Окуломоторная Визуальная

АккомодацияКонвергенция Бинокулярная Монокулярная

Параллакс

Статические подсказки

Взаиморасположение

Размер

Перспектива

Линейная

Текстура

Воздушная

Стереоданные

Ретинальный диспаритет

Некоторые думают, что информация о глубине идет только из стерео-информации

Восприятие человека использует очень много различных подсказок для оценки расстояний и расположения объектов

Восприятие глубины: окуломоторная глубина Окуломоторная =

«глазодвигательная»

Конвергенция Поворот глазного яблока для

фиксации на точке интереса Аккомодация

Изменение фокуса

Особенности: Ненадежно, работает только

для близких объектов Больше шести метров –

фокус в бесконечность

Восприятие глубины: бинокулярная глубина

Способность получать информацию о глубине на основе стереоданных

Очень высокая точность Две задачи, решаемые визуальной системой

Поиск соответствий Вычисление ретинального диспаритета

Бинокулярная глубина: ошибочные представления Ошибочно считать, что

визуальная система работает по алгоритму поиск особенностей / вычисление соответствий

Примеры: стереограммы со случайным шумом Работают даже

стереограммы из одного изображения! (автостереограммы)

Бинокулярная глубина: предполагаемый принцип работы Основная характеристика, по которой

бинокулярная визуальная система различает глубины – ретинальный диспаритет Различия изображений в разных глазах

Некоторые части изображения сдвинуты относительно других

Нет поиска особенностей в явном виде, интегральный процесс

Восприятие глубины: монокулярная глубина Некоторые подсказки относительно глубины

могут быть получены из одного изображения Называются монокулярными

Наиболее интересны для задач синтеза изображений

Две категории Статические подсказки Динамические подсказки

Монокулярная глубина: взаморасположение Очень мощный эффект! Если ретинальный

диспаритет и взаморасположение противоречат, взаиморасположение имеет приоритет!

Монокулярная глубина: размер

Большие объекты кажутся ближе «Знакомый размер» - любой объект, размер

которого известен, влияет на воспринимаемый размер соседних объектов

Размер: лунная иллюзия

Угловой размер Луны постоянен Но Луна кажется больше около горизонта и меньше – высоко в

небе Природа эффекта до конца не разгадана Возможное объяснение – эффект «знакомого размера»

http://en.wikipedia.org/wiki/Moon_illusionhttp://www.lhup.edu/~dsimanek/3D/moonillu.htm

Монокулярная глубина: перспектива Перспектива – результат работы

оптической системы глаза Наиболее привычный эффект

Варианты построения перспективы: Линейная Текстурная Воздушная

Перспектива: линейная

Перспектива: форсированная перспектива

Ames room

(Адельберт Амес, 1946)http://en.wikipedia.org/wiki/Ames_room

Перспектива: текстурная

Изменение в размере, цвете, расстояниях

Перспектива: воздушная

Красные объекты кажутся ближе Синие - дальше

Темные объекты кажутся ближе, чем светлые

Восприятие глубины: параллакс

Параллакс – изменение видимого положения объекта относительно удалённого фона в зависимости от положения наблюдателя

Зная расстояние между точками наблюдения и угол смещения, можно определить расстояние до объекта

Очень мощный фактор восприятия глубины!

Итоги

Курс: три части восприятие, свет, материалы геометрическое моделирование алгоритмы экранизации

Глаз – сложная оптическая система Восприятия цвета

Принцип одномерности Адаптация, темпоральное сглаживание Чувствительность к контрасту Яркость и контраст

Восприятие глубины: окуломоторное и визуальное Визуальное восприятие глубины: бинокулярное и

монокулярное