Основы визуального восприятия

Основы Основы визуального визуального восприятиявосприятия

Лектор:Лектор: Лукин Алексей СергеевичЛукин Алексей Сергеевич

План лекцииПлан лекции

Свет и цветСвет и цвет► Восприятие цветаВосприятие цвета► Цветовые системыЦветовые системы

Меры близости изображенийМеры близости изображений► PSNR, MSEPSNR, MSE► Основы восприятия: фильтрация, Основы восприятия: фильтрация, CSFCSF, маскировка, маскировка► Меры, учитывающие восприятиеМеры, учитывающие восприятие

Свет и цветСвет и цвет

Свет и его спектрСвет и его спектр380–470 нм – фиолетовый, синий380–470 нм – фиолетовый, синий

500–560 нм – зеленый500–560 нм – зеленый

560–590 нм – желтый, оранжевый560–590 нм – желтый, оранжевый

590–760 нм – красный590–760 нм – красный

Аналогия с «цветами» звуковых шумовАналогия с «цветами» звуковых шумов


Восприятие цветаВосприятие цвета

λ, нм(длина волны)

P

440 540 580

B

GR

(чувствительность колбочек глаза)

dPIR R )()(

dPIG G )()(

dPIB B )()(

λ

I (интенсивность)

I (λ)

Какой это цвет?


Цветовые системыЦветовые системы► RGB RGB и дисплеи, гамма-коррекцияи дисплеи, гамма-коррекция► Закон Вебера: чувство = Закон Вебера: чувство = log(log(стимул)стимул)► Аддитивные (Аддитивные (RGB) RGB) и субтрактивные (и субтрактивные (CMYK) CMYK)

системысистемы

RGB CMY


Цветовые системыЦветовые системы► HSVHSV ( (Hue/Saturation/Value)Hue/Saturation/Value)

► Система Система YUV YUV и прореживание хроматических и прореживание хроматических компоненткомпонент


Система Система YUVYUV: разделение яркости и : разделение яркости и хроматических компонентхроматических компонент

Системы Системы CIE Lab, Luv, CIEDE2000 CIE Lab, Luv, CIEDE2000 и и равномерность восприятияравномерность восприятия

BGRY 114.0587.0299.0 BGRU 0.4360.289 0.147

BGRV 0.100 0.515 0.615

Метрики близостиМетрики близости

Как измерить похожесть двух Как измерить похожесть двух изображений?изображений?

исходноеизображение

искаженноеизображение


Среднеквадратичная ошибка Среднеквадратичная ошибка (MSE)(MSE)

Пиковое отношение сигналПиковое отношение сигнал//шум (шум (PSNR)PSNR)

N

iii yx

NMSE

1

2)(1

MSE

MPSNRdB

2

lg10

N – число пикселей

M – максимальноезначение пикселя


PSNR PSNR и и MSE MSE не учитывают особенности не учитывают особенности человеческого восприятия!человеческого восприятия!

Оригинал

Далее будут использованы рисунки из статьиWang, Bovik, Lu “WHY IS IMAGE QUALITY ASSESMENT SO DIFFICULT?”


У этих изображений одинаковые У этих изображений одинаковые PSNR PSNR с с оригиналом (примерно 25 оригиналом (примерно 25 dB)dB)

Повышена контрастность Добавлен белый гауссов шум


И у этих – тоже примерно 25 И у этих – тоже примерно 25 dBdB!!

Добавлен импульсный шум Размытие


И у этого – тоже!И у этого – тоже!

Артефакт блочности после JPEG


Вывод: Вывод: PSNR PSNR не всегда отражает реальный не всегда отражает реальный видимый уровень искаженийвидимый уровень искажений

Как улучшить?Как улучшить?► Использовать функцию Использовать функцию

чувствительности глаза к различным чувствительности глаза к различным частотамчастотам (CSF) (CSF)

► Использовать свойство маскировкиИспользовать свойство маскировки► Использовать равномерные к Использовать равномерные к

восприятию цветовые пространства (восприятию цветовые пространства (CIE CIE Lab, CIEDE2000)Lab, CIEDE2000)

HVS models(human visual system)

Метрики качестваМетрики качества

Contrast sensitivity function (CSF)Contrast sensitivity function (CSF)► Показывает чувствительность глаза к различным Показывает чувствительность глаза к различным

частотамчастотам

Абсцисса – пространственная частота(колебаний / градус угла обзора)

МаскировкаМаскировка

Cortex TransformCortex Transform

Разбиение плоскости частотРазбиение плоскости частот

Watson “The Cortex Transform: Rapid Computation of Simulated Neural Images” (Computer Vision, Graphics, and Image Processing, 1987)

ωx

ωy

Частотные характеристики нескольких кортекс-фильтров

)()(),(, lklk fandomcortex

ρ

θ

gain = 1

gain = 0



ωy

Частотные характеристики складываются

ωx ρ

θ


gain = 1

gain = 0



ωy

Частотные характеристики складываются

ωx ρ

θ


gain = 1

gain = 0


Пример кортекс-фильтраПример кортекс-фильтра

y

Импульсный отклик

x


Примеры кортекс-фильтровПримеры кортекс-фильтров

ωy

АЧХ

ωx

y

Исходное изображение

x



ωy

АЧХ

ωx

y

Отфильтрованное изображение

x



ωy

АЧХ

ωx

y

Отфильтрованное изображение

x


ВычислениеВычисление

►ΦΦ ии ΦΦ-1-1 – вещественнозначные – вещественнозначные двумерные двумерные DFT, DFT, их можно их можно вычислить черезвычислить через FFT FFT

►Кортекс-фильтры обладают Кортекс-фильтры обладают линейной фазой и пологими линейной фазой и пологими склонами АЧХсклонами АЧХ

),(),(),( ,1

, yxIyxcortexyxB lklk

VDPVDP

Visual Differences PredictorVisual Differences Predictor**

1.1. Перевести оба изображения в Перевести оба изображения в однородное пространство яркостейоднородное пространство яркостей

2.2. Вычислить их кортекс-преобразованияВычислить их кортекс-преобразования3.3. Вычислить повышение порога Вычислить повышение порога

восприятия в результате маскировкивосприятия в результате маскировки

4.4. Вычислить вероятность обнаружения Вычислить вероятность обнаружения артефактовартефактов

* Daly “The visible differences predictor: An algorithm for the assessment of image fidelity” (Digital Image and Human Vision, 1993) Mantiuk, Daly, Muszkowsky, Seidel “Predicting visible differences in high dynamic range images – model and its calibration” (Human Vision and Electronic Imaging, 2005)

bbslkn

lke yxmkkyxT

1

,21

, ),(1),(

),(),(),(),( ,1, yxIyxcsfyxcortexyxm lk

lkn Mask contrast

Threshold elevation

Documents

Основы визуального восприятия