Применение свертки при увеличении изображений ( “ линейные методы ресамплинга ” )

Применение свертки Применение свертки при увеличениипри увеличенииизображений изображений

((““линейные методы линейные методы ресамплингаресамплинга””) )

http://www.cs.msu.su/

ПланПлан

ВведениеВведение ИнтерполяцияИнтерполяция Артефакты интерполяцииАртефакты интерполяции

– АлиасингАлиасинг– РазмытиеРазмытие– Эффект ГиббсаЭффект Гиббса


ВведениеВведение

Изображения представляются в виде Изображения представляются в виде двумерной матрицы пикселейдвумерной матрицы пикселей

Как увеличить размер изображения?Как увеличить размер изображения?

Простейший способ: метод Простейший способ: метод «ближайшего соседа», или просто «ближайшего соседа», или просто растяжение пикселейрастяжение пикселей


Недостаток метода:Изображение получается сильно пикселизованным

ВведениеВведение

Увеличение методом «ближайшего Увеличение методом «ближайшего соседа», или повторением пикселейсоседа», или повторением пикселей


ИнтерполяцияИнтерполяция









xi-1 xi

Si (x)=a3x+b2x+cx+d S(xi-1) = f(xi-1)S(xi) = f(xi)

S’(xi-1) = f ’(xi-1)S’(xi) = f ’(xi)



Интерполяция изображенийИнтерполяция изображений– Пиксели изображений представляются Пиксели изображений представляются

в виде точекв виде точек– Сутью увеличения изображений Сутью увеличения изображений

является нахождение значений в является нахождение значений в промежуточных точкахпромежуточных точках



0 1

1

0x

y



Бикубическая интерполяцияБикубическая интерполяция1

0x

y

Кубический сплайн Эрмита в двумерном случае:- Фиксация значений функции и её производных ,

, в узлах сетки



Невозможно точно восстановить Невозможно точно восстановить информациюинформацию



Сравнение простейших методов Сравнение простейших методов интерполяцииинтерполяции

Метод «ближайшего

соседа»

Билинейная интерполяция

Бикубическая интерполяция


ИнтерполяцияИнтерполяция Любой линейный методЛюбой линейный метод представляет представляет

собой свёрткусобой свёртку

В двумерном случаеВ двумерном случае

Результат зависит от выбора ядра Результат зависит от выбора ядра KK



Примеры ядер:Примеры ядер:

– Метод «ближайшего соседа»Метод «ближайшего соседа»

– Линейная интерполяцияЛинейная интерполяция

– Кубическая интерполяцияКубическая интерполяция



Примеры ядер:Примеры ядер:– Гауссовская интерполяцияГауссовская интерполяция

– «Идеальная» интерполяция«Идеальная» интерполяция



Примеры ядер:Примеры ядер:– Интерполяция Ланцоша 2 и 3 порядкаИнтерполяция Ланцоша 2 и 3 порядка



Недостатки линейных методов:Недостатки линейных методов:– Алиасинг (неровности, эффект Алиасинг (неровности, эффект

«лесенки»)«лесенки»)– РазмытиеРазмытие– Эффект ГиббсаЭффект Гиббса


АлиасингАлиасинг Значения слова «алиасинг»Значения слова «алиасинг»

– Ступенчатость, неровность (при Ступенчатость, неровность (при увеличении)увеличении)

– Эффект наложения (при уменьшении)Эффект наложения (при уменьшении)((т. Котельникова)т. Котельникова)

– Зубцеобразный дефект (в синтезе)Зубцеобразный дефект (в синтезе)

Метод ближайшего

соседа

Билинейная интерполяция

Нелинейный адаптивный

метод

Исходное изображен

ие


АлиасингАлиасинг Алиасинг как эффект наложения Алиасинг как эффект наложения

при уменьшениипри уменьшении


АлиасингАлиасинг

Алиасинг как зубцеобразный Алиасинг как зубцеобразный дефект при построении линий и дефект при построении линий и текстуртекстур


Эффект ГиббсаЭффект Гиббса

Эффект Гиббса – это негативный Эффект Гиббса – это негативный эффект, возникающий при эффект, возникающий при интерполяции. На изображениях интерполяции. На изображениях проявляется в виде ореолов возле проявляется в виде ореолов возле резких перепадов интенсивностирезких перепадов интенсивности


Недостатки линейных методовНедостатки линейных методовЭффект ГиббсаЭффект Гиббса Эффект Гиббса – это негативный Эффект Гиббса – это негативный

эффект, возникающий при эффект, возникающий при интерполяции. На изображениях интерполяции. На изображениях проявляется в виде ореолов возле проявляется в виде ореолов возле резких перепадов интенсивностирезких перепадов интенсивности


Эффект ГиббсаЭффект Гиббса

билинейная интерполяциябилинейная интерполяция нелинейный методнелинейный метод

эффект Гиббсаэффект Гиббса



Невозможно построить наилучший Невозможно построить наилучший линейный методлинейный метод

Эффект Гиббса

Размытие

Алиасинг

Метод «ближайшего соседа»

Билинейная интерполяци

я

Бикубическая интерполяция

«Идеальная»интерполяция

Гауссовская интерполяция

Интерполяция Ланцоша 3 порядка

Интерполяция Ланцоша 2 порядка


Нелинейные методыНелинейные методы

Избавиться от недостатков Избавиться от недостатков линейных методов можно с линейных методов можно с помощью адаптивных нелинейных помощью адаптивных нелинейных методовметодов

Нелинейный метод

Линейные методы


Нелинейные методыНелинейные методы

билинейная билинейная интерполяцияинтерполяция

нелинейный методнелинейный метод


Примеры нелинейных методов Примеры нелинейных методов Градиентные методыГрадиентные методы

Основная идея: использование Основная идея: использование разных ядер для интерполяции разных ядер для интерполяции вдоль и поперёк границвдоль и поперёк границ

xy


Примеры нелинейных методов Примеры нелинейных методов NEDINEDI

Увеличение только в 2 разаУвеличение только в 2 раза Основная идея: самоподобие Основная идея: самоподобие

изображения при увеличенииизображения при увеличении

Белый цвет – пиксели исходного изображенияЗелёный – первый проходКрасный – второй проход


Примеры нелинейных методов Примеры нелинейных методов NEDINEDI Первый проходПервый проход

Коэффициенты выбираются из предположения, что эти же коэффициенты использовались при получении текущего изображения из его уменьшенной версии


Примеры нелинейных методов Примеры нелинейных методов NEDINEDI Второй проходВторой проход

Второй проход аналогичен первому.В интерполяции участвуют пиксели, посчитанные в первом проходе


Примеры нелинейных методов Примеры нелинейных методов NEDINEDI Второй проходВторой проход

Второй проход аналогичен первому.В интерполяции участвуют пиксели, посчитанные в первом проходе


Примеры нелинейных методов Примеры нелинейных методов Обратная задачаОбратная задача

Постановка задачи в виде уравненияПостановка задачи в виде уравнения

где где zz – – увеличенное изображение,увеличенное изображение,u u – – уменьшенное изображение,уменьшенное изображение,AA – – оператор, уменьшающий изображениеоператор, уменьшающий изображение

Увеличение как решение уравненияУвеличение как решение уравнения с с применением итерационных методовприменением итерационных методов

ПроблемыПроблемы: для одного и того же : для одного и того же u u существует несколько существует несколько zz ++ неустойчивость неустойчивость. .


Нелинейные методыНелинейные методыРегуляризирующий методРегуляризирующий метод

Одним из способов решения Одним из способов решения некорректной задачи некорректной задачи Az=uAz=uявляется метод регуляризации,является метод регуляризации,созданный основоположникомсозданный основоположникомфакультета ВМК академикомфакультета ВМК академикомА.Н.ТихоновымА.Н.Тихоновым

Регуляризация сводит некорректно Регуляризация сводит некорректно поставленную задачу к корректной за счет поставленную задачу к корректной за счет использования дополнительных использования дополнительных ограничений.ограничений.



Решение задачи повышения Решение задачи повышения разрешения ищется в видеразрешения ищется в виде

гдегде

- параметр регуляризации- параметр регуляризации



Выбор стабилизатораВыбор стабилизатора

– ТихоновскийТихоновский

– Total Variation ,Total Variation ,

– Bilateral TVBilateral TV

ии - операторы сдвига по осям - операторы сдвига по осям xx ии yy на на ss ии tt пикселей соответственно, , пикселей соответственно, , рр=1=1

sxS t

yS


Нелинейные методыНелинейные методыРегуляризирующий методРегуляризирующий метод Для минимизации Для минимизации

регуляризирующего функционаларегуляризирующего функционала

применяется итерационный применяется итерационный субградиентный методсубградиентный метод



билинейная интерполяциябилинейная интерполяция регуляризирующий регуляризирующий методметод

эффект Гиббсаэффект Гиббса



Регуляризирующий методРегуляризирующий метод Постобработка Постобработка методом квазирешенийметодом квазирешений


Нелинейные методыНелинейные методыУвеличение с подавлением Увеличение с подавлением эффекта Гиббсаэффекта Гиббса

Исходные изображения, увеличенные методом ближайшего соседаБилинейная интерполяцияУвеличение регуляризирующим методомУвеличение регуляризирующим методом с подавлением эффекта Гиббса

http://imaging.cs.msu.ru/software


Повышение разрешения Повышение разрешения изображенийизображений

ВведениеВведение Линейные методы повышения разрешенияЛинейные методы повышения разрешения

– Примеры интерполяцииПримеры интерполяции– Представление в общем видеПредставление в общем виде– Недостатки линейных методовНедостатки линейных методов

Нелинейные методыНелинейные методы– Примеры нелинейных методовПримеры нелинейных методов– Регуляризирующий методРегуляризирующий метод

СуперразрешениеСуперразрешение



Задача суперразрешения – это Задача суперразрешения – это реконструкция изображения реконструкция изображения высокого разрешения по высокого разрешения по нескольким изображениям низкого нескольким изображениям низкого разрешенияразрешения


СуперразрешениеСуперразрешение Источник дополнительной Источник дополнительной

информации – субпиксельные сдвигиинформации – субпиксельные сдвиги

Движущийся объект Получаемые с камеры изображения


СуперразрешениеСуперразрешение Зная информацию о сдвигах, можно построить Зная информацию о сдвигах, можно построить

изображение более высокого разрешенияизображение более высокого разрешения

Получаемые с камеры изображения

Соответствие между пикселями изображений низкого разрешения и

реконструируемого изображения высокого разрешения



Построение через решение обратной Построение через решение обратной задачи: найти такое изображение задачи: найти такое изображение высокого разрешения, которое, будучи высокого разрешения, которое, будучи уменьшенным с учётом сдвигов, даст уменьшенным с учётом сдвигов, даст исходные изображенияисходные изображения



AAkk – – оператор понижения разрешенияоператор понижения разрешения

HHcamcam – – размытие камерой (подавление размытие камерой (подавление алиасинга, моделируется фильтром Гаусса)алиасинга, моделируется фильтром Гаусса)

HHatmatm – – эффекты в средеэффекты в среде nn – – шумшум FFkk – – оператор смещения (оптического потока)оператор смещения (оптического потока) DD – – оператор прореживанияоператор прореживания



z – реконструируемое изображение

F1 FNF2Применение операторов движения Fk

Уменьшение изображений (операторы D и H)



Быстрая реализациясупер-разрешения

Качественная реализация

супер-разрешения

Метод ближайшего соседа

Нелинейный методинтерполяции

Исходныеизображен

ия



Увеличение видео в 4 раза

Бикубическая интерполяция Суперразрешение


Спасибо за внимание!Спасибо за внимание!


Documents

Применение свертки при увеличении изображений ( “ линейные методы ресамплинга ” )