ПРИНЦИПЫ СЖАТИЯ ВИДЕОИНФОРМАЦИИ

ФГБОУ ВПО «ВЯТСКИЙ ГОСУДАРСТВЕННЫЙ УНИВЕРСИТЕТ»

Лекции

- это двумерное изображение F(x,y), характеризующееся бесконечной точностью представления по пространственным параметрам x и y и бесконечной точностью представления значений интенсивности в каждой пространственной точке (x,y)

- это двумерное изображение I(r,c), представленное в виде двумерного массива дискретных значений интенсивности, каждое из которых представлено с ограниченной точностью

Изображения

Аналоговое изображение

Цифровое изображение

ЦИФРОВОЕ ИЗОБРАЖЕНИЕ

Цветные изображения описываются тремя значениями для каждого пикселя, а монохромные – одним

Сетка квадратов, каждый из которых содержит один цвет

Каждый квадрат называется пикселем (элем. изображения)

Изображения

Полутоновое

Цветное

Бинарное

- это монохромное (черно-белое) цифровое изображение, у которого каждому пикселю соответствует одно значение интенсивности

- это двумерное изображение, у которого каждой пространственной точке или пикселю соответствует вектор значений

- это цифровое изображение, пиксели которого имеют значения 0 или 1

ЦВЕТОВЫЕ СИСТЕМЫ. RGB

Синий[0, 0, 1]

Голубой[0, 1, 1]

Зеленый

[0, 1, 0]

Желтый[1, 1, 0]

Красный[1, 0, 0]

Черный[0, 0, 0]

Пурпурный

[1, 0, 1]

Белый[1, 1, 1]

Серый

Цветовой куб в нормированных координатах RGB

Любой цвет считается состоящим из трех основных компонентов: красного (Red)зеленого (Green)синего (Blue)

Метод получения нового оттенка суммированием яркостей составляющих компонентов называют аддитивным методом. Например, спектральные функции:черного цвета: fblack = 0, (R,G,B) = (0,0,0);фиолетового цвета: fviolet = fred + fblue, (R,G,B) = (1,0,1);белого цвета: fwhite = fred + fgreen + fblue, (R,G,B) = (1,1,1).

ПРИМЕР ИЗОБРАЖЕНИЯ, ПРЕДСТАВЛЕННОГО В ЦВЕТОВОЙ СИСТЕМЕ RGB

Исходное изображение R

G B

ЦВЕТОВЫЕ СИСТЕМЫ. YCBCRБуква Y в таких цветовых пространствах обозначает компоненту светимость, которая вычисляется как взвешенное усреднение компонент R, G и B по следующей формуле:

BkGkRkY bgr где k обозначает соответствующий весовой множительОстальные цветовые компоненты определяются в виде разностей между светимостью Y и компонентами R, G и B:

YBCb YRCr YGCg

При этом получаются четыре компоненты нового пространства вместо трех RGB. Однако число Cb+Cr+Cg является постоянным, поэтому только две из трех хроматических компонент необходимо хранить, а третью вычислять на основе них. Чаще всего в качестве две искомых цветовых компонент используют Cb и Cr. Преимущество пространства YCbCr по сравнению с RGB заключается в том, что Cb и Cr можно представлять с меньшим разрешением, чем Y, т.к. глаз человека менее чувствителен к цвету предметов, чем к их яркости. Это позволяет сократить объем информации, требуемый для представления хроматических компонент, без заметного ухудшения качества передачи цветовых оттенков изображения.

Исходное изображение Сb

Сg Cr

ПРИМЕР ИЗОБРАЖЕНИЯ, ПРЕДСТАВЛЕННОГО В ЦВЕТОВОЙ СИСТЕМЕ YCBCR

Алгоритмы сжатия без потерь

Кодирование длин серий RLE

Групповое кодирование LZW

Алгоритм Хаффмана

Арифметическое кодирование

Алгоритмы сжатия с потерями

Дискретное косинусное преобразование (стандарт JPEG)

Вейвлет-преобразование (стандарт JPEG2000)

Фрактальное кодирование

Нейросетевые методы сжатия

высокая степень компрессии высокое качество изображений высокая скорость компрессии и декомпрессии симметричность по времени небольшая стоимость аппаратной реализации эффективность программной реализации

ТРЕБОВАНИЯ К АЛГОРИТМАМ СЖАТИЯ

ОЦЕНКА КАЧЕСТВА ИЗОБРАЖЕНИЯСУБЪЕКТИВНАЯ ОЦЕНКА КАЧЕСТВА

Субъективная оценка качества изображения формируется на основе экспертных оценок. Она зависит от различных внешних факторов, например, условий окружающей среды, освещения, настроения специ-алиста, который производит оценку, качества монитора, характера рассмат-риваемых изображений и др. Каждая процедура начинается с отбора участ-

ников, которые не дол-жны быть экспертами, и проверки их зрения. В контролируемых условиях участники просматривают до 30 мин тестовых сцен и для каждой сцены выставляют оценку каче-ства изображения.

ОБЪЕКТИВНЫЕ КРИТЕРИИ КАЧЕСТВА

Среднеквадратичная ошибка

N - число пикселей в изображении, - значения пикселей исходного и восстановленного изображений соответственно. Пиковое отношение сигнал/шум

Критерий максимального правдоподобия

2

1

1

N

iii yx

NСКО

ii yx ,

СКОПОСШ 255lg20

iiNiyxML

,,1max

ОЦЕНКА КАЧЕСТВА ИЗОБРАЖЕНИЯ

Это один из самых старых и самых простых алгоритмов архивации графики. Изображение в нем вытягивается в цепочку байт по строкам растра. Само сжатие в RLE происходит за счет того, что в исходном изображении встречаются цепочки одинаковых байт. Замена их на пары <счетчик повторений, значение> уменьшает избыточность данных.

АЛГОРИТМ RLE (RUN LENGTH ENCODING)

Если в изображении встречается цепочка 7,7,7,0,0,0,0,5,5, то она заменяется на пары (3,7), (4,0), (2,5).

ПРИМЕР РАБОТЫ АЛГОРИТМА:

Алгоритм рассчитан на деловую графику - изображения с большими областями повторяющегося цвета. Применяется как дополнение к другим методам. Различные модификации алгоритма реализованы в графических форматах: BMP, PCX, TIFF, GIF, JPEG.

средний коэффициент сжатия 2-3;

максимальный коэффициент сжатия – 32-64;

возможно увеличение файла;

высокая скорость компрессии и декомпрессии;

симметричность алгоритма примерно единица;

не требует дополнительной памяти при архивации

и разархивации

ХАРАКТЕРИСТИКИ АЛГОРИТМА RLE

АЛГОРИТМ LZW (LEMPEL-ZIW-WELCH)

Процесс сжатия осуществляется за счет одинаковых цепочек байт.

Алгоритм выглядит следующим образом: последовательно считываются символы входного потока и

проверяется наличие в созданной таблице строк такой строки. Если строка есть, то считывается следующий символ, а если строки нет, то в поток заносится код для предыдущей найденной строки, строка заносится в таблицу и поиск начинается снова.

Сначала создается таблица, состоящая из одного элемента. Кроме того, таблица включает код очистки и код конца информации. Под коды для строк остаются значения от 258 до 511. Добавляемые строки записываются в таблицу последовательно, при этом индекс строки в таблице становится ее кодом.

ПРИМЕР. Пусть исходное изображение {7,7,5,5,0,0,0,0,0,0,5,5,0} содержит 8 бит/отсчет.

Индекс Значение строк Выходной поток

256 256 256

258 7,7 7

259 7,5 7

260 5,5 5

261 5,0 5

262 0,0 0

263 0,0,0 262

264 0,0,0,5 263

265 5,5,0 260

Первоначальная таблица кода LZW(для 8-ми разрядных изображений)

Индекс

Значение

Примечание

0 0 Всевозможные строки,состоящие из одного элемента изображения1 1

2 2

… …

255 255

256 256 Код очистки

257 257 Код конца информации

258 Коды строк (9 бит)

…

511

Конечная таблица.

44,199913 cK

Коэффициент сжатия:

Алгоритм LZW ориентирован на 8-битные изображения. Сжимает за счет одинаковых подцепочек в потоке. Характеристики алгоритма: минимальный коэффициент сжатия – 5/7; средний коэффициент сжатия – 4; максимальный коэффициент сжатия – 1000; симметричность: 1,2 - 3; для определения одного элемента изображений требуется некоторое количество сравнений. Требуется память для хранения таблицы кодов. варианты LZW используются в архиваторах GIF, TIFF, WinRAR.

ХАРАКТЕРИСТИКИ АЛГОРИТМА LZW

АЛГОРИТМ ХАФФМАНА

Использует только частоту появления одинаковых байт в изображении. Сопоставляет символам входного потока, которые встречаются большее число раз, цепочку бит меньшей длины. И, напротив, встречающимся редко —цепочку большей длины. Для сбора статистики требует двух проходов по изображению. Применяется для кодирования:1. N – уровней квантования;2. Векторов движения;3. Коэффициентов преобразования в стандарте JPEG,

MPEG.4. Для сжатия бинарных изображений (при сжатии

факсимильных изображений)

1. Все имеющиеся K сообщений располагают в один столбик в порядке убывания вероятностей.

2. Затем два самых маловероятных сообщения a aK K 1 , объединяют в одно

сообщение b , которое имеет вероятность p pK K 1 . В результате получают

сообщения a a a bK1 2 2, , ..., , , вероятности которых p p pK1 2 2, ,..., , p pK K 1 . Эти сообщения вновь располагают в порядке убывания вероятностей.

3. Далее берут два сообщения, имеющие наименьшие вероятности, объединяют их в одно и вычисляют их общую вероятность.

4. Шаги 2 и 3 повторяют до тех пор, пока не получат единственное сообщение, вероятность которого равна единице.

5. Проводя линии, объединяющие сообщения и образующие последовательные подмножества, получают дерево, в котором отдельные сообщения являются концевыми узлами. Соответствующие им кодовые слова можно построить, приписывая ветви, которые идут вниз - «0», а вверх - «1».

АЛГОРИТМ ХАФФМАНА

ПОСТРОЕНИЕ КОДА ХАФФМАНА

1( ) 0,3p a

2( ) 0,23p a

3( ) 0,15p a

4( ) 0,08p a

5( ) 0,06p a

6( ) 0,06p a

7( ) 0,06p a

8( ) 0,06p a 0,12

0,12

0,27

0,20,57

0,43

1

11

01

101

000

0011

1001

1000

0010

ХАРАКТЕРИСТИКИ АЛГОРИТМА ХАФФМАНА

минимальный коэффициент сжатия – 1/5;

средний коэффициент сжатия – 2;

максимальный коэффициент сжатия – 213;

симметричность: близка к единице;

используются в формате JPEG;

ориентирован на двуцветные черно-белые изображения, с

большими областями повторяющегося цвета;

алгоритм прост в реализации, быстр и может быть легко

реализован аппаратно;

требуется память для хранения статистических словарей.

АРИФМЕТИЧЕСКИЙ КОДПри арифметическом кодировании каждый символ исходного текста представляется отрезком на числовой оси с длиной, равной вероятности его появления, и началом, совпадающим с концом отрезка символа, предшествующего ему в алфавите. Результатом арифметического кодирования является некоторая двоичная дробь из интервала [0, 1).

Пример. Закодировать сообщение «аава».

a b0 1

3/4

a b0

9/16 12/16

36/6427/64

0,11

0,1001

0,011011

a b

0 0,100100

135/256144/256108/256 a b

0,01101100 0,10000111

В качестве кода можно взять любое число из диапазона, полученного на шаге 4. Например, 105,0 21,0 .

ХАРАКТЕРИСТИКИ АРИФМЕТИЧЕСКОГО КОДИРОВАНИЯ

средний коэффициент сжатия 5-6;

требует больших вычислительных ресурсов;

используются в формате JPEG2000.

JPEG - СТАНДАРТ СЖАТИЯ НЕПОДВИЖНЫХ (СТАТИЧЕСКИХ) ИЗОБРАЖЕНИЙ

Joint Photographic Experts Group (объединенная группа экспертов по фотографии)

Проект JPEG был инициирован совместно комитетом CCITT (International Telegraph and Telephone Consultative Committee - международный консультативный комитет по телеграфной и телефонной связи) и ISO (the International Standard Organization – международная организация по стандартизации)

Проект JPEG начался в конце 80-х с целью создания стандарта общего назначения для сжатия почти всех неподвижных изображений с непрерывными тонами

Опубликованный стандарт: "Digital Compression and Coding of Continuous-tone Still Images – Requirements and Guidelines“, ISO/IEC 10918-1:1993(E)

ЗАДАЧИ JPEG КАК СТАНДАРТА Быть современным алгоритмом в смысле степени сжатия и

качества сжатого изображения

Пользователь имеет возможность принимать решение о компромиссе между качеством изображения и степенью сжатия

Быть применимым для любого рода источников цифровых изображений с непрерывными тонами, то есть изображений с плавным изменением тона (без ограничений на контент, сложность, цветовой диапазон, статистику и т.п.)

Иметь подходящую вычислительную сложность для реализации в широком спектре вычислительных аппаратных средств

Основан на дискретном косинусоидальном преобразовании, применяемом к матрице изображения X (размерами NxN) для получения некоторой новой матрицы коэффициентов Y . 1) прямое дискретное косинус-преобразование (DCT)

TAXAY , где элементы матрицы A:

N

ijCA iij 212cos , где

NCi

1 , 0i , N

Ci

2 , 0i ;

X - матрица сэмплов. 2) В матрице Y заменяют все коэффициенты нулями, за исключением

одного или нескольких самых значимых из них. 3) Переводим матрицу в вектор при помощи "зигзаг"-сканирования 4) Дальнейшее свертывание коэффициентов производится с помощью

RLE и метода Хаффмана. 5) При восстановление вычисляют обратное DCT

TAYAX . Дискретное косинус-преобразование применяют к блокам размером 8х8: 1) с точки зрения аппаратной и программной реализации не накладывает существенных ограничений на размер требуемой памяти; 2) вычислительная сложность ДКП является приемлемой для большинства вычислительных платформ.

АЛГОРИТМ JPEG

КОНВЕЙЕР ОПЕРАЦИЙ, ИСПОЛЬЗУЕМЫЙ В АЛГОРИТМЕ JPEG

RGB в

YCbCr

Дискре-

тизация

YCbCr

Д К П

Кванто-

вание

Зигзаг скани

ро-вание

RLE

ПРОЦЕДУРА «ЗИГЗАГ»-СКАНИРОВАНИЯ

ХАРАКТЕРИСТИКИ АЛГОРИТМА JPEG

коэффициенты компрессии: 2-200, средний 20-25; класс изображений: полноцветные 24-битные изображения или изображения в градациях серого без резких переходов цветов; симметричен; искажения: “ореол” вокруг резких горизонтальных и вертикальных границ в изображении (эффект Гиббса); эффект блочности требует относительно больших вычислительных затрат.

ПРИМЕР СЖАТОГО JPEG ИЗОБРАЖЕНИЯ.АРТЕФАКТЫ БЛОЧНОСТИ

Исходное изображение Сжатое изображение

При вейвлетной схеме сжатия используется разложение сигнала по набору базисных функций:

i ii

f x c x ,

где i x - базисная функция, ic - весовой коэффициент.

Широкобазисные функции позволяют исследовать боль-шие области и точно описать НЧ детали (границы), а корот-кобазисные функции позволяют исследовать малоразмер-ные области (ВЧ детали).

В связи с этим базисные функции формируются как мно-жество i x с конечными носителями разной ширины. В этом случае все базисные функции получаются из одного прототипа i x (материнского вейвлета) путем его растяже-ния (или сжатия) и смещения по оси времени.

ВЕЙВЛЕТ-ПРЕОБРАЗОВАНИЕ

Двумерное вейвлет-преобразование является разделимым преобразованием и сводится к двум независимо выполняемым одномерным преобразованиям. Одномерное вейвлет-преобразование это совокупность ‑процессов высокочастотной (ВЧ) и низкочастотной (НЧ) фильтрации и децимации. Преобразуемый сигнал подвергается фильтрации с помощью фильтров нижних и верхних частот, которые делят диапазон частот исходного сигнала на две субполосы. ВЧ и НЧ поддиапазоны (субполосы) сигнала, полученные при фильтрации, имеют в два раза более узкую полосу, чем исходный сигнал. Поэтому выборку можно осуществлять с частотой, равной половине частоты дискретизации сигнала, что позволяет отбросить каждый второй отсчет в направлении фильтрации (по строкам или столбцам), то есть выполнить децимацию. Последующие процессы фильтрации производятся над НЧ и ВЧ коэффициентами преобразования. Этот процесс продолжается, пока сигнал не будет полностью разделен или остановлен на заданной стадии разложения.

ВЕЙВЛЕТ-ПРЕОБРАЗОВАНИЕ

СХЕМА ВЕЙВЛЕТ - ПРЕОБРАЗОВАНИЯ

Прореживание по вертикалиh

g Прореживание по вертикали

Прореживание по горизонталиh

g Прореживание по горизонтали

Прореживание по горизонталиh

g Прореживание по горизонтали

01c

11c

1nd

L

H

HH

HL

LH

LL21c

22d

23d

24d

Алгоритм JPEG-2000 разработан той же группой экспертов в области фотографии, что и JPEG. Основные отличия алгоритма в JPEG 2000 от алгоритма в JPEG заключаются в следующем: Лучшее качество изображения при сильной степени сжатия. Или, что то же самое, большая степень сжатия при том же качестве для высоких степеней сжатия. Поддержка кодирования отдельных областей с лучшим качеством. Известно, что отдельные области изображения критичны для восприятия человеком (например, глаза на фотографии), в то время как качеством других можно пожертвовать (например, задний план). При "ручной" оптимизации увеличение степени сжатия проводится до тех пор, пока не будет потеряно качество в какой-то важной части изображения. Сейчас появляется возможность задать качество в критичных областях, сжав остальные области сильнее, т.е. мы получаем еще большую окончательную степень сжатия при субъективно равном качестве изображения. Основной алгоритм сжатия заменен на вейвлет-преобразование. Помимо указанного повышения степени сжатия это позволило избавиться от 8-пиксельной блочности, возникающей при повышении степени сжатия.

АЛГОРИТМ JPEG 2000

АЛГОРИТМ JPEG 2000 Для повышения степени сжатия в алгоритме используется арифметическое сжатие. Изначально в стандарте JPEG также было заложено арифметическое сжатие, однако позднее оно было заменено менее эффективным сжатием по Хаффману, поскольку арифметическое сжатие было защищено патентами. Сейчас срок действия основного патента истек, и появилась возможность улучшить алгоритм. Поддержка сжатия без потерь. Помимо привычного сжатия с потерями новый JPEG теперь будет поддерживать и сжатие без потерь. Таким образом, становится возможным использование JPEG для сжатия медицинских изображений, в полиграфии, при сохранении текста под распознавание OCR системами и т.д. Поддержка сжатия однобитных (2-цветных) изображений. Для сохранения однобитных изображений (рисунки тушью, отсканированный текст и т.п.) ранее повсеместно рекомендовался формат GIF, поскольку сжатие с использованием ДКП весьма неэффективно к изображениям с резкими переходами цветов. Сейчас можно рекомендовать JPEG 2000 как универсальный алгоритм.

КОНВЕЙЕР ОПЕРАЦИЙ, ИСПОЛЬЗУЕМЫЙ В АЛГОРИТМЕ JPEG 2000

Сдвиг по

яркости

RGB в YCbCr

Дискр. вейвлет-преобра

з-е

Кванто-

вание

Арифме-тическое сжатие

ХАРАКТЕРИСТИКИ АЛГОРИТМА JPEG 2000:

степень сжатия: 2-200; класс изображений: полноцветные 24-битные изображения; изображения в градациях серого без резких переходов цветов; однобитные изображения; симметричность: 1-1,5; искажения: при большом сжатии –артефакты в виде окантовок и посторонних узоров; требует больших вычислительных затрат.

ПРИМЕРЫ СЖАТЫХ ИЗОБРАЖЕНИЙ JPEG/JPEG2000 (СЖАТИЕ В 130 РАЗ)

JPEG: сохранено больше деталей JPEG 2000: отсутствие блочных артефактов

ОСОБЕННОСТИ АЛГОРИТМОВ СЖАТИЯСТАТИЧЕСКИХ ИЗОБРАЖЕНИЙ

Алгоритм Особенности изображения, за счет которых происходит сжатие

RLE Подряд идущие одинаковые цвета: 2 2 2 2 2 2 15 15 15 LZW Одинаковые подцепочки: 2 3 15 40 2 3 15 40 Хаффмана Разная частота появления цвета: 2 2 3 2 2 4 3 2 2 2 4 JPEG 2000 Плавные переходы цветов и отсутствие резких границ JPEG Отсутствие резких границ

ТЕХНОЛОГИИ СЖАТИЯ ВИДЕО Технологии видеосжатия уменьшают количество излишних видеоданных, и благодаря этому цифровой видеофайл может быть более эффективно передан через сеть и сохранён на компьютерных дисках. Использование эффективных технологий сжатия позволяет достичь значительного уменьшения размера файла с маленьким или неважным влиянием на качество изображения. Хотя, если размер файла будет слишком сильно уменьшен засчёт увеличения уровня сжатия, качество видеоизображения может пострадать. Существуют различные стандарты сжатия видео. Стандартизация важна для совместимости. Применительно к видеосжатию совместимость может применяться для разных целей и может быть необходима для некоторых приложений, например, для просмотра записей через много лет после записи. Наиболее известные стандарты сжатия видео на сегодняшний день – это Motion JPEG, MPEG-4, H.261, H.263, H.264

ВИДЕОКОДЕКИ Процесс сжатия включает в себя применение к исходным видеоданным алгоритма для создания сжатого видеофайла, который можно передавать и хранить. Для воспроизведения сжатого файла используется обратный алгоритм, который воссоздаёт изначальный видеопоток. Пара алгоритмов, которые работают вместе, называется видеокодеком (кодирование/декодирование). Видеокодеки различных стандартов обычно не совместимы друг в другом; это означает, что видеоинформация, сжатая с помощью одного стандартного кодека не может быть извлечена с помощью другого стандартного кодека. Например, декодер MPEG-4 не сможет извлечь информацию, сжатую с помощью кодера H.264. Это естественно, что один алгоритм не может декодировать сжатые другим алгоритмом данные; но некоторые программные и аппаратные продукты поддерживают различные алгоритмы.

СТАНДАРТ MOTION JPEG (MJPEG)

Эти три изображения с помощью Motion JPEG формата будут сжаты и отосланы как отдельные, независимые друг от друга, кадры .

В этом стандарте используется внутрикадровая технология кодирования. Объём данных уменьшается в кадре с помощью простого удаления излишней информации, которая незаметна для человеческого глаза. Motion JPEG кодирует и сжимает изображения как очередь из отдельных JPEG-изображений.

СТАНДАРТЫ H.261, H.263, H.264, MPEG-4 В этих стандартах используется межкадровое предсказание для серий кадров для уменьшения объёма данных. Оно включает в себя технику дифференцированного кодирования, когда кадр сравнивается с опорным кадром и кодируются только изменившиеся пиксели. В этом случае количество меняющихся пикселей определяет качество сжатия. При визуализации таким образом сжатого видеосигнала, изображения показываются как в оригинальном видеопотоке. При использовании дифференциального кодирования только первый кадр (I-кадр) сохраняется полностью. Два последующих изображения (P-кадры) позволяют создать так называемый дом — статичные элементы. С помощью векторов движения кодируются только двигающиеся части (например, бегущий человек), что уменьшает количество информации, которую необходимо передавать и хранить.

ТЕЛЕВИДЕНИЕ ВЫСОКОЙ ЧЕТКОСТИ (HDTV) Современное цифровое телевещание стало доступным именно благодаря видеокомпрессии. Телевизионные станции могут транслировать не только видео высокой четкости (HDTV), но и несколько телеканалов в одном физическом телеканале (6 МГц). Хотя большинство видеоконтента сегодня транслируется с использованием стандарта сжатия видео MPEG-2, тем не менее новые и более эффективные стандарты сжатия видео уже используются в телевещании — например, H.264.