ЛЭТИ'2006 1

Семантическая классификация JPEG изображений

Результаты экспериментального

исследования

ЛЭТИ'2006 2

Что такое семантика?

• Семантика дает ответ на вопрос: Что изображено на картинке?

• В рамках данного исследования семантика определяется двумя понятиями:

• Концепт (Concept) – существительное• Модификатор (modifier) – прилагательное• например: «Лесная река»

ЛЭТИ'2006 3

Принципы построения алгоритма семантической классификации

• 1. Сегментация изображения

• 2. Семантическая классификация сегментов по прецедентам

• 3. Нечеткое статистическое отношение: семантика сегмента – семантика образа

• 4. Дублирующая семантическая классификация

ЛЭТИ'2006 4

Формирование базы данных

• На этапе накопления базы данных, для каждого сегмента и каждого образа оператор вводит концептуальные понятия (concept) и определения к ним (modifier) в виде текстовых слов. Эта пара слов считается семантикой изображения или его сегмента.

• Вместе с семантикой в базе данных сохраняется набор количественных признаков

ЛЭТИ'2006 5

JPEG- кодирование изображений

ЛЭТИ'2006 6

Цветовое пространство

255,0,, BGR

ЛЭТИ'2006 7

Косинусное преобразование

7 7

0 0

7 7

0 0

2 1 2 11, , cos cos , , 0,

4 16 16

10,0 , , , 0,

8

k kx y

k kx y

x i y jC i j f x y i j

C f x y i j

3,2,1k

ЛЭТИ'2006 8

Первичные информативные признаки

• Цветовой фон

• Вариабельность цветности

• Цветовой контраст

0,0 .kDCf k C

7 7

2

1 1

,ki j

ACf k C i j

1

2

ACf kCont k

DCf k

3,2,1k

ЛЭТИ'2006 9

Сегментация изображений• Мера различия

векторов

3

1

/i i ii

L x y D

2h

3h

1h

85.01 ii hh

ЛЭТИ'2006 10

Пример сегментации

ЛЭТИ'2006 11

Признаковое пространство сегмента

• Относительная площадь

• Позиция сегмента в поле изображения

• Доминирующий фон

• Вариабельность цветности:

21

s

aYCbCr i ACf iS

ЛЭТИ'2006 12

Полигон сегмента 14,,2,1 kkcont

ЛЭТИ'2006 13

Характеристики полигона

• Относительная площадь

• Относительный диаметр

• Фактор формы

• Угол ориентации диаметра

• Координаты центра масс

• Координаты геометрического центра

• Угол ориентации главной компоненты

ЛЭТИ'2006 14

Полигон изображения 21,,2,1 kkcont

ЛЭТИ'2006 15

Информативность признаков

00 01 02 03 04 05 06 07 0

10 11 1

2

3

40 41 4

0 1 2 3 4 5 6 7

0

1

2

3

4

x y a b c d e f g h

m m m m m m m m m

m m m

m

m

m m m

n n n n n n n n M

logi ix

i

m mH

M M

logj jy

j

n nH

M M

logij ijx y

i j

m mH

M M :x y x y x yH H H H

: : *2x y x y x yS H H H

ЛЭТИ'2006 16

Агрегирование признаков

Признаки полигона Одиночный признак Сложный признак

FormFactor 0.659 0.8719

EFactor 0.677

Potential 0.673 0.9222

Radius 0.651

Mass_center (y) 0.637

Polygon_center (y) 0.643

i

ЛЭТИ'2006 17

Нечеткая классификация• Уровень достоверности признака

• Функция принадлежности к прецеденту

• Функция принадлежности к семантике

1 min maxi ki kik kd d

1

1min ,

p

k i iip

maxk s

s kK

ЛЭТИ'2006 18

Нечеткая классификация образов по семантике сегментов

Im1

1,

n

sk

i k Transit i kn m i

n - число сегментов в образе

Transit - матрица нечеткого отношения между семантикой сегментов и семантикой образов.

ЛЭТИ'2006 19

Нечеткая классификация образов по параметрам полигона образа

• Уровень достоверности признака

• Функция принадлежности к прецеденту

• Функция принадлежности к семантике

1 min maxi ki kik kd d

1

1min ,

g

k i iig

maxk s

s kK

ЛЭТИ'2006 20

Комплексирование результатов

Immin , p

ЛЭТИ'2006 21

Моделирующая программа

ЛЭТИ'2006 22

Характеристика базы данных

Число примеров =100

Число сегментов =535

Число концептуальных понятий =86

Число модификаторов понятий =154

Число сочетаний Concept/Мodifier на уровне сегментов=214

Число сочетаний Concept/Мodifier на уровне образов=67

Средний размер изображений 120*120 пикселов

ЛЭТИ'2006 23

Эксперимент 1

Паттерн

ЛЭТИ'2006 24

Эксперимент 2

Паттерн

ЛЭТИ'2006 25

Публикации

• Дорогов А.Ю., Курбанов Р.Г., Разин В.В

• Быстродействующий алгоритм семантической классификации JPEG–изображений.

• Электронный журнал «Нейроинформатика» 2006, том 1, № 2 с.124-144. http://www.ni.iont.ru/Journal/N2/