Upload
wind
View
70
Download
1
Embed Size (px)
DESCRIPTION
Семантическая классификация JPEG изображений. Результаты экспериментального исследования. Что такое семантика?. Семантика дает ответ на вопрос: Что изображено на картинке? В рамках данного исследования семантика определяется двумя понятиями: Концепт ( Concept) – существительное - PowerPoint PPT Presentation
Citation preview
ЛЭТИ'2006 2
Что такое семантика?
• Семантика дает ответ на вопрос: Что изображено на картинке?
• В рамках данного исследования семантика определяется двумя понятиями:
• Концепт (Concept) – существительное• Модификатор (modifier) – прилагательное• например: «Лесная река»
ЛЭТИ'2006 3
Принципы построения алгоритма семантической классификации
• 1. Сегментация изображения
• 2. Семантическая классификация сегментов по прецедентам
• 3. Нечеткое статистическое отношение: семантика сегмента – семантика образа
• 4. Дублирующая семантическая классификация
ЛЭТИ'2006 4
Формирование базы данных
• На этапе накопления базы данных, для каждого сегмента и каждого образа оператор вводит концептуальные понятия (concept) и определения к ним (modifier) в виде текстовых слов. Эта пара слов считается семантикой изображения или его сегмента.
• Вместе с семантикой в базе данных сохраняется набор количественных признаков
ЛЭТИ'2006 7
Косинусное преобразование
7 7
0 0
7 7
0 0
2 1 2 11, , cos cos , , 0,
4 16 16
10,0 , , , 0,
8
k kx y
k kx y
x i y jC i j f x y i j
C f x y i j
3,2,1k
ЛЭТИ'2006 8
Первичные информативные признаки
• Цветовой фон
• Вариабельность цветности
• Цветовой контраст
0,0 .kDCf k C
7 7
2
1 1
,ki j
ACf k C i j
1
2
ACf kCont k
DCf k
3,2,1k
ЛЭТИ'2006 9
Сегментация изображений• Мера различия
векторов
3
1
/i i ii
L x y D
2h
3h
1h
85.01 ii hh
ЛЭТИ'2006 11
Признаковое пространство сегмента
• Относительная площадь
• Позиция сегмента в поле изображения
• Доминирующий фон
• Вариабельность цветности:
21
s
aYCbCr i ACf iS
ЛЭТИ'2006 13
Характеристики полигона
• Относительная площадь
• Относительный диаметр
• Фактор формы
• Угол ориентации диаметра
• Координаты центра масс
• Координаты геометрического центра
• Угол ориентации главной компоненты
ЛЭТИ'2006 15
Информативность признаков
00 01 02 03 04 05 06 07 0
10 11 1
2
3
40 41 4
0 1 2 3 4 5 6 7
0
1
2
3
4
x y a b c d e f g h
m m m m m m m m m
m m m
m
m
m m m
n n n n n n n n M
logi ix
i
m mH
M M
logj jy
j
n nH
M M
logij ijx y
i j
m mH
M M :x y x y x yH H H H
: : *2x y x y x yS H H H
ЛЭТИ'2006 16
Агрегирование признаков
Признаки полигона Одиночный признак Сложный признак
FormFactor 0.659 0.8719
EFactor 0.677
Potential 0.673 0.9222
Radius 0.651
Mass_center (y) 0.637
Polygon_center (y) 0.643
i
ЛЭТИ'2006 17
Нечеткая классификация• Уровень достоверности признака
• Функция принадлежности к прецеденту
• Функция принадлежности к семантике
1 min maxi ki kik kd d
1
1min ,
p
k i iip
maxk s
s kK
ЛЭТИ'2006 18
Нечеткая классификация образов по семантике сегментов
Im1
1,
n
sk
i k Transit i kn m i
n - число сегментов в образе
Transit - матрица нечеткого отношения между семантикой сегментов и семантикой образов.
ЛЭТИ'2006 19
Нечеткая классификация образов по параметрам полигона образа
• Уровень достоверности признака
• Функция принадлежности к прецеденту
• Функция принадлежности к семантике
1 min maxi ki kik kd d
1
1min ,
g
k i iig
maxk s
s kK
ЛЭТИ'2006 22
Характеристика базы данных
Число примеров =100
Число сегментов =535
Число концептуальных понятий =86
Число модификаторов понятий =154
Число сочетаний Concept/Мodifier на уровне сегментов=214
Число сочетаний Concept/Мodifier на уровне образов=67
Средний размер изображений 120*120 пикселов