mpeg-7

Extragerea caracteristicilor video de baz

Cuprins1. Introducere2. Metadate multimedia3. Descriptori video MPEG-74. Aplicaii

Extragerea caracteristicilor video de baz

Sisteme i aplicaii multimedia

Scop adaptarea i livrarea datelor multimedia n funcie de: caracteristicile datelor de baz i/sau semantice; caracteristicile sistemului reea de acces i/sau terminale; preferinele utilizatorilor istoricul datelor accesate.

Necesiti: caracterizarea datelor metadate de coninut; caracterizarea sistemului metadate de context; identificarea coninutului.

Instrumente: MPEG-7 MPEG-21.

Introducere

Information Retrieval - IR Se refer la accesul la date de tip text pe baza coninutului. Procesul de regsire a informaiei, IR, este format din trei etape:

Interogare. Cutare. Prezentare.

Multimedia Information Retrieval MIR Noiunea de multimedia se refer la date audio, video i text,

existente individual sau mpreun n documente multimedia. Cerinele unui sistem eficient MIR se refer la:

Cutarea coninutului multimedia. Reprezentarea coninutului multimedia. Analiza coninutului multimedia.

Metadate multimedia

Metadate. Definiie:

date despre date sau informaii despre informaii; informaii structurate care descriu, explic, localizeaz, sau

simplific accesul la informaii i gestionarea resurselor de informaii.

Utilizare: pentru descrierea altor date, cu o structur complex sau

nestructurate; n procesul de acces la resurse datorit necesitii gsirii unor

informaii utile dintr-un volum mare de informaii disponibile.

Metadate multimedia

Metadate(2). Caracteristici:

pot descrie resurse pentru orice nivel de reprezentare; pot fi privite din diferite perspective, n funcie de productorul coninutului, de furnizorii de servicii, i de consumatori;

pot fi stocate mpreun cu obiectul pe care l descriu sau pot fi stocate n fiiere separate;

descrierea unei resurse cu ajutorul metadatelor permite acesteia s fie neleas att de ctre oameni ct i de ctre maini n moduri care s promoveze interoperabilitatea.

Metadate multimedia

Metadate(3).

Metadate multimedia

Tipuri demetadate

Descriptive StructuraleAdministrative

Reprezentare Stocare Limbaje

Textual BinarCu

obiectul Separat SGML XML

Metadate(6). XML (eXtensible Markup Language):

principalul limbaj de definire a metadatelor; derivat din SGML (Standard Generalized Markup Language) similar HTML pe baz de etichete; spre deosebire de HTML, limbajul XML ofer utilizatorului

posibilitatea de a construi propriul set de etichete care urmeaz a fi utilizat n formatarea unui document.

Metadate multimedia

Metadate(7). Exist dou elemente fundamentale utilizrii limbajului XML:

Fiierul XML propriu-zis: include setul de etichete i informaiile care sunt transmise prin

intermediul acestuia; fiierele XML nu fac nimic, sunt doar secvene de text create pentru

a structura, depozita i transporta informaie.

Fiier DTD (Document Type Definition): conine regulile de validare a documentelor XML i tipurile de date

incluse n fiierul XML.

Metadate multimedia

Metadate multimedia(1). Definiie metadate ce descriu datele de tip multimedia; Rolul descriere semantic a coninutului datelor multimedia; Scopul utilizrii simplificarea accesului la datele multimedia; Limbajul de definire XML; Principalul dezavantaj interpretarea semantic diferit a

coninutului de ctre utilizatori diferii; Observaie: noiunea de multimedia se refer la date audio,

video i text, existente individual sau mpreun n documente multimedia.

Metadate multimedia

MPEG-7 Interfaa de descriere a coninutului multimedia Scop descrierea unitar a datelor multimedia n vederea

asigurrii interoperabilitii; Instrumente:

Descriptor reprezentarea unei caracteristici de baz;

Schema de descriere reprezentarea unei caracteristici de nivel superior;

Limbajul de definire a descrierilor permite crearea de noi descriptori/scheme de descriere sau modificarea celor existente;

Instrumente de sistem permit pregtirea descrierilor pentru stocare i transmitere, i sincronizarea dintre coninut i descrieri.

Metadate multimedia

MPEG-7 Interfaa de descriere a coninutului multimedia

Metadate multimedia

Extragere Descrieri

Utilizare Descrieri

Descriere Standard

Conform MPEG-7

MPEG-7 nu specific: Modul de extragere a descrierilor; Modul de utilizare a descrierilor; Asemnarea dintre coninuturi.

MPEG-7

Metadate multimedia

Foreground

SR1: Creation, Usage meta

information Media description Textual annotation Color histogram, Texture

SR2: Shape Color Histogram Textual annotation

SR6: Color Histogram Textual annotation

SR5: Shape Textual annotation



Background

MPEG-7

Metadate multimedia

Componente MPEG-71. MPEG-7 Systems2. MPEG-7 Description Definition Language3. MPEG-7 Visual4. MPEG-7 Audio5. MPEG-7 Multimedia DSs6. MPEG-7 Reference Software7. MPEG-7 Conformance

Metadate multimedia

MPEG-7 ofer un set bogat de unelte de standardizare pentru descrierea coninutului multimedia prezentate sub forma descriptorilor audio i video.

Exist dou mari categorii de descriptori :

descriptori de baz (low level). descriptori semantici (high level) scheme de descriere.

Descriptorii de baz se refer la caracteristici care nu au semnificaie direct pentru utilizator ca de exemplu: histograma unei imagini; textura unei regiuni dintr-o imagine; frecvena fundamental a unei melodii, etc.

Descriptorii de nivel ridicat sunt cei cu semnificaie real pentru utilizatori i se refer la caracteristici precum: tipul aciunii unui clip video, coninutul semantic.

Descriptori video MPEG-7

MPEG-7 are definite o serie de structuri de baz pentru caracterizarea coninutului video: Grid layout specific un mod de partiionare a imaginilor/cadrelor

video n regiuni dreptunghiulare pentru a caracteriza regiunile separat; Time Series definete serii temporale uniforme sau neuniforme; 2D-3D Multiple View permite combinarea descriptorilor 2D pentru

caracterizarea unui obiect 3D; Spatial 2D Coordinates - definete un sistem de coordonate spaial

bidimensional i o unitate de msur; Temporal Interpolation - se utilizeaz pentru aproximarea variabilelor

multidimensionale care se modific n timp.


MPEG-7 Audio standardizeaz instrumente de descriere utilizate pentru descrierea coninutului audio.

Putem clasifica instrumentele de descriere audio n dou categorii: instrumente generale de descriere audio i instrumente de nivel nalt de descriere audio.

Descriptorii audio de baz pot fi clasificai n 3 categorii de descriere: Descriptorul linitii Descriptori temporali Descriptori spectrali.

Exist 4 categorii de scheme de descriere audio (descriptori semantici).


MPEG-7


DescriptoriVideo MPEG-7

Descriptori de culoare

Spaii de culoare

Descriptorul de cuantizare a culorilor

Descriptorul culorilor dominante

Descriptorul scalabil al culorilor

Descriptorul GoF/GoP

Descriptorul de structur a culorii

Descriptorul Color Layout

Descriptori de textur

Descriptorul de omogenitate a texturii

Descriptorul de parcurgere pe baza texturii

Descriptorul Edge Histogram

Descriptori de form

Descriptorul pentru forma regiunii

Descriptorul pentru forma conturului

Descriptorul de form 3D

Descriptori de micare

Descriptorul de micare a camerei

Descriptorul pentru traiectoria micrii

Descriptorul pentru micare parametric

Descriptorul pentru activitatea micrii

Descriptori de

localizare

Descriptorul pentru localizarea regiunilor

Descriptorul pentru regiuni spaio-temporale

Alte categorii de descriptori Descriptorul de recunoatere a feelor

Descriptori de culoare(1) Spaiul culorilor:

specific spaiul de culori folosit pentru ali descriptori de culoare; utilizeaz urmtoarele spaii de culoare: RGB, YCrCb, HSV

HMMD.

Descriptorul de cuantizare a culorilor: specific un numr de nivele de cuantizare pentru fiecare dintre

componentele spaiului de culori; cuantizare este uniform pentru toate spaiile de culori, mai puin

pentru spaiul HMMD; numrul de nivele de cuantizare este variabil i specificat de

utilizator; utilizat mpreun cu descriptorul de culori dominante pentru a

exprima semnificaia valorilor culorilor dominante.


Descriptori de culoare(2) Descriptorul culorilor dominante:

ofer o descriere compact a culorilor reprezentative ale uneiimagini sau ale unei regiuni dintr-o imagine;

permite indexarea eficient a bazelor de date mari;


{ }{ }, , , , 1,i i iD c p v s i N= =Culoare dominant(3 componente)

Procentul de apariie a culorii

Variana culorii

Coerena spaial

Descriptori de culoare(3) Descriptorul culorilor dominante:

numrul de culori dominante poate varia n funcie de imagine (8); reprezentarea binar:


Variana fiecrei culori dominante3VarianaCulorii

Cmp Numr de bii Semnificaie

NumrdeCulori 3 Specific numrul de culoridominante

CoerenaSpaial 5 Valoarea coerenei spaiale

Procentaj 5 Procentajul normat asociat fiecreiculori dominante

Index 1-12 Valorile culorilor dominante

Descriptori de culoare(4) Descriptorul scalabil al culorilor:

este o histogram a culorilor n spaiul HSV i este codat cu transformata Haar;

este scalabil deoarece se poate alege un numr de coeficieni din setul: 256, 128, 64, 32, 16;


Cmp Numr de bii SemnificaieNumrdeCoeficieni 3 Specific numrul de nivele ale

histogramei=16,32,64,256NumrdePlaneideBiiEliminate

3 Specific eliminarea a unui numr de planuri de bii, de la 0 la 8.

SemnulCoeficienilor Numr de coeficieni

Specific semnul fiecrui coeficient

PlanedeBii Variabil Amplitudinile coeficienilor sunt reprezentate sub forma de plane de bii.

Descriptori de culoare(5) Descriptorul GoF/GoP:

este utilizat pentru reprezentarea reunit a trsturilor de culoare pentru seturi de imagini sau cadre multiple ale segmentelor;

reprezint descriptorul scalabil al culorilor pentru un set de imagini.


Cmp Numr de bii SemnificaieMetoddeCombinare 2 Specific metoda de combinare

folosit pentru histogramaDescriptorulScalabilalCulorilor variabil Specific descriptorul scalabil al

culorilor corespunztor histogramei grupului de cadre sau imagini

Descriptori de culoare(6) Descriptorul de structur a culorilor:

reprezint o imagine format din distribuia de culori a imaginii i structura spaial local a culorilor;

similar histogramei; permite distingerea ntre imagini cu coninut de culoare similar dar

cu structuri diferite.


Descriptori de culoare(7) Descriptorul de structur a culorilor:

Modul de extragere i redimensionare a descriptorului CS este specificat n standard:

se extrage histograma structurii culorii cu 256 nivele; nivelele vor fi unite pentru a obine o histograma a structurii culorii

cu N nivele; valorile fiecrui nivel sunt cuantizate neliniar.


Descriptori de culoare(8) Descriptorul de distribuie a culorilor:

este definit pentru a reprezenta eficient distribuia spaial a culorilor ntr-o imagine.

extragerea are loc n patru etape:


Descriptori de culoare(8) Descriptorul de distribuie a culorilor:


Cmp Numr de bii SemnificaieModelCoeficieni 1-2 Specific numrul de coeficieni DCT

folosii.NumrdeCoefY 3 Specific numrul de coeficieni DCT

pentru luminan.NumrdeCoefC 3 Specific numrul de coeficieni DCT

crominan.CoefY 5-6 Valorile coeficienilor DCT pentru

luminan.CoefCb 5-6 Valorile coeficienilor DCT pentru

crominan.CoefCr 5-6 Valorile coeficienilor DCT pentru

crominan.

Descriptori de textur Descriptorul de omogenitate a texturii:

ofer o descriere cantitativ precis a texturii; utilizat pentru cutarea prin colecii mari de imagini cu tipar

similar; Descriptorul Texture browsing:

util pentru reprezentarea texturilor omogene; ofer o caracterizarea perceptual a texturii similar celei oferit

de oameni, n termeni de regularitate, granularitate i direcie. Descriptorul Edge Histogram:

reprezint distribuia spaial a cinci tipuri de margini.


Descriptori de form(1) Descriptorul de form a regiunii:

exprim distribuia pixelilor n interiorul unui obiect bidimensional;

pot fi descrise obiecte complexe formate din mai multe regiuni distincte sau obiecte simple cu sau fr guri;


Descriptori de form(2) Descriptorul de form a conturului:

capteaz trsturile caracteristice ale unei regiuni sau ale unui obiect pe baza conturului;

folosete aa numita reprezentare Curvature Scale-Space ;


Descriptori de form(3) Comparaie:


Albastru: Regiuni similare pe baza descriptorului de form a regiunii. Galben: Regiuni similare pe baza descriptorului de form a

conturului.

Descriptori de micare(1) Descriptorul de activitate a micrii:

exprim intensitatea aciunii sau ritmul aciunii; ia valori ntre 1 i 5; se bazeaz pe deviaia standard a amplitudinilor vectorilor de

micare; Structura descriptorului de activitate a micrii cuprinde patru

parametrii: Intensitatea micrii Direcia micrii Distribuia spaial a micrii Distribuia temporal a micrii.


Descriptori de micare(2) Descriptorul de traiectorie a micrii:

descrie micarea unui punct reprezentativ al unei regiuni; conine:

o list de puncte cheie definite de (x, y, z, t) un set de funcii de interpolare care descriu calea obiectului ntre

puncte.


Descriptori de micare(3) Descriptorul de micare a camerei:

descrie micarea camerei de captur; utilizeaz informaiile parametrilor de micare a camerei,

parametrii care sunt generai automat de dispozitivele de captur.

Descriptorul micrii parametrice: Permite descrierea micrii obiectelor printr-un model parametric

2D.


Aplicaii. 1. Definii n Matlab 3 funcii care s calculeze asemnarea

dintre dou imagini pe baza DCD folosind urmtoarele distane.


{ }{ }1 1 1 1 1 1, , , , 1,i i iD c p v s i N= = { }{ }2 2 2 2 2 2, , , , 1,i i iD c p v s i N= =( ) 1 2 1 22 21 1 2 1 2 1 ,2 1 2

1 1 1 1

,

,

max, max

,

, 2 ,

1, 0,1, , 1

0

N N N N

i j i j i ji j i j

k lk l d

k l d d

k l d

DIST D D p p a p p

dd T

da T d Td T

= = = =

=

= +

= = = >

,k l k ld c c=

Aplicaii.


{ }{ }1 1 1 1 1 1, , , , 1,i i iD c p v s i N= = { }{ }2 2 2 2 2 2, , , , 1,i i iD c p v s i N= =( ) ( )2 1 2 1 1 2 1 2 1,DIST D D w abs s s DIST w DIST= +

1 20,3 0,7w w= =

( ) ( )3 1 2 1, 1 ,DIST D D SIM F F= ( ) 1 21 2 , ,

1 1,

N N

i j i ji j

SIM F F a S= =

=

( ) ( ) ( ) ( )( ),

1 min ,i j q t q tS p i p j p i p j =

Documents

mpeg-7