1

Exploitation de connaissances « domaine » pour l’analyse et

l’interprétation d’imageApplication à l’indexation d’images

Nicolas Zlatoff - Stage de DEASous la direction de Bruno Tellez

LIRIS MOM

2

Plan

1. Contexte: l’indexation d’image, la MOM 2. Etat de l’art 3. Méthodologie

– 3.1 Présentation théorique– 3.2 Segmentation (bas-niveau)– 3.3 Modélisation et exploitation des connaissances

(haut-niveau)

4. Conclusion et perspectives

3

Contexte: indexation

Augmentation du nombre d’images– Accéder à l’information– Indexer automatiquement,

sémantiquement

Le fossé sémantique Exploiter des connaissances

– En particulier: « domaine »

4

Contexte: domaine

La Maison de l’Orient et de la Méditerranée (MOM)– Images de stèles thessaliennes (10000)

– Accéder aux objets sémantiques

5

Contexte: stèles

Couronnement

Geison

Corps

Socle

Rosette double

Tainia

Inscriptions

6

Plan

1. Contexte: l’indexation d’image, la MOM 2. Etat de l’art 3. Méthodologie

– 3.1 Présentation théorique– 3.2 Segmentation (bas-niveau)– 3.3 Modélisation et exploitation des connaissances

(haut-niveau)

4. Conclusion et perspectives

7

Etat de l’art Exploitation de connaissances haut-niveau

– Indexation par mots clés [Mechkour95]– Séparation connaissances et raisonnements

[Mechkour95] M. Mechkour, C. Berrut, Y. Chimarella, « Using Conceptual Graphs Framework for Image Retrieval », Proc. Of the MMM’95 (Multimedia Modeling) Conference, Singapore, 1995, p.127-142.

[Huertas96] A. Huertas, R. Nevatia. « Detecting Changes in Aerial Views of Man-Made Structures ». Proceedings of the ARPA Image Understanding Workshop. Palm Springs, California. 1996. p. 381-388.

[Mees96] W. Mees. « Automatic Image Interpretation for GIS updating ». Fourth Euroconference on Geographical Information Systems. Madrid. 1996. 7p.

Utilisation de traitements bas niveaux– Traitements procéduraux [Huertas96], [Mees96].

Notre proposition: « piloter les traitements par les connaissances »

8

Plan

1. Contexte: l’indexation d’image, la MOM 2. Etat de l’art 3. Méthodologie

– 3.1 Présentation théorique– 3.2 Segmentation (bas-niveau)– 3.3 Modélisation et exploitation des connaissances

(haut-niveau)

4. Conclusion et perspectives

9

MéthodologieNiveau intermédiaireBas niveau

Segment 1

Segment 2

Segment 3

Segment 3

Excentricité: …Taille: …

Segment 2

Excentricité: …Taille: …

Segment 1

Excentricité: …Taille: …

Haut niveau

Modèle instancié

Stèle 23 Relation 9

Couron. 5 Rosette 7 Composi. 8

Stèle Relation

Couron. Rosette Composi.

Modèle générique

Inscription Adjacence

Interprétation

Analyse

Segmentation

10

Plan

1. Contexte: l’indexation d’image, la MOM 2. Etat de l’art 3. Méthodologie

– 3.1 Présentation théorique– 3.2 Segmentation (bas-niveau)– 3.3 Modélisation et exploitation des connaissances

(haut-niveau)

4. Conclusion et perspectives

11

Segmentation (1/2)

Descripteurs de texture

Texture de Laws– Filtres directionnels– Micro-textures

K. Laws. Textured Image Segmentation, Ph.D. Dissertation, University of Southern California, 1980

12

Segmentation (2/2)

Descripteurs de Laws…

Image originale

I(x,y)

14 descripteurs

I(x,y) Kernel(j)

et clustering

Image segmentée

13

Plan

1. Contexte: l’indexation d’image, la MOM 2. Etat de l’art 3. Méthodologie

– 3.1 Présentation théorique– 3.2 Segmentation (bas-niveau)– 3.3 Modélisation et exploitation des connaissances

(haut-niveau)

4. Conclusion et perspectives

14

Modéliser les connaissances

Identifier les concepts et les relations

Connaissances strictement« domaine »Connaissances orientées

« problème »

Rosettedouble

Tainia

BlocOrnement

Corps Geison

Composition Adjacence

Objet sémantique Objet d’intérêtRégion

Concept

15

Choisir un formalisme

Systèmes à base de frames: Protégé©

Frame Ornement

Identifiant

Matériau

Forme

Slo

t

Frame Rosette

Identifiant

Matériau

FormeSpécialisation

Facette

Forme = « rond »

16

Connaissances« domaine »

Connaissances« problème »

Exploiter les connaissances

Moteur d’inférences (Jess)

Règles RèglesBase de faits

Connaissancessémantiques

Objets d’intérêtFaitsProb.

Instances Classes

Objetssémantiques,

relations

FaitsDom.

Classes Instances

« Si X est au-dessus d’un Corps, X est un Geison »

« Si X est au centre de l’image, X est dans la stèle »

17

Exemple de règlesObjet

d’intérêt OI1

Image

Objet d’intérêt OI2

Modèle générique

Classe 1Objet

sémantiqueOS4

Classe 2Objet

sémantiqueOS5

Classe 3Relation

adjacenceRel1

dessus

dessous

Modèle instancié

Instance 1objet

sémantiqueOS4

représente

Instance 2objet

sémantiqueOS5

représente

Instance 3relation

adjacenceRel1

dessous

dessus

Co

nd

itio

n

Objet d’intérêt OI1

Image

Objet d’intérêt OI2

Modèle instancié

Instance 1objet

sémantiqueOS4

Modèle générique

Classe 1Objet

sémantiqueOS4

Classe 2Objet

sémantiqueOS5

Classe 3Relation

adjacenceRel1

dessus

dessous

représente

Ac

tio

n

18

Plan

1. Contexte: l’indexation d’image, la MOM 2. Etat de l’art 3. Méthodologie

– 3.1 Présentation théorique– 3.2 Segmentation (bas-niveau)– 3.3 Modélisation et exploitation des connaissances

(haut-niveau)

4. Conclusion et perspectives

19

Conclusion

Architecture sur 3 niveaux Segmentation pertinente

– Descripteurs de Laws et clustering

Modélisation des connaissances– Pour interpréter

Validation de faisabilité

Soumission à RFIA 2004

20

Perspectives

Améliorer l’efficacité– Raisonnements spécifiques aux frames

Automatiser: niveau intermédiaire– Connaissances « vision »

A terme: générer automatiquement les règles

21

Choisir un formalisme (2/2)

Stocker une relation

Couronnementogival

Identifiant

composant

Rosette

Identifiant

Composition 1

composé

composant

Couronnementogival

Identifiant

Rosette

Identifiant

« Un couronnement ogival est composé d’une rosette »

Facette

composant = instance de Rosette, etc.

Facette

composant = instance de Rosette, etc.

Facette

composé = instance de Couronnemt

22