View
103
Download
1
Category
Preview:
Citation preview
1
Exploitation de connaissances « domaine » pour l’analyse et
l’interprétation d’imageApplication à l’indexation d’images
Nicolas Zlatoff - Stage de DEASous la direction de Bruno Tellez
LIRIS MOM
2
Plan
1. Contexte: l’indexation d’image, la MOM 2. Etat de l’art 3. Méthodologie
– 3.1 Présentation théorique– 3.2 Segmentation (bas-niveau)– 3.3 Modélisation et exploitation des connaissances
(haut-niveau)
4. Conclusion et perspectives
3
Contexte: indexation
Augmentation du nombre d’images– Accéder à l’information– Indexer automatiquement,
sémantiquement
Le fossé sémantique Exploiter des connaissances
– En particulier: « domaine »
4
Contexte: domaine
La Maison de l’Orient et de la Méditerranée (MOM)– Images de stèles thessaliennes (10000)
– Accéder aux objets sémantiques
5
Contexte: stèles
Couronnement
Geison
Corps
Socle
Rosette double
Tainia
Inscriptions
6
Plan
1. Contexte: l’indexation d’image, la MOM 2. Etat de l’art 3. Méthodologie
– 3.1 Présentation théorique– 3.2 Segmentation (bas-niveau)– 3.3 Modélisation et exploitation des connaissances
(haut-niveau)
4. Conclusion et perspectives
7
Etat de l’art Exploitation de connaissances haut-niveau
– Indexation par mots clés [Mechkour95]– Séparation connaissances et raisonnements
[Mechkour95] M. Mechkour, C. Berrut, Y. Chimarella, « Using Conceptual Graphs Framework for Image Retrieval », Proc. Of the MMM’95 (Multimedia Modeling) Conference, Singapore, 1995, p.127-142.
[Huertas96] A. Huertas, R. Nevatia. « Detecting Changes in Aerial Views of Man-Made Structures ». Proceedings of the ARPA Image Understanding Workshop. Palm Springs, California. 1996. p. 381-388.
[Mees96] W. Mees. « Automatic Image Interpretation for GIS updating ». Fourth Euroconference on Geographical Information Systems. Madrid. 1996. 7p.
Utilisation de traitements bas niveaux– Traitements procéduraux [Huertas96], [Mees96].
Notre proposition: « piloter les traitements par les connaissances »
8
Plan
1. Contexte: l’indexation d’image, la MOM 2. Etat de l’art 3. Méthodologie
– 3.1 Présentation théorique– 3.2 Segmentation (bas-niveau)– 3.3 Modélisation et exploitation des connaissances
(haut-niveau)
4. Conclusion et perspectives
9
MéthodologieNiveau intermédiaireBas niveau
Segment 1
Segment 2
Segment 3
Segment 3
Excentricité: …Taille: …
Segment 2
Excentricité: …Taille: …
Segment 1
Excentricité: …Taille: …
Haut niveau
Modèle instancié
Stèle 23 Relation 9
Couron. 5 Rosette 7 Composi. 8
Stèle Relation
Couron. Rosette Composi.
Modèle générique
Inscription Adjacence
Interprétation
Analyse
Segmentation
10
Plan
1. Contexte: l’indexation d’image, la MOM 2. Etat de l’art 3. Méthodologie
– 3.1 Présentation théorique– 3.2 Segmentation (bas-niveau)– 3.3 Modélisation et exploitation des connaissances
(haut-niveau)
4. Conclusion et perspectives
11
Segmentation (1/2)
Descripteurs de texture
Texture de Laws– Filtres directionnels– Micro-textures
K. Laws. Textured Image Segmentation, Ph.D. Dissertation, University of Southern California, 1980
12
Segmentation (2/2)
Descripteurs de Laws…
Image originale
I(x,y)
14 descripteurs
I(x,y) Kernel(j)
et clustering
Image segmentée
13
Plan
1. Contexte: l’indexation d’image, la MOM 2. Etat de l’art 3. Méthodologie
– 3.1 Présentation théorique– 3.2 Segmentation (bas-niveau)– 3.3 Modélisation et exploitation des connaissances
(haut-niveau)
4. Conclusion et perspectives
14
Modéliser les connaissances
Identifier les concepts et les relations
Connaissances strictement« domaine »Connaissances orientées
« problème »
Rosettedouble
Tainia
BlocOrnement
Corps Geison
Composition Adjacence
Objet sémantique Objet d’intérêtRégion
Concept
15
Choisir un formalisme
Systèmes à base de frames: Protégé©
Frame Ornement
Identifiant
Matériau
Forme
Slo
t
Frame Rosette
Identifiant
Matériau
FormeSpécialisation
Facette
Forme = « rond »
16
Connaissances« domaine »
Connaissances« problème »
Exploiter les connaissances
Moteur d’inférences (Jess)
Règles RèglesBase de faits
Connaissancessémantiques
Objets d’intérêtFaitsProb.
Instances Classes
Objetssémantiques,
relations
FaitsDom.
Classes Instances
« Si X est au-dessus d’un Corps, X est un Geison »
« Si X est au centre de l’image, X est dans la stèle »
17
Exemple de règlesObjet
d’intérêt OI1
Image
Objet d’intérêt OI2
Modèle générique
Classe 1Objet
sémantiqueOS4
Classe 2Objet
sémantiqueOS5
Classe 3Relation
adjacenceRel1
dessus
dessous
Modèle instancié
Instance 1objet
sémantiqueOS4
représente
Instance 2objet
sémantiqueOS5
représente
Instance 3relation
adjacenceRel1
dessous
dessus
Co
nd
itio
n
Objet d’intérêt OI1
Image
Objet d’intérêt OI2
Modèle instancié
Instance 1objet
sémantiqueOS4
Modèle générique
Classe 1Objet
sémantiqueOS4
Classe 2Objet
sémantiqueOS5
Classe 3Relation
adjacenceRel1
dessus
dessous
représente
Ac
tio
n
18
Plan
1. Contexte: l’indexation d’image, la MOM 2. Etat de l’art 3. Méthodologie
– 3.1 Présentation théorique– 3.2 Segmentation (bas-niveau)– 3.3 Modélisation et exploitation des connaissances
(haut-niveau)
4. Conclusion et perspectives
19
Conclusion
Architecture sur 3 niveaux Segmentation pertinente
– Descripteurs de Laws et clustering
Modélisation des connaissances– Pour interpréter
Validation de faisabilité
Soumission à RFIA 2004
20
Perspectives
Améliorer l’efficacité– Raisonnements spécifiques aux frames
Automatiser: niveau intermédiaire– Connaissances « vision »
A terme: générer automatiquement les règles
21
Choisir un formalisme (2/2)
Stocker une relation
Couronnementogival
Identifiant
composant
Rosette
Identifiant
Composition 1
composé
composant
Couronnementogival
Identifiant
Rosette
Identifiant
« Un couronnement ogival est composé d’une rosette »
Facette
composant = instance de Rosette, etc.
Facette
composant = instance de Rosette, etc.
Facette
composé = instance de Couronnemt
22
Recommended