On to Logie Celine Hu de Lot 2006

IntroductionDes ontologies...

Image et semantiqueApplications

Ontologies, un outil pour lanalyse etlinterpretation dimages ?

Celine Hudelot, ENST

June 23, 2006

Celine Hudelot, ENST Ontologies, un outil pour lanalyse et linterpretation dimages ?



Plan

1 Pourquoi les ontologies ?Linteroperabilite semantique




Plan


2 Des ontologies ...DefinitionsMotivationsTypes dontologiesLangages de formalisation




Plan



3 Linterpretation semantique dimagesProblematiqueLe fosse semantique




Plan



3 Linterpretation semantique dimagesProblematiqueLe fosse semantique

4 ApplicationsAnnotation et recherche dimagesReduction du fosse semantiqueOntologies pour le traitement dimagesInteroperabilite et communication




Semantique

Linteroperabilite semantique

Figure: Le lac blanc

Differents mots pour lememe sens.




Semantique


Comment une machine peut-elle savoir quun lac est uneetendue deau?

Comment une machine peut-elle savoir que certaines etenduesdeau sont des lacs?




Semantique


Meme mot pour des sensdifferents




Semantique


Comment une machine peut savoir que le sens du mot perche estcomple`tement different selon les applications?




Semantique


Pourquoi les ontologies?

Besoin doutils pour decrire linformation quon publie etmieux interpreter linformation qui recoit.

Besoin doutils pour nous aider (nous et les machines) a` gererlheterogeneite semantique.




DefinitionsHistoriqueTypes dontologiesLangages

Ontologie et ontologies

Ontologie : Philo. Partie de la metaphysique qui sappliquea` letre en tant quetre, independamment de sesdeterminations particulie`res (Le Petit Robert).Notez : O majuscule, toujours singulier; une science

Taxinomie. 1.Didac. Etude theorique des bases, lois, re`gles,principes dune classification. 2. Classification delements.

ontologies : Ingenierie des connaissances. Uneontologie est une specification explicite rendant compte (onespe`re de facon generique) dune conceptualisation dundomaine de connaissance [Gruber,93].Notez: pas de majuscules, pluriel admis; un objet informatique





Lingenierie des connaissances

Lingenierie des connaissances, sa relation avec les ontologies etavec les syste`mes a` bases de connaissances

Definition

Etude des concepts, methodes et techniques permettant demodeliser et/ou dacquerir les connaissances pour les syste`mesrealisant ou aidant des humains a` realiser des taches seformalisant peu ou pas.

Rendre les connaissances accessibles sous une forme definie enfonction du contexte, operationnelle ou non.

Heritie`re des syste`mes experts.






Une idee forte [Charlet,02]

Connaissance = interpretation humaine

Il y a connaissance et representation des connaissances quand lesmanipulations symboliques effectuees par la machine via desprogrammes, prennent un sens et une justification pour lesutilisateurs interagissant avec ces programmes






Intelligence artificielle

Connaissances formalisees & representation symboliqueRaisonnements automatisees & intelligence simulee

Declarativite : separation entre

connaissances / mecanismes dexploitation (controle)bases de connaissances / moteurconnaissances declaratives / connaissances procedurales





Representation des connaissances

La representation des connaissances

Rendre compte dun domaine particulier sous une formemanipulable par la machine





Vers les ontologies

Un constat general

Importance croissante pour les syste`mes dinformations etdocumentaires.

Cout de realisation des bases de connaissances.

Grande variete des langages de representations.

Heterogeneite des ontologies.





Interet des ontologies [Charlet,02]

Reutilisation

Creer et conserver des bases de connaissances reutilisables.

Assembler des bases de connaissances a` partir de modulesreutilisables.

Partage de la connaissance et communication

Assurer linteroperabilite entre differents syste`mes.

Permettre lechange de connaissances entre syste`mes.





Les ontologies

Une ontologie est une specification formelle et explicite duneconceptualisation partagee dun domaine de connaissance.

conceptualisation : une certaine vue du monde par rapport a`un domaine, souvent concue comme un ensemble de concepts,leur definition, leurs interrelations. Choix quand a` la manie`rede decrire un domaine.

explicite : definition explicite des types de concepts utilises etdes contraintes sur leur usage.

formelle : comprehensible par la machine.

partagee : consensus, connaissances acceptees par un groupe.





Les 2 roles dune ontologie [Charlet,02]

Definir / fournir une semantique formelle pour linformationpermettant son exploitation par un ordnateur

Definir / Fournir une semantique interpretative dun domainedu monde reel fondee sur un consensus et permettant de lierle contenu exploitable par la machine a` sa signification pourles humains.





Ontologies versus Thesaurus [Charlet,02]

Thesaurus

Contenu :

Descripteurs, mots-clefsRelations : is a,synonyme,...

Utilise par un agent humain(documentaliste, specialiste) pourindexer des documents ou commevocabulaire controle.

ontologie formelle

Contenu :

Une taxinomie de concepts,une taxinomie de relationsDes roles

Decrite dans un langage de

representation des connaissances et

exploitee par un syste`me

informatique

Possibilite de comparer etclasser les conceptsCapacite generativeinferences





Representation des connaissances





Syste`mes a` base de connaissances [Corby]





Types dontologies

Caracteristiques et familles dontologies existantes

Deux visions [Charlet]

1 Une ontologie est universelle mais differente de la base deconnaissance qui elle serait individualisee, relative, finalisee.

2 Nombreuses ontologies pour un syste`me du monde

Impossible de delivrer des ontologies universelles incluant tousles points de vue possiblesPorte la trace de la tache particulie`re pour lesquelles elles ontete construites et du raisonnement adopte pour cette tache





Classification des ontologies

Ontologies du domaine : reutilisables pour plusieursapplications sur ce domaine

Ontologies applicatives : contiennent des connaissances dudomaine necessaires pour une application donnee; specifiques,non reutilisables

Ontologies generiques ou top-ontologies : expriment desconceptualisations valables dans differents domaines

Ontologies de representation : conceptualisent les primitivesdes langages de representation des connaissances





Langages de formalisation

Grandes familles

Logiques (propositions, predicats, descriptions)

Graphes et reseaux semantiques

Langages a` objets





Le plus utilise, OWL : Web Ontology Language

Un langage base sur les logiques de descriptions

Pour une introducation rapide voir :http://www.lacot.org/public/owl/presentation introduction a owl.pdf

Plusieurs editeurs dontologies associes





Protege, un editeur dontologies

http://protege.stanford.edu/plugins/owl/





Autres langages

Les graphes conceptuels

Les Topics Maps

Voir pour une bonne introduction:http://www.irit.fr/GRACQ/IMG/pdf/Partie06 LangagesDeFormalisation.pdf




ProblematiqueFosse semantique

Quest ce que linterpretation semantique dimages ?

Proble`me

Quel est le contenu semantique de ces images ? Querepresentent-elles?





Quest ce que linterpretation semantique dimages ?

Differentes interpretations de cette image sont possibles!

Un objet blanc sur un fond vert

Un insecte

Une aleurode sur une feuille de

rosier

Consequences

La semantique nest pas dans limage elle meme.

Linterpretation depend de connaissances a priori.





Differents niveaux dabstraction

Des donnees image (pixels) a` la semantique : niveaux dabstractionde donnees [Marr,82]





Le fosse semantique

Un exemple illustratif volontairement tre`s simple

Pour un humain, reconnatre une orange dans une machine estune tache facile

Quant est-il pour un syste`me de vision ?





Le fosse semantique





Le fosse semantique

Definition

Manque de concordance entre les informations perceptuelles quelon peut extraire des images et linterpretation quont ces donneespour un utilisateur dans une situation donnee.

En intelligence artificielle et robotique, ancrage de symboles.




Annotation et recherche dimagesReduction du fosse semantiqueOntologies pour le traitement dimagesInteroperabilite et communication

Quelques applications des ontologies pour lanalysedimages ou de videos

Annotation supervisee et recherche dimages basees sur desontologies du domaine

Ontologies pour la reduction du fosse semantique

Ontologies pour le traitement dimages

Ontologies pour linteroperabilite et la communication dansun syste`me de vision





Annotations et recherche dimages

Problematique

Stockage, partage et recherche dans de grandes bases de donneesimages. Generalement deux approches :

Annotation et recherche dimages par mots clefs;

Indexation et recherche dimages par son contenu visuel.(signature numerique)

Constat

Premie`re approche : comment faire face au proble`me delheterogeneite semantique?

Deuxie`me approche : une similarite visuelle nimplique pasforcement une similarite semantique.





Annotation et recherche dimages a` laide dontologies

Approche: annotation et recherche dimages par mots clefs

Apport des ontologies

Structuration des bases de donnees classiques non suffisantes.

Idee 1 : utilisation de connaissances a` priori contenue dansdes ontologies du domaine.

Idee 2 : utilisation dontologies pour structurer lesannotations.





Example 1 : annotations non automatique dephotographies [Screiber,01]

Methode

Creations de deux ontologies :

Une ontologie dediee a`lannotation de photos.Specifie la structure duneannotation, independante dudomaine dapplication.

Une ontologie specifique audomaine qui decrit lecontenu des images.Dans lexemple, le domainede lanimalerie.






Outil dannotations

Recherche dimages






Ontologies et annotation non automatique dimages

Ontologies :

pour structurer lannotation,pour contraindre la description du contenu.

Non prise en compte de linformation image.

Pas le proble`me du fosse semantique





Annotation dimages medicales [Hu,01]

Problematique

Utilisation dune ontologie de domaine de limagerie du cancer susain pour annoter des images medicales et permettent desraisonnements semantiques





Annotation dimages medicales [Hu,01]

Utilisation du raisonnements des logiques terminologiques pourincrementer la base de connaissances et faire des requetes





Reduction du fosse semantique a` laide dontologies

De`s lors que lon cherche a` introduire de la semantique dans lesapproches de recherche dimages par le contenu visuel ou dans lesapproches de reconnaissance dobjets par mode`les, se pose leproble`me du fosse semantique.





Utilisation dontologies intermediaires

Approche

Utilisation dune ontologie visuelle : ensemble des concepts quipermettent de decrire de manie`re qualitative lapparence visuelledes concepts semantiques.

Plus facilement associable a` des descripteurs numeriquedimages

Une couche visuelle intermediaire





Example 1 : Recherche dimages par regions a` laide duneontologie visuelle (Object Ontology)[Mezaris,04]





Example 1 : Recherche dimages par regions a` laide duneontologie visuelle (Object Ontology) [Mezaris,04]

Object Ontology






Une ontologie intermediaire : entre concepts semantiques et

descripteurs numeriques.Description visuelle des conceptssemantiques

Correspondance entre conceptsintermediaires et descripteurs basniveau.





Example 1 : Recherche dimages par regions a` laide duneontologie visuelle (Object Ontology) [?]






Principe de la recherche

Requete formulee en termes qualitatifs a` laide de lontologieintermediaire

Comparaison avec les descripteurs des regions extraites pourselectionner les regions pertinentes

Mecanisme de retour sur croyance pour mesurer la pertinencedes regions selectionnees.





Ontologie de relations spatiales floues pour linterpretationdimages [Hudelot,06]

Principe

Enrichissement dune ontologie de relations spatiales par leurrepresentation floue dans le domaine de limage

Espace de representation et de raisonnement permettant dereduire le fosse semantiqueRepresentation de limprecision

Application a` la segmentation de structures cerebrales






Une ontologie de relation spatiale






Representation floue dans le domaine de limage

Object B

Reference object (R)0.0

0.25

0.50

0.75

1.0

-pi pi0

angle

membership degree

left left

rightbelow above

(a) (b)

0

0

0.25

0.75

0.5

1

-pi pi

(c) (d)

Figure: (a) Exemple de deux objets, (b) semantique des directions sous laforme densembles flous definis sur laxe des angles et delementstructurant donnant la semantique de a` droite de dans le domainespatial, (c) histogramme dangle entre les deux objets, (d) dilatationfloue de lobjet R (en noir sur la figure) par lelement structurant.





Ontologie de relations spatiales floues pour linterpretationdimages [?]

Integration de la representation floue dans lontologie a` laide desdomaines concrets






Avantages de cette double representation et de la separation dessemantiques

Une ontologie generique, une representation floue dependantedu domaineex : relation Proche de dans le domaine des GIS ou desimages cerebrales

Combinaison dinformations heteroge`nes






Applications a` la segmentation de structures cerebrales

Importation de lontologie de relations spatiales dans une ontologiede lanatomie spatiale pour decrire lorganisation spatiale desstructures

Figure: Extrait dune ontologie de lanatomie cerebrale. Les concepts deCeline Hudelot, ENST Ontologies, un outil pour lanalyse et linterpretation dimages ?





Approche progressive de reconnaissance : les structures sontreconnues successivement.






Approche globale : reconnaissance des objets en verifiant que lesrelations entre les differents objets sont bien celles decrites danslontologie du mode`le

0

0.25

0.5

0.75

1

-pi pi0

Figure: (a) Segmentation de quelques structures (noyau caude en rouge, putamen en vert et thalamus enbleu), (b) histogramme dangles entre le noyau caude et le thalamus. La comparaison avec la semantique de larelation en-dessous permet de calculer le degre avec lequel la relation entre le noyau caude et le thalamus estsatisfaite (ici 0,9) et permet de confirmer la reconnaissance des regions segmentees.






Apport des ontologies

Utilisation des ontologies pour le filtrage des connaissances

Reduction de la combinatoire de recherche

Coherence des connaissances





Formulation dapplications de traitement dimage[Renouf,05]

Le mode`le conceptuel

Une application de traitement dimage (transformation duneimage vers une autre image) peut etre definie en terme :

dobjectifs de traitement dimages : taches a` accomplir,contraintes sur les taches et contraintes de controle.

dObservation de la classes dimages sur troix niveaux:physique, perceptif et semantique.






Specification des objectifs






Specification des observations






Un exemple de formulation dapplication






Framework global





Ontologies pour linteroperabilite et la communication





Remerciements

La premie`re partie de ces cours reprend des transparents de JeanCharlet et de Fabien Gandon.


Pourquoi les ontologies ?Smantique

Des ontologies ...DfinitionsHistoriqueTypes d'ontologiesLangages

L'interprtation smantique d'imagesProblmatiqueFoss smantique

ApplicationsAnnotation et recherche d'imagesRduction du foss smantiqueOntologies pour le traitement d'imagesInteroprabilit et communication

Documents

On to Logie Celine Hu de Lot 2006