34
Représentation des connaissances Cours 5. Référence Référence Contraintes sur les expressions coréférentes Préférences entre référents possibles Algorithmes de résolution des références

Représentation des connaissances Cours 5. Référence Référence Contraintes sur les expressions coréférentes Préférences entre référents possibles Algorithmes

Embed Size (px)

Citation preview

Page 1: Représentation des connaissances Cours 5. Référence Référence Contraintes sur les expressions coréférentes Préférences entre référents possibles Algorithmes

Représentation des connaissancesCours 5. Référence

Référence

Contraintes sur les expressions coréférentes

Préférences entre référents possibles

Algorithmes de résolution des références

Page 2: Représentation des connaissances Cours 5. Référence Référence Contraintes sur les expressions coréférentes Préférences entre référents possibles Algorithmes

Référence

Sortez la boule de la boîte et jetez-la

Page 3: Représentation des connaissances Cours 5. Référence Référence Contraintes sur les expressions coréférentes Préférences entre référents possibles Algorithmes

Référence

Jean est allé chez un concessionnaire voir une Mazda Bouddha. Il l’a regardée pendant à peu près une heure.

Page 4: Représentation des connaissances Cours 5. Référence Référence Contraintes sur les expressions coréférentes Préférences entre référents possibles Algorithmes

Référence

Jean est allé chez un concessionnaire voir une Mazda Bouddha. Il l’a regardée pendant à peu près une heure.

Jean et Il dénotent une même personne

Jean et Il sont des expressions

La personne en question est le référent

Jean et Il réfèrent à cette personne

Jean et Il sont coréférents

Jean est un antécédent de Il

Il est une anaphore

Page 5: Représentation des connaissances Cours 5. Référence Référence Contraintes sur les expressions coréférentes Préférences entre référents possibles Algorithmes

Référence

Quand il l’a achetée, Jean a regardé la voiture avec soin

Page 6: Représentation des connaissances Cours 5. Référence Référence Contraintes sur les expressions coréférentes Préférences entre référents possibles Algorithmes

Référence

Quand il l’a achetée, Jean a regardé la voiture avec soin

Jean et Il sont coréférents

Le pronom (Il) est placé avant le groupe nominal (Jean), ce qui est beaucoup plus rare que l'inverse

Jean est un conséquent de Il

Il est une cataphore

Page 7: Représentation des connaissances Cours 5. Référence Référence Contraintes sur les expressions coréférentes Préférences entre référents possibles Algorithmes

Expressions référant à une nouvelle entité

J'ai vu une Mazda Bouddha aujourd'hui

Ils ont livré des Mazda Bouddha au concessionnaire auhourd'hui

Déterminants : un, deux, plusieurs, des, certains, du, un peu de, beaucoup de...

La rue la plus longue de Paris est la rue de Vaugirard

La jeune femme que vous venez de voir est Françoise

Déterminants : le, son, ce...

Page 8: Représentation des connaissances Cours 5. Référence Référence Contraintes sur les expressions coréférentes Préférences entre référents possibles Algorithmes

Référence lexicale

J'ai vu une Mazda Bouddha aujourd'hui à Prague et mon voisin en a une à Paris

J'ai vu une Mazda Bouddha aujourd'hui à Prague mais celle de mon voisin à Paris est plus belle

Pas de coréférence entre le groupe nominal et le pronom (ce sont deux voitures différentes)

Pronoms : en, celui...

Page 9: Représentation des connaissances Cours 5. Référence Référence Contraintes sur les expressions coréférentes Préférences entre référents possibles Algorithmes

Expressions référant à une entité déjà mentionnée

Deux ans plus tard, dans un hôtel à Prague, Luc retrouve Marie. L'hôtel était d'ailleurs celui que tu connais.

Deux ans plus tard, dans un hôtel à Prague, Luc retrouve Marie. Cet établissement était peu élégant.

Déterminants : le, ce...

Luc a vu une Mazda Bouddha aujourd'hui. Il a eu envie de l'acheter, mais sa femme n'est pas d'accord.

Pronoms : il, le, lui, en, se, ce dernier, celui-ci, cela...

Possessifs : son

Page 10: Représentation des connaissances Cours 5. Référence Référence Contraintes sur les expressions coréférentes Préférences entre référents possibles Algorithmes

Référence implicite

Luc a acheté une Mazda Bouddha mais la carrosserie a des défauts.

(la carrosserie de la Mazda)

Luc a promis à Marie de revenir

(le sujet implicite de revenir est Luc)

Luc a permis à Marie de revenir

(le sujet implicite de revenir est Marie)

Page 11: Représentation des connaissances Cours 5. Référence Référence Contraintes sur les expressions coréférentes Préférences entre référents possibles Algorithmes

Contraintes

Accord en personne, en genre et en nombre entre groupe nominal et pronom coréférents

Luc a acheté une voiture mais elle ne lui plaît pas

≠ Luc a acheté une voiture mais je ne lui plais pas

≠ Luc a acheté une voiture mais il ne lui plaît pas

≠ Luc a acheté une voiture mais elle ne leur plaît pas

mais

L'imprimante est encore en panne. Je déteste cet appareil.

Page 12: Représentation des connaissances Cours 5. Référence Référence Contraintes sur les expressions coréférentes Préférences entre référents possibles Algorithmes

Contraintes

Contraintes de coréférence internes à la phrase

Il a acheté une voiture à Luc Il et Luc jamais coréférents

Il lui a acheté une voiture Il et lui jamais coréférents

Il s'est acheté une voiture Il et se toujours coréférents

Il a dit que Luc vient Il et Luc jamais coréférents

Page 13: Représentation des connaissances Cours 5. Référence Référence Contraintes sur les expressions coréférentes Préférences entre référents possibles Algorithmes

Contraintes

Compatibilité entre prédicats et arguments

Le jour où Luc est tombé malade était proche d'une échéance professionnelle importante. Mais il va mieux.

Le jour où Luc est tombé malade et il ne peuvent pas être coréférents

Le prédicat va mieux ne peut pas prendre comme sujet Le jour où Luc est tombé malade

Page 14: Représentation des connaissances Cours 5. Référence Référence Contraintes sur les expressions coréférentes Préférences entre référents possibles Algorithmes

Préférences

Un pronom, plusieurs antécédents possibles

Pour une entité mentionnée plus récemment qu'une autre

Luc est sorti mais Marc est ici. Il va mieux.

Il réfère à Marc plutôt qu'à Luc

Pour le sujet plutôt qu'un complément, pour un complément direct plutôt qu'indirect...

Marie est au téléphone avec Anne. Luc la cherche partout.

Luc a raccompagné sa voisine chez Marie. Elle va mieux.

Page 15: Représentation des connaissances Cours 5. Référence Référence Contraintes sur les expressions coréférentes Préférences entre référents possibles Algorithmes

Préférences

Pour une expression qui occupe la même position que le pronom dans une structure syntaxique parallèle

Luc s'est rapproché de Max. Au contraire, Guy s'est éloigné de lui.

Préférences pragmatiques (on comprend la situation)

Luc a offert trois bandes dessinées à Max. Il adore ça.

Luc a emprunté trois bandes dessinées à Max. Il adore ça.

Luc admire Max. Il est jongleur.

Luc a impressionné Max. Il est jongleur.

Page 16: Représentation des connaissances Cours 5. Référence Référence Contraintes sur les expressions coréférentes Préférences entre référents possibles Algorithmes

Deux algorithmes de résolution de références

Principe

Le référent le plus plausible pour un pronom est l'entité qui a le plus de "poids"

Algorithme 1 (Lappin & Leass, 1994)

Poids initial d'une expression

Poids initial d'une expression dans une autre phrase : dépend du poids initial de l'expression et de la distance en nombre de phrases

Poids total d'une expression par rapport à un pronom : dépend de la position du pronom et du poids initial de l'expression dans la phrase

Algorithme 2 (Brennan, Friedman & Pollard, 1987)

Liste des référents mentionnés dans une phrase, par ordre de poids décroissant

Page 17: Représentation des connaissances Cours 5. Référence Référence Contraintes sur les expressions coréférentes Préférences entre référents possibles Algorithmes

Algorithme 1

Poids initial d'une expression Poids

Pour chaque occurrence 100

Sujet 80

Après There is 70

Autre argument d’un verbe, sans préposition 50

Autre argument d’un verbe, avec préposition 40

Non séparé par une ponctuation 50

Non complément d’un autre groupe nominal 80

Page 18: Représentation des connaissances Cours 5. Référence Référence Contraintes sur les expressions coréférentes Préférences entre référents possibles Algorithmes

Exemple

John saw a beautiful Mazda Buddha at the dealership

John M.B. dealership

Pour chaque occurrence 100 100 100

Sujet 80

Après There is

Compl. direct 50

Compl. indirect

Non séparé 50 50 50

Non compl. d’un GN 80 80 80

Poids initial 310 280 230

Page 19: Représentation des connaissances Cours 5. Référence Référence Contraintes sur les expressions coréférentes Préférences entre référents possibles Algorithmes

Algorithme 1

À chaque expression pouvant référer à une entité

calculer le poids initial de l'expression

À chaque fin de phrase

pour chaque expression déjà rencontrée

diviser le poids initial de l'expression par 2

À chaque pronom de la 3e personne non réfléchi

déterminer le référent du pronom

Page 20: Représentation des connaissances Cours 5. Référence Référence Contraintes sur les expressions coréférentes Préférences entre référents possibles Algorithmes

ExempleJohn saw a beautiful Mazda Buddha at the dealership. He showed it to

Bob. He bought it.

John M.B. dealership

Pour chaque occurrence 100 100 100

Sujet 80

Après There is

Compl. direct 50

Compl. indirect

Non séparé 50 50 50

Non compl. d’un GN 80 80 80

Dans la 1e phrase 310 280 230

Dans la 2e phrase 155 140 115

Dans la 3e phrase 74,5 70 57,5

Page 21: Représentation des connaissances Cours 5. Référence Référence Contraintes sur les expressions coréférentes Préférences entre référents possibles Algorithmes

ExempleJohn saw a beautiful Mazda Buddha at the dealership. He showed it to Bob.

John (Mazda) (dealership) (Bob)

Pour chaque occurrence 100 (100) (100) (100)

Sujet 80

Après There is

Compl. direct (50)

Compl. indirect (40)

Non séparé 50 (50) (50) (50)

Non compl. d’un GN 80 (80) (80) (80)

Poids initial 155 (140) (115) (270)

Page 22: Représentation des connaissances Cours 5. Référence Référence Contraintes sur les expressions coréférentes Préférences entre référents possibles Algorithmes

Algorithme 1

Déterminer le référent d'un pronom :

lister les candidats référents jusqu’à la 4e phrase avant

pour chaque candidat

si (il concorde en genre et en nombre avec le pronom

et satisfait les contraintes de coréférence internes à la

phrase)

candidat.poids_total =

candidat.poids_initial +

les facteurs de poids finaux applicables

référent = le candidat dont le poids total est maximal, et s’il y en a plusieurs, le plus proche

Page 23: Représentation des connaissances Cours 5. Référence Référence Contraintes sur les expressions coréférentes Préférences entre référents possibles Algorithmes

Algorithme 1

Facteurs de poids finaux Poids

Parallélisme des positions syntaxiques 35

Cataphore - 175

Page 24: Représentation des connaissances Cours 5. Référence Référence Contraintes sur les expressions coréférentes Préférences entre référents possibles Algorithmes

ExempleJohn saw a beautiful Mazda Buddha at the dealership. He showed it to Bob.

John (Mazda) (dealership) (Bob)

Pour chaque occurrence 100 (100) (100) (100)

Sujet 80

Après There is

Compl. direct (50)

Compl. indirect (40)

Non séparé 50 (50) (50) (50)

Non compl. d’un GN 80 (80) (80) (80)

Poids initial 155 (140) (115) (270)

Poids final 35 (-175)

Poids total 190 (140) (115) (95)

Page 25: Représentation des connaissances Cours 5. Référence Référence Contraintes sur les expressions coréférentes Préférences entre référents possibles Algorithmes

ExempleJohn saw a beautiful Mazda Buddha at the dealership. He showed it to Bob.

(He) Mazda dealership (Bob)

Pour chaque occurrence (100) 100 100 (100)

Sujet (80)

Après There is

Compl. direct 50

Compl. indirect (40)

Non séparé (50) 50 50 (50)

Non compl. d’un GN (80) 80 80 (80)

Poids initial (230) 140 115 (270)

Poids final 35 (-175)

Poids total (230) 175 115 (95)

Page 26: Représentation des connaissances Cours 5. Référence Référence Contraintes sur les expressions coréférentes Préférences entre référents possibles Algorithmes

ExempleJohn saw a beautiful Mazda Buddha at the dealership. He1 showed it to

Bob. He bought it.

He1 (it) (dealership) Bob

Pour chaque occurrence 100 (100) (100) 100

Sujet 80

Après There is

Compl. direct (50)

Compl. indirect 40

Non séparé 50 (50) (50) 50

Non compl. d’un GN 80 (80) (80) 80

Poids initial 155 (140) (57,5) 135

Poids final 35

Poids total 190 (140) (57,5) 135

Page 27: Représentation des connaissances Cours 5. Référence Référence Contraintes sur les expressions coréférentes Préférences entre référents possibles Algorithmes

ExempleJohn saw a beautiful Mazda Buddha at the dealership. He1 showed it1 to

Bob. He2 bought it.

(He2) it1 dealership (Bob)

Pour chaque occurrence (100) 100 100 (100)

Sujet (80)

Après There is

Compl. direct 50

Compl. indirect (40)

Non séparé (50) 50 50 (50)

Non compl. d’un GN (80) 80 80 (80)

Poids initial (310) 140 57,5 (135)

Poids final 35

Poids total (310) 175 57,5 (135)

Page 28: Représentation des connaissances Cours 5. Référence Référence Contraintes sur les expressions coréférentes Préférences entre référents possibles Algorithmes

Algorithme 2

Pour chaque phrase Pi :

For(Pi) est la liste des entités mentionnées dans Pi, par ordre de poids décroissant (sujet, groupe nominal après There is, complément de verbe sans préposition, complément de verbe avec préposition, complément séparé par une virgule)

Pref(Pi) est l'entité de poids maximal dans For(Pi)

Back(Pi+1) est l'entité de poids maximal parmi celles de For(Pi) mentionnées dans Pi+1

Cette définition dépend des liens entité/expression

Page 29: Représentation des connaissances Cours 5. Référence Référence Contraintes sur les expressions coréférentes Préférences entre référents possibles Algorithmes

Exemple

John saw a beautiful Mazda Buddha at the dealership. He1 showed it1 to Bob. He2 bought it2.

For(P1) = ( John, Mazda, dealership )

Back(P1) non défini

For(P2) = ( John, Mazda, Bob )

Back(P2) = John

For(P3) = ( John, Mazda )

Back(P3) = John

Page 30: Représentation des connaissances Cours 5. Référence Référence Contraintes sur les expressions coréférentes Préférences entre référents possibles Algorithmes

Algorithme 2pour chaque phrase Pi

lister les pronoms et les candidats référents

lister les couples pronom/référent possibles

pour chaque façon A d’assigner un référent à chaque pronom

si (A viole une contrainte de coréférence interne à la phrase)

éliminer A

calculer Back(Pi), For(Pi), Pref(Pi)

si (Back(Pi) n'est pas un pronom dans Pi et

un autre élément de For(Pi-1) est un pronom dans Pi)

éliminer A

calculer A.score(Back(Pi-1), Pref(Pi), Back(Pi))

choisir un A qui a le score maximal

Page 31: Représentation des connaissances Cours 5. Référence Référence Contraintes sur les expressions coréférentes Préférences entre référents possibles Algorithmes

Exemple

John saw a beautiful Mazda Buddha at the dealership. He1 showed it1 to Bob. He2 bought it2.

PronomsRéférents

A1 He2 John

it2 Mazda

For(P3) = ( John, Mazda ) Back(P3) = John

A2 He2 Bob

it2 Mazda

For(P3) = ( Bob, Mazda ) Back(P3) = Mazda

A3, A4 it2 dealership

Page 32: Représentation des connaissances Cours 5. Référence Référence Contraintes sur les expressions coréférentes Préférences entre référents possibles Algorithmes

Algorithme 2

A.score(Back_precedent, Pref, Back) :

si Back_precedent = Back ou Back_precedent indéfini

si Pref = Back score = 3

sinon score = 2

sinon

si Pref = Back score = 1

sinon score = 0

Page 33: Représentation des connaissances Cours 5. Référence Référence Contraintes sur les expressions coréférentes Préférences entre référents possibles Algorithmes

Exemple

John saw a beautiful Mazda Buddha at the dealership. He1 showed it1 to Bob. He2 bought it2.

Back(P2) = John

A1 He2 John

it2 Mazda

For(P3) = ( John, Mazda ) Back(P3) = John

A1.score = 3

A2 He2 Bob

it2 Mazda

For(P3) = ( Bob, Mazda ) Back(P3) = Mazda

A2.score = 0

A3.score = 3A4.score = 1 Résultat : le référent de He2 est John

Page 34: Représentation des connaissances Cours 5. Référence Référence Contraintes sur les expressions coréférentes Préférences entre référents possibles Algorithmes

Exemple avec résultat faux

Bob opened up a new dealership last week. John took a look at the Mazdas in his lot. He ended up buying one.

Back(P2) = Bob

A1 He John

For(P3) = ( John ) Back(P3) = John

A1.score = 1

A2 He Bob

For(P3) = ( Bob ) Back(P3) = Bob

A2.score = 3

Le résultat est Bob au lieu de John comme référent de He