Upload
danganh
View
223
Download
0
Embed Size (px)
Citation preview
Universit�t Bielefeld
6 Intelligente Systeme12. Vorlesung: Sprachverstehende Systeme
Methoden der K�nstlichen IntelligenzBernhard Jung Ê WS 2001/2002
12. Vorlesung Methoden der K�nstlichen Intelligenz 2
Universit�t Bielefeld
Sprachverarbeitende Systeme
u Dialogsystemel z.B. Zugauskunft per Telefon
u Maschinelle Übersetzungl z.B. Echtzeit-Übersetzung von Telefongesprächen
l z.B. Übersetzung von Webseiten, technischen Dokumenten
u Natürlichsprachliche Steuerung von technischen Systemenl z.B. SFB 360 „Situierte Künstliche Kommunikatoren“
u Wissenserwerb aus natürlichspr. Texten (Text Mining)u Automatische Textzusammenfassungenu ...
12. Vorlesung Methoden der K�nstlichen Intelligenz 3
Universit�t Bielefeld
Dialogsysteme
Probleme bei der Verarbeitung von sprachlichen Eingaben:
u Strukturelle Analyse der natürlichen Sprachel Syntaxproblem
u Erfassen der Bedeutung unter Bezug auf ein Weltmodelll Semantikproblem
u Ableitung einer Antwort (in symbolischer Repräsentation)l Inferenzproblem
u Generierung einer Antwort in natürlicher Sprachel Generierungsproblem
12. Vorlesung Methoden der K�nstlichen Intelligenz 4
Universit�t Bielefeld
SHRDLU und die Blockwelt
u ein Programm soll (englisch gestellte) Fragen über einesimulierte Blockwelt verstehen
u auf solche Fragen (auf englisch) eine Antwort geben
u (auf englisch gegebene) Instruktionen verstehen, um dieKlötzchen zu verschieben
u jede Instruktion in eine Reihenfolge von Operationen, diedas Programm ausführen kann, zerlegen
u „verstehen“, was getan wurde und warum
u ausgeführte Handlungen und Gründe dafür beschreiben
nach dem alten Code „ETAOIN SHRDLU“, mit dem Linotype-Setzer Satzfehler in Zeitungsspalten markierten ...
12. Vorlesung Methoden der K�nstlichen Intelligenz 5
Universit�t Bielefeld
SHRDLU (1972)
Terry Winograd
12. Vorlesung Methoden der K�nstlichen Intelligenz 6
Universit�t Bielefeld
SFB 360
Sprachlich-gestische Instruktiontechnischer Systeme
12. Vorlesung Methoden der K�nstlichen Intelligenz 7
Universit�t Bielefeld
Sprachanalyse: Teilprobleme
u Problem: Welche Worte werden kommuniziert?
l Erkennung eines Schalleindrucks als Folge von Worten
l Erkennung der Wortgrenzen (Segmentierung)
u Problem: Erkennung einer Folge von Worten als Satzl funktionale Struktur der Satzkonstituenten?l verschiedene Lesarten (Mehrdeutigkeiten) möglich/aufzulösen?
u Problem: In welcher Sinnrelation stehen die Wortezueinander?
akustisch-phonetisch
morphologisch-syntaktisch
semantisch-pragmatisch
12. Vorlesung Methoden der K�nstlichen Intelligenz 8
Universit�t Bielefeld
Linguistisches Glossaru Morphologie (Wortbildungslehre):
betrifft die Zusammensetzung vonWörtern aus Stämmen, Vor- undNachsilben sowie anderen Wörtern
u Syntax (Lehre vom Satzbau):befaßt sich mit den Regeln, nachdenen sich Wörter zu Satzteilenund Satzteile zu Sätzen verbinden.
u Semantik (Bedeutungslehre):befaßt sich mit der Bedeutung vonWörtern und Sätzen.
u Pragmatik (umstandsbezogeneBedeutungsinterpretation):Abhängigkeit der Bedeutungen vonKontext und Sprechsituation
u Konstituente /Satzteil: Durch dieGrammatik definierter Teil einesSatzes oder Satzteils.
u Konstituentenstruktur : Struktureines Satzes, die ausdrückt, wieTeile des Satzes sich zu größerenEinheiten verbinden.
u Syntaxbaum /Strukturbaum/ParseTree: Darstellung der Konstituenten-struktur eines Satzes.
u Lexikon (Dictionary): eine Daten-basis, die Wörter einer Sprache mitder zugehörigen morphologischen,syntaktischen und semantischenInformation enthält.
12. Vorlesung Methoden der K�nstlichen Intelligenz 9
Universit�t Bielefeld
Syntax, Semantik, Pragmatik
u Syntaxstrukturelle Beschreibung des Satzbaus
(Subjekt, Prädikat, Objekt; Schema der Fragebildung)
u Semantikformale Beschreibung des propositionalen Gehalts((grün(x), Suppe(y), in(x,y)) , ?)
u PragmatikVerwendung in der kommunikativen Situation,
intendierte Funktion (Information, Lob, Kritik)
m�gliche Antwort: ãWenn es dir hier nicht schmeckt,
kannst du ja woanders
essen gehen!Ò
Beispiel: ãWas ist denn das Gr�ne
hier in der Suppe?Ò
12. Vorlesung Methoden der K�nstlichen Intelligenz 10
Universit�t Bielefeld
Sprachanalyse: AufgabenSyntaktische Analyse
Semantische Analyse
a) als Folge zweier getrennter Prozesse (hier)
b) als integrierte Aufgabe
Parsing (meist): syntaktische Analyse
• Was ist die funktionale Struktur der Satzkonstituenten?
Dazu braucht man
• Syntax-Regeln: Grammatik• ein Verfahren, diese Regeln anzuwenden: Parser
Kompetenz: Kenntnis der Regeln
Performanz: Fähigkeit, sie anzuwenden
Fokus jetzt:
Übergang vom geschriebenen Satz zur internen Repräsentation
SyntaktischeAnalyse
SemantischeAnalyse
Parse Tree
Symbolische Repr�sentation
12. Vorlesung Methoden der K�nstlichen Intelligenz 11
Universit�t Bielefeld
Grammatikenformalisieren das Wissen über die Sprachstruktur mit Hilfe von
Ersetzungsregeln (rewrite rules), mit denen sich Sätze der
Sprache erzeugen lassen.
Nichtterminale Symbole/Konstituenten/Knoten
treten zur Beschreibung der internen Satzstruktur auf
(z.B. np, vp, det, noun, verb,... )
Terminale Symbole/Konstituenten/Knoten
repräsentieren Elemente von Sätzen der betrachteten
natürlichen Sprache
(z.B. the, frog, ate, ...)Einfacher Fall: Kontextfreie Grammatik
Vgl.: GrammatikG = (
�������R, S )
aus der VorlesungTheor. Informatik
12. Vorlesung Methoden der K�nstlichen Intelligenz 12
Universit�t Bielefeld
Eine kontextfreie Grammatik
s-maj –> s final-puncs –> np vpvp –> verb npnp –> det nounnp –> proper-noundet –> thenoun –> boynoun –> frogverb –> ateverb –> lovesproper-noun –> Jackproper-noun –> Bill...final-punc –> .
s-maj
s final-punc
np vp
proper-noun
Bill
verb np
loves
det noun
the frog .
und eine Ableitung
12. Vorlesung Methoden der K�nstlichen Intelligenz 13
Universit�t Bielefeld
Problem: Gegeben ein Satz als Folge von Wörtern.
Finde den zugehörigen Syntaxbaum.
1. Grundmethode:
Bottom-up Parsing --> Beispiel 1
Idee: Die Syntaxregeln werden "rückwärts" benutzt, bis sich der Satz
auf das Startsymbol der Grammatik zurückführen läßt.
2. Grundmethode:
Top-down Parsing --> Beispiel 2
Idee: Beginne mit dem Startsymbol der Grammatik und expandiere
durch Ausdrücke, die nach den Grammatikregeln möglich sind.
Parsinghier nur am Beispiel kontextfreier Grammatiken
12. Vorlesung Methoden der K�nstlichen Intelligenz 14
Universit�t Bielefeld
Beispiel 1: Bottom-up-Parsing
s-maj –> s final-puncs –> np vpvp –> verb npnp –> det nounnp –> proper-nounnp –> pronoundet –> thedet –> anoun –> boynoun –> frogverb –> ateverb –> lovesproper-noun –> Jackproper-noun –> Billpronoun –> hefinal-punc –> .
he ate a frog .
he ate a frog .
pronoun
np
he ate a frog .
pronoun
np
he
verb
ate a frog .
pronoun
12. Vorlesung Methoden der K�nstlichen Intelligenz 15
Universit�t Bielefeld
Beispiel 1: Bottom-up-Parsingnp
he
verb
ate a frog .
pronoun
np
he
verb
ate a frog .
pronoun
np
he
verb
ate a frog .
pronoun
det noun
det
det noun
final-punc
s-maj –> s final-puncs –> np vpvp –> verb npnp –> det nounnp –> proper-nounnp –> pronoundet –> thedet –> anoun –> boynoun –> frogverb –> ateverb –> lovesproper-noun –> Jackproper-noun –> Billpronoun –> hefinal-punc –> .
12. Vorlesung Methoden der K�nstlichen Intelligenz 16
Universit�t Bielefeld
Beispiel 1: Bottom-up-Parsing
final-puncnp vp
he
verb np
ate
det noun
a frog .
pronoun
s-maj
s final-punc
np vp
he
verb np
ate
det noun
a frog .
pronoun
s final-punc
np vp
he
verb np
ate
det noun
a frog .
pronoun
final-puncnp
he
verb np
ate
det noun
a frog .
pronoun
12. Vorlesung Methoden der K�nstlichen Intelligenz 17
Universit�t Bielefeld
Schwierigkeit bei bottom-up
np
np
• Die Ersetzungsregeln sind zu interpretieren als
"<linke Seite> kann ersetzt werden durch <rechte Seite>".
• Wenn mehrere Regeln anwendbar sind, kann ein begonnener
Syntaxbaum u.U. nicht konsistent weitergebaut werden.
That can made him sick.
That can make him sick.
Einziger Weg:
• Solange durchprobieren, bis eine Kombination von Regelanwen-
dungen gefunden wird, die einen vollständigen Syntaxbaum liefert.
• Bei mehreren voneinander unabhängigen Ambiguitäten:
exponentiell viele Möglichkeiten!
noun –> can
modal –> can
12. Vorlesung Methoden der K�nstlichen Intelligenz 18
Universit�t Bielefeld
Beispiel 2: Top-down-Parsing
s-maj
s final-punc
np vp
pronoun
he
verb np
ate
det noun
a frog .
s-maj –> s final-puncs –> np vpvp –> verb npnp –> det nounnp –> proper-nounnp –> pronoundet –> thedet –> anoun –> boynoun –> frogverb –> ateverb –> lovesproper-noun –> Jackproper-noun –> Billpronoun –> hefinal-punc –> .
Beginne mit dem Startsymbol der Grammatik und expandieredurch Ausdrücke, die nach den Grammatikregeln möglich sind,bis der Satz dasteht.
12. Vorlesung Methoden der K�nstlichen Intelligenz 19
Universit�t Bielefeld
• Für bestimmte Sätze ist "top-down" besser als "bottom-up", für
andere schlechter – keine Methode ist grundsätzlich überlegen.
Did you hit Bill?
• Striktes top-down parsing beginnt mit s –> np vp und würde (hier
ohne Ergebnis) erst alle Möglichkeiten suchen, np zu expandieren.
• In vielen Fällen werden top-down Parser vorgezogen (einfacher zu
realisieren).
• Sehr bekannte top-down Parser sind die sogenannten ATN-Parser.
(Augmented Transition Networks)
Vergleich bottom-up/top-down
Hilfsverb
12. Vorlesung Methoden der K�nstlichen Intelligenz 20
Universit�t Bielefeld
Subjekt-Verb-Kongruenzam Beispiel der Numerus-Kongruenz
Den grammatisch falschen zweiten Satz darf ein Parser nicht
akzeptieren/generieren.
Deshalb muß die Übereinstimmung des Numerus von Nomen
und Verb geprüft werden (number agreement).
Umgekehrt kann man bei angenommenen number agreement
auf sonst nicht erkennbare syntaktische Merkmale schließen.
The boys are hungry.
*The boys is hungry.
The fish is hungry.
The fish are hungry.
3s
3p
Singular Plural
Abkürzg. Beispiel Abkürzg. Beispiel
erste Person
zweite Person
dritte Person
I am hungry. We are hungry.1s 1p
You are hungry. You are hungry.2s 2p
She is hungry. They are hungry.3s 3p
12. Vorlesung Methoden der K�nstlichen Intelligenz 21
Universit�t Bielefeld
Syntaktische Features
Numerus (number) 1s, 2s, 3s, 1p, 2p, 3pa) für Nomina
b) für Verben
Zeit (tense) Infinitiv Präsens, Vergangenheit,Verlaufsform, Partizip Perfekt
etc.
Satzmodus (mode) Frage, Aussage, Befehl(Interrogativ, Deklarativ, Imperativ)
12. Vorlesung Methoden der K�nstlichen Intelligenz 22
Universit�t Bielefeld
TransformationsregelnUm den Parser zu befähigen, subject-verb agreement zu beherrschen,
werden spezielle Regeln eingeführt.
Informelle Beschreibung einer solchen Regel:
Das Subjekt np und das Hauptverb verb müssen denselben
Feature-Wert bei der Numerus-Dimension aufweisen.
• Solche Regeln sind i.a. nicht kontextfrei formuliert (allerdings gibt es
Ansätze, in denen das versucht wird).
• Sie werden z.B. als Transformationsregeln in sog. Transformations-
grammatiken formuliert. [Bei Bedarf: Charniak/McDermott S.188-193]
s
np{number} vp
verb
s
np{number} vp
verb{number}
12. Vorlesung Methoden der K�nstlichen Intelligenz 23
Universit�t Bielefeld
Morphologisches LexikonWoher weiß der Parser, welches Feature ein gegebenes Wort hat?
Im Lexikon stehen für jedes Wort der Sprache
• sein Sprachpartikel (syntaktische Kategorie)
• ggfs. nodefault values für die Merkmale (features)
• Information über seine Bedeutung (kommt später)
• ggfs. Verweis auf seine Stammform (root) etc.
Morphologisches Lexikon
vs. Vollformenlexikon
lieben liebt liebte
geliebt ungeliebt
morpho-logischeAnalyse
12. Vorlesung Methoden der K�nstlichen Intelligenz 24
Universit�t Bielefeld
Lexikon-Eintr�ge f�r den Parser
u Aufbau eines Lexikons z.B. miteiner Funktion „dictionary“
u Jeder Lexikon-Eintrag hat eineder folgenden Formen:
(word part-of-speech –feature-assignments– )
(word root-form part-of-speech–feature-assignments– )
(dictionary(a det)(be auxverb (tense = tenseless))(is be auxverb (tense = present)
(v-number = 3s))(block noun)(block verb)(can modal
(v-number =1s 2s 3s 1p 2p 3p))(do modal)(did do modal (tense = past)
(v-number = 1s 2s 3s 1p 2p 3p))(fish noun (n-number = 3s 3p))(frog noun)(jack proper-noun)... )
optional
12. Vorlesung Methoden der K�nstlichen Intelligenz 25
Universit�t Bielefeld
Von Syntax zu SemantikBisher: Natürlichsprachlicher Satz –> Syntaxbaum
Jetzt: Syntaxbaum –> interne Repräsentation
semantische Analyse
> vereinfachte Betrachtung> Hauptzweck: Motivation
Zwei Teilaufgaben:
• Disambiguierung von Wortsinn und Referenz
• Überführung in eine symbolische Repräsentation (in der gewählten internen Repräsentationssprache)
SyntaktischeAnalyse
SemantischeAnalyse
Parse Tree
Symbolische Repr�sentation
12. Vorlesung Methoden der K�nstlichen Intelligenz 26
Universit�t Bielefeld
Bsp.: Definite Beschreibungen
block-1
block-2
table-1
block-3
gegeben durch definite Nominalphrasen (definite noun phrases)
"the red block"
• Erwartung: bezieht sich auf einen definiten Referenten
• muß Bezug auf "Weltmodell" (hier: die faktische Szenenbeschreibung) auslösen wie folgt:
Beschreibung der Szene durch Fakten (in assertional notation)
(inst table-1 table)
(inst block-1 block)
(color block-1 red)
(supported-by block-1 block-2)
(inst block-2 block)
(color block-2 blue)
(supported-by block-2 table-1)
(inst block-3 pyramid)
(color block-3 yellow)
(supported-by block-3 table-1)
(retrieve-val Õ?x Õ(and (inst ?x block) (color ?x red))) (wäre hier: x = block-1)
12. Vorlesung Methoden der K�nstlichen Intelligenz 27
Universit�t Bielefeld
Semantische InterpretationAufbau der Repräsentation für "the red block" erfordert:
• Zuordnung von Bedeutungen zu den einzelnen Wörtern(zu finden in einem Konzept-Lexikon):
red - -> (color ?x red)
block - -> (inst ?x block)
the - -> retrieve-val
• Kombination der einzelnen Wortbedeutungen, um Bedeutung der Wortgruppen zu erhalten:
red block - -> (and(inst ?x block)(color ?x red))
the red block --> (retrieve-val '?x '(and (inst ?x block) (color ?x red)))
• Anbindung dieser Prozesse an den syntaktischen Parser
Prinzip der
kompositionellen Semantik.
(Theorie über Verstehen der
Bedeutung von Sprache)
1. Syntaktische Analyse
2. Ableitung der Bedeutung
des Ganzen aus der
Bedeutung der Teile.
Es gibt andere Formen der
semantischen Interpretation.
12. Vorlesung Methoden der K�nstlichen Intelligenz 28
Universit�t Bielefeld
Syntaktisch-semantische Analyse
Einbezug der semantischen Interpretation bereits bei
der Syntaxanalyse, um den Parser zu führen (unsinnige
Analysen der Satzkonstituentenstruktur auszuschalten).
Ich las einen Artikel über den Vietnamkrieg in der Zeitung.
Ich las einen Artikel über den Vietnamkrieg in der Zeitung.
• Die interne Repräsentation wird
zur gleichen Zeit aufgebaut wie
die syntaktischen Beziehungen.
• Dazu werden in die (z.B. ATN-)
Grammatik Regeln einbezogen,
die parallel zur Syntaxanalyse
Fakten in einer Datenbasis
assertieren: interne Repräsentation.
Beispiel: Einführung von Referenten
für Nominalphrasen
[Hier nicht weiter betrachtet.]
(anderer Ansatz)
12. Vorlesung Methoden der K�nstlichen Intelligenz 29
Universit�t Bielefeld
Ambiguit�tsprobleme- Müllers sahen die Alpen, während sie nach Italien flogen.
(Wer oder was fliegt hier?)
- Ich nahm das Essen mit Messer und Gabel ein.
- Ich nahm das Essen mit Erwin und Gabi ein.
- Can companies litter the environment
(?)
Ich sah den Mann im Park mit dem Fernrohr
...nur undeutlich, da meine Linse schmutzig war.
...und es hatte den Anschein, daß er den Mond betrachtete.
(noch schlimmer:) I saw the man in the park with the telescope.
12. Vorlesung Methoden der K�nstlichen Intelligenz 30
Universit�t Bielefeld
Wissen �ber die Welt ...
Flug-reisender
Gel�nde-formation
Reisender true
Gebirge
Alpen
HerrM�ller
FrauM�ller
fliegen
inst inst
isa Fortbewegung
beweglich
Mensch
isa
inst
isa
false
Auto-reisender
isa
fahren
Fortbewegung
beweglich
Müllers (r1) sahen die Alpen (r2),während sie (r1) nach Italien flogen.
12. Vorlesung Methoden der K�nstlichen Intelligenz 31
Universit�t Bielefeld
Semantische Parser-Steuerung
u Der Suchraum eines Syntax-Parsers kann dadurcheingeschränkt werden, daß Semantikbetrachtungenzur Steuerung des Parsers herangezogen werden.
u entspricht der Verwendung einer Zustandsbewertungs-funktion für einen Suchalgorithmus search :
l Schätzung der Distanz zum nächsten Zielzustandbzw. der Kosten für den nächsten Zielzustand
l Kostenmaß wäre anzugeben für die semantische Plausibilität von Teil-„Parses“
l Effekt: semantisch plausiblere Zerlegungen würden zuerst weiter exploriert werden.
12. Vorlesung Methoden der K�nstlichen Intelligenz 32
Universit�t Bielefeld
Alternativ: Blackboard-Modell
Blackboard
Phonologie
Semantik
Syntax
Welt-wissen
Input
Syntax, Semantik(und alle weiterenProzesse) arbeitenseparat, aber parallel.
Alles, was auf der Blackboard steht,wird von den anderenProzessen genutzt.
(HEARSAY II, 1980)
12. Vorlesung Methoden der K�nstlichen Intelligenz 33
Universit�t Bielefeld
Nat�rliche Sprache
Nimmer diesen Monitor legen,
wo der Schnur von Personen
darauf spazieren gehen
grausam behandelt wird.
...ist schwer, nicht nur f�r Computer:
Aus der deutschen Betriebsanleitung eines japanischen Fernsehmonitors (Quelle: Spiegel 10/ 92)
12. Vorlesung Methoden der K�nstlichen Intelligenz 34
Universit�t Bielefeld
Leseempfehlung heute
�ber Parsing etc.:u Charniak & McDermott, Kap.4,
S. 169 ff; S. 194 ff; S.223 ff
�ber SHRDLU z.B.:u D. Hofstadter, “Gödel,
Escher, Bach” S.624 ff