NLG Workshop

Embed Size (px)

Text of NLG Workshop

1. Aspekte der Natural Language Generation Esther Seyffarth, Ronja Laarmann-Quante TaCoS 25, 15./16.05.2015, Mnchen 2. TaCoS 25, Mnchen 21/05/15 2 Anwendungsbereiche der NLG sehr formale Texte Automatische Wetterberichte Automatische Routenbeschreibung (Navi) etwas formale Texte Produktbeschreibung (E-Commerce) SEO-Text auf Webseiten Automatische Zusammenfassung sehr informelle Texte Chatbot zur Unterhaltung (z.B. ELIZA) Twitterbot (als Kunstform oder zur Verbreitung von Informationen) Spam? Handy-Sprachsteuerung (z.B. Siri, Google Now) 3. TaCoS 25, Mnchen 21/05/15 3 Wichtige Eigenschaften natrlicher Sprache Um Sprache generieren zu knnen, mssen wir zunchst herausfinden, was die Natrlichkeit natrlicher Sprache konkret ausmacht. Die Ergebnisse der Sprachgenerierung sollen idealerweise nicht wie generierte Texte wirken! Tricks, um die wahrgenommene Natrlichkeit zu erhhen: Schreibfehler Interjektionen Ungenauigkeit im Ausdruck 4. TaCoS 25, Mnchen 21/05/15 4 Beispiel: Eigenschaften von Chatsprache 1. Freie Plauderchats marc30: ich mal wieder nich... quaki: was hast denn zori?? quaki: erzhl Lantonie: Das hast du dir verdient, zori? TomcatMJ: oh man wat frn krawall hier drauen...*guck* zora: nur einsen *brustschwell* stoeps: ree :-))) Quelle: Dortmunder Chatkorpus (http://www.chatkorpus.tu-dortmund.de/) Phonetisch motivierte Abweichungen Aktionswrter Akronyme Emoticons 5. TaCoS 25, Mnchen 21/05/15 5 Beispiel: Eigenschaften von Chatsprache 2. Professionelle Chats BENUTZER: vielen Dank. AUSKUNFT: Bittesehr. Haben Sie weitere Fragen? BENUTZER: noch eine frage: AUSKUNFT: Ja? BENUTZER. ich studiere in essen an einer fachhochschule (FOM) kann ich bcher aus der lehrbuchsammlung berhaupt ausleihen? AUSKUNFT: Nur wenn Sie in der FH Dortmund, Bochum, Gelsenkirchen oder Hagen studieren Quelle: Dortmunder Chatkorpus (http://www.chatkorpus.tu-dortmund.de/) Tokenisierungsfehler Kleinschreibung 6. TaCoS 25, Mnchen 21/05/15 6 Beispiel: Eigenschaften von Chatsprache 3. Plauderchats im Medienkontext totty: Renie, wenn du mir endlich ne Erhhung gestatten wrdest, wre och vieles einfacher ;-)) Revoluzzer: @heiland: KLAR DOCH, wenn eine Frau arbeitet und nen Kind hat ist das gleich ne Rabenmutter Revoluzzer: so sieht's aus im Vaterland Heiland11: In meiner generation nicht Gonzman: @revo so krass sehe ich das aba auch net Quelle: Dortmunder Chatkorpus (http://www.chatkorpus.tu-dortmund.de/) Vollgroschreibung Adressierungen 7. TaCoS 25, Mnchen 21/05/15 9 Exkurs: Maschinen mit Persnlichkeit Einem Computer das Verstehen von Sprache beizubringen, ist Zukunftsmusik. (Warum?) Wir knnen aber Regeln definieren, die es so aussehen lassen, als wrde der Computer wissen, worum es geht: George: Im George. ELIZA: Do you believe it is normal to be George? George: I dont know. Ive been George all my life. ELIZA: Tell me more about that. Alle pragmatischen Aspekte menschlicher Unterhaltungen knnen vom Computer hchstens simuliert werden. 8. TaCoS 25, Mnchen 21/05/15 10 Generierte Texte: E-Commerce Mit dem UE48H6270 erhalten Sie einen LED-Fernseher von Samsung mit einer Display-Diagonale von 121 cm (48 Zoll). Der Samsung UE48H6270 bietet brillante 3D-Bilder in scharfer Full HD-Auflsung sowie eine kabellose Datenbertragung. Das sparsame Display des LED- Fernsehers garantiert eine reflexionsarme Darstellung mit warmen und natrlichen Farben. Die Full HD-Auflsung auf dem Samsung UE48H6270 bietet ideale Voraussetzungen, um auf dem LED-Fernseher Kinofilme in brillanter Qualitt zu genieen. 9. TaCoS 25, Mnchen 21/05/15 11 Generierte Texte: SEO Delikate Spezialitten bei einem Lieferdienst in 80538 Mnchen bestellen Ein zuverlssiger Tipp sind die leckeren Gerichte Rigatoni Spinaci, Hummerkrabben in Erdnusssauce oder Gebratener Reis mit Hhnerfleisch. Nur selten zu finden, aber dennoch einen Versuch wert: Hagen Dazs Cookies und Cream, 500 ml. Der Mindestbestellwert im Durchschnitt bei Essen Zustellservices in 80538 Mnchen betrgt 22 Euro. 10. TaCoS 25, Mnchen 21/05/15 12 Generierte Texte: Automatische Zusammenfassung Bundeswehr in Kongo Die Parlamentsarmee Die berlegungen , ein Kontingent der Bundeswehr zur Absicherung der Wahlen nach Kongo zu schicken , stehen unter keinem guten Stern . Fr Angela Merkel stand wohl auch schnell fest , dass die Bundesrepublik das den Einsatz fhrende Land sein wrde . Der Verteidigungsminister , obwohl in die berlegungen eingebunden , tat jedoch so , als sei die Entscheidung lngst noch nicht gefallen . 11. TaCoS 25, Mnchen 21/05/15 13 Generierte Texte: Automatische Zusammenfassung ( 23.03.2006 ) Bundeswehr in Kongo Die Parlamentsarmee Die berlegungen , ein Kontingent der Bundeswehr zur Absicherung der Wahlen nach Kongo zu schicken , stehen unter keinem guten Stern . Fr die Bundeskanzlerin war relativ frh klar , dass Deutschland sich einem entsprechenden Wunsch der UN nicht wrde entziehen knnen . Fr Angela Merkel stand wohl auch schnell fest , dass die Bundesrepublik das den Einsatz fhrende Land sein wrde . Aus beidem hat sie kein Hehl gemacht . Der Verteidigungsminister , obwohl in die berlegungen eingebunden , tat jedoch so , als sei die Entscheidung lngst noch nicht gefallen . Das rcht sich nun . In beiden Regierungsfraktionen gibt es heftigen Widerstand gegen eine nicht schlssig vermittelte Operation der Bundeswehr in Westafrika . Die Bundeswehr aber ist eine Parlamentsarmee . Nur die Abgeordneten knnen Auslandseinstze anordnen . Die Soldaten haben jedoch einen moralischen Anspruch darauf , dass der Bundestag mit groer Mehrheit hinter dem Auftrag steht . Schlielich geht es um ihr Leben . Beim derzeitigen Stand der Debatte fehlen also die Voraussetzungen fr eine Kongomission . apz 12. TaCoS 25, Mnchen 21/05/15 14 Automatische Zusammenfassung Idee: Text Aneinanderreihung irgendwelcher Stze U.a. semantische Relationen zwischen Wrtern Lexikalische Kette (Morris & Hirst, 1991): Sequenz von Wrtern, zwischen denen semantische Relationen bestehen Fr die Bundeskanzlerin war relativ frh klar , dass Deutschland sich einem entsprechenden Wunsch der UN nicht wrde entziehen knnen . Fr Angela Merkel stand wohl auch schnell fest , dass die Bundesrepublik das den Einsatz fhrende Land sein wrde . = thematische Einheit 13. TaCoS 25, Mnchen 21/05/15 15 Automatische Zusammenfassung Anwendung fr die automatische Textzusammenfassung nach Barzilay und Elhadad (1997): 1. Bestimmung thematischer Einheiten eines Textes mithilfe lexikalischer Ketten (z. B. mithilfe von Wiktionary) Was wird thematisch im Text behandelt? 2. Gewichtung der Ketten, Bestimmung von starken Ketten Worum geht es im Text hauptschlich? 3. Extraktion von Stzen als Reprsentanten fr die jeweilige thematische Einheit Welche Stze spiegeln konkret das jeweilige Thema wider? 14. TaCoS 25, Mnchen 21/05/15 16 Lexikalische Ketten ( 23.03.2006 ) Bundeswehr in Kongo Die Parlamentsarmee Die berlegungen , ein Kontingent der Bundeswehr zur Absicherung der Wahlen nach Kongo zu schicken , stehen unter keinem guten Stern . Fr die Bundeskanzlerin war relativ frh klar , dass Deutschland sich einem entsprechenden Wunsch der UN nicht wrde entziehen knnen . Fr Angela Merkel stand wohl auch schnell fest , dass die Bundesrepublik das den Einsatz fhrende Land sein wrde . Aus beidem hat sie kein Hehl gemacht . Der Verteidigungsminister , obwohl in die berlegungen eingebunden , tat jedoch so , als sei die Entscheidung lngst noch nicht gefallen . Das rcht sich nun . In beiden Regierungsfraktionen gibt es heftigen Widerstand gegen eine nicht schlssig vermittelte Operation der Bundeswehr in Westafrika . Die Bundeswehr aber ist eine Parlamentsarmee . Nur die Abgeordneten knnen Auslandseinstze anordnen . Die Soldaten haben jedoch einen moralischen Anspruch darauf , dass der Bundestag mit groer Mehrheit hinter dem Auftrag steht . Schlielich geht es um ihr Leben . Beim derzeitigen Stand der Debatte fehlen also die Voraussetzungen fr eine Kongomission . apz 15. TaCoS 25, Mnchen 21/05/15 17 Stze in der Zusammenfassung ( 23.03.2006 ) Bundeswehr in Kongo Die Parlamentsarmee Die berlegungen , ein Kontingent der Bundeswehr zur Absicherung der Wahlen nach Kongo zu schicken , stehen unter keinem guten Stern . Fr die Bundeskanzlerin war relativ frh klar , dass Deutschland sich einem entsprechenden Wunsch der UN nicht wrde entziehen knnen . Fr Angela Merkel stand wohl auch schnell fest , dass die Bundesrepublik das den Einsatz fhrende Land sein wrde . Aus beidem hat sie kein Hehl gemacht . Der Verteidigungsminister , obwohl in die berlegungen eingebunden , tat jedoch so , als sei die Entscheidung lngst noch nicht gefallen . Das rcht sich nun . In beiden Regierungsfraktionen gibt es heftigen Widerstand gegen eine nicht schlssig vermittelte Operation der Bundeswehr in Westafrika . Die Bundeswehr aber ist eine Parlamentsarmee . Nur die Abgeordneten knnen Auslandseinstze anordnen . Die Soldaten haben jedoch einen moralischen Anspruch darauf , dass der Bundestag mit groer Mehrheit hinter dem Auftrag steht . Schlielich geht es um ihr Leben . Beim derzeitigen Stand der Debatte fehlen also die Voraussetzungen fr eine Kongomission . apz X X X X X X X X X X X X Precision: 0.8 Recall: 0.57 F-Score: 0.67 16. TaCoS 25, Mnchen 21/05/15 18 Einfachste Textgenerierungsprojekte Im simpelsten Fall kann ein generierter Text die Form haben, dass Inhalte nach fest vorgegebenen Zusammensetzungsregeln kombiniert werden. 17. TaCoS 25, Mnchen 21/05/15 19 Einfachste Textgenerierungsprojekte (2) Bei einer ausreichend groen Datenbasis kann diese Methode zu berraschenden und sogar zufriedenstellenden Ergebnissen fhren! Quelle: Twitterbot @VergleichBot: https://twitter.com/vergleichbot 18. TaCoS 25, Mnchen 21/05/15 20 Einfachste Textgenerierungsprojekte (3) Zustzlich zu einem Satz-Template, das mit Inhalten befllt wird, kann man auch weitere Bedingungen definieren, die die Inhalte erfllen mssen. Quelle: Twitterbot @ParsExToto: https://twitter.com/parsextoto