Arquitectures dels sistemes de diàleg

1

Arquitectures dels sistemes de diàleg

Comprensió

Controladordel

diàleg

Generació

Expressió

en LN

Expressióen LN

Estructuradel discurs

AplicacióInformàtica

Raonamentsobre el model

domini

Interfície ambl’aplicació

Estructura atencional i intencional

2

Arquitectures dels sistemes de diàleg

Comprensió

Controladordel

diàleg

Generació

Expressió

en LN

Expressióen LN

Discurs

AplicacióInformàtica

Raonamentsobre el model

domini

Interfície ambl’aplicació

Reconeixement de veu

Síntesi de veu

Estructura atencional i intencional

3

Controlador de diàleg (I)

Dues fases: Reconeixement i generació Participació del sistema en la conversació

• Iniciativa del sistema: diàleg dirigit• Es demana a l’usuari que respongui preguntes:

“ De quina ciutat vol sortir”

• Iniciativa de l’usuari• L’usuari pot dir el que vulgui i el sistema

demana clarificacions quan ho necessita

• Iniciativa mixte: diàleg orientat a un objectiu• L’usuari i el sistema col.laboren per solucionar

el problema seguint el paradigme conversacional

4

Controlador de diàleg (II)

Decideix la resposta del sistema a una sentència de l’usuari

• Tractament d’ambigüitats i informació

incompleta en les intervencions de l’usuari

• Obtenció de la informació que demana

l’usuari accedint a l’aplicació o a bases de

coneixements

• Presentació de la resposta

5

Controlador de diàleg (III)

Atribut Pregunta opcional

AeroportOrigen “De quin aeroport”

AeroportDestí “A on vol anar?”

HoraSortida “A quina hora vol sortir?”

Hora d’arribada “A quina hora vol arrivar?”

Classe

Companyia

Anada

6

Controlador del diàleg (IV)

Preparació, en cada torn, de la resposta de l’usuari• Obtenir informació de l’usuari:

• Ambigüitats degudes a problemes de reconeixement Has dit Barcelona o Badalona ?

• Especificació incompleta Quin dia vols viatjar?

• Presentació de la resposta • Negociació amb l’usuari: reduir el nombre de respostes

He trobat 10 vols, prefereixes alguna companyia en especial ?

• Si es presenta per pantalla Resums, gràfics, taules

7

Controlador del diàleg (V)

• Guiar a l’usuari • Presentar nous objectius

Vols saber el preu de l’itinerari?• Presentar alternatives

No tinc informació de vols a Girona, vols els de Barcelona ?

• Indicar a l’usuari el que el sistema es capaç de reconèixer i/o respondre:

• Quanta més iniciativa pot prendre l’usuari més problemes per desconeixement de:

Capacitats del sistema: Trajectes de Barcelona a Vilallobent El rang: ex. pobles dels quals el sistema no disposa informació El llenguatge que el sistema reconeix

• Sistemes d’ajudes: Depenen del context

8

Controlador del diàleg (VI)

• Recuperació d’errors • Diferents causes: acústiques, estil de la parla,

disfluències, vocabulari, sintaxis

• Incorporació de puntuació de confidència per tractar entrades problemàtiques

Diàleg més dirigit Confirmació explícita: demanar informació de només el que

no s’ha entès bé. (Anàlisi parcial) Altres estratègies

• Tractament d’interrupcions• Problema acústic, de comprensió i de diàleg

• Ex: Dona’m més informació sobre aquest

9

Controlador de diàleg (VII)

Utilitza• Model del diàleg:

• Descripció genèrica de la construcció del diàleg

• Model de la tasca• Representació de les tasques del sistema

Exemple: accés a bases de dades

• Historia del diàleg• Informació sobre els objectes, propietats,

relacions que han aparegut,... • Tasques del sistema realitzades

10

Controlador de diàleg (VIII)

Model del diàlegEntendre una intervenció en el context de les anteriors - Utilitzar el focus d’atenció

• Deixis: Agafaré el segon• Referències anafòriques: per exemple pronoms,

com a quin és el seu telèfon• Incompletitud: Tots els trens del matí

Obtenir informació no expressada- Dues aproximacions• Contingut. Inferència i abducció• Intenció

11

Controlador del diàleg (IX)

Tres aproximacions per modelar diàleg Basades en l’estructura

• Modelen regularitats del diàleg• Salutació inicial, respotes seguint preguntes, acomiadament,...

Basades en la intenció (de l’usuari): Models de plans• Intervencions són actes de communicació (speech act) : preguntar, informar, confirmar,..• Processament costòs

Accions conjuntes• Col.laboració home-màquina per resoldre problemes ( ambigüetats, informació imcompleta, …)

12

Controlador del diàleg (X)

Basades en l’estructura: Regularitats sequëncials al diàleg • preguntes-respostes• propostes-acceptacions• errors- solucions

Gramàtiques que modelen el diàleg• Elements terminals: pregunta, resposta, oferiment, questió, resposta, proposició, aceptació, rebuig, etc..• Donat un estat, preveure el següent

Inconvenient: No totes les intervencions tenen una única interpretació• Necessari més informació

13

Controlador del diàleg (XI)

Basades en la intenció (de l’usuari): Models de plans• Les intervencions són actes de comunicació (speech act) : preguntar, informar, confirmar,..• Els actes formen part d’un pla que s’ha de detectar i actuar en conseqüència. Exemple: Usuari: tren a Alacant Sistema: Dóna la informació de hores de trens a Alacant (L’usuari està demanant informació)• Utilització: regles d’inferència, definicions d’accions, models dels estats mentals de participants, expectació d’objectius, etc.• Processament costós

14

Controlador del diàleg (XII)

Implementació:

No hi ha un model general per totes les aplicacions

• Construcció a mà de les transicions del diàleg(dialog flow)• Gramàtiques

• Llenguatge de scripts

• Graf d’objectes o mòduls del diàleg

• Eines semi-automàtiques

Rapid Dialogue Prototyping Institute of Techology of Lausane

• Model probabilístic i tècniques d’aprenentatge Grup de PLN de la UPV (Basurde)

15

Controlador del diàleg (XIII)

Models probabilístics Grup de PLN de la UPV (Basurde). Model 1

• Model de diàleg per trobar l’optim acte de diàleg que ha de realitzar el sistema en cada estat ^D = argmaxPr(D|w,d) D • w últim torn de l’usuari• d història del diàleg (seqüència d’actes anteriors de diàleg) ^• D òptim acte del sistema

16

Controlador del diàleg (XIV)

Models probabilísticsGrup de PLN de la UPV (Basurde). Anotació de corpus

Vull anar a Madrid amb l’Unamuno

Anotació semànticaVull : consulta anar :<hora_sortida> a :<marca_desti>

Madrid :<ciutat_desti> amb l’’Unamuno :<tipus_tren>

17

Controlador del diàleg (XV)

Models probabilístics Grup de PLN de la UPV (Basurde). Model 2

• Incorporació de unitats semàntiques que assigna el mòdul de comprensió a les paraules de la intervenció ^ D = argmaxPr(D|u,w,d) D • u unitats semàntiques donades pel mòdul de comprensió • w últim torn de l’usuari• d història del diàleg ^• D òptim acte del sistema

18

Controlador del diàleg (XVI)

Models probabilísticsGrup de PLN de la UPV (Basurde). Anotació de corpus

Vull anar a Madrid amb l’Unamuno

Anotació semàntica amb categories Vull : consulta anar :<hora_sortida> a :<marca_desti>

Madrid : INSTANCIA: <ciutat_desti> amb l’Unamuno INSTANCIA: :<tipus_tren>

19

Controlador del diàleg (XVII)

Models probabilístics Grup de PLN de la UPV (Basurde)

El model diàleg utilitza

• Model Hidden Markov basat en paraules per assignar actes de diàleg als torns de l’usuari• Gramàtica N-gram com a història de diàleg • Corpus amb etiquetes semàntiques

20

Controlador del diàleg (XVIII)

Models probabilísticsGrup de PLN de la UPV (Basurde). Anotació de corpus

• Considerar informació essencial per determinar l’estratègia de diàleg• Etiqueta semàntica. Actes de diàleg - Intenció de l’usuari - Informació en un segment: sub-sentència del torn• Per reduir etiquetes --> categorització de ciutats, hores, dies,...

21

Controlador del diàleg (XIX)

Models probabilísticsGrup de PLN de la UPV (Basurde). Anotació de corpus

• 226 diàlegs orals en espanyol

• Obtinguts amb la tècnica de Wizard of Oz

• Contingut: preguntes de hora de sortida i arribada, cost del viatge, tipus de tren, etc..

• 394 etiquetes d’actes de diàleg: 137 del sistema i 257 de l’usuari

22

Controlador del diàleg (X)

Eines semi-automàtiques

Rapid Dialogue Prototyping Laboratory, Swiss Federal Institute of Techology of Lausane

• Genera un model de diàleg per una aplicació concreta en 3 fases:

• Recull corupus de diàleg utilitzant tècnica Wizard of Oz

• Construcció d’un primer model del diàleg utilitzant l’eina Rapid Dialogue Prototyping

• Implementació i validació del prototipus

23

Disseny d’un sistema de diàleg

Principis de Gould and Lewis (1985) Estudiar els usuaris i les tasques

• Entrevistar a usuaris• Obtenir diàlegs persona-persona

Construir prototipus• Utilitzar el métode Wizard-of-Oz. Un usuari

simula la màquina Disseny iteractiu

• Els usuaris han de probar el sistema. Incorporar informació de l’experiència

24

Els sistemes de diàleg

Línes per millorar el procés de generació Col.lecció de corpus home-home i home-màquina• Necessitat d’establir convencions per fer anotacions• Special Interested Group on Dialogue (SIGdial) of the

Association of Computational Linguistics

• Criteris d’avaluació•Objectius: • temps de processament d’una intervenció, nombre de

torns, errors, torns de reparació,...

•Subjectius: Questionaris als usuaris

25

Articles

Conversational Interfaces: Advances and Challeges. Proceeding of the IEEE. Special Isue on Spoken Language Processing, August 2000, IEEE.

Survey of the State of the Art in Human-Language Technology. Chapter 6. Discourse and Dialogue. R. Cole and al. (eds.). Report commissioned by the National Science Foundation, 1996. Available http://www.cse.ogi.edu/CSLU/HLTsurvey/HLTsurvey.html>

Speech and Language Processing. Daniel Jurafsky & James Martin.Prentice Hall series in AI, 2000

Referències

26

Conferències

International Conference on Text, Speech and Dialogue. ( República Xeca)

Eurospeech Conference International Conference of Spoken

Language Processing International Symposium on Spoken

Dialogue

Referències