Scuola Politecnica e delle Scienze di Base Corso di Laurea in Ingegneria Informatica Elaborato finale in Programmaione 1

Cognitive science e IBM Watson

Anno Accademico 2013-2014 Candidato: Plamen Zdravkov Ivanov matr. N46 000 621

Alla mia madre, tutti miei compagni di studio universitari E a tutti che mi sono stato vicino

Indice

Indice .................................................................................................................................................. III Introduzione ......................................................................................................................................... 4 Capitolo 1: Cognitive Science.............................................................................................................. 7 Capitolo 2:Introduzione a sistemi QA ................................................................................................ 9

2.1 Evoluzione dei sistemi QA ...................................................................................................... 11 2.2 Stato attuale dei sistemi QA ..................................................................................................... 12 2.3 Principio di funzionamento di Watson ..................................................................................... 13 2.4 Integrazione di QA in dispositivi mobili.................................................................................. 15

2.5 Problemi principali ................................................................................................................... 15 2.6 Motivazione ............................................................................................................................. 16

2.7 Campi coinvolti nel sviluppo di sistemi QA ............................................................................ 16 Capitolo 3:Il progetto IBM Watson ................................................................................................... 18

3.1 Classificazione della domanda e tipi di risposta ...................................................................... 19 3.2 Profonda analisi........................................................................................................................ 20 3.3 Estrazione di Conoscenze ........................................................................................................ 20

3.4 Ricerca e generazione di candidati ........................................................................................... 21 3.5 Costruzione di tipi .................................................................................................................... 21

3.6 Punteggio delle Evidenze ......................................................................................................... 22 3.7 Conoscenze di base e Interfaccia ............................................................................................. 23 3.8 Decomposizione delle Domande ............................................................................................. 23

3.9 Clasifica delle Risposte ............................................................................................................ 23 Capitolo 4:Watson durante il gioco ................................................................................................... 26

4.1 Analisi della domanda ......................................................................................................... 27 4.2 Generazione di Ipotesi ............................................................................................................. 28

4.3Valutazione di ipotesi................................................................................................................ 28 4.4 Fusione finale e classifica .................................................................................................... 29 4.5 Hardware ............................................................................................................................. 30

Conclusioni ........................................................................................................................................ 31 Bibliografia ........................................................................................................................................ 32

4

Introduzione

Noi siamo all’inizio di un salto enorme nella evoluzione della tecnologia. Nei prossimi 20

anni sarà trasformata la vita e il lavoro di tutti gli essere umani esattamente come e stato con la

rivoluzione dei computer circa mezzo secolo fa. Le opportunità e le sfide che arrivano con

questa nuova era richiedono la generazione di nuove tecnologie e di riscrivere le regole nella

informatica. Oggi giorno ci sono una quantità di dati di una dimensione enorme che dovranno

aiutare alle persone di capire meglio situazioni complesse. Ma in realtà non e cosi perché più

dati abbiamo a disposizione maggiore sarà la confusione. Noi facciamo troppi decisioni con

informazioni non corrette o irrilevanti con dati che rappresentano soltanto una parte della

problema. Eco perché abbiamo bisogno di generare nuove strumenti tecnologie cognitive che

aiuteranno di penetrare la complessità e di capire meglio il mondo circostante in modo in che

possiamo fare migliori decisioni. Alcuni tecniche della informatica e ingegneria stanno

raggiungendo gli suoi limiti. L’industria della tecnologia deve cambiare il modo con qui sta

progettando e usando gli computer e il software se vuole continuare con il progresso di

migliorare il modo in qui viviamo e lavoriamo. Questa prospettiva del futuro della tecnologia

del informazione e il risultato di un grande e continuo sforzo di un gruppo di IBM. Qualche

anno fa e stato formato un gruppo di scienziati di IBM che e stato impegnato in un progetto

intrigante. Lo scopo di questo progetto era di creare un sistema che e capace di giocare in

tempo reale in un famoso TV show Americano basato sulle domande di dominio aperto

chiamato Jeopardy, dove milioni di spettatori hanno capito quanto “intelligente” può essere un

computer. Questo non era un semplice trucco, gli scienziati hanno spesso più di 10 anni con

ricerca nel campo della l’intelligenza artificiale e l’elaborazione del linguaggio naturale e

5

hanno prodotto una serie di innovazioni. Il loro impegno ha prodotto la possibilità di sviluppo

di un sistema che richiede conoscenze enciclopediche e veloci risposte. Nella fase di

preparazione per il gioco, la macchina e stata caricata con milioni di pagine di informazione.

Durante lo show televisivo che e stato trasmesso nel febbraio 2011, il sistema aveva a

disposizione una vasta database per rispondere alle domande, era in grado di calcolare livello

di confidenza e se questo livello risultava abbastanza alto di battere gli giocatori umani al

buzzer. Dopo più di 5 anni di ricerca e sviluppo, il team di una 20-na scienziati hanno fatto

vedere al mondo un passo avanti nella scienza. Loro hanno dimostrato che un sistema

computerizzato e in grado di battere esperti umani in una competizione di domande e risposte

usando il linguaggio naturale. Adesso questi scienziati e ingegneri del software sono occupati

con miglioramento della tecnologia di Watson per renderlo più grande. “Jeopardy” era solo

con un scopo limitato. Il sistema era vincolato delle regole del gioco e il fatto che tutte le

informazioni che Watson richiedeva potevano essere espresse come parole sulla pagina. In

futuro Watson sarà in grado di apprendere problemi, interpretare immagini, numeri, voci e

informazioni da sensori. Lui parteciperà in dialogo con gli uomini e sarà in grado di risolvere

problemi molto complicati. I ‘obbiettivo e di trasformare il modo in cui le persone fanno le

cose, per esempio assistenza sanitario, educazione, servizi finanziari e governo. Uno dei

prossimi obbiettivi e di mettere in carico Watson per aiutare a mettere diagnosi e aiutare ai

dottori. L’idea non e di far vedere che Watson e in grado di fare il lavoro dei medici, ma di

fare Watson un utile aiuto per un medico. Il potenziale aiuto di Watson nella medicina e solo

una possibilità aperta per la generazione di nuove tecnologie. Gli scienziati di IBM stanno

spingendo gli confini dei settori scientifici e tecnologici che vanno dalla nanotecnologia per

l’intelligenza artificiale con l’obbiettivo di creare macchine che fanno molto di più otre a

calcolare e organizzare dati – i loro senso e di imparare, ragionare e interagire con le persone

in nuovi modi. Le prove di Watson in TV sono stati gli primi passi di una nuova fase di

evoluzione della tecnologia delle informazioni e introduzione di una nuova era di cognitive

computing. Questa nuova era non e solo opportunità per le società ma anche necessita. Solo

con aiuto di machine pensanti noi saremo in grado di trattare adeguatamente la complessità del

6

mondo oggi e di affrontare con successo problemi come la malattia e la povertà e il stress sul

nostro sistema naturale. IBM Watson è un sistema innovativa che introduce una nuova era del

computing , congnitive computing è radicalmente nuovo tipo di computing molto diverso da

gli sistemi programmabili che lo hanno preceduto come quelli sistemi come le machine

tabulate un secolo fa , oppure soluzioni informatiche tradizionali basate su principi matematici

che emanano dagli anni 1940 che sono programmati sulla base di regole e la logica destinati a

scrivere matematicamente precisi risposte spesso seguendo approccio albero decisionale .

Watson è un sistema di intelligenza artificiale che e in grado di rispondere a domande di

dominio aperto che e stato sviluppato all’interno del progetto DeepQA di IBM. Questo

sistema e stato progettato per rispondere a domande di un gioco di quiz molto famoso negli

Stati Uniti chiamato Jeopardy. Nel 2011 ha partecipato a 3 episodi di questo gioco

sconfiggendo i suoi anniversari umani facendo la storia. Unico gioco al mondo che si

scontrano uomo e machina, oltre il Deep Blue sviluppato lo stesso dal IBM negli anni 90 che e

stato in grado di battere il campione al mondo in carica Garry Kasparov, in una partita di

scacchi. Durante questi episodi Watson ha sconfitto gli 2 più grandi campioni che hanno

partecipato a Jeopardy. Watson ha costantemente surclassato I suoi avversari umani con

rapidità di prenotazione della risposta, perché il gioco si basa su un interruttore che viene

premuto nel momento in qui il partecipante e sicuro di saper rispondere alla domanda

correttamente. Il sistema ha avuto difficoltà con alcune categorie di domande, per esempio

quelle con indizi corti che contenevano poche parole. Per ogni indizio, le risposte più probabili

di Watson venivano mostrate a video. Watson aveva accesso a 200 milioni di pagine di

contenuti strutturati e non. Durante il gioco Watson non era connesso a Internet.

7

Capitolo 1: Cognitive Science

La scienza cognitiva può essere vista in ogni aspetto della nostra vita. Cognitivita non e

invocata solo in risolve equazioni matematici ma anche in risoluzione di ogni azione che

viene svolta da un essere umano in modo naturale. La ricerca dalla scienza cognitiva

proviene da diversi campi nella scienza come Informatica, filosofia, linguistica,

neuroscienza, psicologia e antropologia, quello che hanno in comune e la interessante

profonda cognizione, fenomeni che gli essere umani condividono. Questi diversi discipline

che pur operando in campi differenti coniugano i risultati delle loro ricerche al fine comune

di chiarire il funzionamento della mente.

Fig. 1 Discipline che costituiscono le scienze cognitive

8

Gli scienziati di cognizione studiano come le persone risolvono problemi come fanno

complessi plani, come ricordiamo le facce degli amici, come riconoscono oggetti, come

capiamo diversi lingue anche come creammo musica o qualsiasi arte. Le scienze cognitive

principalmente si occupano delle modalità di formazione del pensiero, dell’emozione

dell’immaginazione e della creatività. Essendo le scienze cognitive multidisciplinari essi

sfruttano orientamenti di ricerca differenti è difficile dire a priori le discipline costituendi.

Qualunque studio che possa connettersi sia scientifico, psicologico o filosofico, può essere

utile a fornire contributi a questa multi-scienza. La idea di base di queste scienze e che la

ragione possa essere ricondotta in analisi di puro calcolo quindi di pensare che il cervello

come una Macchina di Turing. Ricordando che questa machina e un modello astratto che e

in grado di eseguire algoritmi e dotata di un nastro potenzialmente infinito su cui può

leggere e scrivere simboli. Si vede in questo senso al cervello come a un manipolatore di

simboli dove ogni informazione e rappresentata da un simbolo e viene elaborata (e quindi

calcolata) seguendo regole ben precise. Ci sono due tipi di scienze cognitive, una scienza

cognitiva computazionale e una scienza cognitiva neurale. La scienza cognitive

computazionale è nata con il computer, nel senso che essa è emersa sulla base del analogia

tra la mente umana e il computer, o meglio, tra la mente e il software del computer. Il

cervello e il corpo di un essere umano sono come l’hardware di un computer, la sua mente è

il software del computer. L’analogia ha portato a uno stretto collegamento tra l’informatica

e la psicologia. Da un lato gli informatici hanno cercato di dotare il computer di capacità e

comportamenti tipici della mente umana e cosi e nata l’intelligenza artificiale. Da altro lato

gli psicologi hanno cominciato a usare i concetti di informatica per analizzare, modellare e

spiegare la mente. I modelli dei psicologi sono diventati modelli di elaborazione

dell’informazione la mente ha cominciata contenere rappresentazioni e regole per

recuperare questi rappresentazioni da memorie e lavorarci sopra il funzionamento della

mente e cominciata ad essere vista come l’esecuzione di algoritmi. La ragione per cui

queste discipline stanno assieme è che tutte condividono l’idea che la mente sia, come il

computer, un sistema computazionale.

9

Capitolo 2:Introduzione a sistemi QA

IBM Watson rappresenta il primo passo nelle sistemi cognitive e la nuova era di compiting.

Watson e stato costruito con gli strumenti della era corrente di calcolatori programmabili ma e

differente in molti aspetti. La combinazione delle seguenti capacita fanno Watson unico

1) Elaborazione del linguaggio naturale con aiuto di capire complessi dati

nonstrutturati, che rappresentano 80% delle dati a livello globale

2) Generazione e valutazione di ipotesi applicando analisi avanzate per pesare e

valutare un panello di risposte basate solo su prove rilevanti

3) Apprendimento dinamico contribuendo a migliorare l’apprendimento basato sui

output per diventare sempre più intelligente con ogni interazione

Anche se nessuno di queste funzionalità da solo e unico per Watson, la combinazione di

questi capacita offre una potente soluzione:

- Per superare gli limiti delle machine programmabili

- Per passare la dipendenza di dati strutturati e locali e per aprire il mondo globale

di dati non strutturati

- Per passare dal approccio albero-decisionale, applicazioni deterministici al

sistemi probabilistici che evolvono con i propri utenti

- Per passare da ricerca basata su parole che provoca lista di locazioni dove la

risposta può essere localizzata, a un intuitivo strumento di conversazione di

scoperta di un set di riposte confidenti e classificate

10

Question Answerng (QA) è il compito di generare risposte in lingua naturale di domande di

persone. Questo fornisce una interfaccia naturale (spesso via testuale, immagine o parlato)

per Human Computer Interaction (HCI), con l’obbiettivo di dare risposte soddisfacenti a

più domande possibili. QA è uno dei pochi task che e svolta nel modo naturale da maggior

parte degli umani tutti i giorni, anche altri compiti comuni come comprensione e

generazione linguaggio naturale. Ci sono un’ampia varietà di tipi di domande che facciamo

tutti gli giorni

• Domande di realtà (factoid) - domande su cultura generale del mondo.

Tipicamente vengono definite risposte standard è può essere giudicato come giuso o

sbagliato

Per esempio:

- Quanto e vecchio il mondo? (Risposta con una breve frase)

- Quali pianetti sono in sistema solare? (Risposta con una lista di frasi)

- Che cosa e il pianeta? (Risposta con una definizione)

- Perché l’acqua e essenziale per la vita? (Risposta con una spiegazione)

• Domande soggettivi - domande sulla credenza soggettiva. Di solito non hanno

risposte definitive, ma possono essere giudicate come rilevanti/ accettabili o

irrilevanti/inaccettabili

11

Per esempio:

- Quale e la più epica foto fatta? (La domanda più famosa su Quora.com)

- Che cosa succede se la gallina non attraversa la strada? (Ipotetica)

- Quale investito devo prendere? (Uomini state attenti con la risposta)

- Come far crescere il giardino? (Con una risposta spiegativa)

Con risposte ben definite, e possibile misurare in termini di valori e precisione le risposte

alle domande di tipo factoid. Le domande di tipo Ricerca soggettiva non hanno risposte

standard e spesso usano la strategia di votazione dell’utente per classificare una lista di

candidati come possibili risposte. Le risposte di domande di tipo (factoid) spesso possono

essere automaticamente estratti da fonti esistenti, mentre le risposte domande di tipo

Ricerca soggettiva sono tipicamente prodotti partendo da graffiature. Riconosciamo il fatto

che le persone dovrebbero giocare il ruolo più importante nelle domande di tipo Ricerca

soggettiva, specialmente nel processo di generazione del contenuto originale e intelligente.

E ancora un problema difficile per le macchine, di capire la lingua naturale.

2.1 Evoluzione dei sistemi QA

Negli anni gli sistemi factoid QA sono evoluiti in vari modi:

• Da dominio chiuso a dominio aperto: gli primi sistemi QA come BASEBALL e

LUNAR avevano scopi molto limitati per il mondo loro sapevano solo informazioni

per il gioco di baseball e gli pianete sula luna dopo sono stati prodotti sistemi QA

che avevano conoscenze in tutti gli campi e potevano rispondere a tutte le domande.

• Da basati sul testo a basate sul discorso: gli sistemi QA possono essere assistite

con interfaccia discorsiva con la quale le domande possono essere tradotte con

software per riconoscimento vocale e le risposte possono essere riprodotte son un

12

software di sintesi. Questa e una configurazione popolare sugli dispositivi mobili

• Da fuori contesto a contestuali: domande usati per capire indipendentemente dal

contesto precedente; adesso gli sistemi QA hanno una capacita limitata di capire

dialoghi discorsivi che variano dinamicamente

2.2 Stato attuale dei sistemi QA

Lo stato corrente della arte dei sistemi QA e rappresentato da IBM Watson, che ha sconfitto

due concorrenti campioni mondiali nello TV show Jeopardy nel 2011. Lo show e basato

sugli quiz ha iniziato nel 1964. In Jeopardy il stilo di domande e rappresentato da frasi

dichiarative, comunemente chiamate indizi (clues) come:

Nel 1903 con il permesso presidenziale, Morris Michtom ha iniziato la

commercializzazione di questi giocatoli.

Gli concorrenti devono identificare la informazione mancante nella domanda, e di proporre

una domanda che può essere risolta dato il indizio, per esempio come:

Quali sono Teddy Bears?

Questo e il tipico stile di indizi e domande del gioco Jeopardy. Le coppie possono essere

facilmente convertiti in convenzionali coppie di domande e risposte.

Battendo il campione in carico umano, Watson rappresenta il successo più importante per

gli sistemi QA factoid finora. Molti domande naturali sono state sorse dopo il successo di

Watson.

13

1) Watson ha risolto intelligenza artificiale?

2) Watson può davvero pensare?

3) Cosa è rimasto per la ricerca nel campo QA dopo che Watson ha battuto

l’uomo?

Dal mio punto di vista la risposta di queste domande e:

1) No, Watson non risolve l’intelligenza artificiale (AI)

2) Watson ha una limitata capacità di ragionare, non e al livello di processo

intellettuale nel cervello umano

3) Con l’esistenza di Google abbiamo smesso di fare ricerca di informazioni?

2.3 Principio di funzionamento di Watson

Il successo di Watson ha segnato un progresso nel campo della ricerca di QA (o in senso

più generale di AI, IR1 e NLP2). E stato un blocco (nel senso positivo) per gli partecipanti

umani nello quiz show, ma non sarà un blocco (nel senso negativo) per la ricerca QA.

Watson e stato addestrato per fare decisioni prendendo con la raccolta da centinaia di

classificatori, ciascuno dei quali con obbiettivo su una o più tipi specifici di domande di

Jeopardy. Ad esempio, ha un categoria per rispondere alle domande su presidenti degli stati

uniti, e un categoria per fatti che gli esseri umani normalmente considerano interessanti.

Watson e un sistema che e stato ottimizzato per partecipare nel formato Jeopardy. Con

classificatori progettati specialmente per le tipi di domande fatti in Jeopardy. A questo e

basato il successo di Watson nello show. IBM aveva contratti sicuri per adattare Watson per

1 IR – Information Retrieval - Recupero delle informazioni

2 NLP – Natural Langiage Processing - Elaborazione del linguaggio naturale

14

assistenza sanitaria e governo. In questa tesi io propongo l’architettura feature-driven che

può essere considerata come il cuore di uso generico di un sistema QA. Questa architettura

in grado di modellare le routine per particolari tipi di domande dotato di corrispondenti

caratteristiche. Io sono anche interessato di vedere gli risultati di come questo architettura

general-purpose incontra esperti umani utilizzando dati di Jeopardy.

Diamo una rapida occhiata al risultato, un confronto con la curva delle prestazioni di

Watson nella figura successiva. Watson è iniziato con una re-implementazione di

documenti di ricerca, ma ha iniziato con risultati più bassi del previso indicato con 12/06

nella figura. Con un incremento utilizzando l’architettura DeepQA con linea 12/07 , il team

di Watson è stato in grado di spingere la curva verso in alto verso le prestazioni umane (gli

punti colorati nella figura).

15

2.4 Integrazione di QA in dispositivi mobili

Nella era dei dispositivi mobili, le sistemi che rispondono alle domande possono essere

applicati come una naturale estensione di ricerca, specialmente in combinazione con

tecnologie vocali su dispositivi mobili. Vediamo qualche sistema commerciale di questo

tipo: Siri(Apple), Google Now (Google), Graph Search (Facebook) e Cortana (Microsoft).

Questi sistemi hanno iniziato con lo scopo di concentrarsi sugli utenti, questo sviluppi

offrono un’esperienza molto piacevole della ricerca personalizzata. Per affrontare il

problema di rispondere alle domande questi applicazioni usano strategie differenti. Ad

esempio, Siri spesso prepara una risposta umoristica; Google e Cortana usano solo ricerca

di tipo testuale; Facebook Graph Search vincola gli suoi utenti con il tipo di domande che e

in grado di rispondere.

2.5 Problemi principali

La domanda fondamentale nella ricerca in QA:

Cercare di rispondere alle domande con una alta precisione e ancora persistente. Cosi anche

se QA in virgolette e comprensione di lingua naturale, la ricerca è ancora molto attiva in

questo settore. Prevedo che l’attenzione degli attuali servizi di QA commerciali si sposterà

gradualmente dall’approccio di consapevolezza del utente al una maggiore consapevolezza

del mondo. Immaginiamo che un utente chiede al suo telefono per indicazioni per un museo

o un cinema. L’assistente personale al telefono dovrebbe non solo essere in grado di

calcolare il percorso ottimale, ma anche di rispondere a domande riguardanti vari fatti

durante la visita al museo o del film. IBM Watson ha dimostrato questo tipo di factoid

risposte alla domande, come nel dominio di Jeopardy.

16

2.6 Motivazione

Le sistemi che rispondono alle domande è una cosa magnifica per AI e NLP che le persone

hanno immaginato di creare, abbiamo visto le conversazioni con roboti in molti film

fantastici e romanzi. Ma non e ancora completamente risolta. Questa e la motivazione

fondamentale. Tuttavia la tecnologia non ha mai smesso di evolvere. Questo un campo

recente di rapido sviluppo che utilizza discipline strettamente correlate ai campi, come AI,

Knowledge Discovery, Machine Learning e riconoscimento automatico della voce, che

hanno creato nuovi dati e strumenti per la ricerca in QA. Abbiamo la necessità di nuovi

cambiamenti nel settore QA per gli seguenti fattori:

1) Grande quantità di dati

2) Progressi del campo di Machine Learning

3) Creazione di conoscenze di base

4) L’aumento delle richieste da parte degli utenti

Questi sono gli problemi principali affrontati nel campo QA che devono essere risolti con

integrazione di nuovi algoritmi e metodi per Machine Learning.

2.7 Campi coinvolti nel sviluppo di sistemi QA

Un metodo veloce e automatico per un rapido inizio di un sistema statistica basata su

risposte alle domande usando fonti strutturati e non.

La natura dei sistemi QA richiedono un complesso assemblaggio ingegneristico,

coinvolgendo ma non limitandosi con gli seguenti campi

17

• Information Retrieval (IR) recupero di informazioni da testo o conoscenze di base

• Natural Language Processing (NLP) elaborazione del linguaggio naturale, con varie

tecniche di codifica, partizionamento, l’analisi, riconoscimento di entità, risoluzione

di coreferenze, monitoraggio di stato del dialogo, generazione di riepilogo

• Intelligenza Artificiale (AI) e Machine Learning (ML), coinvolgendo ragionamento

su conoscenze globali e apprendimento dai dati

18

Capitolo 3:Il progetto IBM Watson

IBM Watson e il più grande sistema di QA finora. E stata il capolavoro nella ricerca QA,

ingegneria del software, e la programmazione. Il modo in qui Watson ha giocato in

Jeopardy e stato incredibile. Per me il risultato più significativo di Watson è che si e stato

dimostrato possibile che una macchina e in grado di fare meglio del uomo un task di alta

intelligenza. Questo capitolo supervisiona Watson, con una particolare attenzione a ciò che

Watson ha fatto in modo differente.

Il progetto Watson ha iniziato nel 2006 con adattamento di IBM di una sua sistema QA,

PIQUANT (Pratical Inteligent Question Answering Technologi). PIQUANT ha partecipato

in TREC (Text REtrieval Conference) ed e stato uno dei top 5 per qualche anno. E stato

sviluppato da un team di 4 persone per il periodo di 6 anni prima del gioco in Jeopardy.

Dopo 4 settimane di adattamento per Jeopardy, gli risultati erano scoraggianti: PIQUANT

aveva una performance di 16% e precisione di 70% di risposte corrette, mentre gli giocatori

umani tentavano tra 40% e 50% di domande e hanno registrato risposte corrette tra 85% e

95%. Questo risultato ha portato ad una revisione completa del approccio tecnico e

architetturale del team di IBM. Il risultato era di espandere l’architettura DeepQA e di

adattare la metodologia usata da Watson per un avanzamento rapido e una integrazione di

algoritmi di base. Alla fine del 2007, la framework DeepQA e stata implementata e

ricostruita la versione 0.1 di Watson (la seconda linea nella figura). Negli prossimi 5 anni,

miglioramento dei metodi di Watson e stato impiegato con migliaia di ripetizioni di

sviluppo, gradualmente spingendo la curva al di sopra di 85% per precisione 70%

abbastanza alto per fare competizione con gli esseri umani.

19

Il framwork DeepQA consiste in più di 100 classificazioni di algoritmi fondamentali, ogni

uno dei quali effettivo in qualche campo di domande. Dato la enorme dimensione di dati di

test, era difficile a disegnare una visione significativa basata sulla statistiche, quanto e un

nuovo classificatore veniva aggiunto agli altri 99 classificatori. Cosi e stata prodotta un

sistema di votazione interna, chiamato Watson answer-scoring baseline (WASB). Il WASB

include la maggior parte dei componenti della framework DeepQA, come analisi della

domanda, recupero di passo, generazione di candidati, ma solo uno componente evidence-

scroring basato su ricerca della risposta. Ricerca della risposta e molto usata e intuitiva

tecnologia che e stata implementata nella maggior parte dei sistemi TREC QA. Ecco perché

e stato incluso in WASB. Tipicamente solo gli esperti sono in grado di migliorare

l’accuratezza da 2% a 5% su WASB. Poi con un paio di centinaia di differenti

miglioramenti, il sistema vero e proprio e raggiunto il livello umano.

3.1 Classificazione della domanda e tipi di risposta

Question Classification and Answer types

Watson ha due regole manuali e regressione logistica per l’analisi della domanda. Nel intero

suite di strumenti e incluso un analizzatore di English Slot Grammar (ESG). Con un

argomento predicato e associato allo sviluppo della struttura, nominato entity recognizer

(ER), che e un componente di risoluzione dei riferimenti, e la estrazione di componenti. Gli

principali problemi sono di cercare di rilevare la domanda di fuoco (spesso pronunciata nei

indizzi di Jeopardy) e il tipo di risposta lessicale (LAT lexical answer type). Gli algoritmi di

base contengono regole per più di 6000 clausole di prologo. Queste regole falliscono in casi

complicati come più pronomi appaiono in un indizio e errata rilevazione di parola a causa di

frasi innestati. Inoltre una classificazione di regressione e stata addestrata per individuare il

LAT.

Esperimenti per la individuazione di LAT ha mostrato circa 10% (70% su 79.6%)

incremento.

20

Una domanda interessante e se Watson ha usato una predefinita ontologia LAT. La risposta

e mista. Da un lato Watson ha usato molti componenti esistenti. Ma non esiste un tipo

comune e unico di sistema: loro hanno mappato il LAT per ogni tipo di componente

interno. Da altra parte le domande di Jeopardy sono molto ampi: circa 2500 distinti ed

espliciti LAT dove sono stati trovati 20 000 domande campioni.

3.2 Profonda analisi

Deep Parsing

Watson usa un argomentata versione di English Slot Grammar (ESG). Il analizzatore di

Watson specifico produce un albero di frasi che essenzialmente e dipendente dalla struttura

di seguenti informazioni: analisi morfologica, costruzione di frasi, analisi grammaticale,

partizionamento, prevista di struttura di argomenti di frame (sostantivi e verbi possono

condividere frames), il senso della parola etc.

L’analisi e usata da ogni componente di Watson, in particolare nel analisi della domanda,

ranking strutturato e recupero del percorso, digitazione della risposta e estrazione di

conoscenza. Watson usa solo frasi di alta qualità soprattutto per motivi di velocità. ESG

(implementato in C) elabora circa 5000 parole per secondo sugli laptop standard.

3.3 Estrazione di Conoscenze

Knowledge Extraction

Il output di ESG contiene frame e filtri, che sono aggregate con una forte evidenza per

alcuni task, come la digitazione della risposta. Una decisione importante per la estrazione

di informazioni era che i frame non sono stati limitati solo su verbi, relazioni binari o di

specifico tipo di gerarchia. Anche negli modificatori di frasi ERG sono possibili relazioni di

frames. Il componente di estrazione di conoscenza di Watson , PRISMATIC, e stato in

grado di estrarre milioni di frames da qualche GB di testo, con media di 1.4 frames per

sentenza.

21

3.4 Ricerca e generazione di candidati

Search and Candidate Generation

Watson cerca tra in entrambi fonti testo e fonti strutturati. Quanto cerca testo

Ha implementato Idri e Lucene per il reupero di dati dai documenti. Una distinzione tra

domande di Jeopardy e TREC3 QA e che alcuni domande di Jeopardy sono molto

complicati con molti vincoli. Le evidenze dovevano essere generati da tutti gli documenti,

in tal modo il titolo del documento serve come risposta. Per esempio consideriamo la

domanda

“this country singer was imprisoned for robbery and in 1972 was pardoned by Ronald

Reagan”

Il articolo di Wikipedia per Merle Haggard menziona come un cantante country, suo

imprigionamento per rapina, e il suo perdono da Reagan. Ciò favorisce nel richiamo di

recupero di documento. Selezionati 3500 domande a caso, circa 5% delle domande erano

sugli titoli di Wikipedia. Questo modo di generare candidati di risultati di Watson e molto

differente dai tradizionali approcci TREC. Gli sistemi TREC QA tipicamente usano entità

che sono stati trovati da passaggi recuperati. Tuttavia Watson usa documenti di metadati

come titoli e testo. Questo metodo e stato estremamente effettivo

3.5 Costruzione di tipi

Type Coercion

Le domande di Jeopardy hanno un ampio e flessibile tipo di risposta. Watson usa una

tecnica chiamata type coercion, processo che determina se la risposta sodisfa il tipo di

risposte, per affrontare questa domanda. Il tipo contiene molti componenti basati su fonti di

ontologia o algoritmi. Ogni componente provvede qualche elemento di prova per la sua area

di competenza e tutte le prove sono raccolti e classificati statisticamente. Per esempio

WordNet e isInstanceOf relazioni sono di alta precisione e basso richiamo. Le ontologie di

3 TREC - Text REtrieval Conference – Conferenza di Recupero Testo

22

Wikipedia e YAGO hanno una ampia copertura di entità. IBM usa un riconoscitore di entità

interno che ha più di 100 LAT; PRISMATIC contribuisce con evidenze per la risposta

utilizzando relazioni di tipo IS_A. In qualche senso, il tipo di coercizione nel Watson e un

modello piccolo dell’team di Watson e la strategia di classificazione.

3.6 Punteggio delle Evidenze

Evidence Scoring

Gli primi ricerce di Watson generano una lista di possibili risposte. Ma questi non sono

classificati a questo punto. Ogni di questi candidati e diviso in un parallelo processo che

include questo candidato nella ricerca di recuperare ulteriori prove. Quanto le evidenze sono

restituiti un componente di votazione con quattro algoritmi fa una classifica. Gli algoritmi

sono le seguenti:

- Passage Term Match – misura quanto spesso un candidato di risposta appare

negli stessi passaggi nelle termini della domanda.

- Skip-Bigram – che calcola quanti termini sono condivisi nella semantica di

sintassi della domanda. Lui cattura le somiglianze strutturali e li compara con un

insieme di parole e le occorrenze più vicine.

- Textual Aligneìment – che alinea la domanda con un passaggio utilizzando

l’algoritmo di Waterman_Smit per calcolare se combaciano.

- Logical Form – che fa un punteggio nelle tabelle logiche mettendo un peso e un

grado di corrispondenza

Dopo che sono stati applicati questi 4 algoritmi su ogni passaggio, gli risultati sono

confrontati in modo in che viene rispettato ogni algoritmo individuale. Modi comuni per

confortare include di usare, massimo, somma, oppure soma in decomposizione di questi

23

risultati di passaggi. Il migliore adattamento del Team di Watson e: la somma per SKIP-

Bigram, decadimento di somma per allineamento testuale e Passage Term Match, e la

massimizzazione per Logical Form.

3.7 Conoscenze di base e Interfaccia

Knowledge Base and Interface

Watson usa DB-pedia, YAGO, piccole porzioni di Freebase per trovare le informazioni e

alcuni speciali artigianali collezioni per gli presidenti di US, lavori per Shakespare, stati di

US e paesi. Alcuni sforzi manuali sono state fatte per una più precisa risosta. Un atro

metodo per usare e il ragionamento temporale e geo spaziale. Questo ha portato a Watson

un miglioramento al Watson di 2% sulla versione finale di Watson

3.8 Decomposizione delle Domande

Question Decomposion

Alcuni domande di Jeopardy sono complicati. Quindi Watson decompore le domande in

parallelo oppure se e necessario in sotto domande. Questi soto-domande possono esere

risolti con alberi indipendenti, quindi in componibili unita e segmenti con qualificatori.

Queste regole sono applicati su 45% delle domande. Accuratezza di Watson e stata

incrementata. Euristica e anche necessaria per definire le domande annidate e loro anche

hanno incrementato il performance di Watson

3.9 Clasifica delle Risposte

Watson e stato addestrato con domande che comprendono milioni di domande e risposte.

Gli problemi maggiori sono questi differenti tipi di domande e questo ampio gamma di

caratteristiche. Il seguente e una introduzione delle idee che potrebbe far luce su ricerche in

corso.

• Answer Merging – contiene multipli componenti basati su morfologia e il modello

24

di analisi. Ispezionando tutte le candidati di risposte Watson fa una classifica

applicando un giudizio binario. Se combaciano allora il candidato con risultati più

alti sarà rimasto.

• Ranking: una regressione logica che trova coerentemente migliore performance tra

le altri classificatori, includendo SVM, boosting, reti neurali, alberi decisionali, e il

apprendimento locale

• Feature Normalization: esistenti caratteristiche con il loro relativo valore, quindi

essi sono aumentati con caratteristiche standard. La standardizzazione e per “query”:

tutte le caratteristiche sono normalizzate con la sottrazione del senso e di tutte le

caratteristiche di quel tipo.

• Missing Feature Indicator: una caratteristica di valore di 0 potrebbe significare sia

il valore zero sia la mancanza di informazione. Quindi un extra indicatore e stato

aggiunto per ogni caratteristica. E stato dimostrato che un guadagno considerevole

può essere ottenuto con le caratteristiche del indicatore

• One Model Per Question Class: ogni classe della domanda potrà favorire una

differente caratteristica quindi un modello individuale e addestrato per ogni classe.

Un altro classificatore automaticamente determina la classe della domanda con

informazioni dal LAC

• Feature Selection: per modelli di dati di addestramento, Watson rimuove

caratteristiche per utilizzare funzionalità di regolarizzazione. Per modelli con piccoli

dati di allenamento e troppi caratteristiche, Watson usa un consistente sottoinsieme

di attributi.

25

• Successive Refinement: Watson per prima raffina le candidati risposte con membri

top 100, dopo di che vicino alla fine dello studio considera solo gli candidati top 5

• Instance Weighting: la frequenza di positive verso negative istanze delle risposte

candidati prodotti da Watson. La soluzione finale e di usare una ponderazione di 0.5

per le negative istanze della regressione logica

• Evidence Diffusion: evidenze che sono condivise tra gli candidati risposte. Un

esempio e che quanto chiediamo “l’aeroporto di Sunan in quale paese e?” dove

veniva evidenziato una evidenza per Pyongyang (La citta), piuttosto di Corea Del

Nord (il paese). Lo stesso criterio (come la relazione tra candidati di risposta) e stato

fatto per la diffusione delle evidenze, dove Il valore di Corea Del Nord e stato

combinato con quelli di Pyongyang.

I componenti sopra sono differenti stadi della pipeline. Tutte queste tecniche hanno

incrementato il funzionamento della sistema con 67% e accuratezza di 4.5

26

Capitolo 4:Watson durante il gioco

In questo capitolo sarà spiegato come Watson risponde alle domande in 4 non semplici passi

Per esempio prendiamo il seguente domanda:

The first person mentioned by name

in ‘The Man in the Iron Mask’

is this hero of a previous book

by the same autor.

Questa e una tipica domanda di Jeopardy presente nel tipico formato del gioco rendendo molto

difficile per una persona di capirlo cosa e stato richiesto e ancora di più per un computer.

Come di solito un computer e in grado di capire solo codice binario di zero e uno e non nomi e

verbi persone e luoghi e le relazioni tra loro. Watson non e in grado di vedere o ascoltare

quindi l’audio e le domandi visibili sono fuori dai suoi limiti. Ma tutto il resto e un gioco

coretto e naturalmente non e possibile di sapere tutto. Come tutti gli partecipanti dicono che la

domanda più difficile nel gioco e quella che non sai rispondere. Come gli sistemi informatici

27

Sono in grado di rispondere a indizi utilizzando la lingua umana? Gli database tradizionali

sono progettati per il computer. La lingua reale e implicita, grande e piena di complessità.

Questo e il motivo per qui fine adesso gli ricercatori di informatica hanno cercato di risolvere

utilizzando documenti con parole e le relazioni tra di loro per cercare la risposta in questi

documenti. Come nostri cervelli anche il Watson ha le conoscenze di base e quindi è

interamente autosufficiente la differenza e che il nostro cervello ha la dimensione di una

scatola per scarpe. Il cervello di Watson occupa uno spazio più grande di 8 frigoriferi messi

insieme. Quanto Watson risponde alle domande di Jeopardy lui non ha connessione con

Internet e telefono.

E quindi Watson consuma una vasta quantità di informazione per prepararsi per il gioco.

Watson ha bisogno di assorbire molta informazione perché Jepardy e un gioco di dominio

aperto che significa che può chiedere domande di qualsiasi campo e argomento. E quindi

Watson legge fa analisi e cerca di capire milioni contenuti di libri e documenti scritti in

linguaggio con il quale le persone comunichiamo tra di noi, Prima di vedere la domanda nella

forma testuale. Mai prima una macchina aveva la possibilità di rispondere così preciso a una

domanda con una ampio spettro di domande in un tempo brevissimo.

Vediamo come fa Watson questo.

4.1 Analisi della domanda

The first person mentioned by name

in ‘The man in the Iron mask’

is this hero of a previous book

by the same autor.

Il primo passo che Watson fa e di analizzare la domanda separando in parti di discorso. E di

identificare gli ruoli delle parole e le frasi di una condanna di gioco. Questo aiuta a Watson di

determinare due cose distinte:

28

- Che tipo di domanda e stato richiesto

- Che cosa richiede la domanda

In questa prima frase del processo Watson non sa come trovare la risposta corretta ancora.

Quindi sta cercando di incrementare la possibilità di trovare la risposta cercando tra differenti

opzioni cercando cosa la domanda potrà chiedere

4.2 Generazione di Ipotesi

Per ogni interpretazione della domanda Watson fa una ricerca veloce tra milioni di documenti

Per la produzione di migliaia di possibili risposte. A questo punto una vasta quantità di

possibili risposte e generata dal Watson. Questi dati saranno ristretti in una fase successiva ma

la cosa importante è di avere una lista abbastanza ampia di risposte perché se la risposta

corretta non e al interno di questa lista nella prima fase dopo non ce possibilità che Watson

risponde correttamente e di trovare la risposta corretta in questa lista.

4.3Valutazione di ipotesi

Naturalmente non e abbastanza solo di trovare la lista con risposte lui deve anche sostenere e

difendere le risposte possibili. Dopo di che elimina le risposte che sono ovviamente sbagliate

Watson costruisce strade da molti sorgenti differenti. Per fare una collezione di evidenze

positive e negative per tutti le rimanenti possibilità. Watson capisce questi passaggi avendo

capito le relazioni tra le parole. Relazioni come per esempio “gli libri hanno eroi” oppure

“attori creano personaggi”. Dopo di che fa esecuzione di algoritmi che non fanno altro ma di

votare la qualità di questi prove basate su tutto come materiali sorgenti affidabili a se

coincidono gli tempi e la posizione corretta. Ma anche dopo questa eliminazione ci sono

29

ancora centinaia di possibili risposte rimanenti ci sono molti algoritmi che vengono eseguiti in

parallelo per fare una sorta di votazione delle prove per ogni uno di loro. Ricordiamo che tutto

questo processo deve essere eseguito in 3 secondi.

4.4 Fusione finale e classifica

Le differenti tipi delle evidenze sono migliori per risolvere differenti tipi di domande

esattamente come le persone Watson usa la esperienza per provare di rispondere a domande

simili per tarare importanza delle differenti tipi di evidenze. Non si tratta di memorizzare

Facendo pratica con molti giochi Watson impara di come tarare, applicare e combinare i suoi

algoritmi. Aiutando di misurare per ogni pezzo di evidenza gli risultati vengono fuse insieme

per la decisione della classifica finale per ogni possibile risposta. Gli risultati con posti più alti

nella classifica appaiono nel ordine sul panello di risposta di Watson. In Jeopardy gli

partecipanti perdono soldi se premono il bottone e rispondono sbagliato. Eco perché Watson

fa una stima di confidenza su tutte le risposte assegnata in percentuale. Questa confidenza e

basata su quanto alto e stata valutata la risposta durante il processo della ricerca di evidenze.

Se la confidenza di Watson su una specifica domanda e più bassa di 50 % Watson non

risponde ovvero non preme il bottone. Questo passo e importante in quando anche Watson

“sa cosa sa e sa cosa non sa”. Non esiste un livello di confidenza che decide oppure no di

premere il bottone la soglia della confidenza e in continua evoluzione e basandosi su quanto

Watson sta giocando con relazione con gli altri giocatori e quanti soldi sono rimasti sulla

bacheca. Ma in questo caso il livello di confidenza e arrivato a 78% e quindi e abbastanza per

prenotare la risposta e ecco come Watson ha vinto 800 $.

IBM ha usato Jeopardy come un modo per spingere la scienza in profondi analisi della

elaborazione lingua naturale. La stessa tecnologia può essere usata in una quantità enorme di

applicazioni da assistenza sanitaria, finanza o una qualsiasi industria che le persone che usano

informazione per darli aiuto di fare migliori decisioni. Il successo finale di Watson sarà

misurato non con le raddoppio giornaliero ma con il significato di Watson per la società.

30

4.5 Hardware

Gli primi implementazioni di Watson sono stati eseguiti sul singolo processore e infatti sono

stati necessari 2 ore per rispondere a singola domanda. Fortunatamente le computazioni del

Software si potevano eseguire in parallelo.

Dove la “magia” viene svolta?

Watson e composto da un Cluster di 90 IBM Power 750 Servers, ogni server ha 4 socket in

In ogni uno dei quali possiede un processore Power 7 a 3,5 GHz che e equipaggiato da 8

Core con 4 treads per Core.

In totale il sistema e composto da 2880 Power 7 cores ovvero 11. 520 treads che sono in

grado lavorare in parallelo e ha una RAM di 16 TeraBytes .

Watson e in grado di processare 500 GB equivalenti a milioni di libri solo in un secondo.

Il hardware di Watson e in grado di processare circa

80 TeraFLOPs equivalenti a 80,000,000,000,000 operazioni a secondo

Watson e circa 114 nella lista dei Top 500 Super Computers

31

Conclusioni

Il futuro promette tecnologie innovative in grado di cambiare la nostra vita. Il futuro nasce nei

nostri sogni. Il futuro forse avrà robot, che ni aiutano, teleporti, che ci muoviamo con

centinaia di chilometri al secondo, macchine, che generano con pensiero oggetti e molto altri

fantastici successi. La mente umana non ha limiti, ma ciò che ci unisce è la forte fede, che la

strada per un futuro più intelligente è pieno di soluzioni innovative e alta tecnologia. In

un’economia mondiale sempre più competitivo il successo dipende sempre di più dalla

innovazione nelle imprese e nella società. L’innovazione nella tecnologia sarà guidato da

singoli inventori e talenti, anche di grandi corporazioni. Tecnologie oltre gli confini

dell’immaginazione e soluzioni digitali innovative, quali facilitano la vita e il business. Questa

e la visone che e associata con il prossimo futuro. “Let's build smart planet”

32

Bibliografia

[1] D.M. Bikel, R. Schwart, Machine learning

[2] Smart Machines: IBM’s Watson and the Era of Cognitive Computing

[3] http://www.ibm.com/smarterplanet/us/en/ibmwatson/

[4] youtube.com/ibm

[5] Cognitive Systems Institute 20140505 External.pdf, file pdf

[6] Da Wikipedia, def. Scienze cognitive http://it.wikipedia.org/wiki/Scienze_cognitive

[7] IBM Watson.pdf, file pdf