16
Università degli Studi di Modena e Reggio Emilia Facoltà di Ingegneria di Modena Corso di Laurea in Ingegneria Informatica trazione di concetti ed analisi di documenti trazione di concetti ed analisi di documenti stuali: progetto e sviluppo dell’applicazion stuali: progetto e sviluppo dell’applicazion KAM-POP KAM-POP Anno Accademico 2008/2009 Relatore: Prof.ssa Sonia Bergamaschi Tesi di Laurea di: Michele Vitali Correlatore: Dott. Daniele Cordioli

Università degli Studi di Modena e Reggio Emilia Facoltà di Ingegneria di Modena Corso di Laurea in Ingegneria Informatica Estrazione di concetti ed analisi

Embed Size (px)

Citation preview

Page 1: Università degli Studi di Modena e Reggio Emilia Facoltà di Ingegneria di Modena Corso di Laurea in Ingegneria Informatica Estrazione di concetti ed analisi

Università degli Studi di Modena e Reggio EmiliaFacoltà di Ingegneria di Modena

Corso di Laurea in Ingegneria Informatica

Estrazione di concetti ed analisi di documenti Estrazione di concetti ed analisi di documenti testuali: progetto e sviluppo dell’applicazione testuali: progetto e sviluppo dell’applicazione OKKAM-POPOKKAM-POP

Anno Accademico 2008/2009

Relatore:Prof.ssa Sonia Bergamaschi Tesi di Laurea di:

Michele VitaliCorrelatore:Dott. Daniele Cordioli

Page 2: Università degli Studi di Modena e Reggio Emilia Facoltà di Ingegneria di Modena Corso di Laurea in Ingegneria Informatica Estrazione di concetti ed analisi

OBBIETTIVIOBBIETTIVI

Impiego della tecnologia linguistica COGITO®.

Studio di metodi per Information Extraction.

Sviluppo dell’applicazione OKKAM-POP.

Studio del progetto OKKAM, a cui Expert System partecipa attivamente. FP7

Page 3: Università degli Studi di Modena e Reggio Emilia Facoltà di Ingegneria di Modena Corso di Laurea in Ingegneria Informatica Estrazione di concetti ed analisi

WEB SEMANTICOWEB SEMANTICO

RDF OWL

Inizio: 01/01/2008Fine: 30/06/2010PJ_REF: 215032Costo: 7.359.931 €

Page 4: Università degli Studi di Modena e Reggio Emilia Facoltà di Ingegneria di Modena Corso di Laurea in Ingegneria Informatica Estrazione di concetti ed analisi

L’AZIENDA L’AZIENDA EXPERT SYSTEMEXPERT SYSTEM

Fondata nel 1989.

Opera nei settori Knowledge Management e Natural Language Processing.

Proprietaria della tecnologia linguistica COGITO®.

Global Mobile Award 2009 con il prodotto COGITO®

Answer (Best billing or custumer care solution).

Clienti: Pirelli, BNL,Vodafone, Eni, Poste Italiane, RCS Mediagroup, Telecom Italia.

Sedi a Modena, Rovereto, Roma, Napoli e negli USA.

Page 5: Università degli Studi di Modena e Reggio Emilia Facoltà di Ingegneria di Modena Corso di Laurea in Ingegneria Informatica Estrazione di concetti ed analisi

LA TECNOLOGIA LA TECNOLOGIA COGITOCOGITO®®

Piattaforma software per analisi linguistica che si basa sulla rete semantica lessicale SENSIGRAFO®

Interpreta il linguaggio naturale catturando gli aspetti• morfologici• grammaticali• logici• semantici

La DISAMBIGUAZIONE linguistica attribuisce ad ogni termine il giusto significato in base al contesto:

“Il rapinatore mi ha colpito con il calcio della pistola.”

“Il simbolo del calcio è Ca.”

Page 6: Università degli Studi di Modena e Reggio Emilia Facoltà di Ingegneria di Modena Corso di Laurea in Ingegneria Informatica Estrazione di concetti ed analisi

SCHEMA FUNZIONALE SCHEMA FUNZIONALE COGITOCOGITO®®

DOCUMENTI

MOBILE CONTENT

E-MAIL

INTRANET

FLUSSI INFORMATIVI

WEB

Informazioni non strutturate

Analisi linguisticae semantica

Informazioni strutturate

COGITO®

analisi morfologica

analisi grammaticale

analisi logica

analisi semantica

SENSIGRAFO®

Mappa concettuale e cognitiva del

linguaggio naturale

Ricerca semantica

Categorizzazione

Estrazione delle informazioni

Intelligence

Page 7: Università degli Studi di Modena e Reggio Emilia Facoltà di Ingegneria di Modena Corso di Laurea in Ingegneria Informatica Estrazione di concetti ed analisi

INFORMATION EXTRACTIONINFORMATION EXTRACTION

Selezione di concetti significativi in un testo per la generazione automatica di metadati:

“Carlo Ancelotti, il nuovo allenatore del Chelsea, ha tenuto la prima conferenza stampa in lingua inglese.”

Alg

ori

tmo

di e

stra

zio

ne

Grado di automazione

Codifica manuale

Apprendimento automatico

Statistico

Basato suregole

OKKAM-POP

Page 8: Università degli Studi di Modena e Reggio Emilia Facoltà di Ingegneria di Modena Corso di Laurea in Ingegneria Informatica Estrazione di concetti ed analisi

REGOLE DI ESTRAZIONEREGOLE DI ESTRAZIONE

PATTERN SINTATTICO

Carlo Ancelotti , il nuovo allenatore del Chelsea …

SOS PNT ART AGG SOS PRE SOS

CONTESTO SEMANTICO

Carlo Ancelotti , il nuovo allenatore del Chelsea …

Nome di persona

ProfessioneClub

calcistico

Page 9: Università degli Studi di Modena e Reggio Emilia Facoltà di Ingegneria di Modena Corso di Laurea in Ingegneria Informatica Estrazione di concetti ed analisi

APPLICAZIONE DELLE REGOLEAPPLICAZIONE DELLE REGOLE

Tempo Organizzazione

………

“Il colosso mondiale Intel ha presentato

un nuovo prodotto.”

Giorno – “Durata media del periodo di rotazione della Terra attorno al proprio asse.”

Colosso – “Azienda

di notevole importanza”

SOS AGG SOS

“Nei giorni scorsi Intel ha presentato

un nuovo prodotto.”

Page 10: Università degli Studi di Modena e Reggio Emilia Facoltà di Ingegneria di Modena Corso di Laurea in Ingegneria Informatica Estrazione di concetti ed analisi

L’APPLICAZIONE L’APPLICAZIONE OKKAM-POPOKKAM-POP

CORPUSXML

arricchito

CORPUSXML

arricchito

APPLICAZIONE ETL

APPLICAZIONE ETL

DBDBAnalisi dei dati con

OKKAM QUERY GUIe feedback

Analisi dei dati conOKKAM QUERY GUI

e feedback

APPLICAZIONEETL

(Extract, transform, load)

APPLICAZIONEETL

(Extract, transform, load)

CORPUS TXT

CORPUS TXT

CORPUS XML

CORPUS XML

COGITO®COGITO®

INFORMATIONEXTRACTION

INFORMATIONEXTRACTION

Page 11: Università degli Studi di Modena e Reggio Emilia Facoltà di Ingegneria di Modena Corso di Laurea in Ingegneria Informatica Estrazione di concetti ed analisi

DATI ESPORTATI NEL DBDATI ESPORTATI NEL DB

DOCUMENTI

ENTITÀ

APPOSIZIONI

SAO (Soggetto, Azione, Oggetto)

PROPRIETÀ COGITO®

CONTESTI DELLE ENTITÀ

LEMMI PRINCIPALI DEI DOCUMENTI

DOMINI ATTRIBUITI AI DOCUMENTI

Page 12: Università degli Studi di Modena e Reggio Emilia Facoltà di Ingegneria di Modena Corso di Laurea in Ingegneria Informatica Estrazione di concetti ed analisi

OKKAM QUERY GUIOKKAM QUERY GUI

Page 13: Università degli Studi di Modena e Reggio Emilia Facoltà di Ingegneria di Modena Corso di Laurea in Ingegneria Informatica Estrazione di concetti ed analisi

ALCUNI RISULTATIALCUNI RISULTATI

PERSONA DESCRIZIONE

Maurizio Mattei il designatore unico degli arbitri di serie A

John Griffin uno scienziato esperto nei sistemi di difesa Angelo Bottini Il nuovo soprintendente archeologico di Roma

LUOGO DESCRIZIONE

Taipei capitale dell' isola di Taiwan

Porto Seguro una nota località balneare nello stato di Bahia

Genoni un piccolo paesino in provincia di Nuoro

ORG. DESCRIZIONE

Ucimu L' associazione dei costruttori di macchine utensili

Sea la società di gestione degli aeroporti milanesi

Smat ( Società Metropolitana Acque Torino )

Page 14: Università degli Studi di Modena e Reggio Emilia Facoltà di Ingegneria di Modena Corso di Laurea in Ingegneria Informatica Estrazione di concetti ed analisi

ALCUNE STATISTICHEALCUNE STATISTICHE

TORINO, 18 GIU - I consigli di fabbrica di Mirafiori hanno deliberato per mercoledì due ore di sciopero ''contro lo scalone e gli scalini e la revisione al ribasso dei coefficienti'' per il calcolo delle pensioni e hanno promosso una raccolta di firme per invitare i segretari generali nello stabilimento Fiat (Fabbrica Italiana Automobili Torino) prima della conclusione della trattativa e per sottoporre l'eventuale intesa al voto dei lavoratori. Lo ha reso noto il sindacato Fiom-Cgil. Le Rsu aziendali hanno deliberato unitariamente due ore di sciopero, per ogni turno, dalle 10 alle 12 e dalle 14 alle 16, con iniziative fuori dai cancelli. Intanto domani, scioperera' l'Avio Group, ex Fiat Avio, di Rivalta, con corteo fuori dallo stabilimento. ''Il governo e i sindacati ascoltino i buoni consigli dei delegati di Mirafiori e usino la forza che a loro viene data. Saremo tutti giudicati dall'esito di questo negoziato'', afferma il segretario generale della Fiom torinese, Giorgio Airaudo.

Sono stati analizzati 1.158.841 articoli giornalistici risalenti agli anni 2005, 2006 e 2007

Page 15: Università degli Studi di Modena e Reggio Emilia Facoltà di Ingegneria di Modena Corso di Laurea in Ingegneria Informatica Estrazione di concetti ed analisi

SVILUPPI FUTURISVILUPPI FUTURI

Integrazione dei risultati all’interno del progetto europeo OKKAM.

Clustering dei dati per individuare il rumore all’interno delle estrazioni effettuate.

Page 16: Università degli Studi di Modena e Reggio Emilia Facoltà di Ingegneria di Modena Corso di Laurea in Ingegneria Informatica Estrazione di concetti ed analisi

Grazie per la cortese attenzione…