¿Me entiende el ordenador cuando hablo?

¿Me entiende el ordenador cuando hablo?

Procesamiento de lenguaje natural: retos y aplicaciones

13/11/2013 XIII Semana de la Ciencia, Universidad

Alfonso X, 2013

Plan

• Qué es NLP y para qué sirve

• Dificultades

• Estrategias

• Traducción automática

13/11/2013 XIII Semana de la Ciencia, Universidad

Alfonso X, 2013

Qué es NLP

Tratamiento informatizado del lenguaje humano, oral o escrito

13/11/2013 XIII Semana de la Ciencia, Universidad

Alfonso X, 2013

Para qué sirve (I)

En una época de explosión de información (Big data)…

El NLP es fundamental para difundir conocimiento

Y generar conocimiento nuevo

A gran escala

13/11/2013 XIII Semana de la Ciencia, Universidad

Alfonso X, 2013

Para qué sirve (II)

• Fácil: detección de spam, etiquetadores gramaticales

• Medio: análisis de opinión, extracción de información, desambiguación, traducción automática

• Difícil: resúmenes automáticos, respuestas a preguntas

Fuente: https://class.coursera.org/nlp/class

13/11/2013

XIII Semana de la Ciencia, Universidad Alfonso X, 2013

Un caso de éxito: IBM Watson

http://www.pcworld.com/article/219900/IBM_Watson_Wins_Jeopardy_Humans_Rally_Back.html

13/11/2013 XIII Semana de la Ciencia, Universidad

Alfonso X, 2013

Dificultades

• Ambigüedad (polisemia, sintaxis)

• Excepciones a las reglas

• Expresiones idiomáticas

• Conocimiento del entorno

13/11/2013 XIII Semana de la Ciencia, Universidad

Alfonso X, 2013

Estrategias

• Reglas (formalismo)

• Estadística

13/11/2013 XIII Semana de la Ciencia, Universidad

Alfonso X, 2013

Reglas

http://nltk.org/book/ch05.html

Formuladas con expresiones regulares

Proceso lento y manual

Muchas excepciones

Las reglas son específicas para cada idioma

13/11/2013 XIII Semana de la Ciencia, Universidad

Alfonso X, 2013

Traducción automática

• Interlingua: representación abstracta independiente del idioma

Golpeó al perro | the dog was hit by him| Agente, objeto, acción

• Reglas: reglas + diccionarios

• Estadístico: aprendizaje con corpus bilingües

• Híbridos

13/11/2013 XIII Semana de la Ciencia, Universidad

Alfonso X, 2013

TA estadística

• Modelo de traducción: Equivalencia. Alineación de palabras/sintagmas y conteo de alineaciones.

• Modelo de lenguaje: Naturalidad. Secuencia particular de n-gramas/total de n-gramas.

• Traducción final: hipótesis con mayor probabilidad modelo de traducción * modelo de lenguaje

13/11/2013 XIII Semana de la Ciencia, Universidad

Alfonso X, 2013

Gracias

http://www.slideshare.net/rubendelafuente

@rubendelafuente

https://www.facebook.com/Xlation

http://wordbonds.es

http://www.linkedin.com/in/rubendelafuente

13/11/2013 XIII Semana de la Ciencia, Universidad

Alfonso X, 2013