Tec Para Explotación de Inf - Tec Inteligentes y TDIDT

7/18/2019 Tec Para Explotación de Inf - Tec Inteligentes y TDIDT

http://slidepdf.com/reader/full/tec-para-explotacion-de-inf-tec-inteligentes-y-tdidt 1/44

Tecnología para la Explotación de

Información

Tecnologías Inteligentes para

Explotación de Información



Aprendizaje automático

• Encara el desafío de la construcción deprogramas de computación queautomáticamente mejoran con laexperiencia.

• El sistema recibe como entrada losejemplos los conocimientos pre!ios.

"espu#s genera una descripción deconceptos como salida.



Teorema de $itc%ell para construir unsistema de aprendizaje

&'e puede afirmar que un programacomputacional es capaz de aprender apartir de la experiencia E con respecto aun grupo de tareas T seg(n la medidade performance )* si su performance enlas tareas T* medida seg(n )* mejora la

experiencia E+



Ejemplo de un sistema que aprendeajedrez ,$itc%ell-

• Tarea T jugar al ajedrez

• $edida de performance ) porcentaje de

juegos ganados contra distintosoponentes

• Experiencia de entrenamiento E juegos

de ajedrez contra si mismos



Aprendizaje de conceptos

• 'e trata de extraer conceptos de los datos querecibe como entrada. / definimos un conceptocomo una abstracción para un conjunto deobjetos que comparten ciertas propiedades.

• 0as t#cnicas de inferencia para extraerdescripciones de los conceptos son deduccióne inducción ,infiere inf. generalizada de los ej.

conocimientos base-.• 'e pueden representar como árboles o grafos.



1epresentación de conceptos

• 0ógica proposicional ,orden cero-.

• 0ógica de atributos es utilizada en

muc%os programas de aprendizajeautomático como los de la familia T"I"T,árboles inducti!os de arriba %acia abajo-.

• 0ógica de predicados de primer orden.

• 0ógica de segundo orden.



Tipos de aprendizaje automático

• Aprendizaje por memorización• Aprendizaje por instrucción•

Aprendizaje por deducción• Aprendizaje por analogía• Aprendizaje por inducción

• Aprendizaje por ejemplos• Aprendizaje por obser!ación2descubrimiento• 3bser!ación pasi!a

• Experiencia acti!a



T#cnicas para modelar conceptos aprendidos

• Tablas de decisión4atrib5* atrib6* 7 * atrib8* clase9

• :rboles de "ecisión



T#cnicas para modelar conceptosaprendidos ,cont.-

• 1eglas de ;lasificación < Antecedente => ;onsecuente

• 1eglas de asociación < como la anterior pero busca todas las

relaciones existentes entre todos los atributos




• 1eglas de 1elaciones < Ej. Tenemos un bloque

< 'i anc%o > alto entonces acostado

< 'i alto > anc%o entonces parado

• Aprendizaje basado en instancias < 'e guardan las instancias en memoria.

< 'e utiliza el m#todo del ?2!ecino más cercano




• ;lusters < 'e lo representa en forma de diagrama ,ej.

"iagrama de @enn-

< eneralmente le sigue una etapa deconstrucción de un árbol de decisión u otrom#todo para modelizar.



Ejemplos de aplicaciones deaprendizaje automático

• Incremento de la producción en procesosde control químicos

• "ecisiones de análisis de cr#ditos paradeterminar a quienes se lo tienen queotorgar

• "iagnóstico de dispositi!os m#dicos para elmantenimiento pre!enti!o

• ;lasificación automática de objetoscelestes diferenciando estrellas de galaxias



Algoritmos de ;lasificación

• Algoritmos estadísticos

• 1edes 8euronales

• Algoritmos gen#ticos• $#todo del !ecino más cercano

• 1eglas de inducción

• @isualización de los datos• ;lasificadores basados en ejemplos



Aprendizaje automático

Es la automatización del proceso deaprendizaje. 0a minería de datos esconsiderado un caso especial de

aprendizaje automático.



Algoritmos de aprendizaje automático

• I"B ,Induction "ecision Trees-• ;C.D

• A5D

• ;86 ,de ;lar? 8iblett-• "F0earn

• $eta2"endral

• 1A"IGH1G ,incorpora la noción de tiempo-

• FA;38

• '0I ,'uper!ised 0earning In uest- de IF$



I"B ,Induction "ecision Trees-

• Es un sistema de aprendizaje super!isadoque construe árboles de decisión a partirde un conjunto de ejemplos.

• 0os ejemplos son tuplas* donde el dominiode cada atributo de las tuplas está limitadoa un conjunto de !alores.

• ;lasifica todos los ejemplos del conjunto deentrenamiento con un ni!el de clasificaciónalto pero no %ace uso del conocimiento deldominio. Tiene buena performance.



;C.D

• Es una extensión del I"B que permitetrabajar con !alores continuos para losatributos* separando los posibles resultados

en dos ramas. ue desarrollado por uinlan.• enera un árbol de decisión a partir de los

datos mediante particiones realizadas

recursi!amente con una estrategia deprofundidad primero ,dept%2first-. Elalgoritmo considera todas las pruebasposibles se queda con la de maor

ganancia.



A5D• Es un sistema de aprendizaje inducti!o que

genera reglas de decisión donde el antecedentees una fórmula lógica. Jace uso deconocimientos del dominio para generar nue!osatributos que no estaban presentes en los datos

de entrada.• El sistema soluciona problemas de ejemplos

incompletos o inconsistentes mediante un pre o

post procesamiento* reduce las reglasgeneradas.

• Ja sido testeado en diagnóstico de cáncer de

mama la ubicación del tumor primario.



;86

• "esarrollado por ;lar? 8iblett* es unaadaptación del A5D. Elimina los ruidosdurante la ejecución del algoritmo no

mediante un pre o post procesamiento.• ;ombina t#cnicas de pode de I"B de

reglas condicionales usadas pro el A5D.

• ;onstrue reglas probabilísticas* elantecedente de una regla cubre ejemplospositi!os de una clase.



"F0earn

• 'e utilizan conocimientos del dominio paragenerar descripciones para subconjuntospredefinidos de una base de datosrelacional. ;omo característica especial

mencionamos su estrategia de b(squeda deabajo %acia arriba ,bottom up-K el uso deconocimientos del dominio como jerarquíasde !alores de atributos el uso del álgebrarelacional. El conjunto de entrenamiento esuna tabla de datos relacional con n2tuplas.

• Ltiliza dos operadores de generalización

para construir los descriptores.



$eta2"endral

• Ltiliza conocimientos del dominio para generardescripciones para subconjuntos predefinidosde una base de datos relacional. Este sistemausa una estrategia de b(squeda de abajo %acia

arriba ,bottom up-K el uso de conocimientos deldominio como jerarquías de !alores deatributos el uso del álgebra relacional. Elconjunto de entrenamiento es una tabla dedatos relacional con n2tuplas.

• 0a estrategia de b(squeda es consideradaineficiente porque genera muc%as reglas de

decisión que despu#s las elimina.



1A"IGH1G• 'e utiliza para el descubrimiento de relaciones

en bases de datos clínicas. 0a diferenciaimportante con otros sistemas es que incorporala noción de tiempo un dato es un conjunto de

ejemplos que guardan información de unpaciente en diferentes momentos* losconocimientos generados son de naturalezacausal. El proceso de descubrimiento es en dos

etapas 5- genera %ipótesis * 6- utiliza t#cnicasa!anzadas de estadística para !alidarlas.• ;omo des!entaja tiene que no usa información

de dominio para guiar la b(squeda.



FA;38• Es un sistema que utiliza algoritmos de análisis

de datos para descubrir relaciones matemáticas entre datos num#ricos. 0os datos deentrenamiento son num#ricos normalmente

son generados en alg(n experimento pre!io.;ada tupla esta constituida por los !alores delas mediciones durante el experimento.

•0as des!entajas son que no considera lainconsistencia ni el ruido en los datos. Fajaperformance porque al ser todas las !ariablesson importantes entonces explora todas las

soluciones posibles.



'0I ,'uper!ised 0earning In uest-

• ue desarrollado por IF$. Este algoritmo utiliza losárboles de decisión para clasificar grandes cantidadesde datos. Lsa t#cnicas de pre2ordenamiento en laetapa de crecimiento del árbol* e!itando los costos deordenamiento en cada uno de los nodos. $antieneuna lista ordenada independiente de cada uno de los!alores de los atributos continuos una lista separadade cada una de las clases. 'e construe el árbol deforma anc%o2primero ,breadt%2first-. )ara cada uno de

los atributos busca en la lista correspondiente calcula los !alores de entropía para cada uno de losnodos de la frontera simultáneamente. A partir de lainformación obtenida se particionan los nodos de la

frontera se expanden para obtener una nue!a.



0a familia T"I"T

,Top Down Induction Trees)

Es un método inductivo para el

aprendizaje automático a partir de

ejemplos preclasificados. En minería dedatos se utiliza para modelar las

clasificaciones de datos mediante árboles

de decisión.



"ado un conjunto que contiene ejemplos que

pertenecen a distintas clases* lo que se %acees realizar una prueba sobre los diferentesatributos para realizar una partición

considerando al mejor atributo.

)ara encontrar el mejor atributo* que es elque aporta maor ganancia o menor p#rdidade información* se utiliza la teoría de lainformación.



)ara construir un árbol de decisión a partir de un

conjunto T de datos de entrenamiento seanlas clases !"# !$#. . .# !%& e'isten tres

posibilidades(

< T contiene uno o más casos* todos pertenecientes aun (nica clase !j

< T no contiene ning(n caso

< T contiene casos pertenecientes a !arias clases



Esquema subproductos resultantesde aplicar T"I"T

unción I"B



unción I"B,1 conj. de atributos no clasificadores* ; atributo clasificador* '

conj. de entrenamiento- de!uel!e un árbol de decisiónK;omienzo

'i ' está !acío"e!ol!er un (nico nodo con @alor allaK

'i todos los registros de ' tienen el mismo !alor "e!ol!er un (nico nodo con dic%o !alorK

'i 1 está !acío* entoces

"e!ol!er un (nico nodo con dic%o !alor más frecuente del atributo clasificadoren los registros de '

'i 1 no está !acío* entoces" atributo con maor anancia ,"*'- entre los atributos de 1K'ean 4djM j=5*6* ..* m9 los !alores del atributo "K'ean 4'jM j=5*6* ..* m9 los subconjuntos de ' correspondientes a los!alores de dj respecti!amenteK

"e!ol!er un árbol con la raíz nombrada como " con los arcos d5* d6* 7* dmque !an respecti!amente a los árboles

I"B,124"9*;*'5-* I"B,124"9*;*'6-* 7* I"B,124"9*;*'m-*

in



;álculo de la anancia de Información

"ado un conjunto que contiene ejemplos queperteneces a distintas clases* lo que se %ace esrealizar una prueba sobre los diferentes atributospara realizar una partición considerando al mejoratributo.

)ara encontrar el mejor atributo* que es el queaporta maor ganancia o menor p#rdida deinformación* se utiliza la teoría de la información.

'e calcula la Entropía de un subconjunto 'i asíJ,'i- = 2)5i log )5i < )6i log )6i

'iendo )5 un ej. positi!o )6 uno negati!o.



;álculo de la anancia de Información ,cont.-

0a probabilidad de encontrar un ej. tomado al azar de'i positi!o es

)5i = n5i H ,n5i N n6i-

eneralizando la ecuación

J,'*at- = O ),'i- . J,'i-

0a probabilidad de que un ejemplo pertenezca a 'i es

),'i- = M'iM M'M



;álculo de la anancia de Información ,cont.-

0a ganancia de la información puede calcularsecomo la disminución de la entropía* así

I,'*at- = J,'- < J,'*at-

donde J,'- es el !alor de la entropía a priori J,'*at- es el !alor de la entropía del

sist. de subconj. generados porla partición de at



)oda de árboles generados

• 'e %ace por el gran tamaPo que tiene el árbol*sobregeneralización e!aluación de atributospoco importantes.

• Existen dos enfoques para podar los árboles lapre2poda ,preprunning- se detiene el crecimientodel árbol cuando la ganancia de informaciónproducida al di!idir la post2poda ,postprunning-

se podan algunas ramas una !ez que se %aterminado de construir el árbol como por ej. conlos algoritmos I"B ;C.D.



E!aluación en la familia T"I"T

'e busca medir la performance delclasificador con una proporción de error.El clasificador predice la clase de cada

instancia si la predicción es correctaentonces estamos ante un #xitoK si no loes* estamos ante un error. 0a proporción

de error* entonces* es simplemente lacantidad de errores sobre la cantidad totalde instancias clasificadas.



Ejemplo utilizando el I"B

'upongamos quequeremos analizar cuálesdías son con!enientespara jugar al tenis en

canc%a abiertabasándonos en la%umedad* el !iento elestado del tiempo. 0os

datos que se utilizarán sepresentan en la tablasiguiente

Estado Humedad Viento Juego

'oleado Alta 0e!e 8o

'oleado Alta uerte 8o

8ublado Alta 0e!e 'i

0lu!ia Alta 0e!e 'i

0lu!ia 8ormal 0e!e 'i

0lu!ia 8ormal uerte 8o

8ublado 8ormal uerte 'i

'oleado Alta 0e!e 8o

'oleado 8ormal 0e!e 'i

0lu!ia 8ormal 0e!e 'i

'oleado 8ormal uerte 'i

8ublado Alta uerte 'i

8ublado 8ormal 0e!e 'i

0lu!ia Alta uerte 'i



El atributo estadotiene la distribución

de datos

Lluvia Nublado Soleado

Si C C 6

No 5 Q B

Total D C D



)ara calcular la ganancia es necesario calcular laentropía del conjunto

=−−= No NoSiSi

P P P P S H 22 loglog)(

86312.014

4log

14

4

14

10log

14

1022 −=−−=



;alculamos a%ora la entropía que tendríanlos conjuntos resultantes de la di!isión de

datos seg(n este atributo

+−−+−−=

==∑=

)4

4log

4

4

4

0log

4

0(

14

4)

5

4log

5

4

5

1log

5

1(

14

5

)().(),(

2222

2

1

i

i

i S H S P EstadoS H

bits6046.097095.0

14

50

14

47219.0

14

5

)5

2log5

2

5

3log5

3(14

522

=++=

=−−+



A%ora se calcula la ganancia resultante de di!idir alsubconjunto seg(n el atributo Estado

)ara calcular la proporción de ganancia se debemosconocer primero la información de la di!isión que secalcula como

;alculamos la proporción de ganancia

25852.0),()(),( =−= EstadoS H S H EstadoS Ganancia

bits

S

S x

S

S S división I

i

n

i

i

577.114

5log

14

5

14

4log

14

4

14

5log

14

5

log)( _

222

2

1

=

−

−

−=

=

−= ∑=

bitsS división I

S Ganancia gananciade proporción 491042.0

)( _

)( _ _ ==



• )ara el atributo Jumedad

anancia = Q*QRCSRQ6 bits)roporción de ganancia = Q*5CBC bits

• )ara el atributo @ientoanancia = Q*QQDRRS bits

)roporción de ganancia = Q*Q566CDR bits



:rbol de decisión obtenido con el I"B



Transformación de reglas de decisión

1egla Q

'I Estado = 0lu!ia/ @iento = uerte/ Jumedad = Alta

E8T38;E' Uuego Tenis = 'i



1egla 5

'I Estado = 0lu!ia

/ @iento = uerte/ Jumedad = 8ormal

E8T38;E' Uuego Tenis = 8o

1egla 6'I Estado = 0lu!ia

/ @iento = 0e!eE8T38;E' Uuego Tenis = 'i



1egla B'I Estado = 8ubladoE8T38;E' Uuego Tenis = 'i

1egla C'I Estado = 'oleado

/ Jumedad = AltaE8T38;E' Uuego Tenis = 8o

1egla D

'I Estado = 'oleado/ Jumedad = 8ormal

E8T38;E' Uuego Tenis = 'i

Documents

Tec Para Explotación de Inf - Tec Inteligentes y TDIDT