Arbol de decisión ID3 ejemplo fukl

FUNDACIÓN UNIVERSITARIA KONRAD LORENZFACULTAD DE MATEMÁTICAS E INGENIERÍAS

PROGRAMA DE INGENIERÍA DE SISTEMASCURSO DE SISTEMAS BASADOS EN EL CONOCIMIENTO

BOGOTÁ- COLOMBIA

EJEMPLO APRENDIZAJE DE ÁRBOLES DE DECISIÓN

ALGORITMO ID3 DE QUINLANREALIZADO POR : PERVYS RENGIFO RENGIFO

El aprendizaje de árboles de decisión es un método de funciones de valores discretosen el cual la función aprendida es representada por un árbol de decisión. Los árboles aprendidos pueden ser re-representados como conjuntos de reglas si... Entonces... con el fin de mejorar su comprensión y legibilidad.Estos métodos de aprendizaje están entre los más populares algoritmos de inferencia inductiva y ha sido aplicado exitosamente a un amplia variedad de tareas desde el aprendizaje del diagnóstico de casos médicos hasta la evaluación de riesgo de créditode empresas prestamistas.

PATRON AMBIENTE TEMPERATURA HUMEDAD viento1 soleado caliente alta débil2 soleado caliente alta fuerte3 nublado caliente alta débil4 lluvioso moderada alta débil5 lluvioso fría Normal débil6 lluvioso fría Normal fuerte7 nublado fría Normal fuerte8 soleado moderada alta débil9 soleado fría Normal débil

10 lluvioso moderada Normal débil11 soleado moderada Normal fuerte12 nublado moderada alta fuerte13 nublado caliente Normal débil14 lluvioso moderada alta fuerte

Se desea construir un árbol de decisión que permita determinar si se juega o no tenis,a partir del valor de los atributos: Ambiente, Temperatura, Humedad y Viento|

1) DECIDIR CUAL ES EL ATRIBUTO RAIZ, ES DECIR EL ATRIBUTO QUE PROPORCIONA MÁS INFORMACIÓN CON RESPECTO A LAVARIABLE DE DECISIÓN(JUGAR TENIS)

CALCULO DE LA ENTROPÍA DEL SISTEMAPara todos los cálculos, a partir de la tabla anterior podríamos aplicar filtros convenientes, con el fin de obtener los valoresUna forma, más cómoda de obtener la información necesaria es construir una tabla dinámicas, que se puede modificar para ir obteniendo los valores necesarios:Se ilustrará el proceso de construcción de la tabla dinámica en excel 2007Ubique la celda activa en una de las celdas dela tablas que utilizará como fuente de los patrones

Haga clic en la opción insertar del menú prinicpal de excel

Luego saldrá la siguiente pantalla

Como se puede apreciar, excel selecciona automáticamente la tabla, en caso de no ubicar la celda activa en la tabla antes de seleccionar la opciónde tabla dinámica, debe elegir manualmente la tabla correspondiente, haciendo clic donde se indica en la figura anteriorAl darle clic en aceptar se crea una nueva hoja de cálculo, que se ve, como se muestra a continuación

celda activa

Haga clic aquí para seleccionar un conjunto de datos diferentes

Campo de los datos de origen que se asigna a una orientación de página (o filtro) en un informe de tabla dinámica. Por ejemplo, Ambiente puede considerarse como un campo de filtro, si se quiere mostrar los datos resumidos para ambiente=soleado, ambiente=lluvioso. o ambiente =nublado

Campo de datos Campo de los datos de origen que contiene los valores que se van a resumir. Por ejemplo, en este caso el número de "n" y de "s" en la variable de respuesta,"jugar tenis" un campo de datos. Para los tipos de datos de origen, se puede elegir cómo se van a resumir los datos (por ejemplo, por suma, promedio o recuento). Un campo de datos suele resumir números pero también puede resumir texto. Por ejemplo, puede contar el número de veces que aparece una entrada de texto específica (por ejemplo, Sí o No) en un campo.

Ahora podemos arrastrar los atributos, de acuerdo a nuestras necesidades, ya sea directamente a la tabla dinámicao podemos arrastrarlos a la lista de campos de la tabla dinámica, que aparece en el cuadro señalado con el rectángulo rojoSi usted selecciona uno o varios de estos campos excel asumirá automáticamente que son campos de fila

Para diseñar la tabla, lo que necesitamos saber inicialmente es cuantos patrones tiene "jugar tenis"=s y cuántos tienen "jugar tenis"=nentonces, una opción podría ser colocar como campo fila a "jugar tenis", y como campo de datos: "cuenta jugar tenis"Para hacer esto, se arrastra el campo "jugar tenis", desde la lista de campos, hasta el campo de filas de la tabla dinámica

Luego arrastre "jugar tenis" al campo de datos

Con lo cual, la tabla dinámica se verá de la siguiente forma:

Campo de fila Campo de los datos de origen que se asigna a una orientación de fila en un informe de tabla dinámica. Por ejemplo. Como necesitamos saber cuantos "jugar tenis" = n o s, para cada atributo, entonces, juagar tenis podría considerarse como un campo fila

Campo de columna Campo de los datos de origen que se asigna a una orientación de columna en un informe de tabla dinámica., para que se detalle cada campo de fila, de acuerdo con esos campos de columna, teniendo como base el campo de datos. Por ejemplo, si en el campo de fila se tiene jugar tenis(con dos valores) en el campo de datos se tiene cuenta Jugar tenis(cuenta del número de cada valos "s" y "n"), y como campo columna "ambiente",(3 valores) entonces , el campo de datos tendrá básicamente 2(valores en jugar tenis)x 3(valroes en ambiente), el encabezado de las columnas serán los valores de "ambiente", y las etiquetas de las filas serán los valores de "jugar tenis". En la celda s-soleado, se mostrará, el número de patrones que tiene ambiente=soleado y corresponden a "jugar tenis"=n

Lista de campos de la tabla dinámica

Lo cual indica que hay 5 patrones con "jugar tenis=n" y 9 patrones con "jugar tenis=s"

La entropía es el número promedio de bits requeridos para codificar la variable de decisión del sistemaes también una medida de la heterogeneidad de los datos

n(S)=14 n(s)=Número de patrones con variables de decisión=Sín(s)=9 n(n)=Número de patrones con variables de decisión=Non(n)=5 n(S)=Número de patrones de en sistema

CALCULO DE LA GANANCIA DE INFORMACIÓN PARA CADA ATRIBUTO

ATRIBUTO AMBIENTE

Entropía esperada del sistema, luego de conocer el valor del atributo AMBIENTE

Entropía Ambiente=soleado

PATRONES CON AMBIENTE=SOLEADO

PATRON AMBIENTE TEMPERATURA HUMEDAD

1 soleado caliente alta

2 soleado caliente alta8 soleado moderada alta9 soleado fría Normal

11 soleado moderada Normal

La tabla anterior fue obtenida mediante un filtro a la tabla original, pero podría obtenerse mediante la tabla dinámica, adicionandocomo filtro, el atributo ambiente

Con lo cual se obtendrá, una apariencia así:

Entropia (S )=−n (s )n(S )

log2( n (s )n (S ))− n (n )

n (S )log2( n (n )

n( S ))Entropia (S )=−

914

log2( 914 )− 5

14log2 ( 5

14 )=0 . 940

Ahora haga clic en la lista desplegable de Ambiente y se selecciona soleado

Luego de hacer esto, la aparciencia de la pantalla será la siguiente:

n(So)=5 n(So)=Número de patrones con Ambiente=soleadon(s/So)=2 n(s/So)=Número de con Ambiente= soleado y variable de decisión= Sín(n/So)=3 n(n/So)=Número de con Ambiente= soleado y variable de decisión= No

Entropía Ambiente= nublado

PATRONES CON AMBIENTE=NUBLADOPATRON AMBIENTE TEMPERATURA HUMEDAD

3 nublado caliente alta7 nublado fría Normal

12 nublado moderada alta13 nublado caliente Normal

Si en la tabla dinámica se seleccióna Ambiente-nublado, obtiene lo siguiente

AMBIENTE nublado

Cuenta de Jugar tenisJugar tenis Totals 4

Entropia (Soleado )=−25

log2( 25 )−3

5log2( 3

5 )=0 . 970950594

Entropia (Soleado )=−n( s/ So)n( So)

log2 (n (s /So )n (So ) )−n( n/So )

n( So)log2( n(n /So )

n(So ) )

Total general 4

Esto indica, que si se sabe que el AMBIENTE=nublado, entonces, jugar tenis=s, y no se requiere información adicionaln(Nu)=4 n(Nu)=Número de patrones con Ambiente=nubladon(s/Nu)=4 n(s/Nu)=Número de con Ambiente= nublado y variable de decisión= Sín(n/Nu)=0 n(n/Nu)=Número de con Ambiente= nublado y variable de decisión= No

Este valor de entropía confirma esto

Entropía Ambiente= lluvioso

PATRONES CON AMBIENTE=LLUVIOSOPATRON AMBIENTE TEMPERATURA HUMEDAD

4 lluvioso moderada alta5 lluvioso fría Normal6 lluvioso fría Normal

10 lluvioso moderada Normal14 lluvioso moderada alta

Si en la tabla dinámica se seleccióna Ambiente-lluvioso, obtiene lo siguienteAMBIENTE lluvioso

Cuenta de Jugar tenisJugar tenis Totals 3n 2Total general 5

n(Llu)=5 n(Llu)=Número de patrones con Ambiente=Lluvioson(s/Llu)=3 n(s/Llu)=Número de con Ambiente= Lluvioso y variable de decisión= Sín(n/Llu)=2 n(n/Llu)=Número de con Ambiente= Lluvioso y variable de decisión= No

CALCULO DE LA ENTROPÍA DEL SISTEMA DADO QUE SE CONOCE EL AMBIENTEEntropia(S/Ambiente) Entropia esperada

Entropia (Nublado )=−44

log2( 44 )−0

4log2 ( 0

4 )=0

Entropia (Lluvioso )=−35

log2( 35 )−2

5log2( 2

5 )=0. 970950594

Entropia (Nublado )=−n(s/Nu )n( Nu)

log2( n(s/Nu )n(Nu ) )−n( n/Nu )

n (Nu)log2( n(n/Nu )

n( Nu) )

Entropia (Lluvioso)=−n(s/Llu )n(Llu )

log2( n(s/Llu )n (Llu ) )−n(n/Llu )

n(Llu )log2( n( n/Llu )

n(Llu ) )

Entropia (S/ Ambiente )=n(So )n( S )

Entropia (soleado )+n( Nu)n( S )

Entropia (nublado)+n(Llu )n(S )

Entropia ( lluvioso )

Entropia (S, Ambiente )=5

140.970950594+

414

0+5

140 .970950594=0 .693536139

GANANCIA DE INFORMACIÓN EN EL SISTEMA AL CONOCER EL AMBIENTE

G(S, Ambiente)

ATRIBUTO HUMEDAD

Entropía esperada luego de conocer el valor del atributo HUMEDAD

Entropía Humedad= Alta

PATRONES CON HUMEDAD=ALTAPATRON AMBIENTE TEMPERATURA HUMEDAD

1 soleado caliente alta2 soleado caliente alta3 nublado caliente alta4 lluvioso moderada alta8 soleado moderada alta

12 nublado moderada alta14 lluvioso moderada alta

En la tabla dinámica se puede arrastar el atibuto HUMEDAD, desde la lista de campos de la tabla(a la derecha de la pantalla)hasta los campos de filtro de la tabla(debajo de ambiente) Como se necesita conocer el comportamientode los patrones para cada valor de humedad sin restricciones adicionales, entonces se fija AMBIENTE a Todas y a HUMEDAD= altapara obtener los patrones correspondientes a este tipo de humedad. La tabla se verá así

AMBIENTE (Todas)HUMEDAD alta


n(Al)=7 n(Al)=Número de patrones con Humedad=Altan(s/Al)=3 n(s/Al)=Número de con Humedad= Alta y variable de decisión= Sín(n/Al)=4 n(n/Al)=Número de con Humedad= Alta y variable de decisión= No

Entropía Humedad=Normal

Ganancia (S, Ambiente )=Entropia ( S )−Entropía (S / Ambiente )

Ganancia (S, Ambiente )=0. 940285959−0 .693536139=0. 24674982

Entropia (alta )=−37

log2( 37 )−4

7log2 ( 4

7 )=0 . 985228136


140.970950594+

414

0+5

140 .970950594=0 .693536139

Entropia (alta )=−n( s/ Al )n( Al )

log2( n( s/ Al )n( Al ) )−n (n/Al )n( Al )

log2 ( n(n/ Al )n (Al ) )

PATRONES CON HUMEDAD=NORMALPATRON AMBIENTE TEMPERATURA HUMEDAD

5 lluvioso fría Normal6 lluvioso fría Normal7 nublado fría Normal9 soleado fría Normal

10 lluvioso moderada Normal11 soleado moderada Normal13 nublado caliente Normal

Se fija Humedad=NormalAMBIENTE (Todas)HUMEDAD Normal


n(No)=7 n(No)=Número de patrones con Humedad=Normaln(s/No)=1 n(s/No)=Número de con Humedad=Normal y variable de decisión= Sín(n/No)=6 n(n/No)=Número de con Humedad= Normal y variable de decisión= No

CALCULO DE LA ENTROPÍA DEL SISTEMA DADO QUE SE CONOCE LA HUMEDADEntropia(S,Humedad) Entropia esperada

GANANCIA DE INFORMACIÓN EN EL SISTEMA AL CONOCER LA HUMEDAD

G(S, Humedad)

ATRIBUTO VIENTO

Entropia (nomal )=−67

log2 (67 )−1

7log2( 1

7 )=0 . 591672779

Ganancia (S, Humedad )=Entropia (S )−Entropía ( S /Humedad )

Ganancia(S, Humedad )=0 .940285959−0.788450457=0 .151835501

Entropia (normal )=−n (s /No )n (No )

log2 ( n(s /No)n(No) )−n( n/No)n(No)

log 2( n(n /No )n(No) )

Entropia (S, Humedad )=7

140 .985228136+

714

0 .591672779=0 .788450457

Entropia (S, Humedad )=n( Al )n( S )

Entropia (alta )+n( No)n(S )

Entropia ( normal )

Entropía esperada luego de conocer el valor del atributo viento

Entropía Viento=Fuerte

PATRONES CON VIENTO=FUERTEPATRON AMBIENTE TEMPERATURA HUMEDAD

2 soleado caliente alta6 lluvioso fría Normal7 nublado fría Normal

11 soleado moderada Normal12 nublado moderada alta14 lluvioso moderada alta

En la tabla dinámica se puede arrastar el atibuto VIENTO, desde la lista de campos de la tabla(a la derecha de la pantalla)hasta los campos de filtro de la tabla(debajo de AMBIENTE Y HUMEDAD) Como se necesita conocer el comportamientode los patrones para cada valor de humedad sin restricciones adicionales, entonces se fija AMBIENTE a Todas , HUMEDAD a Todas, y VIENTO=fuerte, para obtener los patrones correspondientes a este tipo de viento. La tabla se verá así

AMBIENTE (Todas)HUMEDAD (Todas)viento fuerte

Cuenta de Jugar tenisJugar tenis Totaln 3s 3Total general 6

n(Fu)=6 n(Fu)=Número de patrones con Viento=Fuerten(s/Fu)=3 n(s/Fu)=Número de con Viento=Fuerte y variable de decisión= Sín(n/Fu)=3 n(n/Fu)=Número de con Viento=Débil y variable de decisión= No

Entropía Viento=Débil

PATRONES CON VIENTO=DEBILPATRON AMBIENTE TEMPERATURA HUMEDAD

1 soleado caliente alta3 nublado caliente alta4 lluvioso moderada alta5 lluvioso fría Normal8 soleado moderada alta9 soleado fría Normal

10 lluvioso moderada Normal13 nublado caliente Normal

Entropia ( fuerte )=−36

log2( 36 )−3

6log2( 3

6 )=1. 0

Entropia ( fuerte )=−n(s /Fu)n(Fu)

log2( n( s /Fu )n(Fu ) )−n(n /Fu )

n(Fu)log2( n(n /Fu )

n(Fu) )

Se fija Viento= débil, en a tabla dinámicaAMBIENTE (Todas)HUMEDAD (Todas)viento fuerte


n(De)=8 n(De)=Número de patrones con Viento=Débiln(s/De)=6 n(s/De)=Número de con Viento=Débil y variable de decisión= Sín(n/De)=2 n(n/De)=Número de con Viento=Débil y variable de decisión= No

0.811278124

CALCULO DE LA ENTROPÍA DEL SISTEMA DADO QUE SE CONOCE EL ATRIBUTO VIENTO

GANANCIA DE INFORMACIÓN AL CONOCER EL VIENTO

ATRIBUTO TEMPERATURAEntropía esperada luego de conocer el valor del atributo TEMPERATURA

Entropía Temperatura=Caliente

PATRONES CON TEMPERATURA=CALIENTEPATRON AMBIENTE TEMPERATURA HUMEDAD

1 soleado caliente alta

Entropia (débil )=−n (s /De )n(De )

log2( n( s/De)n(De) )−n(n/De )n (De )

log2 ( n(n/De)n(De ) )Entropia (débil )=−

68

log2 (68 )−2

8log2 (2

8 )=0 .811278124

Ganancia (S, Viento )=Entropia( S )−Entropía ( S/Viento )

Ganancia(S, Viento ) 0.940285959 0.892158928 0.048127031

Entropia (S/Viento )=n( Fu )n(S )

Entropia (fuerte )+n(De )n( S )

Entropia (debil )

6 8Entropia (S/Viento ) 1.0 0.811278124 0.892158928

14 14

2 soleado caliente alta3 nublado caliente alta

13 nublado caliente Normal

En la tabla dinámica se puede arrastar el atibuto TEMPERATURA, desde la lista de campos de la tabla(a la derecha de la pantalla)hasta los campos de filtro de la tabla(debajo de AMBIENTE,HUMEDAD Y VIENTO) Como se necesita conocer el comportamientode los patrones para cada valor de humedad sin restricciones adicionales, entonces se fija AMBIENTE a Todas , HUMEDAD a Todas, VIENTO=Todas y TEMPERATURA = caliente, para obtener los patrones correspondientes a este tipo de temperatura. La tabla se verá así

AMBIENTE (Todas)HUMEDAD (Todas)viento (Todas)TEMPERATURA caliente


n(Ca)=4 n(Ca)=Número de patrones con Temperatura=calienten(s/Ca)=2 n(s/Ca)=Número de con Temperatura=caliente y variable de decisión= Sín(n/Ca)=2 n(n/Ca)=Número de con Temperratura=caliente y variable de decisión= No

Entropía Temperatura=Fría

PATRONES CON TEMPERATURA=FRIAPATRON AMBIENTE TEMPERATURA HUMEDAD

5 lluvioso fría Normal6 lluvioso fría Normal7 nublado fría Normal9 soleado fría Normal

Se fija TEMPERATURA=fría, en la tabla dinámicaAMBIENTE (Todas)HUMEDAD (Todas)viento (Todas)TEMPERATURA fría


Entropia (caliente )=−n( s/Ca)n(Ca)

log2( n( s/Ca)n(Ca) )−n(n/Ca)n (Ca )

log2( n (n/Ca)n(Ca) )

Entropia (caliente )=−24

log2 ( 24 )−2

4log2( 2

4 )=1 . 0

n(Fr)=4 n(Fr)=Número de patrones con Temperatura=Frían(s/Fr)=3 n(s/Fr)=Número de con Temperatura=Fría y variable de decisión= Sín(n/Fr)=1 n(n/Fr)=Número de con Temperratura=Fría y variable de decisión= No

Entropía Temperatura=Moderada

PATRONES CON TEMPERATURA=MODERADAPATRON AMBIENTE TEMPERATURA HUMEDAD

4 lluvioso moderada alta8 soleado moderada alta

10 lluvioso moderada Normal11 soleado moderada Normal12 nublado moderada alta14 lluvioso moderada alta

Se fija TEMPERATURA=Moderada, en la tabla dinámicaAMBIENTE (Todas)HUMEDAD (Todas)viento (Todas)TEMPERATURA moderada


n(Mo)=6 n(Mo)=Número de patrones con Temperatura=Moderadan(s/Mo)=4 n(s/Mo)=Número de con Temperatura=Moderada y variable de decisión= Sín(n/Mo)=2 n(n/Mo)=Número de con Temperratura=Moderada y variable de decisión= No

CALCULO DE LA ENTROPÍA DEL SISTEMA DADO QUE SE CONOCE EL ATRIBUTO TEMPERATURA

Entropia(S,Temperatura) Entropia esperada

Entropia ( fria )=−n (s /Fr )n (Fr )

log2( n(s /Fr )n(Fr ) )−n( n/Fr )n(Fr )

log2( n(n /Fr )n(Fr ) )

Entropia (mod erada )=−n (s /Mo )n (Mo )

log2 ( n(s /Mo )n(Mo ) )−n(n /Mo )

n(Mo )log2 ( n(n/Mo )

n (Mo ) )

Entropia (S, Temperatura )=4

141 .0+

414

0 .81127812+6

140. 91829583=0 .91106339

Entropia ( fria )=−34

log2( 34 )−1

4log2 ( 1

4 )=0 . 81127812

Entropia (mod erada )=−46

log2( 46 )−2

6log2 ( 2

6 )=0 . 91829583

Entropia (S/Temperatura )=n(Ca )n( S )

Entropia (caliente)+n(Fr )n( S )

Entropia ( fría )+n(Mo )n (S )

Entropia ( moderada )

GANANCIA DE INFORMACIÓN AL CONOCER LA TEMPERATURA

G(S, Temperatura)

RESUMEN DE RESULTADOS SOBRE LA GANANCIA DEL SISTEMA CON RESPECTO A CADA UNO DE LOS ATRIBUTOS

ATRIBUTO GANANCIAAMBIENTE 0.246 ATRIBUTO GANADORHUMEDAD 0.151

VIENTO 0.048TEMPERATURA 0.029

Lo anterior indica que el atributo que más información proporciona para tomar la decisión de jugar o no tenis es el AMBIENTE

Ahora se debe decidir para cada uno de los valores del atributo AMBIENTE, qué atributo es el que proporciona mayor información

RAMA SOLEADOAMBIENTE =SOLEADOConociendo que el ambiente es soleado. Cuál es el atributo que proporciona mayor información?En este caso el sistema se restringe a todos los patrones con AMBIENTE=SOLEADOPor lo tanto la entropia del sistema restringido es igual a la entropía de soleadoEntropía(Sistema/Soleado)=Entropía(soleado)= 0.970950594

PATRONES CON AMBIENTE=SOLEADOPATRON AMBIENTE TEMPERATURA HUMEDAD viento

1 soleado caliente alta débil2 soleado caliente alta fuerte8 soleado moderada alta débil9 soleado fría Normal débil

11 soleado moderada Normal fuerte

AMBIENTE

3 patrones con respuesta n2 patrones con respuesta s

4 patrones con respuesta s

2 patrones con respuesta n3 patrrones con respuesta s

Soleado Nublado

Lluvioso


141 .0+

414

0 .81127812+6

140. 91829583=0 .91106339

Ganancia (S, Temperatura )=Entropia (S )−Entropía (S /Temperatura)

Ganancia (S, Temperatura )=0 .940285959−0 . 91106339=0 .02922257

Se evalúa la ganancia de información para cada uno de los otros atributos: TEMPERATURA, HUMEDAD, VIENTO

ATRIBUTO TEMPERATURA

Entropia(Caliente/Ambiente=soleado)

PATRONES CON AMBIENTE=SOLEADO Y TEMPERATURA = CALIENTEPATRON AMBIENTE TEMPERATURA HUMEDAD viento

1 soleado caliente alta débil2 soleado caliente alta fuerte

En este caso se debe fijar AMBIENTE=soleado y TEMPERATURA=caliente

AMBIENTE soleadoHUMEDAD (Todas)viento (Todas)TEMPERATURA caliente

Cuenta de Jugar tenisJugar tenis Totaln 2Total general 2

n(So y Ca)=2 n(So y Ca)=Número de patrones con Ambiente=soleado y Temperatura=calienten(s/So y Ca)=0 n(s/So y Ca)=Número de patrones con Ambiente=soleado y Temperatura=caliente con variable de decisión = Sín(n/So y Ca)=2 n(n/So y Ca)=Número de patrones con Ambiente=soleado y Temperatura=caliente con variable de decisión = No

Entropia(Fría/Ambiente=soleado)

PATRONES CON AMBIENTE=SOLEADO Y TEMPERATURA = FRIAPATRON AMBIENTE TEMPERATURA HUMEDAD viento

9 soleado fría Normal débil

Se fija TEMPERATURA=fríaAMBIENTE soleadoHUMEDAD (Todas)viento (Todas)TEMPERATURA fría

Cuenta de Jugar tenisJugar tenis Totals 1Total general 1

Entropia (caliente / soleado)=−n (s /So y Ca)n (So y Ca)

log2( n( s/ So y Ca)n( So y Ca) )−n( n/So y Ca)

n( So y Ca )log2( n (n/So y Ca )

n( So y Ca) )Entropia (caliente / soleado)=−

02

log2 ( 02 )−2

2log2( 2

2 )=0

n(So y Fr)=1 n(So y Fr)=Número de patrones con Ambiente=soleado y Temperatura=Frían(s/So y Fr)=1 n(s/So y Fr)=Número de patrones con Ambiente=soleado y Temperatura=Fría con variable de decisión = Sín(n/So y Fr)=0 n(n/So y Fr)=Número de patrones con Ambiente=soleado y Temperatura=Fría con variable de decisión = No

Entropia(Moderada/Ambiente=soleado)

PATRONES CON AMBIENTE=SOLEADO Y TEMPERATURA = MODERADAPATRON AMBIENTE TEMPERATURA HUMEDAD viento

8 soleado moderada alta débil11 soleado moderada Normal fuerte

Se fija TEMPERATURA=moderadaAMBIENTE soleadoHUMEDAD (Todas)viento (Todas)TEMPERATURA moderada


n(So y Mo)=2 n(So y Mo)=Número de patrones con Ambiente=soleado y Temperatura=Moderadan(s/So y Mo)=1 n(s/So y Mo)=Número de patrones con Ambiente=soleado y Temperatura=Moderada con variable de decisión = Sín(n/So y Mo)=1 n(n/So y Mo)=Número de patrones con Ambiente=soleado y Temperatura=Moderada con variable de decisión = No

-1CALCULO DE LA ENTROPÍA DE SOLEADO DADO QUE SE CONOCE EL ATRIBUTO TEMPERATURA

GANANCIA DE INFORMACIÓN EN SOLEADO AL CONOCER LA TEMPERATURA

Entropia (Fría /soleado)=−n(s /So y Fr )n(So y Fr )

log2( n (s /So y Fr )n (So y Fr ) )−n (n/So y Fr )

n( So y Fr )log2 ( n(n/ So y Fr )

n( So y Fr ) )Entropia (Fría /soleado)=−

11

log2 (11 )−0

1log2 ( 0

1 )=0

Entropia (Moderada/soleado)=−n(s /So y Mo )n(So y Mo )

log2 ( n(s /So y Mo )n(So y Mo ) )−n(n/ So y Mo )

n( So y Mo )log2 ( n(n/ So y Mo )

n (So y Mo ) )Entropia (Moderada/soleado)=−

12

log2 ( 12 )−1

2log2 ( 1

2 )=1 . 0

Ganancia (Soleado, Temperatura )=Entropia( Soleado)−Entropía( Soleado /Temperatura)

Entropia (Soleado/Temperatura )=n(Ca )n(So )

Entropia (caliente/soleado)+n(Fr )n(So)

Entropia (fría/soleado)+n(Mo )n(So)

Entropia ( moderada/soleado)

Entropia (Soleado/Temperatura )=25

0+15

0+25

1 .0=0 .4

ATRIBUTO HUMEDAD

Entropia(alta/Ambiente=soleado)

PATRONES CON AMBIENTE=SOLEADO Y HUMEDAD=ALTAPATRON AMBIENTE TEMPERATURA HUMEDAD viento

1 soleado caliente alta débil2 soleado caliente alta fuerte8 soleado moderada alta débil

En este caso se debe fijar AMBIENTE=soleado y HUMEDAD=alta

AMBIENTE soleadoHUMEDAD altaviento (Todas)TEMPERATURA (Todas)


n(So y Al)=3 n(So y Al)=Número de patrones con Ambiente=soleado y Humedad=Altan(s/So y Al)=0 n(s/So y Al)=Número de patrones con Ambiente=soleado y Humedad=Alta con variable de decisión = Sín(n/So y Al)=3 n(n/So y Al)=Número de patrones con Ambiente=soleado y Humedad=Alta con variable de decisión = No

Entropia(Normal/Ambiente=soleado)

PATRONES CON AMBIENTE=SOLEADO Y HUMEDAD=NORMALPATRON AMBIENTE TEMPERATURA HUMEDAD viento

9 soleado fría Normal débil11 soleado moderada Normal fuerte

En este caso se debe fijar AMBIENTE=soleado y HUMEDAD=Normal

AMBIENTE soleadoHUMEDAD Normalviento (Todas)TEMPERATURA (Todas)

Entropia (alta/ soleado)=−n (s /So y Al )n (So y Al )

log2( n( s/ So y Al )n( So y Al ) )−n(n /So y Al )

n (So y Al )log2 ( n(n/ So y Al )

n (So y Al ) )Entropia (alta/ soleado)=−

03

log2 ( 03 )−3

3log2( 3

3 )=0


Ganancia (Soleado, Humedad )=0.970950594−0. 4=0 .570950594


n(So y No)=2 n(So y No)=Número de patrones con Ambiente=soleado y Humedad=Normaln(s/So y No)=2 n(s/So y No)=Número de patrones con Ambiente=soleado y Humedad=Normal con variable de decisión = Sín(n/So y No)=0 n(n/So y No)=Número de patrones con Ambiente=soleado y Humedad=Normal con variable de decisión = No

CALCULO DE LA ENTROPÍA DE SOLEADO DADO QUE SE CONOCE EL ATRIBUTO HUMEDAD

SI SE SABE QUE EL AMBIENTE ES SOLEADO, EL ATRIBUTO HUMEDAD ELIMINA TODA LA INCERTIDUMBRECON RESPECTO A LA VARIABLE DE DECISIÓN(JUGAR TENIS)

GANANCIA DE INFORMACIÓN EN SOLEADO AL CONOCER LA HUMEDAD

ATRIBUTO VIENTO

Entropia(fuerte/Ambiente=soleado)

PATRONES CON AMBIENTE=SOLEADO Y VIENTO=FUERTEPATRON AMBIENTE TEMPERATURA HUMEDAD viento

2 soleado caliente alta fuerte11 soleado moderada Normal fuerte

En este caso se debe fijar AMBIENTE=soleado y VIENTO=Fuerte

AMBIENTE soleadoHUMEDAD (Todas)viento fuerteTEMPERATURA (Todas)

Cuenta de Jugar tenisJugar tenis Totals 1

Entropia(Normal/soleado )=−n( s/ So y No)n( So y No)

log2( n( s/ So y No )n( So y No ) )−n(n /So y No)

n(So y No)log2( n(n /So y No)

n( So y No ) )Entropia (Normal/soleado )=−

22

log2( 22 )−0

2log2 (0

2 )=0

Entropia (Soleado/Humedad )=n(Al )n(So)

Entropia (alta/soleado)+n (No)n(So )

Entropia (normal/soleado)

Ganancia (Soleado, Humedad )=Entropia ( Soleado)−Entropía ( Soleado /Humedad )

Ganancia(Soleado, Humedad )=0.970950594−0=0 .970950594

Entropia (Soleado/Humedad )=35

0+25

0=0

n 1Total general 2

n(So y Fu)=2 n(So y Fu)=Número de patrones con Ambiente=soleado y Viento=Fuerten(s/So y Fu)=1 n(s/So y Fu)=Número de patrones con Ambiente=soleado y Viento=Fuerte con variable de decisión = Sín(n/So y Fu)=1 n(n/So y Fu)=Número de patrones con Ambiente=soleado y Viento=Fuerte con variable de decisión = No

Entropia(débil/Ambiente=soleado)

PATRONES CON AMBIENTE=SOLEADO Y VIENTO=DEBILPATRON AMBIENTE TEMPERATURA HUMEDAD viento

1 soleado caliente alta débil8 soleado moderada alta débil9 soleado fría Normal débil

En este caso se debe fijar AMBIENTE=soleado y VIENTO=débil

AMBIENTE soleadoHUMEDAD (Todas)viento débilTEMPERATURA (Todas)


n(So y De)=3 n(So y De)=Número de patrones con Ambiente=soleado y Viento=Débiln(s/So y De)=1 n(s/So y De)=Número de patrones con Ambiente=soleado y Viento=Débil con variable de decisión = Sín(n/So y De)=2 n(n/So y De)=Número de patrones con Ambiente=soleado y Viento=Débil con variable de decisión = No

Entropia ( fuerte / soleado)=−12

log2( 12 )−1

2log2( 1

2 )=1.0

Entropia (débil /soleado)=−n(s /So y De )n(So y De )

log2( n( s/ So y De )n( So y De ) )−n(n /So y De )

n( So y De )log2( n(n/ So y De )

n( So y De) )Entropia (débil /soleado)=−

13

log2( 13 )−2

3log2( 2

3 )=0 . 91829583

Entropia( fuerte /soleado )=−n( s /So y Fu)n( So y Fu)

log2( n( s /So y Fu)n( So y Fu) )−n(n/ So y Fu )

n( So y Fu)log2( n(n /So y Fu)

n(So y Fu ) )

CALCULO DE LA ENTROPÍA DE SOLEADO DADO QUE SE CONOCE EL ATRIBUTO VIENTO

GANANCIA DE INFORMACIÓN EN SOLEADO AL CONOCER LA HUMEDAD

RESUMEN DE RESULTADOS DE LA GANANCIA DE INFORMACIÓN EN SOLEADO CON RESPECTO A CADA UNO DE LOS ATRIBUTOS DISPONIBLES

ATRIBUTO GANANCIATEMPERATURA 0.5709506

HUMEDAD 0.9709506 ATRIBUTO GANADORVIENTO 0.0199731

ES DECIR QUE UNA VEZ SE SEPA QUE EL AMBIENTE ES SOLEADO, EL ATRIBUTO QUE MÁS INFORMACIÓN PROPORCIONA ESLA HUMEDADCOMO EL ATRIBUTO GANADOR FUE LA HUMEDAD Y LA ENTROPÍA(SOLEADO/HUMEDAD)=0, ENTONCES QUIEREDECIR QUE LA INCERTIDUMBRE SE HA ELIMINADO Y EL ARBOL NO PROSIGUE POR ESTA RAMACOMO SE PUEDE OBSERVAR EN LA TABLA SIGUIENTE, TODOS LOS PATRONES CON AMBIENTE=SOLEADO Y HUMEDAD ALTA,CORRESPONDE A "NO JUGAR TENIS" Y TODOS LOS PATRONES CON AMBIENTE=SOLEADO Y HUMEDAD=NORMAL, CORRESPONDEN A SI JUGAR TENIS", ES DECIR UNA VEZ CONOCIDO QUE EL AMBIENTE ES SOLEADO, EL CONOCIMIENTO DEL ATRIBUTOHUMEDAD PERMITE DECIDIR SI SE JUEGA O NO TENIS

PATRONES CON AMBIENTE=SOLEADOPATRON AMBIENTE TEMPERATURA HUMEDAD

1 soleado caliente alta2 soleado caliente alta8 soleado moderada alta9 soleado fría Normal

11 soleado moderada Normal

CON ESTAS PRECISIONES EL ÁRBOL QUEDARÍA PARCIALMENTE COMO SIGUE

AMBIENTE

HUMEDAD

Soleado Nublado Lluvioso


Entropia (Soleado/Viento )=n(Fu )n(So )

Entropia (fuerte/soleado)+n(De)n(So)

Entropia (débil/soleado )

Entropia (Soleado/Viento )=25

1 .0+35

0 . 91829583=0 . 9509775

Ganancia (Soleado, Viento )=Entropia (Soleado )−Entropía (Soleado /Viento )

Ganancia(Soleado, Temperatura )=0 .970950594−0 .9509775=0 .01997309

RAMA NUBLADO

En este caso el sistema se restringe a todos los patrones con AMBIENTE=NUBLADOPor lo tanto la entropia del sistema restringido es igual a la entropía de soleadoEntropía(Sistema/Nublado)=Entropía(Nublado)= 0COMO LA ENTROPÍA=0, ENTONCES ESTA RAMA NO PROSIGUEESTO INDICA QUE UNA VEZ SE SEPA QUE EL ATRIBUTO AMBIENTE ES NUBLADO, YA SE PUEDE DECIDIR SI SE JUEGA TENIS O NOESTO SE PUEDE EVIDENCIAR EN LA SIGUIENTE TABLA

PATRONES CON AMBIENTE=NUBLADOPATRON AMBIENTE TEMPERATURA HUMEDAD

3 nublado caliente alta7 nublado fría Normal

12 nublado moderada alta13 nublado caliente Normal

COMO SE PUEDE APRECIAR, TODOS LOS PATRONES CON AMBIENTE=NUBLADO, CORRESPONDEN A JUGAR TENISESTO QUIERE DECIR QUE UNA VEZ SE SEPA QUE EL AMBIENTE=NUBLADO, SE SABRÁ QUE JUGAR TENIS=SI. Y NO HABRÁ INCERTIDUMBRE

CON ESTAS PRECISIONES EL ÁRBOL QUEDA PARCIALMENTE SE LA SIGUIENTE FORMA

RAMA LLUVIOSO

En este caso el sistema se restringe a todos los patrones con AMBIENTE=LLUVIOSOPor lo tanto la entropia del sistema restringido es igual a la entropía de lluviosoEntropía(Sistema/Lluvioso)=Entropía(Lluvioso)= 0.970950594

No Si

Alta Normal

AMBIENTE

HUMEDAD

Soleado Nublado

No Si

Alta Normal

Si

PATRONES CON AMBIENTE=LLUVIOSOPATRON AMBIENTE TEMPERATURA HUMEDAD

4 lluvioso moderada alta5 lluvioso fría Normal6 lluvioso fría Normal


ATRIBUTO TEMPERATURA

Entropia(Caliente/Ambiente=Lluvioso)

En este caso se debe fijar AMBIENTE=lluvioso y TEMPERATURA=Caliente

AMBIENTE lluviosoHUMEDAD (Todas)viento (Todas)TEMPERATURA caliente

Cuenta de Jugar tenisJugar tenis TotalTotal general

Como no hay patrones con Ambiente =Lluvioso y Temperatura=Calienteentonces no se toma en cuenta

Entropia(Fría/Ambiente=lluvioso)

PATRONES CON AMBIENTE=LLUVIOSO Y TEMPERATURA=FRÍAPATRON AMBIENTE TEMPERATURA HUMEDAD

5 lluvioso fría Normal6 lluvioso fría Normal

En este caso se debe fijar AMBIENTE=lluvioso y TEMPERATURA=fría

AMBIENTE lluviosoHUMEDAD (Todas)viento (Todas)TEMPERATURA fría


n(LLu y Fr)=2 n(LLu y Fr)=Número de patrones con Ambiente=Lluvioso y Temperatura=Frían(s/LLu y Fr)=1 n(s/LLu y Fr)=Número de patrones con Ambiente=Lluvioso y Temperatura=Fría con variable de decisión = Sín(n/LLu y Fr)=1 n(n/LLu y Fr)=Número de patrones con Ambiente=Lluvioso y Temperatura=Fría con variable de decisión = No

Entropia(Moderada/Ambiente=lluvioso)

PATRONES CON AMBIENTE=LLUVIOSO Y TEMPERATURA=MODERADAPATRON AMBIENTE TEMPERATURA HUMEDAD

4 lluvioso moderada alta10 lluvioso moderada Normal14 lluvioso moderada alta

En este caso se debe fijar AMBIENTE=lluvioso y TEMPERATURA=moderada

AMBIENTE lluviosoHUMEDAD (Todas)viento (Todas)TEMPERATURA moderada


n(LLu y Mo)=3 n(LLu y Mo)=Número de patrones con Ambiente=Lluvioso y Temperatura=Moderadan(s/LLu y Mo)=2 n(s/LLu y Mo)=Número de patrones con Ambiente=Lluvioso y Temperatura=Moderada con variable de decisión = Sín(n/LLu y Mo)=1 n(n/LLu y Mo)=Número de patrones con Ambiente=Lluvioso y Temperatura=Moderada con variable de decisión = No

CALCULO DE LA ENTROPÍA DE LLUVIOSO QUE SE CONOCE EL ATRIBUTO TEMPERATURAEntropia(Lluvioso/Temperatura)

GANANCIA DE INFORMACIÓN EN LLUVIOSO AL CONOCER LA TEMPERATURA

Entropia (Fría /lluvioso )=−n( s/Llu y Fr )n(Llu y Fr )

log2 (n (s /Llu y Fr )n (Llu y Fr ) )−n(n /Llu y Fr )

n(Llu y Fr )log2( n(n /Llu y Fr )

n(Llu y Fr ) )Entropia (Fría /lluvioso )=−

12

log2( 12 )−1

2log2( 1

2 )=1 . 0

Entropia(Moderada/lluvioso )=−n( s /Llu y Mo )n(Llu y Mo )

log2 ( n(s /Llu y Mo )n(Llu y Mo ) )−n (n/Llu y Mo)

n(Llu y Mo)log2( n(n /Llu y Mo)

n(Llu y Mo) )Entropia (Moderada /lluvioso )=−

23

log2( 23 )−1

3log2( 1

3 )=0 . 91829583

Entropia (Lluvioso/Temperatura )=n(Ca )n(So)

Entropia (caliente/lluvioso )+n( Fr )n (So )

Entropia ( fría/lluvioso )+n (Mo )n(So )

Entropia (moderada/lluvioso )

Entropia (Lluvioso/Temperatura )=0+25

1 .0+35

0 .91829583=0 .950977498

Ganancia(Lluvioso,Tempertura)

ATRIBUTO HUMEDAD

Entropia(alta/Ambiente=lluvioso)

PATRONES CON AMBIENTE=LLUVIOSO Y HUMEDAD=ALTAPATRON AMBIENTE TEMPERATURA HUMEDAD

4 lluvioso moderada alta14 lluvioso moderada alta

En este caso se debe fijar AMBIENTE=lluvioso y HUMEDAD=alta

AMBIENTE lluviosoHUMEDAD altaviento (Todas)TEMPERATURA (Todas)


n(LLu y Al)=2 n(LLu y Al)=Número de patrones con Ambiente=Lluvioso y Humedad=Altan(s/LLu y Al)=1 n(s/LLu y Al)=Número de patrones con Ambiente=Lluvioso y Humedad=Alta con variable de decisión = Sín(n/LLu y Al)=1 n(n/LLu y Al)=Número de patrones con Ambiente=Lluvioso y Humedad=Alta con variable de decisión = No

Entropia(Normal/Ambiente=lluvioso)

PATRONES CON AMBIENTE=LLUVIOSO Y HUMEDAD=NORMALPATRON AMBIENTE TEMPERATURA HUMEDAD

5 lluvioso fría Normal6 lluvioso fría Normal

10 lluvioso moderada Normal

En este caso se debe fijar AMBIENTE=lluvioso y HUMEDAD=Normal

Entropia(alta/ lluvioso )=−n( s/Llu y Al )n(Llu y Al )

log2( n( s/Llu y Al )n(Llu y Al ) )−n(n/Llu y Al )

n(Llu y Al )log2( n(n /Llu y Al )

n(Llu y Al ) )Entropia (alta/ lluvioso )=−

12

log2 ( 12 )−1

2log2( 1

2 )=1 . 0

Ganancia (Lluvioso, Temperatura )=Entropia (Lluvioso )−Entropía (Lluvioso /Temperatura)

Ganancia (Lluvioso, Temperatura )=0 .970950594−0 . 950977498=0 . 0199731

AMBIENTE lluviosoHUMEDAD Normalviento (Todas)TEMPERATURA (Todas)


n(LLu y No)=3 n(LLu y No)=Número de patrones con Ambiente=Lluvioso y Humedad=Normaln(s/LLu y No)=2 n(s/LLu yNo)=Número de patrones con Ambiente=Lluvioso y Humedad=Normal con variable de decisión = Sín(n/LLu y No)=1 n(n/LLu y No)=Número de patrones con Ambiente=Lluvioso y Humedad=Normal con variable de decisión = No

Entropia(Lluvioso/Humedad)

Ganancia(Lluvioso,Humedad)

ATRIBUTO VIENTO

Entropia(fuerte/Ambiente=lluvioso)

PATRONES CON AMBIENTE=LLUVIOSO Y VIENTO=FUERTEPATRON AMBIENTE TEMPERATURA HUMEDAD

6 lluvioso fría Normal14 lluvioso moderada alta

En este caso se debe fijar AMBIENTE=lluvioso y VIENTO=Fuerte

AMBIENTE lluviosoHUMEDAD (Todas)viento fuerteTEMPERATURA (Todas)

Entropia(Normal/ lluvioso)=−n (s /Llu y No)n (Llu y No)

log2( n( s/Llu y No)n(Llu y No) )−n(n/Llu y No )

n (Llu y No)log2 ( n(n/Llu y No)

n(Llu y No ) )Entropia (Normal/ lluvioso)=−

23

log2 (23 )−1

3log2( 1

3 )=0 . 91829583

Entropia (Lluvioso/Humedad)=n (Al )n (So)

Entropia (alta/lluvioso)+n(No )n(So)

Entropia (normal/lluvioso )

Ganancia (Lluvioso, Humedad )=Entropia (Lluvioso )−Entropía (Lluvioso /Humedad )

Ganancia (Lluvioso, Humedad )=0 . 970950594−0 . 950977498=0 . 0199731

Entropia (Lluvioso/Humedad)=25

1. 0+35

0 . 91829583=0 .950977498


n(LLu y Fu)=2 n(LLu y Fu)=Número de patrones con Ambiente=Lluvioso y Viento=Fuerten(s/LLu y Fu)=0 n(s/LLu y Fu)=Número de patrones con Ambiente=Lluvioso y Viento=Fuerte con variable de decisión = Sín(n/LLu y Fu)=2 n(n/LLu y Fu)=Número de patrones con Ambiente=Lluvioso y Viento=Fuerte con variable de decisión = No

Entropia(débil/Ambiente=lluvioso)

PATRONES CON AMBIENTE=LLUVIOSO Y VIENTO=DEBILPATRON AMBIENTE TEMPERATURA HUMEDAD

4 lluvioso moderada alta5 lluvioso fría Normal

10 lluvioso moderada Normal

En este caso se debe fijar AMBIENTE=lluvioso y VIENTO=débil

AMBIENTE lluviosoHUMEDAD (Todas)viento débilTEMPERATURA (Todas)


n(LLu y De)=3 n(LLu y De)=Número de patrones con Ambiente=Lluvioso y Viento=Débiln(s/LLu y De)=3 n(s/LLu y De)=Número de patrones con Ambiente=Lluvioso y Viento=Débil con variable de decisión = Sín(n/LLu y De)=0 n(n/LLu y De)=Número de patrones con Ambiente=Lluvioso y Viento=Débil con variable de decisión = No

Entropia ( fuerte / lluvioso)=−n(s /Llu y Fu)n(Llu y Fu)

log2( n (s /Llu y Fu )n (Llu y Fu ) )−n (n/Llu y Fu)

n(Llu y Fu )log2( n (n/Llu y Fu)

n(Llu y Fu ) )Entropia ( fuerte / lluvioso)=−

02

log2( 02 )−2

2log2( 2

2 )=0

Entropia(débil /lluvioso )=−n( s /Llu y De )n(Llu y De )

log2( n( s/Llu y De )n(Llu y De ) )−n(n /Llu y De)

n(Llu y De)log2( n(n /Llu y De)

n(Llu y De) )Entropia (débil /lluvioso )=−

33

log2( 33 )−0

3log2( 0

3 )=0

Entropia(Lluvioso/Viento)

Ganancia(Lluvioso,Viento)

RESUMIENDO LAS GANANCIAS DE INFORMACIÓN DE CADA ATRIBUTO CON RESPECTO A AMBIENTE=SOLEADO

ATRIBUTO GANANCIATEMPERATURA 0.019973096

HUMEDAD 0.019973096VIENTO 0.970950594 ATRIBUTO GANADOR

ES DECIR QUE UNA VEZ SE SEPA QUE EL AMBIENTE ES LLUVIOSO EL ATRIBUTO QUE MÁS INFORMACIÓN PROPORCIONA ESVIENTOCOMO EL ATRIBUTO GANADOR FUE EL VIENTO Y LA ENTROPÍA(SOLEADO/VIENTO)=0, ENTONCES QUIEREDECIR QUE LA INCERTIDUMBRE SE HA ELIMINADO Y EL ARBOL NO PROSIGUE POR ESTA RAMACOMO SE PUEDE OBSERVAR EN LA TABLA SIGUIENTE, TODOS LOS PATRONES CON AMBIENTE=LLUVIOSO Y VIENTO=FUERTE,CORRESPONDE A "NO JUGAR TENIS" Y TODOS LOS PATRONES CON AMBIENTE=LLUVIOSO Y VIENTO=DÉBIL, CORRESPONDEN A SI JUGAR TENIS", ES DECIR UNA VEZ CONOCIDO QUE EL AMBIENTE ES LLUVIOSO, EL CONOCIMIENTO DEL ATRIBUTOVIENTO PERMITE DECIDIR SI SE JUEGA O NO TENIS

PATRON AMBIENTE TEMPERATURA HUMEDAD4 lluvioso moderada alta5 lluvioso fría Normal6 lluvioso fría Normal


HUMEDAD

Soleado

Alta Normal

Entropia (Lluvioso/Viento)=n(Fu )n(So )

Entropia ( fuerte/Lluvioso)+n(De)n(So)

Entropia (débil/Lluvioso )

Entropia (Lluvioso/Viento)=25

0+35

0=0

Ganancia (Lluvioso, Temperatura )=0 .970950594−0=0 .970950594

Ganancia (Lluvioso, Viento )=Entropia (Lluvioso)−Entropía (Lluvioso /Viento)

LAS REGLAS ASOCIADAS A ESE ARBOL SON:1) SI AMBIENTE =SOLEADO Y HUMEDAD=ALTA, ENTONCES NO JUGAR TENIS2) SI AMBIENTE =SOLEADO Y HUMEDAD=NORMAL, ENTONCES SI JUGAR TENIS3) SI AMBIENTE =NUBLADO, ENTONCES SI JUGAR TENIS4) SI AMBIENTE =LLUVIOSO Y VIENTO=FUERTE, ENTONCES NO JUGAR TENIS5) SI AMBIENTE =LLUVIOSO Y VIENTO=DEBIL, ENTONCES SI JUGAR TENIS

LOS 14 PATRONES INICIALES SE HAN REDUCIDO A 6 REGLAS, ESTO INDICA QUE SE HA LOGRADO SIMPLIFICAR LA INFORMACIÓNLOGRÁNDOSE UN FACTOR DE COMPRESIÓN DE 14:6= 2.33

No Si

Alta Normal

FUNDACIÓN UNIVERSITARIA KONRAD LORENZFACULTAD DE MATEMÁTICAS E INGENIERÍAS

PROGRAMA DE INGENIERÍA DE SISTEMASCURSO DE SISTEMAS BASADOS EN EL CONOCIMIENTO

BOGOTÁ- COLOMBIA

EJEMPLO APRENDIZAJE DE ÁRBOLES DE DECISIÓN

El aprendizaje de árboles de decisión es un método de funciones de valores discretosen el cual la función aprendida es representada por un árbol de decisión. Los árboles

Estos métodos de aprendizaje están entre los más populares algoritmos de inferencia

aprendizaje del diagnóstico de casos médicos hasta la evaluación de riesgo de créditoVARIABLE DE DECISION

Jugar tenisnnsssnsnsssssn

Se desea construir un árbol de decisión que permita determinar si se juega o no tenis,a partir del valor de los atributos: Ambiente, Temperatura, Humedad y Viento

1) DECIDIR CUAL ES EL ATRIBUTO RAIZ, ES DECIR EL ATRIBUTO QUE PROPORCIONA MÁS INFORMACIÓN CON RESPECTO A LA

Para todos los cálculos, a partir de la tabla anterior podríamos aplicar filtros convenientes, con el fin de obtener los valoresUna forma, más cómoda de obtener la información necesaria es construir una tabla dinámicas, que se puede modificar

Ubique la celda activa en una de las celdas dela tablas que utilizará como fuente de los patrones

Como se puede apreciar, excel selecciona automáticamente la tabla, en caso de no ubicar la celda activa en la tabla antes de seleccionar la opciónde tabla dinámica, debe elegir manualmente la tabla correspondiente, haciendo clic donde se indica en la figura anteriorAl darle clic en aceptar se crea una nueva hoja de cálculo, que se ve, como se muestra a continuación

Haga clic aquí para seleccionar un conjunto de datos diferentes

Campo de los datos de origen que se asigna a una orientación de página (o filtro) en un informe de tabla dinámica. Por ejemplo, Ambiente puede considerarse como un campo de filtro, si se quiere mostrar los datos resumidos para ambiente=soleado, ambiente=lluvioso. o ambiente =nublado

Campo de datos Campo de los datos de origen que contiene los valores que se van a resumir. Por ejemplo, en este caso el número de "n" y de "s" en la variable de respuesta,"jugar tenis" un campo de datos. Para los tipos de datos de origen, se puede elegir cómo se van a resumir los datos (por ejemplo, por suma, promedio o recuento). Un campo de datos suele resumir números pero también puede resumir texto. Por ejemplo, puede contar el número de veces que aparece una entrada de texto específica (por ejemplo, Sí o No) en un campo.

Ahora podemos arrastrar los atributos, de acuerdo a nuestras necesidades, ya sea directamente a la tabla dinámicao podemos arrastrarlos a la lista de campos de la tabla dinámica, que aparece en el cuadro señalado con el rectángulo rojoSi usted selecciona uno o varios de estos campos excel asumirá automáticamente que son campos de fila

Para diseñar la tabla, lo que necesitamos saber inicialmente es cuantos patrones tiene "jugar tenis"=s y cuántos tienen "jugar tenis"=nentonces, una opción podría ser colocar como campo fila a "jugar tenis", y como campo de datos: "cuenta jugar tenis"Para hacer esto, se arrastra el campo "jugar tenis", desde la lista de campos, hasta el campo de filas de la tabla dinámica

Campo de columna Campo de los datos de origen que se asigna a una orientación de columna en un informe de tabla dinámica., para que se detalle cada campo de fila, de acuerdo con esos campos de columna, teniendo como base el campo de datos. Por ejemplo, si en el campo de fila se tiene jugar tenis(con dos valores) en el campo de datos se tiene cuenta Jugar tenis(cuenta del número de cada valos "s" y "n"), y como campo columna "ambiente",(3 valores) entonces , el campo de datos tendrá básicamente 2(valores en jugar tenis)x 3(valroes en ambiente), el encabezado de las columnas serán los valores de "ambiente", y las etiquetas de las filas serán los valores de "jugar tenis". En la celda s-soleado, se mostrará, el número de patrones que tiene ambiente=soleado y corresponden a "jugar tenis"=n

Lo cual indica que hay 5 patrones con "jugar tenis=n" y 9 patrones con "jugar tenis=s"

La entropía es el número promedio de bits requeridos para codificar la variable de decisión del sistema

n(s)=Número de patrones con variables de decisión=Sín(n)=Número de patrones con variables de decisión=No

CALCULO DE LA GANANCIA DE INFORMACIÓN PARA CADA ATRIBUTO

Entropía esperada del sistema, luego de conocer el valor del atributo AMBIENTE

PATRONES CON AMBIENTE=SOLEADO

viento Jugar tenis

débil n

fuerte ndébil ndébil sfuerte s

La tabla anterior fue obtenida mediante un filtro a la tabla original, pero podría obtenerse mediante la tabla dinámica, adicionando

VOLVER

Ahora haga clic en la lista desplegable de Ambiente y se selecciona soleado

n(So)=Número de patrones con Ambiente=soleadon(s/So)=Número de con Ambiente= soleado y variable de decisión= Sín(n/So)=Número de con Ambiente= soleado y variable de decisión= No

PATRONES CON AMBIENTE=NUBLADOviento Jugar tenisdébil sfuerte sfuerte sdébil s

Si en la tabla dinámica se seleccióna Ambiente-nublado, obtiene lo siguiente

VOLVER

Entropia (Soleado )=−n( s/ So)n( So)

log2 (n (s /So )n (So ) )−n( n/So )

n( So)log2( n(n /So )

n(So ) )

Esto indica, que si se sabe que el AMBIENTE=nublado, entonces, jugar tenis=s, y no se requiere información adicionaln(Nu)=Número de patrones con Ambiente=nubladon(s/Nu)=Número de con Ambiente= nublado y variable de decisión= Sín(n/Nu)=Número de con Ambiente= nublado y variable de decisión= No

Este valor de entropía confirma esto

PATRONES CON AMBIENTE=LLUVIOSOviento Jugar tenisdébil sdébil sfuerte ndébil sfuerte n

Si en la tabla dinámica se seleccióna Ambiente-lluvioso, obtiene lo siguiente

n(Llu)=Número de patrones con Ambiente=Lluvioson(s/Llu)=Número de con Ambiente= Lluvioso y variable de decisión= Sín(n/Llu)=Número de con Ambiente= Lluvioso y variable de decisión= No

CALCULO DE LA ENTROPÍA DEL SISTEMA DADO QUE SE CONOCE EL AMBIENTE

VOLVER

Entropia (Nublado )=−n(s/Nu )n( Nu)

log2( n(s/Nu )n(Nu ) )−n( n/Nu )

n (Nu)log2( n(n/Nu )

n( Nu) )

Entropia (Lluvioso)=−n(s/Llu )n(Llu )

log2( n(s/Llu )n (Llu ) )−n(n/Llu )

n(Llu )log2( n( n/Llu )

n(Llu ) )






140.970950594+

414

0+5

140 .970950594=0 .693536139

GANANCIA DE INFORMACIÓN EN EL SISTEMA AL CONOCER EL AMBIENTE

PATRONES CON HUMEDAD=ALTAviento Jugar tenisdébil nfuerte ndébil sdébil sdébil nfuerte sfuerte n

En la tabla dinámica se puede arrastar el atibuto HUMEDAD, desde la lista de campos de la tabla(a la derecha de la pantalla)hasta los campos de filtro de la tabla(debajo de ambiente) Como se necesita conocer el comportamientode los patrones para cada valor de humedad sin restricciones adicionales, entonces se fija AMBIENTE a Todas y a HUMEDAD= altapara obtener los patrones correspondientes a este tipo de humedad. La tabla se verá así

n(s/Al)=Número de con Humedad= Alta y variable de decisión= Sín(n/Al)=Número de con Humedad= Alta y variable de decisión= No


140.970950594+

414

0+5

140 .970950594=0 .693536139

PATRONES CON HUMEDAD=NORMALviento Jugar tenisdébil sfuerte nfuerte sdébil sdébil sfuerte sdébil s

n(No)=Número de patrones con Humedad=Normaln(s/No)=Número de con Humedad=Normal y variable de decisión= Sín(n/No)=Número de con Humedad= Normal y variable de decisión= No

CALCULO DE LA ENTROPÍA DEL SISTEMA DADO QUE SE CONOCE LA HUMEDAD

GANANCIA DE INFORMACIÓN EN EL SISTEMA AL CONOCER LA HUMEDAD

Ganancia(S, Humedad )=0 .940285959−0.788450457=0 .151835501

Entropia (normal )=−n (s /No )n (No )

log2( n(s /No)n(No) )−n( n/No)n(No)

log 2( n(n /No )n(No) )

Entropia (S, Humedad )=7

140 .985228136+

714

0 .591672779=0 .788450457

PATRONES CON VIENTO=FUERTEviento Jugar tenisfuerte nfuerte nfuerte sfuerte sfuerte sfuerte n

En la tabla dinámica se puede arrastar el atibuto VIENTO, desde la lista de campos de la tabla(a la derecha de la pantalla)hasta los campos de filtro de la tabla(debajo de AMBIENTE Y HUMEDAD) Como se necesita conocer el comportamientode los patrones para cada valor de humedad sin restricciones adicionales, entonces se fija AMBIENTE a Todas , HUMEDAD a Todas, y VIENTO=fuerte, para obtener los patrones correspondientes a este tipo de viento. La tabla se verá así

n(s/Fu)=Número de con Viento=Fuerte y variable de decisión= Sín(n/Fu)=Número de con Viento=Débil y variable de decisión= No

PATRONES CON VIENTO=DEBILviento Jugar tenisdébil ndébil sdébil sdébil sdébil ndébil sdébil sdébil s

Entropia ( fuerte )=−n(s /Fu)n(Fu)

log2( n( s /Fu )n(Fu ) )−n(n /Fu )

n(Fu)log2( n(n /Fu )

n(Fu) )

n(s/De)=Número de con Viento=Débil y variable de decisión= Sín(n/De)=Número de con Viento=Débil y variable de decisión= No

CALCULO DE LA ENTROPÍA DEL SISTEMA DADO QUE SE CONOCE EL ATRIBUTO VIENTO

Entropía esperada luego de conocer el valor del atributo TEMPERATURA

PATRONES CON TEMPERATURA=CALIENTEviento Jugar tenisdébil n

Entropia (débil )=−n (s /De )n(De )

log2( n( s/De)n(De) )−n(n/De )n (De )

log2 ( n(n/De)n(De ) )

Ganancia(S, Viento ) 0.940285959 0.892158928 0.048127031

6 8Entropia (S/Viento ) 1.0 0.811278124 0.892158928

14 14

fuerte ndébil sdébil s

En la tabla dinámica se puede arrastar el atibuto TEMPERATURA, desde la lista de campos de la tabla(a la derecha de la pantalla)hasta los campos de filtro de la tabla(debajo de AMBIENTE,HUMEDAD Y VIENTO) Como se necesita conocer el comportamientode los patrones para cada valor de humedad sin restricciones adicionales, entonces se fija AMBIENTE a Todas , HUMEDAD a Todas, VIENTO=Todas y TEMPERATURA = caliente, para obtener los patrones correspondientes

n(Ca)=Número de patrones con Temperatura=calienten(s/Ca)=Número de con Temperatura=caliente y variable de decisión= Sín(n/Ca)=Número de con Temperratura=caliente y variable de decisión= No

PATRONES CON TEMPERATURA=FRIAviento Jugar tenisdébil sfuerte nfuerte sdébil s

Entropia (caliente )=−n( s/Ca)n(Ca)

log2( n( s/Ca)n(Ca) )−n(n/Ca)n (Ca )

log2( n (n/Ca)n(Ca) )

n(Fr)=Número de patrones con Temperatura=Frían(s/Fr)=Número de con Temperatura=Fría y variable de decisión= Sín(n/Fr)=Número de con Temperratura=Fría y variable de decisión= No

PATRONES CON TEMPERATURA=MODERADAviento Jugar tenisdébil sdébil ndébil sfuerte sfuerte sfuerte n

n(Mo)=Número de patrones con Temperatura=Moderadan(s/Mo)=Número de con Temperatura=Moderada y variable de decisión= Sín(n/Mo)=Número de con Temperratura=Moderada y variable de decisión= No

CALCULO DE LA ENTROPÍA DEL SISTEMA DADO QUE SE CONOCE EL ATRIBUTO TEMPERATURA

Entropia (mod erada )=−n (s /Mo )n (Mo )

log2 ( n(s /Mo )n(Mo ) )−n(n /Mo )

n(Mo )log2 ( n(n/Mo )

n (Mo ) )


141 .0+

414

0 .81127812+6

140.91829583=0 .91106339

Entropia (S/Temperatura )=n(Ca )n( S )

Entropia (caliente)+n(Fr )n( S )

Entropia ( fría )+n(Mo )n (S )

Entropia ( moderada )


Lo anterior indica que el atributo que más información proporciona para tomar la decisión de jugar o no tenis es el AMBIENTE


Conociendo que el ambiente es soleado. Cuál es el atributo que proporciona mayor información?En este caso el sistema se restringe a todos los patrones con AMBIENTE=SOLEADO

PATRONES CON AMBIENTE=SOLEADOJugar tenis

nnnss

IR A DONDE SE HIZO ESTE CÁLCULO



141 .0+

414

0 .81127812+6

140.91829583=0 .91106339

Se evalúa la ganancia de información para cada uno de los otros atributos: TEMPERATURA, HUMEDAD, VIENTO

PATRONES CON AMBIENTE=SOLEADO Y TEMPERATURA = CALIENTEJugar tenis

nn

n(So y Ca)=Número de patrones con Ambiente=soleado y Temperatura=calienten(s/So y Ca)=Número de patrones con Ambiente=soleado y Temperatura=caliente con variable de decisión = Sín(n/So y Ca)=Número de patrones con Ambiente=soleado y Temperatura=caliente con variable de decisión = No

PATRONES CON AMBIENTE=SOLEADO Y TEMPERATURA = FRIAJugar tenis

s

Entropia (caliente / soleado)=−n (s /So y Ca)n (So y Ca)

log2( n( s/ So y Ca)n( So y Ca) )−n( n/So y Ca)

n( So y Ca )log2( n (n/So y Ca )

n( So y Ca) )

n(So y Fr)=Número de patrones con Ambiente=soleado y Temperatura=Frían(s/So y Fr)=Número de patrones con Ambiente=soleado y Temperatura=Fría con variable de decisión = Sín(n/So y Fr)=Número de patrones con Ambiente=soleado y Temperatura=Fría con variable de decisión = No

PATRONES CON AMBIENTE=SOLEADO Y TEMPERATURA = MODERADAJugar tenis

ns

n(So y Mo)=Número de patrones con Ambiente=soleado y Temperatura=Moderadan(s/So y Mo)=Número de patrones con Ambiente=soleado y Temperatura=Moderada con variable de decisión = Sín(n/So y Mo)=Número de patrones con Ambiente=soleado y Temperatura=Moderada con variable de decisión = No

CALCULO DE LA ENTROPÍA DE SOLEADO DADO QUE SE CONOCE EL ATRIBUTO TEMPERATURA

GANANCIA DE INFORMACIÓN EN SOLEADO AL CONOCER LA TEMPERATURA

Entropia (Fría /soleado)=−n(s /So y Fr )n(So y Fr )

log2( n (s /So y Fr )n (So y Fr ) )−n (n/So y Fr )

n( So y Fr )log2 ( n(n/ So y Fr )

n( So y Fr ) )

Entropia (Moderada/soleado)=−n(s /So y Mo )n(So y Mo )

log2 ( n(s /So y Mo )n(So y Mo ) )−n(n/ So y Mo )

n( So y Mo )log2 ( n(n/ So y Mo )

n (So y Mo ) )


Entropia (Soleado/Temperatura )=n(Ca )n(So )

Entropia (caliente/soleado)+n(Fr )n(So)

Entropia (fría/soleado)+n(Mo )n(So)

Entropia ( moderada/soleado)

PATRONES CON AMBIENTE=SOLEADO Y HUMEDAD=ALTAJugar tenis

nnn

n(So y Al)=Número de patrones con Ambiente=soleado y Humedad=Altan(s/So y Al)=Número de patrones con Ambiente=soleado y Humedad=Alta con variable de decisión = Sín(n/So y Al)=Número de patrones con Ambiente=soleado y Humedad=Alta con variable de decisión = No

PATRONES CON AMBIENTE=SOLEADO Y HUMEDAD=NORMALJugar tenis

ss

Entropia (alta/ soleado)=−n (s /So y Al )n (So y Al )

log2( n( s/ So y Al )n( So y Al ) )−n(n /So y Al )

n (So y Al )log2 ( n(n/ So y Al )

n (So y Al ) )


n(So y No)=Número de patrones con Ambiente=soleado y Humedad=Normaln(s/So y No)=Número de patrones con Ambiente=soleado y Humedad=Normal con variable de decisión = Sín(n/So y No)=Número de patrones con Ambiente=soleado y Humedad=Normal con variable de decisión = No

CALCULO DE LA ENTROPÍA DE SOLEADO DADO QUE SE CONOCE EL ATRIBUTO HUMEDAD

SI SE SABE QUE EL AMBIENTE ES SOLEADO, EL ATRIBUTO HUMEDAD ELIMINA TODA LA INCERTIDUMBRECON RESPECTO A LA VARIABLE DE DECISIÓN(JUGAR TENIS)

PATRONES CON AMBIENTE=SOLEADO Y VIENTO=FUERTEJugar tenis

ns

Entropia(Normal/soleado )=−n( s/ So y No)n( So y No)

log2( n( s/ So y No )n( So y No ) )−n(n /So y No)

n(So y No)log2( n(n /So y No)

n( So y No ) )

Entropia (Soleado/Humedad )=n(Al )n(So)

Entropia (alta/soleado)+n (No)n(So )

Entropia (normal/soleado)

n(So y Fu)=Número de patrones con Ambiente=soleado y Viento=Fuerten(s/So y Fu)=Número de patrones con Ambiente=soleado y Viento=Fuerte con variable de decisión = Sín(n/So y Fu)=Número de patrones con Ambiente=soleado y Viento=Fuerte con variable de decisión = No

PATRONES CON AMBIENTE=SOLEADO Y VIENTO=DEBILJugar tenis

nns

n(So y De)=Número de patrones con Ambiente=soleado y Viento=Débiln(s/So y De)=Número de patrones con Ambiente=soleado y Viento=Débil con variable de decisión = Sín(n/So y De)=Número de patrones con Ambiente=soleado y Viento=Débil con variable de decisión = No

Entropia (débil /soleado)=−n(s /So y De )n(So y De )

log2( n( s/ So y De )n( So y De ) )−n(n /So y De )

n( So y De )log2( n(n/ So y De )

n( So y De) )

Entropia( fuerte /soleado )=−n( s /So y Fu)n( So y Fu)

log2( n( s /So y Fu)n( So y Fu) )−n(n/ So y Fu )

n( So y Fu)log2( n(n /So y Fu)

n(So y Fu ) )

CALCULO DE LA ENTROPÍA DE SOLEADO DADO QUE SE CONOCE EL ATRIBUTO VIENTO

RESUMEN DE RESULTADOS DE LA GANANCIA DE INFORMACIÓN EN SOLEADO CON RESPECTO A CADA UNO DE LOS ATRIBUTOS DISPONIBLES

ES DECIR QUE UNA VEZ SE SEPA QUE EL AMBIENTE ES SOLEADO, EL ATRIBUTO QUE MÁS INFORMACIÓN PROPORCIONA ES

COMO EL ATRIBUTO GANADOR FUE LA HUMEDAD Y LA ENTROPÍA(SOLEADO/HUMEDAD)=0, ENTONCES QUIEREDECIR QUE LA INCERTIDUMBRE SE HA ELIMINADO Y EL ARBOL NO PROSIGUE POR ESTA RAMACOMO SE PUEDE OBSERVAR EN LA TABLA SIGUIENTE, TODOS LOS PATRONES CON AMBIENTE=SOLEADO Y HUMEDAD ALTA,CORRESPONDE A "NO JUGAR TENIS" Y TODOS LOS PATRONES CON AMBIENTE=SOLEADO Y HUMEDAD=NORMAL, CORRESPONDEN A SI JUGAR TENIS", ES DECIR UNA VEZ CONOCIDO QUE EL AMBIENTE ES SOLEADO, EL CONOCIMIENTO DEL ATRIBUTO

PATRONES CON AMBIENTE=SOLEADOviento Jugar tenisdébil nfuerte ndébil ndébil sfuerte s

CON ESTAS PRECISIONES EL ÁRBOL QUEDARÍA PARCIALMENTE COMO SIGUE

Lluvioso



Entropia (Soleado/Viento )=n(Fu )n(So )

Entropia (fuerte/soleado)+n(De)n(So)

Entropia (débil/soleado )

En este caso el sistema se restringe a todos los patrones con AMBIENTE=NUBLADOPor lo tanto la entropia del sistema restringido es igual a la entropía de soleado

ESTO INDICA QUE UNA VEZ SE SEPA QUE EL ATRIBUTO AMBIENTE ES NUBLADO, YA SE PUEDE DECIDIR SI SE JUEGA TENIS O NO

PATRONES CON AMBIENTE=NUBLADOviento Jugar tenisdébil sfuerte sfuerte sdébil s

COMO SE PUEDE APRECIAR, TODOS LOS PATRONES CON AMBIENTE=NUBLADO, CORRESPONDEN A JUGAR TENISESTO QUIERE DECIR QUE UNA VEZ SE SEPA QUE EL AMBIENTE=NUBLADO, SE SABRÁ QUE JUGAR TENIS=SI. Y NO HABRÁ INCERTIDUMBRE

CON ESTAS PRECISIONES EL ÁRBOL QUEDA PARCIALMENTE SE LA SIGUIENTE FORMA

En este caso el sistema se restringe a todos los patrones con AMBIENTE=LLUVIOSOPor lo tanto la entropia del sistema restringido es igual a la entropía de lluvioso

REGRESAR A VER ESTE CALCULO

REGRESAR A VER ESTE CALCULO

AMBIENTE

?

Nublado Lluvioso

Si 2 patrones con respuesta n3 patrrones con respuesta s

PATRONES CON AMBIENTE=LLUVIOSOviento Jugar tenisdébil sdébil sfuerte ndébil sfuerte n

Como no hay patrones con Ambiente =Lluvioso y Temperatura=Caliente

PATRONES CON AMBIENTE=LLUVIOSO Y TEMPERATURA=FRÍAviento Jugar tenisdébil sfuerte n

n(LLu y Fr)=Número de patrones con Ambiente=Lluvioso y Temperatura=Frían(s/LLu y Fr)=Número de patrones con Ambiente=Lluvioso y Temperatura=Fría con variable de decisión = Sín(n/LLu y Fr)=Número de patrones con Ambiente=Lluvioso y Temperatura=Fría con variable de decisión = No

PATRONES CON AMBIENTE=LLUVIOSO Y TEMPERATURA=MODERADAviento Jugar tenisdébil sdébil sfuerte n

n(LLu y Mo)=Número de patrones con Ambiente=Lluvioso y Temperatura=Moderadan(s/LLu y Mo)=Número de patrones con Ambiente=Lluvioso y Temperatura=Moderada con variable de decisión = Sín(n/LLu y Mo)=Número de patrones con Ambiente=Lluvioso y Temperatura=Moderada con variable de decisión = No

CALCULO DE LA ENTROPÍA DE LLUVIOSO QUE SE CONOCE EL ATRIBUTO TEMPERATURA

GANANCIA DE INFORMACIÓN EN LLUVIOSO AL CONOCER LA TEMPERATURA

Entropia (Fría /lluvioso )=−n( s/Llu y Fr )n(Llu y Fr )

log2 (n (s /Llu y Fr )n (Llu y Fr ) )−n(n /Llu y Fr )

n(Llu y Fr )log2( n(n /Llu y Fr )

n(Llu y Fr ) )

Entropia(Moderada/lluvioso )=−n( s /Llu y Mo )n(Llu y Mo )

log2 ( n(s /Llu y Mo )n(Llu y Mo ) )−n (n/Llu y Mo)

n(Llu y Mo)log2( n(n /Llu y Mo)

n(Llu y Mo) )

Entropia (Lluvioso/Temperatura )=n(Ca )n(So)

Entropia (caliente/lluvioso )+n( Fr )n (So )

Entropia ( fría/lluvioso )+n (Mo )n(So )

Entropia (moderada/lluvioso )

Entropia (Lluvioso/Temperatura )=0+25

1 .0+35

0 .91829583=0 . 950977498

PATRONES CON AMBIENTE=LLUVIOSO Y HUMEDAD=ALTAviento Jugar tenisdébil sfuerte n

n(LLu y Al)=Número de patrones con Ambiente=Lluvioso y Humedad=Altan(s/LLu y Al)=Número de patrones con Ambiente=Lluvioso y Humedad=Alta con variable de decisión = Sín(n/LLu y Al)=Número de patrones con Ambiente=Lluvioso y Humedad=Alta con variable de decisión = No

PATRONES CON AMBIENTE=LLUVIOSO Y HUMEDAD=NORMALviento Jugar tenisdébil sfuerte ndébil s

Entropia(alta/ lluvioso )=−n( s/Llu y Al )n(Llu y Al )

log2( n( s/Llu y Al )n(Llu y Al ) )−n(n/Llu y Al )

n(Llu y Al )log2( n(n /Llu y Al )

n(Llu y Al ) )

Ganancia (Lluvioso, Temperatura )=Entropia (Lluvioso )−Entropía (Lluvioso /Temperatura)

Ganancia (Lluvioso, Temperatura )=0 .970950594−0 . 950977498=0 . 0199731

n(LLu y No)=Número de patrones con Ambiente=Lluvioso y Humedad=Normaln(s/LLu yNo)=Número de patrones con Ambiente=Lluvioso y Humedad=Normal con variable de decisión = Sín(n/LLu y No)=Número de patrones con Ambiente=Lluvioso y Humedad=Normal con variable de decisión = No

PATRONES CON AMBIENTE=LLUVIOSO Y VIENTO=FUERTEviento Jugar tenisfuerte nfuerte n

Entropia(Normal/ lluvioso)=−n (s /Llu y No)n (Llu y No)

log2( n( s/Llu y No)n(Llu y No) )−n(n/Llu y No )

n (Llu y No)log2 ( n(n/Llu y No)

n(Llu y No ) )

Entropia (Lluvioso/Humedad)=n (Al )n (So)

Entropia (alta/lluvioso)+n(No )n(So)

Entropia (normal/lluvioso )

Ganancia (Lluvioso, Humedad )=Entropia (Lluvioso )−Entropía (Lluvioso /Humedad )

Ganancia (Lluvioso, Humedad )=0 . 970950594−0 . 950977498=0 . 0199731

n(LLu y Fu)=Número de patrones con Ambiente=Lluvioso y Viento=Fuerten(s/LLu y Fu)=Número de patrones con Ambiente=Lluvioso y Viento=Fuerte con variable de decisión = Sín(n/LLu y Fu)=Número de patrones con Ambiente=Lluvioso y Viento=Fuerte con variable de decisión = No

PATRONES CON AMBIENTE=LLUVIOSO Y VIENTO=DEBILviento Jugar tenisdébil sdébil sdébil s

n(LLu y De)=Número de patrones con Ambiente=Lluvioso y Viento=Débiln(s/LLu y De)=Número de patrones con Ambiente=Lluvioso y Viento=Débil con variable de decisión = Sín(n/LLu y De)=Número de patrones con Ambiente=Lluvioso y Viento=Débil con variable de decisión = No

Entropia ( fuerte / lluvioso)=−n(s /Llu y Fu)n(Llu y Fu)

log2( n (s /Llu y Fu )n (Llu y Fu ) )−n (n/Llu y Fu)

n(Llu y Fu )log2( n (n/Llu y Fu)

n(Llu y Fu ) )

Entropia(débil /lluvioso )=−n( s /Llu y De )n(Llu y De )

log2( n( s/Llu y De )n(Llu y De ) )−n(n /Llu y De)

n(Llu y De)log2( n(n /Llu y De)

n(Llu y De) )

RESUMIENDO LAS GANANCIAS DE INFORMACIÓN DE CADA ATRIBUTO CON RESPECTO A AMBIENTE=SOLEADO

ATRIBUTO GANADOR

ES DECIR QUE UNA VEZ SE SEPA QUE EL AMBIENTE ES LLUVIOSO EL ATRIBUTO QUE MÁS INFORMACIÓN PROPORCIONA ES

COMO EL ATRIBUTO GANADOR FUE EL VIENTO Y LA ENTROPÍA(SOLEADO/VIENTO)=0, ENTONCES QUIEREDECIR QUE LA INCERTIDUMBRE SE HA ELIMINADO Y EL ARBOL NO PROSIGUE POR ESTA RAMACOMO SE PUEDE OBSERVAR EN LA TABLA SIGUIENTE, TODOS LOS PATRONES CON AMBIENTE=LLUVIOSO Y VIENTO=FUERTE,CORRESPONDE A "NO JUGAR TENIS" Y TODOS LOS PATRONES CON AMBIENTE=LLUVIOSO Y VIENTO=DÉBIL, CORRESPONDEN A SI JUGAR TENIS", ES DECIR UNA VEZ CONOCIDO QUE EL AMBIENTE ES LLUVIOSO, EL CONOCIMIENTO DEL ATRIBUTO

VIENTO JUGAR TENISdébil sdébil sfuerte ndébil sfuerte n

AMBIENTE

HUMEDAD VIENTO

Soleado Nublado Lluvioso

Normal

Si

Fuerte Débil

Entropia (Lluvioso/Viento)=n(Fu )n(So )

Entropia ( fuerte/Lluvioso)+n(De)n(So)

Entropia (débil/Lluvioso )

Ganancia (Lluvioso, Viento )=Entropia (Lluvioso)−Entropía (Lluvioso /Viento)

1) SI AMBIENTE =SOLEADO Y HUMEDAD=ALTA, ENTONCES NO JUGAR TENIS2) SI AMBIENTE =SOLEADO Y HUMEDAD=NORMAL, ENTONCES SI JUGAR TENIS

4) SI AMBIENTE =LLUVIOSO Y VIENTO=FUERTE, ENTONCES NO JUGAR TENIS5) SI AMBIENTE =LLUVIOSO Y VIENTO=DEBIL, ENTONCES SI JUGAR TENIS

LOS 14 PATRONES INICIALES SE HAN REDUCIDO A 6 REGLAS, ESTO INDICA QUE SE HA LOGRADO SIMPLIFICAR LA INFORMACIÓN

Si

Normal

No Si

Fuerte Débil

1) DECIDIR CUAL ES EL ATRIBUTO RAIZ, ES DECIR EL ATRIBUTO QUE PROPORCIONA MÁS INFORMACIÓN CON RESPECTO A LA



FUNDACIÓN UNIVERSITARIA KONRAD LORENZFACULTAD DE MATEMÁTICAS E INGENIERÍASSISTEMAS BASADOS EN EL CONOCIMIENTO I

PROFESOR: PERVYS RENGIFO RENGIFO

REALIZADO POR: FELIPE FORERO

SE TIENE UN CONJUNTO DE CUERPOS DE DOS CLASE: A, BSE DESEA INDUCIR UN ÁRBOL DE DECISIÓN QUE PERMITA DETERMINAR, A PARTIR DE LAS CARACTERÍSTICAS DE TAMAÑO, COLOR Y FORMA,DE ESTOS CUERPOS, LA CLASE A LA QUE PERTENECEN

TAMAÑO COLOR FORMA CLASEPEQUEÑO AMARILLO REDONDEADA AGRANDE AMARILLO REDONDEADA AGRANDE ROJO REDONDEADA APEQUEÑO ROJO REDONDEADA APEQUEÑO NEGRO REDONDEADA BGRANDE NEGRO CÚBICA BGRANDE AMARILLO CÚBICA BGRANDE NEGRO REDONDEADA BPEQUEÑO AMARILLO CÚBICA B

ATRIBUTO TAMAÑO


Tamaño = Pequeño

TAMAÑO COLOR FORMA CLASEPEQUEÑO AMARILLO REDONDEADA APEQUEÑO ROJO REDONDEADA APEQUEÑO NEGRO REDONDEADA BPEQUEÑO AMARILLO CÚBICA B


log2( n (s )n (S ))− n (n )

n (S )log2( n (n )

n( S ))

Entropia (S )=−49

log2(49 )−59

log2(59 )¿0 .99107606

Tamaño = Grande

TAMAÑO COLOR FORMA CLASEGRANDE AMARILLO REDONDEADA AGRANDE ROJO REDONDEADA AGRANDE NEGRO CÚBICA BGRANDE AMARILLO CÚBICA BGRANDE NEGRO REDONDEADA B

GANANCIA DE TAMAÑO

ATRIBUTO COLORTAMAÑO COLOR FORMA CLASEPEQUEÑO AMARILLO REDONDEADA AGRANDE AMARILLO REDONDEADA AGRANDE ROJO REDONDEADA APEQUEÑO ROJO REDONDEADA APEQUEÑO NEGRO REDONDEADA BGRANDE NEGRO CÚBICA BGRANDE AMARILLO CÚBICA BGRANDE NEGRO REDONDEADA BPEQUEÑO AMARILLO CÚBICA B

Color = Amarillo

TAMAÑO COLOR FORMA CLASEPEQUEÑO AMARILLO REDONDEADA AGRANDE AMARILLO REDONDEADA AGRANDE AMARILLO CÚBICA BPEQUEÑO AMARILLO CÚBICA B

Entropia (Am )=−24

log2 (24 )−24

log2 (24 )¿1

Entropia (Gran)=−25

log2(25 )−3

5log2 (35 )

¿0 .97095059

Ganancia (S, Tamaño )=0 .99107606−0 .98386144

Ganancia (S, Tamaño )=0 .99107606−0 .98386144=0.00721462

Entropia (Peq)=−24

log2 (24 )−24

log2 (24 )¿1

Color = RojoTAMAÑO COLOR FORMA CLASEGRANDE ROJO REDONDEADA APEQUEÑO ROJO REDONDEADA A

Color = negro

TAMAÑO COLOR FORMA CLASEPEQUEÑO NEGRO REDONDEADA BGRANDE NEGRO CÚBICA BGRANDE NEGRO REDONDEADA B

GANANCIA DE COLOR

ATRIBUTO FORMA


Forma = Redondeada

TAMAÑO COLOR FORMA CLASEPEQUEÑO AMARILLO REDONDEADA AGRANDE AMARILLO REDONDEADA AGRANDE ROJO REDONDEADA APEQUEÑO ROJO REDONDEADA A

Entropia (Roj )=−22

log2(22 )−02

log2 (02 )¿0

Entropia (Neg)=−33

log2 (33 )−03

log2(03 )¿0

Ganancia(S, Color )=0 . 99107606−0 .44444444=0.54663162

PEQUEÑO NEGRO REDONDEADA BGRANDE NEGRO REDONDEADA B

Forma = cubica

TAMAÑO COLOR FORMA CLASEGRANDE NEGRO CÚBICA BGRANDE AMARILLO CÚBICA BPEQUEÑO AMARILLO CÚBICA B

GANANCIA DE FORMA

ATRIBUTO GANANCIATAMAÑO 0.00721462COLOR 0.54663162FORMA 0.15887886

Atributo que brinda mayor Informacion, a partir de Color = Amarilloentropia(amarillo) = 1


AMARILLO / TAMAÑOTamaño= pequeño

TAMAÑO COLOR FORMA CLASEPEQUEÑO AMARILLO REDONDEADA APEQUEÑO AMARILLO CÚBICA B

Entropia (Red )=−46

log2(46 )−2

6log2 (26 )

¿0 .91829583

Entropia (Cub)=−33

log2 (33 )−03

log2(03 )¿0

Ganancia (S, Color )=0 . 99107606−0 . 61219722=0.15887886

Tamaño= grande

TAMAÑO COLOR FORMA CLASEGRANDE AMARILLO REDONDEADA AGRANDE AMARILLO CÚBICA B

AMARILLO / FORMA


FORMA = REDONDEADA

TAMAÑO COLOR FORMA CLASEPEQUEÑO AMARILLO REDONDEADA AGRANDE AMARILLO REDONDEADA A

TAMAÑO COLOR FORMA CLASEGRANDE AMARILLO CÚBICA BPEQUEÑO AMARILLO CÚBICA B

Entropia (Peq / Ama )=−12

log2(12 )−12

log2 (12 )¿1

Entropia (Gran / Ama )=−12

log2(12 )−12

log2(12 )

¿1

Entropia ( t amaño)=12∗1+

12∗1

=1

Ganancia( Amarillo, Tamaño)=1−1=0

Entropia (Red / Ama )=−22

log2(22 )−02

log2(02 )¿0

ATRIBUTO GANANCIATAMAÑO 0FORMA 1

Como el atributo forma reduce la incertidumbre a cero, quiere decir que es el final de esta rama, ya que su entropia es ceroel arbol quedaria asi:

Al evaluar la entropia de los valores de Color, la de rojo y de negro dieron 0, lo que quiere decir que reducen al minimo la incertidumbrepodemos darnos cuenta que si color=rojo, entonces clase=A, y si color=negro, clase = B. El arbol final seria:

AMARILLO

FORMA

CUBICA REDONDEADA

CLASE B CLASE A

Entropia (Cub / Ama )=−02

log2(02 )−22

log2 (22 )¿0

Entropia (Foma )=24∗0+

24∗0

=0

Ganancia ( Amarillo, Forma )=1−0=1

FORMA

CUBICA

CLASE B

FUNDACIÓN UNIVERSITARIA KONRAD LORENZFACULTAD DE MATEMÁTICAS E INGENIERÍASSISTEMAS BASADOS EN EL CONOCIMIENTO I

PROFESOR: PERVYS RENGIFO RENGIFO

REALIZADO POR: FELIPE FORERO

SE DESEA INDUCIR UN ÁRBOL DE DECISIÓN QUE PERMITA DETERMINAR, A PARTIR DE LAS CARACTERÍSTICAS DE TAMAÑO, COLOR Y FORMA,

0.99107606


log2( n (s )n (S ))− n (n )

n (S )log2( n (n )

n( S ))





Ganancia (S, Ambiente )=Entropia ( S )−Entropía (S / Ambiente )





COLOR

AMARILLO ROJO NEGRO

Como el atributo forma reduce la incertidumbre a cero, quiere decir que es el final de esta rama, ya que su entropia es cero

Al evaluar la entropia de los valores de Color, la de rojo y de negro dieron 0, lo que quiere decir que reducen al minimo la incertidumbrepodemos darnos cuenta que si color=rojo, entonces clase=A, y si color=negro, clase = B. El arbol final seria:

COLOR

AMARILLO ROJO NEGRO

REDONDEADA

CLASE A

COLOR

AMARILLO ROJO NEGRO

AMARILLO ROJO NEGRO

FORMA

REDONDEADA

CLASE A

CLASE A CLASE B

Documents

Arbol de decisión ID3 ejemplo fukl