Sistemas de ayuda a la decisión Tema 4. Modelos …jafernan/teaching/sistemasayuda... · •Método regresivo de la programación dinámica (principio de optimalidad, Bellman y Dreyfus’62):

Sistemas de ayuda a la decisión Tema 4. Modelos GráficosTablas y Árboles de Decisión y Diagramas de Influencia

Indice

1) Tablas de decisión: definición y construcción. 2) Tablas de decisión: evaluación y análisis. 3) Árboles de decisión: definición y construcción. 4) Árboles de decisión: evaluación y análisis. 5) Diagramas de influencia: definición y construcción.6) Diagramas de Influencia: evaluación y análisis7) Software.

Sistemas de ayuda a la decisión Modelos Gráficos.

Probabilistic Graphical ModelsPrinciples and TechniquesDaphne Koller and Nir FriedmanThe MIT Press, 2010Cambridge, MassachusettsLondon, England

Pattern Recognition and Machine LearningChristopher M. BishopCopyright c 2002–2006, 8 Graphical Models

An introduction to graphical modelsKevin P. Murphy, 10 May 2001

Bayesian Networks and Decision GraphsFinn V. Jensen and Thomas D. NielsenPublished by Springer Verlag 2007

Expert Systems and Probabilistic Network ModelsE. Castillo, J.M. Gutiérrez, and A.S. HadiSpringer-Verlag, 1997

Sistemas de ayuda a la decisión Modelos Gráficos. Tablas de Decisión

•La forma más elemental de representación

•Ilustra de forma sencilla los conceptos básicos

•Elementos :

decisión + estado → consecuenciaa + θ → c(a, θ) ∈ C

•Orígenes en el trabajo de von Neumann y Morgenstern (1944)sobre juegos en forma normal


•Caso discreto (A y Θ discretos):

•Asignar creencias:

•Asignar preferencias:

•Calcular la utilidad esperada de cada alternativa ai

•La decisión de máxima utilidad esperada a∗, se proponecomo alternativa óptima


•Caso continuo (A y Θ continuos):

•Análogo, proponiéndose:

← utilidad esperada

a∗ tal que ← alternativa óptima

Típicamente un problema de programación no lineal

•Ejemplo: desarrollo de software

Sistemas de ayuda a la decisión Modelos Gráficos. Árboles de Decisión


•Tablas muy limitadas en la práctica: sólo 1 momento de elección

•Típicamente, problemas reales son dinámicos, con decisionesencadenadas y alternancia de la ocurrencia de distintos fenómenos aleatorios

•Orígenes en Raiffa y Schlaifer (1961), a partir de von Neumann yMorgenstern (1944) sobre juegos en forma extensiva

•Elementos :


•Esqueleto (estructura): de izquierda a derecha (transcurrir deltiempo), desde la raíz hasta nodos terminales –Info cualitativa–

•Relaciones entre los elementos y los juicios del decisor a travésde probabilidades y utilidades –Info cuantitativa–

•Probabilidades condicionadas aque sucesos a su izquierda ya hanocurrido y decisiones previas sehan tomado


•Árbol: conjunto de estrategias o políticas que indican planes de acción sobre qué elección se hará en cada punto de decisión que puede alcanzarse con tal plan

•Evaluar un árbol para identificar una estrategia óptima

•Método regresivo de la programación dinámica (principio de optimalidad, Bellman y Dreyfus’62): sup. hemos tomado ciertas decisiones y la naturaleza ha adoptado ciertos estados, habremos llegado a un nodo que podrá ser:

•terminal → y le asignaremos la utilidad de la consecuencia;

•de azar → la EU máxima, a partir de ese nodo;

•de decisión → la EU de la decisión de máxima utilidadesperada, a partir de ese nodo

⇒ Análisis del problema en forma extensiva


•Formalización:bi ramas, cada una j de un nodo i tiene un nodo sucesor nij, probabilidad pij(si), donde si son los valores de todas las variables de los nodos predecesores de iMejor valor asociado a cada nodo i dependerá de si:

si ti = terminal

si ti = decisión

si ti = azar

donde (si, i → j) indica que ha ocurrido si y se transita del nodo i al j. Si i es el nodo raíz, entonces si = ∅


Ejemplo 5.2, página 180Fundamentos de los sistemas de ayuda a la decisión, Sixto Rios et al. RAMA, 2001

Ejemplo:Helicóptero


•Estados de maniobrabilidad: P(e1) = 0.3, P(e2) = 0.4

•Piloto puede cometer errores y la prueba es sólo simulada:P(ra|e1) = 0.9, P(ra|e2) = 0.65, P(ra|e3) = 0.15

⇒ necesitamos P(E|R) y P(R), mediante Tma. de Bayes:

•Coste de la prueba=600 euros





Incertidumbre asociada con la estrategia óptima o con otra de interés

Toma los valores 0, 0.25, 0.43 y 0.85 con Ps 0.045 (=0.575 × 0.078),0.425, 0.260 (=0.575 × 0.452) y 0.270 (=0.575 ×0.470), respect.



•Herramientas matemáticamente equivalentes

•Tabla ⇒ Árbol √

•Árbol ⇒ Tabla: hay que enumerar las posibles estrategias ycalcular la distribución conjunta (preproceso con cálculos no locales)

•Ejemplo helicóptero :Probabilidades: P(R,E) = P(R|E)P(E) = P(E|R)P(R)Estrategias: A1 = hacer la prueba; A2 = no hacerlaSi se hace:

a1(ra) = c ; a1(rn) = c

a2(ra) = c ; a2(rn) = ￢c

a3(ra) = ￢c ; a3(rn) = c

a4(ra) = ￢c ; a4(rn) = ￢c


⇒ Análisis del problema en forma normal

•Contiene las EU de todas las estrategias, no sólo de la óptima

•Árbol:

•Tabla:



•Expresivos, intuitivos:caminos completos

•Crecimiento exponencial⇒ requisitos computacionalestambién

(el algoritmo enumera al atravesartodos los caminos)

•No separa la información cualitativa ycuantitativa

•Árboles esquemáticos(generalización)


•Simétrico: todosescenarios con mismasvariables y en la mismaSecuencia

•Helicóptero: 2 asimetrías:resultados de la pruebasólo si se realiza ésta; estadodel helicóptero sólose revelará si se compra

•Puede tratar problemasasimétricos

Menor carga computacional y fácil interpretacion


•Representación deficiente de relaciones probabilísticas (ad hoc)

•Preproceso de probabilidades para la representación(el problema de los 2 árboles)

•Cálculos con la distribución conjunta


•Coalescencia (replicación de subárboles) se detecta ad hoc

•Restricciones información explícitas, pero requiere orden total(no siempre especificado)


•Coalescencia depende de cómo se complete el orden


•Puede tratar utilidad separable, con cálculos locales


Sistemas de ayuda a la decisión Modelos Gráficos. Diagramas de influencia


•Concebidos inicialmente como método de representación máscompacta [Miller et al. (1976), Howard y Matheson (1983, reeditado en 2005)]

•En ’80: algoritmos de evaluación de DI funcionando sobre elpropio diagrama [Olmsted (1983), Shachter (1986)]

•Elementos : DI es un grafo dirigido G = (N,A)

Arcos condicionales: dependencias probabilisticas y funcionales,Arcos informativos: precedencia temporal, informacion disponible por etapas


Con sólo nodos de azar:•Subyacente distribución conjunta de todas las v.a. ⇒ arcosrepresentan un orden de asignación de las Probabilidades Condicionadas(pueden invertirse)

a) Independencia total b) Independencia parcial

c) Dependencia completa d) Independencia condicional(de A y C, dado B)

•Ciclos no permitidos


Con todo tipo de nodos:

•En d), el decisor está mejor informado que en c) en el momentode la decisión → EU ≥ a la del caso c)

•En e), la v.a. no tiene efecto sobre v → puede considerarseirrelevante respecto a la decisión

•Ciclos decisión/decisión o decisión/azar tampoco permitidos

•No pueden invertirse arcos desde/hacia decisiones


•Uso de :

•DI orientado: con un nodo de valor

•DI regular:1. es acíclico2. el nodo de valor (si existe) no tiene sucesores3. ∃ un camino dirigido que contiene todos los nodos de decisiónPropiedad 3 equivale a requerir un orden total de las decisiones⇒ requiere la memorización del DI:

•Si D1 precede a D2 en un DI regular, ⇒ D1∪I(D1) ⊂ I(D2)


En cada nodo i del DI, un conjunto Ωi, una variable Xi, y unaaplicación

•i de azar: Xi es v.a. con espacio muestral Ωi; se defineπi(xi|xC(i)) = P(Xi = xi|XC(i) = xC(i)) (CPT)

•i de valor: U : ΩC(i) → i (utilidad; luego EU)

•i de decisión: Xi es la decisión y Ωi es el conjunto de alternativas.⇒ su aplicación asociada: d∗

i : ΩI(i) → Ωi (las alternativasóptimas, dado el estado de información del decisor en elmomento de tomar la decisión) será salida del algoritmo

•Las aplicaciones πi y U son entrada del algoritmo de evaluacióny luego se irán redefiniendo al avanzar éste

Luego, DI es DAG G = (N,A) y también esta info cuantitativa




Evaluación mediante el algoritmo de inversión de arcos

•Esencialmente misma idea que en árboles, pero se aprovecha laestructura gráfica para obtener ventajas computacionales

•Transformaciones: gráficas y numéricas

•El algoritmo combina ideas de programación dinámica y fórmulade Bayes

•Eliminación de sumideros: Se puede borrar un nodo sumiderode un DI orientado y regular[Independientemente de su valor, ningún otro nodo se ve afectado]


•Eliminación de nodo de azar : Si X ∈ C(v) y es su único sucesoren un DI regular y orientado, puede eliminarse por esperanzacondicionada, heredando v los predecesores de X


•Eliminación de nodo de decisión: Si en un DI regular y orientadono hay sumideros, D ∈ C(v) tal que C(v)\D ⊂ I(D), puede eliminarse maximizando la utilidad esperada (condicionada), registrándose la mejor decisión.v no hereda los predecesores de D, pudiendo aparecer nuevos sumideros


•Inversión de arcos entre nodos de azar: Dado el arco (X, Y ), si ∄ otro camino dirigido entre X e Y en un DI regular, puede sustituirse por el arco (Y,X)mediante la aplicación del Tma. Bayes, con herencia mutua de predecesores


•Combinamos las transformaciones [Olmsted (1983), Shachter (1986)]

•Existencia de nodo de azar eliminable: Si no hay sumiderosy se han añadido los arcos de memoria, y si v tienepredecesores pero no puede eliminarse ningún nodo dedecisión ⇒ existe un nodo de azar ∈ C(v) pero no espredecesor informativo de ningún nodo de decisión, y puedeeliminarse, tal vez tras inversión de arcos

•Eliminará todos los nodos hasta que sólo permanezca el de valor

•En ese momento se tendrán las decisiones óptimas (en cadanodo de decisión) y la máxima utilidad esperada (en v)


1. Verificar que el DI es regular, orientado, yañadir arcos de memoria

2. Eliminar sumideros

3. Mientras C(v) ≠ ∅,Si ∃i ∈ C ∩ C(v): S(i) = v, eliminar nodo de azar i

si no, si ∃i ∈ D ∩ C(v): C(v)\i ⊂ I(i),eliminar nodo de decisión ieliminar sumideros creados

si no, encontrar i ∈ C ∩ C(v): D ∩ S(i) = ∅mientras C ∩ S(i) ≠ ∅

encontrar j ∈ C ∩S(i): ¬∃ otro camino de i a jinvertir (i, j)

eliminar nodo de azar i

Sistemas de ayuda a la decisión Modelos Gráficos. Diagramas de influenciaEjemplo:Helicóptero

•Invertir (E,R):

Sistemas de ayuda a la decisión Modelos Gráficos. Diagramas de influenciaEjemplo:Helicóptero •Eliminar E:


•Eliminar C,R, P:Ejemplo:Helicóptero


Evaluación mediante el algoritmo de eliminación de variables

2 conjuntos de potenciales: P (probabilidades) y U (utilidades)PX = p ∈ P|X ∈ dom(p), UX = u ∈ U|X ∈ dom(u)

1. Escoger un orden de eliminación de variables,respetando el orden dado entre las decisiones

2. Eliminar X:

a) X de azar:

b) X de decisión:

3. Modificar los conjuntos de potenciales:


•Compacidad: cada variable añadida al problema expande su tamaño linealmente

⇒ Algoritmo de reducción de nodosmás que de enumeración delos caminos posibles

•Separa la información cualitativa y cuantitativa

•Representación eficiente de relaciones probabilísticas:

•Relaciones probabilísticas explícitas

•Representación directa de probabilidades(no hay problema de los 2 árboles)

•Sólo probabilidades condicionadas (sí en modelos causales); si no, preproceso


Computación local y aprovechamiento de la independencia condicional (i.c.):

•Todas las transformaciones se basan en la i.c., explícita en eldiagrama (base de la coalescencia)⇒ ↓ cálculos, tiempo de ejecución y requisitos de memoria

•Computación local para calcular las condicionadas deseadas enla evaluación (Tma. Bayes usando sólo variables necesarias)

•Orden parcial de restricciones info: representado directamente enlos arcos informativos (árboles requerían orden completo)

•Dependencia del orden de eliminación de nodos:influye en esfuerzo computacional

) heurísticas para encontrar buenas secuencias: Kong, genético nuestro...


•Dificultad para modelizar asimetrías

•Simetrizar: aumento del tamaño del problema (con estadosartificiales), menos intuitivos y más carga computacional

•Helicóptero: añadir arco (P,R), añadir ¬r para R, utilidades iguales cuandoel estado es ¬c: U(hacer, ¬c, ei) = 0.25 y U(no hacer, ¬c, ei) = 0.26, ∀i

•Otros modelos: DI asimétricos [Smith, Holtzman y Matheson’93]; d.decisión secuenciales [Covaliu y Oliver’95]; unconstrained DI [Jensen yVomlelová’02]...

•Utilidad separable: DI varios nodos de valor [Tatman y Shachter’90]

•Variables continuas: DI gaussianos [Shachter y Kenley’89], simulación[Bielza, Müller y Ríos Insua’99]..., discretización,...


•Diagramas de Influencia versus Árboles de Decisión

DIAGRAMAS ÁRBOLES

1. palabra clave independencia escenariocondicional

2. compacidad sí no (explosión combinatoria)

3. represent. probabilidades directa con preproceso (condicionadas) (problema dos árboles)

4. relaciones probabilísticas explícitas no (se detectan ad hoc)

5. modelización no síde asimetrías

6. algoritmo reducción nodos enumeración caminos

7. computación local sí nopara condicionadas

8. I.C. sí no

A:Fenómeno o sistema real

L:Descripción, PredicciónExploración, Decisión,…

C:Modelo empiríco

Nuevamodelización

E:Modelo matemático

G:Relaciones matemáticas

I:Relaciones empíricas

K: Validación

D:Conceptualización

F:Proceso

lógico-deductivoH:Desconceptualización

e interpretación

NO SI

Sixto Ríos, 1995, Alianza Universidad, AU822

MODELIZACIÓN

Sistemas de ayuda a la decisión Modelos de Problemas de Decisión

Documents

Sistemas de ayuda a la decisión Tema 4. Modelos …jafernan/teaching/sistemasayuda... · •Método regresivo de la programación dinámica (principio de optimalidad, Bellman y Dreyfus’62):