15/10/12
1
Curso 2012-2013 José Ángel Bañares 2/10/2013. Dpto. Informática e Ingeniería de Sistemas.
Inteligencia Artificial (30223) Lección 5. Búsqueda local
Índice ¡ Problemas de optimización, búsqueda
local
¡ Escalada/Hill Climbing
¡ Enfriamiento simulado/Simulated annealing
¡ Algoritmos genéticos
Problemas de optimización y búsqueda local ¡ En lecciones previas, el agente Resolución de problemas
exploraba sistemáticamente el espacio de estados. ¡ El camino al objetivo es la solución al problema
¡ En muchos problemas de optimización el camino es irrelevantes, lo que nos importa es el estado objetivo.
Espacio de estados = conjunto completo de configuraciones
Problema: Encontrar la configuración óptima
¡ Por ejemplo las 8-reinas
¡ Configuración horarios
¡ Diseño de circuitos integrados
¡ Planificación de trabajos
¡ Optimización de la red de telecomunicaciones
15/10/12
2
Problemas de optimización y búsqueda local ¡ Los algoritmos de búsqueda local trabajan utilizando un
único nodo en curso (en lugar de múltiples caminos) y generalmente se mueven solo a nodos vecinos.
¡ Ventajas ¡ Usan muy poca memoria ¡ Encuentran una solución razonable en espacios de estados
grande o infinito (continuo) para los cuales los algoritmos de exploración sistemática no son adecuados.
¡ Útiles para problemas de optimización puros. ¡ Encuentra el estado mejor de acuerdo a una función objetivo. ¡ P.e. la supervivencia de las especies es una función objetivo
como metáfora de la optimización ¡ La evolución de Darwin no tiene un test objetivo, ni coste del
camino para el problema.
Ejemplo: Problema del viajante ¡ Comienza con un viaje completo, y realiza cambio
ente pares
¡ Variantes de esta aproximación rondan el 1% de la solución óptima rápidamente con miles de ciudades.
Ejemplo: n-reinas ¡ Poner n reinas en un tablero nxn sin que dos reinas estén en la
misma fila, columna o diagonal.
¡ Mueve una reina para reducir el número de conflictos
Casi siempre se resuelve el problema de las n-reinas casi instantáneamente para problemas muy grandes, p.e. n =1millón
15/10/12
3
Búsqueda local y optimización
Escalada/Hill-climbing search ¡ “es un bucle que se mueve continuamente en la
dirección del valor creciente” ¡ Termina cuando se alcanza unpoco.
¡ Hill climbing no mira mas allá de los vecinos inmediatos al estado en curso.
¡ Hill-climbing elige aleatoriamente entre el conjunto de sucesores si hay mas de uno.
¡ Hill-climbing se la conoce también como búsqueda local voraz (greedy local search)
Hill-climbing search
function HILL-CLIMBING( problema) return un estado que es un máximo local
enCurso← MAKE-NODE(INITIAL-STATE[problema]) loop do vecino← sucesor de enCurso con mayor valor if vecino.VALUE ≤ enCurso.VALUE then return enCurso.STATE
enCurso← vecino
“Como escalar el Everest en una espesa niebla con amnesia”
15/10/12
4
Ejemplo Hill-climbing ¡ Problema 8-reinas (formulación del problema
con estado completo, partimos de un estado con todas las reinas).
¡ Función sucesor: movemos una única reina a otro cuadrado de la misma columna.
¡ Función heurística h(n): número de pares de reinas que se atacan entre sí (directa o inderectamente).
11
Ejemplo Hill-climbing example
a) Muestra un estado con h=17 (3+4+2+3+2+2+1+0) y el valor de h para cada posible.
b) Un mínimo local en el espacio de 8-reinas (h=1).
a) b)
3 4
2
3
2 2
1
0
0
0
0
1
0
0
0
0
Problemas con la escalada
¡ Máximo local
¡ Cresta = secuencia de máximos locales de difícil navegación para algoritmos voraces
¡ Llano = un área del espacio de estados donde la función de evaluación es plana
En el problema de las 8-reinas, partiendo de un estado inicial aleatorio la escalada se atasca en el 86% del tiempo y resuelve el 4% de los casos
¡ Cuando lo resuelve lo hace en cuatro pasos de media y se atasca en tres pasos de media.
¡ No está mal para un espacio de estados de 88 ≈17 millones de estados
15/10/12
5
Soluciones Hill-climbing
¡ Continuar en una dirección con la esperanza de que el llano sea un shoulder/joroba (no es un llano máximo local) ¡ Buena solución poniendo un límite en el número de
movimientos consecutivos en el llano
¡ p.e. 100 en el problema de las 8-reinas. Elevamos el porcentaje de éxito del 14% al 94%. El algoritmo ahora lo hace en 21 pasos de promedia para cada caso exitoso, y 64 pasos para casos fallidos.
Otras Soluciones Hill-climbing ¡ Hill-climbing estocástica
¡ Selección aleatoria entre los movimientos ascendentes.
¡ La probabilidad varía con la pendiente
¡ First-choice hill-climbing
¡ Como estocástica generando aleatoriamente sucesores hasta que encuentra uno mejor
Otras Soluciones Hill-climbing ¡ Random-restart hill-climbing
¡ Intenta evitar atascarse en un máximo local
¡ Genera estados iniciales aleatoriamente.
¡ Completa, porque con infinito intentos, la probabilidad de generar el estado objetivo es 1.
¡ Si cada escalada tiene una probabilidad de éxito p, el número de reinicios es 1/p
¡ Para 8-reinas p≈0.14, así que 1/0.14=7 iteraciones se requerirán para tener éxito ( 6 fallos y 1 éxito)
¡ 3*6 + 4+1 = 22 pasos de media, Número de pasos promedio 3 pasos de media se atasca, 4 pasos de media éxito.
15/10/12
6
TLo (IRIDIA) 16 octubre 15, 2012
Enfriamiento simulado/Simulated annealing ¡ Escapar de los máximos locales permitiendo
“malos” movimientos. ¡ Idea: reducir gradulamente su tamaño y frecuencia.
¡ Simil; endriamiento de metales para que alcancen la mayor dureza
¡ Analogía de la bola en superficie no uniforme: ¡ Sacudir en una superficie con mínimos locales (= alta temperatura). ¡ Sacudir ligeramente (= menor temperatura).
¡ Si la temperatura T decrece los suficientemente despacio, alcanzaremos el mejor estado.
¡ Applied for VLSI layout, airline scheduling, etc.
Simulated annealing function SIMULATED-ANNEALING( problema, schedule) return a solution state
input: problema, un problema schedule, función de la temperatura con el tiempo local variables: current, un nodo next, un nodo T, la “temperatura” controlando la probailidad de pasos atrás
current ← MAKE-NODE(problema.INITIAL-STATE) for t ← 1 to ∞ do T ← schedule(t) if T = 0 then return current next ← un sucesor elegido aleatoriamente ∆E ← next. VALUE - current. VALUE if ∆E > 0 then current ← next else current ← next sólo con probabilidad e∆E /T
Local beam search ¡ Idea: Mantener k estados en lugar de uno
¡ Inicialmente: k estados aleatorios
¡ Siguiente: determinar los sucesores de los k estados
¡ Si cualquiera de los sucesores es el objetivo → fin
¡ Sino selecciona los k mejores de los sucesores y repetimos
¡ La principal diferencia con la random-restart search ¡ La información de las k búsquedas se comparte/ No es lo mismo que k
búsquedas en paralelo.
¡ Puede sufrir de falta de diversidad ¡ Los k estados pueden acabar en el mismo máximo local.
¡ Variante estocástica: Elige k sucesores aleatoriamente con una probabilidad proporcional a una función de éxito (selección natural).
15/10/12
7
19
Algoritmos genéticos ¡ Variante de local beam search con
recombinación sexual.
20
Algoritmos genéticos = stochastic local beam search + generación de sucesores a partir de parejas de estados.
21
Algoritmos genéticos ¡ Representación de los estados como Strings de dígitos (8 dígitos
representando posición de la reina en cada columna
8 7 6 5 4 3 2 1
8 7 6 5 4 3 2 1
15/10/12
8
22
Algoritmos genéticos ¡ Clasificación de la población por la función de fitness (Número de pares de
reinas que no se atacan). Tiene 28 para la solución.
8 7 6 5 4 3 2 1
8 7 6 5 4 3 2 1
6
5
4
3
3
2
0
6+5+4+3+3+2+0=23
6
5
4
4
3
1
1
6+5+4+3+1+1+0=24
24 23 20 11 ---- 78
24/78=31%
Genetic algorithm function GENETIC_ALGORITHM( población, FITNESS-FN) return un individuo
input: población, un conjunto de individuos FITNESS-FN, una fución que determina la calidad del individuo
repeat nueva_población ← conjunto vacio for i :=11 to SIZE(población) do x ← RANDOM_SELECTION(población, FITNESS_FN)
y ← RANDOM_SELECTION(población, FITNESS_FN) hijo← REPRODUCE(x,y) if (pequeña probabilidad aleatoria) then hijo← MUTATE(hijo) add hijo to nueva_población población ← nueva_poblaciónn until algún individuo encaje suficientemente o haya pasado sufieciente tiempo return el mejor individuo
Genetic algorithm function REPRODUCE( X, Y) returns un individuo
input: x,y, individuos padres
n ← LENGTH(x); c ← número aleatorio de 1 a n
return APPEND (SUBSTRING(x,1,c), SUBSTRING(y,c+1,n))
15/10/12
9
Algoritmos genéticos y aprendizaje en juegos
Fitness function: Se evalúa si conseguimos el objetivo o no. En este caso El marciano tiene evaluación positiva si te mata o llega abajo, y negativa si no llega.
Idea
¡ Diseñar un controlador, programas cortos escritos en lenguajes sencillos que contienen instrucciones para controlar las naves/asteroides ¡ P.E. Juego de 8 instrucciones
1. Mueve hacia el jugador 2. Alejar del jugador 3. Mover en dirección +x (derecha de la pantalla) 4. Mover en dirección –x (izquierda de la pantalla)
5. Si la distancia al jugador es < 100 pixels, saltar siguiente instrucción
6. Si la distancia al jugador > 100 pixels, saltar siguiente instrucción
7. Si la distancia < 50 pixels saltar dos siguientes instrucciones
8. Si la distancia > 50 pixels saltar dos siguientes instrucciones.
Idea
¡ Ejemplo de programa escrito a mano razonable para el control de las naves enemigas (10 instrucciones/programa)
1. Mueve hacia el jugador 2. Mueve hacia el jugador
3. Si la distancia al jugador < 50 pixels, salta dos instrucciones 4. Mover en dirección –x (izquierda de la pantalla) 5. Mover en dirección +x (derecha de la pantalla) 6. Mueve hacia el jugador 7. Mueve hacia el jugador
8. Si la distancia al jugador es < 100 pixels, salta siguiente instrucción
9. Mover en dirección +x (derecha de la pantalla) 10. Mueve hacia el jugador
15/10/12
10
Juego ¡ Espacio de estados
¡ Programas: Secuencias de instrucciones que controlan las naves enemigas
¡ Representación: ¡ 8 instrucciones, con 3 bits (23) ¡ Programas de 10 instrucciones: 10*3= 30 bits (genes) ¡ Por ejemplo: 12 naves enemigas, el programa usa 12
“cromosomas” ¡ La función de fitness usa las siguientes estadísticas
¡ Distancia más cercana al jugador ¡ Distancia más lejana al jugador ¡ Distancia media al jugador ¡ Numero de veces que la nave es alcanzada y recreada ¡ Máxima velocidad
Búsqueda local en espacios continuos ¡ Entorno Discretos vs. continuos
¡ La función sucesor produce infinitos estados
¡ ¿Como resolverlo? ¡ Discretizar la vecindad de cada estado. ¡ Utilizar la función gradiente para dirigir la búsqueda
local
¡ Método Newton-rhapson
!
x" x +#$f where $f =%f%x1, %f%x2
,...& ' (
) * +
Método de Newton Raphson ¡ Para encontrar las raíces de una
ecuación (Isaac Newton 1642-1727) ¡ Si Xn es una estimación de la raíz,
Xn+1 es una estimación mejor. f ‘ es la derivada de la función en Xn. Tangente=f(Xn)/(Xn-Xn+1)
¡ Método aproximado. Dejamos de iterar cuando |Estimación actual –Estimación previa| < tolerancia
15/10/12
11
Inteligencia Artificial
(30223) Grado en Ingeniería Informática
lección 5. Búsqueda local Sección 4.1 (AIMA)
Recommended
