Upload
others
View
7
Download
0
Embed Size (px)
Citation preview
IntroducaoPlanejamento Nao-Determinıstico Hierarquico
Analise e Conclusao
Planejamento hierarquico sob incerteza Knightiana
Ricardo Guimaraes [email protected]
Orientadora: Profa. Dra. Leliane Nunes de Barros
Instituto de Matematica e Estatıstica
Universidade de Sao Paulo
5 de abril de 2008
Ricardo Guimaraes Herrmann [email protected] Planejamento hierarquico sob incerteza Knightiana
IntroducaoPlanejamento Nao-Determinıstico Hierarquico
Analise e Conclusao
1 IntroducaoPlanejamento ClassicoPlanejamento HierarquicoPlanejamento Nao-Determinıstico
2 Planejamento Nao-Determinıstico HierarquicoTecnica de ND-transformacaoPlanejador ND-HSHOPImplementacao
3 Analise e ConclusaoAnalise EmpıricaConclusao
Ricardo Guimaraes Herrmann [email protected] Planejamento hierarquico sob incerteza Knightiana
IntroducaoPlanejamento Nao-Determinıstico Hierarquico
Analise e Conclusao
Planejamento ClassicoPlanejamento HierarquicoPlanejamento Nao-Determinıstico
Motivacao
Diferentes formas de Planejamento:
Planejamento Hierarquico (HTN): planejamento paraaplicacoes praticas envolvendo milhares de acoes
Planejamento Nao-Determinıstico: planejamento envolvendoincerteza sobre efeitos de acoes
Ricardo Guimaraes Herrmann [email protected] Planejamento hierarquico sob incerteza Knightiana
IntroducaoPlanejamento Nao-Determinıstico Hierarquico
Analise e Conclusao
Planejamento ClassicoPlanejamento HierarquicoPlanejamento Nao-Determinıstico
Motivacao
Diferentes formas de Planejamento:
Planejamento Hierarquico (HTN): planejamento paraaplicacoes praticas envolvendo milhares de acoes
Planejamento Nao-Determinıstico: planejamento envolvendoincerteza sobre efeitos de acoes
Sinergia entre as tecnicas:
O uso de HTNs como controle de busca permite maioreficiencia ao Planejamento Nao-Determinıstico
Planejamento Nao-Determinıstico prove maior robustez aplanos obtidos por Planejamento Hierarquico
Ricardo Guimaraes Herrmann [email protected] Planejamento hierarquico sob incerteza Knightiana
IntroducaoPlanejamento Nao-Determinıstico Hierarquico
Analise e Conclusao
Planejamento ClassicoPlanejamento HierarquicoPlanejamento Nao-Determinıstico
Objetivos
Estudar a integracao dessas duas tecnicas de planejamento[Kuter & Nau 2004]
Implementar o sistema ND-SHOP2 [Kuter & Nau 2004], oqual nao e publicamente disponıvel
Analisar o ganho de desempenho do PlanejamentoNao-Determinıstico com o uso de conhecimento hierarquicosobre as acoes do domınio
Comparar o sistema implementado com um sistema deplanejamento nao-determinıstico existente, chamado MBP[Roveri et al. 2001]
Ricardo Guimaraes Herrmann [email protected] Planejamento hierarquico sob incerteza Knightiana
IntroducaoPlanejamento Nao-Determinıstico Hierarquico
Analise e Conclusao
Planejamento ClassicoPlanejamento HierarquicoPlanejamento Nao-Determinıstico
1 IntroducaoPlanejamento ClassicoPlanejamento HierarquicoPlanejamento Nao-Determinıstico
2 Planejamento Nao-Determinıstico HierarquicoTecnica de ND-transformacaoPlanejador ND-HSHOPImplementacao
3 Analise e ConclusaoAnalise EmpıricaConclusao
Ricardo Guimaraes Herrmann [email protected] Planejamento hierarquico sob incerteza Knightiana
IntroducaoPlanejamento Nao-Determinıstico Hierarquico
Analise e Conclusao
Planejamento ClassicoPlanejamento HierarquicoPlanejamento Nao-Determinıstico
Planejamento Classico (Nao-Hierarquico)
Planejamento em IA consiste na busca automatizada de planos deacoes que alcancem metas pre-estabelecidas em mundos descritosformalmenteUtiliza como formalismo um Sistema de Transicao de Estados
Definicao
Um Sistema de Transicao de Estados e a 3-tupla Σ = 〈S,A, γ〉:
S e um conjunto finito de estadosA e um conjunto finito de acoesγ : S ×A 7→2S e uma funcao de transicao de estados
Um problema de Planejamento Classico consiste em encontraruma sequencia de acoes que, quando executada a partir de umdeterminado estado inicial s0 ∈ S, leva o agente a um estadometa de Sg ⊆ S
Ricardo Guimaraes Herrmann [email protected] Planejamento hierarquico sob incerteza Knightiana
IntroducaoPlanejamento Nao-Determinıstico Hierarquico
Analise e Conclusao
Planejamento ClassicoPlanejamento HierarquicoPlanejamento Nao-Determinıstico
Suposicoes do Planejamento Classico
Suposicoes restritivas feitas pelo Planejamento Classico
Conjunto finito de estadosAmbiente completamente observavelAcoes determinısticas (γ : S ×A 7→ S)Ambiente estatico (sem eventos externos)Metas de alcancabilidadePlanos sequenciaisTempo implıcitoPlanejamento offline
Ricardo Guimaraes Herrmann [email protected] Planejamento hierarquico sob incerteza Knightiana
IntroducaoPlanejamento Nao-Determinıstico Hierarquico
Analise e Conclusao
Planejamento ClassicoPlanejamento HierarquicoPlanejamento Nao-Determinıstico
Suposicoes do Planejamento Classico
Suposicoes restritivas feitas pelo Planejamento Classico
Conjunto finito de estadosAmbiente completamente observavelAcoes determinısticas (γ : S ×A 7→ S)Ambiente estatico (sem eventos externos)Metas de alcancabilidadePlanos sequenciaisTempo implıcitoPlanejamento offline
Desafios:
Problemas de pequeno porte ja envolvem quantidades enormes deestadosPSPACE-completo, mesmo sob essas restricoes
Ricardo Guimaraes Herrmann [email protected] Planejamento hierarquico sob incerteza Knightiana
IntroducaoPlanejamento Nao-Determinıstico Hierarquico
Analise e Conclusao
Planejamento ClassicoPlanejamento HierarquicoPlanejamento Nao-Determinıstico
Busca Progressiva no Espaco de Estados
FCP (s0, g ,Σ)
π ← ∅; s ← s0loop
se s satisfaz g entao devolva(π)A← {(s, a) | a e uma acao aplicavel a s}se A = ∅ entao devolva(falha)nao-deterministicamente escolha (s, a) ∈ A
π ← π ∪ {(s, a)}s ← γ(s, a)
Algoritmo mais simples de planejamento classico
Ricardo Guimaraes Herrmann [email protected] Planejamento hierarquico sob incerteza Knightiana
IntroducaoPlanejamento Nao-Determinıstico Hierarquico
Analise e Conclusao
Planejamento ClassicoPlanejamento HierarquicoPlanejamento Nao-Determinıstico
1 IntroducaoPlanejamento ClassicoPlanejamento HierarquicoPlanejamento Nao-Determinıstico
2 Planejamento Nao-Determinıstico HierarquicoTecnica de ND-transformacaoPlanejador ND-HSHOPImplementacao
3 Analise e ConclusaoAnalise EmpıricaConclusao
Ricardo Guimaraes Herrmann [email protected] Planejamento hierarquico sob incerteza Knightiana
IntroducaoPlanejamento Nao-Determinıstico Hierarquico
Analise e Conclusao
Planejamento ClassicoPlanejamento HierarquicoPlanejamento Nao-Determinıstico
Planejamento Hierarquico
Planejamento guiado por Redes Hierarquicas de Tarefas (HTNs)Faz uma busca no espaco de redes de tarefas atraves dasdiferentes decomposicoes de acoes compostas (ou tarefas)
Acoes (ou tarefas) compostas, abstratas, representam sub-metasde alto nıvelAcoes (ou tarefas) primitivas representam acoes
Ricardo Guimaraes Herrmann [email protected] Planejamento hierarquico sob incerteza Knightiana
IntroducaoPlanejamento Nao-Determinıstico Hierarquico
Analise e Conclusao
Planejamento ClassicoPlanejamento HierarquicoPlanejamento Nao-Determinıstico
Planejamento Hierarquico
Planejamento guiado por Redes Hierarquicas de Tarefas (HTNs)Faz uma busca no espaco de redes de tarefas atraves dasdiferentes decomposicoes de acoes compostas (ou tarefas)
Acoes (ou tarefas) compostas, abstratas, representam sub-metasde alto nıvelAcoes (ou tarefas) primitivas representam acoes
Projetista do domınio fornece diferentes metodos para decomporacoes compostas
O estado corrente deve satisfazer um conjunto de pre-condicoes deum metodo para que este seja aplicavel
Ricardo Guimaraes Herrmann [email protected] Planejamento hierarquico sob incerteza Knightiana
IntroducaoPlanejamento Nao-Determinıstico Hierarquico
Analise e Conclusao
Planejamento ClassicoPlanejamento HierarquicoPlanejamento Nao-Determinıstico
Planejamento Hierarquico
Planejamento guiado por Redes Hierarquicas de Tarefas (HTNs)Faz uma busca no espaco de redes de tarefas atraves dasdiferentes decomposicoes de acoes compostas (ou tarefas)
Acoes (ou tarefas) compostas, abstratas, representam sub-metasde alto nıvelAcoes (ou tarefas) primitivas representam acoes
Projetista do domınio fornece diferentes metodos para decomporacoes compostas
O estado corrente deve satisfazer um conjunto de pre-condicoes deum metodo para que este seja aplicavel
Problema HTN: dado um estado inicial s0 e uma acao composta,decompo-la atraves de metodos ate o nıvel de acoes primitivas,executaveis a partir de s0Mais expressivo que o Planejamento Classico
Ricardo Guimaraes Herrmann [email protected] Planejamento hierarquico sob incerteza Knightiana
IntroducaoPlanejamento Nao-Determinıstico Hierarquico
Analise e Conclusao
Planejamento ClassicoPlanejamento HierarquicoPlanejamento Nao-Determinıstico
Exemplo de Planejamento Hierarquico
Ricardo Guimaraes Herrmann [email protected] Planejamento hierarquico sob incerteza Knightiana
IntroducaoPlanejamento Nao-Determinıstico Hierarquico
Analise e Conclusao
Planejamento ClassicoPlanejamento HierarquicoPlanejamento Nao-Determinıstico
Redes Simples de Tarefas
Redes Simples de Tarefas (STNs):
Caso especial de HTNs
Efetua busca progressiva no espaco de estados
Escolha de acoes guiada pela decomposicao de redeshierarquicas de tarefas
Base para a famılia SHOP de planejadores:
SHOP - decomposicao em ordem total (listas de tarefas)SHOP2 - decomposicao em ordem parcial (redes de tarefas)JSHOP2 - compilacao de planejadores especıficos de domınio
Ricardo Guimaraes Herrmann [email protected] Planejamento hierarquico sob incerteza Knightiana
IntroducaoPlanejamento Nao-Determinıstico Hierarquico
Analise e Conclusao
Planejamento ClassicoPlanejamento HierarquicoPlanejamento Nao-Determinıstico
Decomposicao Hierarquica em Ordem Parcial
STN-Plan (s, w ,D,M)
se w = ∅ entao devolva(π)nao-deterministicamente escolha u ∈ w , sem predecessores em w
se tu e uma acao primitiva entao
A← {(a, σ) | a e uma acao de D, σ e uma substituicaotal que nome(a) = σ(tu) e a e aplicavel a s}
se A = ∅ entao devolva(falha)nao-deterministicamente escolha (a, σ) ∈ A
π ←STN-Plan(γ(s, a), σ(w \ {u}),D,M)se π = falha entao devolva(falha)senao devolva(a.π)
senao
M ← {(m, σ) | m e um metodo deM, σ e uma substituicaotal que nome(m) = σ(tu) e m e aplicavel a s}
se M = ∅ entao devolva(falha)nao-deterministicamente escolha (m, σ) ∈ M
nao-deterministicamente escolha w ′ ∈ δ(w , u, m, σ)devolva STN-Plan(s, w ′,D,M)
Ricardo Guimaraes Herrmann [email protected] Planejamento hierarquico sob incerteza Knightiana
IntroducaoPlanejamento Nao-Determinıstico Hierarquico
Analise e Conclusao
Planejamento ClassicoPlanejamento HierarquicoPlanejamento Nao-Determinıstico
Exemplo de Metodos de Decomposicao
Ricardo Guimaraes Herrmann [email protected] Planejamento hierarquico sob incerteza Knightiana
IntroducaoPlanejamento Nao-Determinıstico Hierarquico
Analise e Conclusao
Planejamento ClassicoPlanejamento HierarquicoPlanejamento Nao-Determinıstico
1 IntroducaoPlanejamento ClassicoPlanejamento HierarquicoPlanejamento Nao-Determinıstico
2 Planejamento Nao-Determinıstico HierarquicoTecnica de ND-transformacaoPlanejador ND-HSHOPImplementacao
3 Analise e ConclusaoAnalise EmpıricaConclusao
Ricardo Guimaraes Herrmann [email protected] Planejamento hierarquico sob incerteza Knightiana
IntroducaoPlanejamento Nao-Determinıstico Hierarquico
Analise e Conclusao
Planejamento ClassicoPlanejamento HierarquicoPlanejamento Nao-Determinıstico
Planejamento Nao-Determinıstico
Planejamento sob Incerteza
Ambientes praticos nao sao tao bem comportados como os doPlanejamento Classico
Acoes podem falhar de modo previsıvel
E possıvel representar a incerteza nos efeitos de acoes
Agentes mais informados podem planejar para contingencias
Ricardo Guimaraes Herrmann [email protected] Planejamento hierarquico sob incerteza Knightiana
IntroducaoPlanejamento Nao-Determinıstico Hierarquico
Analise e Conclusao
Planejamento ClassicoPlanejamento HierarquicoPlanejamento Nao-Determinıstico
Planejamento Nao-Determinıstico
Planejamento sob Incerteza
Ambientes praticos nao sao tao bem comportados como os doPlanejamento Classico
Acoes podem falhar de modo previsıvel
E possıvel representar a incerteza nos efeitos de acoes
Agentes mais informados podem planejar para contingencias
Estrategia:
Planejador deve considerar todos os possıveis caminhos deexecucao diferentes, para poder encontrar um plano quefuncione, apesar do nao-determinismo
Desafio:
Ainda mais difıcil que o Planejamento Classico
O tamanho do plano condicional obtido pode crescerexponencialmente
Ricardo Guimaraes Herrmann [email protected] Planejamento hierarquico sob incerteza Knightiana
IntroducaoPlanejamento Nao-Determinıstico Hierarquico
Analise e Conclusao
Planejamento ClassicoPlanejamento HierarquicoPlanejamento Nao-Determinıstico
Domınio Nao-Determinıstico Totalmente Observavel
Ricardo Guimaraes Herrmann [email protected] Planejamento hierarquico sob incerteza Knightiana
IntroducaoPlanejamento Nao-Determinıstico Hierarquico
Analise e Conclusao
Planejamento ClassicoPlanejamento HierarquicoPlanejamento Nao-Determinıstico
Planos como Polıticas
Um plano sequencial nao e capaz de representar acoes paradiferentes evolucoes do mundo
Outro tipo de formalismo mais expressivo para representarplanos deve ser utilizado em Planejamento Nao-Determinıstico
Definicao
Uma polıtica π:
Funcao π : S 7→ A, diz qual acao executar em umdeterminado estado (polıtica determinıstica)
Conjunto de estados em π, Sπ = {s | (s, a) ∈ π}
Ricardo Guimaraes Herrmann [email protected] Planejamento hierarquico sob incerteza Knightiana
IntroducaoPlanejamento Nao-Determinıstico Hierarquico
Analise e Conclusao
Planejamento ClassicoPlanejamento HierarquicoPlanejamento Nao-Determinıstico
Classes de Solucoes
Diferentes nıveis de garantia de polıticas
Fracos Para cada s ∈ S0, existe pelo um caminho em Σπ
que alcanca um estado meta
Fortes Qualquer estado de Sπ alcanca a meta sem queestados sejam visitados duas vezes (sem ciclos)
Fortes Cıclicos Qualquer estado de Sπ alcanca a meta, porempodem existir ciclos em Σπ
Ricardo Guimaraes Herrmann [email protected] Planejamento hierarquico sob incerteza Knightiana
IntroducaoPlanejamento Nao-Determinıstico Hierarquico
Analise e Conclusao
Planejamento ClassicoPlanejamento HierarquicoPlanejamento Nao-Determinıstico
Classes de Solucoes
Diferentes nıveis de garantia de polıticas
Fracos Para cada s ∈ S0, existe pelo um caminho em Σπ
que alcanca um estado meta
Fortes Qualquer estado de Sπ alcanca a meta sem queestados sejam visitados duas vezes (sem ciclos)
Fortes Cıclicos Qualquer estado de Sπ alcanca a meta, porempodem existir ciclos em Σπ
Nıvel crescente de garantia: Fracos < Fortes Cıclicos < Fortes
Algumas vezes planos fortes nao existem mas planos fortescıclicos sao satisfatorios
Como ultimo recurso, caso nao exista outra solucao melhor,um plano fraco e a unica opcao para o agente
Ricardo Guimaraes Herrmann [email protected] Planejamento hierarquico sob incerteza Knightiana
IntroducaoPlanejamento Nao-Determinıstico Hierarquico
Analise e Conclusao
Planejamento ClassicoPlanejamento HierarquicoPlanejamento Nao-Determinıstico
Algoritmos Tradicionais
Tradicionalmente, no Planejamento Nao-Determinıstico,utiliza-se algoritmos de Verificacao de Modelos:
Tecnica de verificacao formalBaseada na exploracao exaustiva de um sistema de transicaode estados Σ
Utiliza busca em largura regressiva, a partir dos estados meta,ate os estados iniciais
Baseia-se em uma funcao de pre-imagem, que computa umconjunto de predecessores de S
Ricardo Guimaraes Herrmann [email protected] Planejamento hierarquico sob incerteza Knightiana
IntroducaoPlanejamento Nao-Determinıstico Hierarquico
Analise e Conclusao
Tecnica de ND-transformacaoPlanejador ND-HSHOPImplementacao
1 IntroducaoPlanejamento ClassicoPlanejamento HierarquicoPlanejamento Nao-Determinıstico
2 Planejamento Nao-Determinıstico HierarquicoTecnica de ND-transformacaoPlanejador ND-HSHOPImplementacao
3 Analise e ConclusaoAnalise EmpıricaConclusao
Ricardo Guimaraes Herrmann [email protected] Planejamento hierarquico sob incerteza Knightiana
IntroducaoPlanejamento Nao-Determinıstico Hierarquico
Analise e Conclusao
Tecnica de ND-transformacaoPlanejador ND-HSHOPImplementacao
Planejamento Nao-Determinıstico Hierarquico
Suposicoes do Planejamento Nao-Determinıstico Hierarquico
Conjunto finito de estados
Ambiente completamente observavel
Acoes nao-determinısticas
Ambiente estatico (sem eventos externos)
Metas como decomposicao de tarefas e alcancabilidade
Planos como polıticas
Tempo implıcito
Planejamento offline
No contexto deste trabalho, Planejamento Nao DeterminısticoHierarquico denota Planejamento Hierarquico com AcoesNao-Determinısticas sob Observabilidade Total
Ricardo Guimaraes Herrmann [email protected] Planejamento hierarquico sob incerteza Knightiana
IntroducaoPlanejamento Nao-Determinıstico Hierarquico
Analise e Conclusao
Tecnica de ND-transformacaoPlanejador ND-HSHOPImplementacao
ND-transformacao de Planejadores Progressivos
ND-transfomacao [Kuter & Nau, 2004]
Estende planejadores progressivos para lidar comnao-determinismo
Trata incerteza Knightiana, ou seja, sem probabilidadesassociadas a efeitos de acoes
Transformacao de modo sistematico (FCP → ND-FCP)
Preserva corretude e completude
Ricardo Guimaraes Herrmann [email protected] Planejamento hierarquico sob incerteza Knightiana
IntroducaoPlanejamento Nao-Determinıstico Hierarquico
Analise e Conclusao
Tecnica de ND-transformacaoPlanejador ND-HSHOPImplementacao
Planejamento Progressivo Determinıstico
Se um planejador Λ tem a forma:
FCP (s0, g ,D, α)
π ← ∅; s ← s0loop
se s satisfaz g entao devolva(π)A← {(s, a) | a e uma instancia total de um operador
em D, a e aplicavel a s, e a ∈ α(s)}se A = ∅ entao devolva(falha)nao-deterministicamente escolha (s, a) ∈ A
π ← π ∪ {(s, a)}s ← γ(s, a)
onde α(s) e uma funcao de selecao de acoes, ND-Λ, suaND-transformacao, e ...
Ricardo Guimaraes Herrmann [email protected] Planejamento hierarquico sob incerteza Knightiana
IntroducaoPlanejamento Nao-Determinıstico Hierarquico
Analise e Conclusao
Tecnica de ND-transformacaoPlanejador ND-HSHOPImplementacao
Planejamento Progressivo Nao-Determinıstico
ND-FCP (S0, g ,D′, α′)
π ← ∅; S ← S0; resolvidos ← ∅loop
se S = ∅ entao devolva(π)selecione um estado s ∈ S e remova-o de S
se s satisfaz g entao insira s em resolvidos
senao se s /∈ Sπ entao
A← {(s, a) | a e uma instancia total de umoperador em D′, a e aplicavel a s, e a ∈ α′(s)}
se A = ∅ entao devolva(falha)nao-deterministicamente escolha (s, a) ∈ A
π ← π ∪ {(s, a)}S ← S ∪ γ(s, a)
senao se s nao tem π-descendentes em (S ∪ resolvidos) \ Sπ
entao devolva(falha)
Ricardo Guimaraes Herrmann [email protected] Planejamento hierarquico sob incerteza Knightiana
IntroducaoPlanejamento Nao-Determinıstico Hierarquico
Analise e Conclusao
Tecnica de ND-transformacaoPlanejador ND-HSHOPImplementacao
Caracterizacao de Planos de ND-FCP
ND-FCP gera planos fortes cıclicos, mas pode ser adaptado paragerar tambem planos:
Fortes , trocando o teste de π-descendencia por falha assimque um ciclo for detectado
Fracos , removendo, cada vez que um estado meta e gerado,todo estado nao-inicial do conjunto S , forcando oplanejador a encontrar um caminho a partir de cadaestado inicial ate uma meta
Ricardo Guimaraes Herrmann [email protected] Planejamento hierarquico sob incerteza Knightiana
IntroducaoPlanejamento Nao-Determinıstico Hierarquico
Analise e Conclusao
Tecnica de ND-transformacaoPlanejador ND-HSHOPImplementacao
1 IntroducaoPlanejamento ClassicoPlanejamento HierarquicoPlanejamento Nao-Determinıstico
2 Planejamento Nao-Determinıstico HierarquicoTecnica de ND-transformacaoPlanejador ND-HSHOPImplementacao
3 Analise e ConclusaoAnalise EmpıricaConclusao
Ricardo Guimaraes Herrmann [email protected] Planejamento hierarquico sob incerteza Knightiana
IntroducaoPlanejamento Nao-Determinıstico Hierarquico
Analise e Conclusao
Tecnica de ND-transformacaoPlanejador ND-HSHOPImplementacao
ND-HSHOP
Planejador ND-HSHOP
ND-transformacao de HSHOP
HSHOP e um planejador feito neste trabalho baseado noalgoritmo de SHOP, utilizando a linguagem de programacaoHaskell
Implementacao do algoritmo de planejamento ND-SHOP2[Kuter & Nau 2004]
α(s) representa a escolha de acoes geradas pela decomposicaohierarquica STN-Plan
Permite combinar:
Poder de controle de busca especıfico de domınio doplanejamento hierarquico
Capacidade de lidar com acoes nao-determinısticas
Ricardo Guimaraes Herrmann [email protected] Planejamento hierarquico sob incerteza Knightiana
IntroducaoPlanejamento Nao-Determinıstico Hierarquico
Analise e Conclusao
Tecnica de ND-transformacaoPlanejador ND-HSHOPImplementacao
Exemplo de HTN com Acoes Nao-Determinısticas
Ricardo Guimaraes Herrmann [email protected] Planejamento hierarquico sob incerteza Knightiana
IntroducaoPlanejamento Nao-Determinıstico Hierarquico
Analise e Conclusao
Tecnica de ND-transformacaoPlanejador ND-HSHOPImplementacao
Planejador YoYo (ou FS3SHOP2)
Motivacoes:
A tecnica de Verificacao de Modelos Simbolicos utilizaformulas proposicionais para representar de modo compactoconjuntos de estados e transformacoes sobre estes
Presume-se que a combinacao destas tecnicas em diferentestipos de problemas e domınios de planejamento e vantajosa
Estrategia:
Estender ND-SHOP2 para utilizar tecnicas de verificacao demodelos simbolicos, baseadas em BDDs
FS3: similar a ND-transformacao, mas explora espaco desituacoes, da forma (S ,w), envolvendo conjuntos de estados eum controle (rede de tarefas)
Ricardo Guimaraes Herrmann [email protected] Planejamento hierarquico sob incerteza Knightiana
IntroducaoPlanejamento Nao-Determinıstico Hierarquico
Analise e Conclusao
Tecnica de ND-transformacaoPlanejador ND-HSHOPImplementacao
Planejamento utilizando BDDs
Proposicoes:
Vetor s de proposicoes correntes (estado atual)
Vetor s ′ de proposicoes seguintes correspondentes a s (estadofuturo)
Vetor a de acoes
Representacao:
Um estado s e uma valoracao {⊥,>} para s
conjunto de estados ξ(S)def=
∨s∈S ξ(s), S ⊆ S
Ricardo Guimaraes Herrmann [email protected] Planejamento hierarquico sob incerteza Knightiana
IntroducaoPlanejamento Nao-Determinıstico Hierarquico
Analise e Conclusao
Tecnica de ND-transformacaoPlanejador ND-HSHOPImplementacao
Uso de BDDs em YoYo
Nao e necessario representar estados explicitamente:
ξ(∅) = ⊥
ξ(2S) = > (tautologia)
Deslocamento progressivo ξ′(s)def= ξ(s)[s/s ′]
Transicao ξ(〈s1, a, s2〉)def= ξ(s1) ∧ a ∧ ξ′(s2)
Operacoes sobre conjuntos representados como BDDs:
ξ(S1 ∪ S2)def= ξ(S1) ∨ ξ(S2)
ξ(S1 ∩ S2)def= ξ(S1) ∧ ξ(S2)
ξ(S1 \ S2)def= ξ(S1) ∧ ¬ξ(S2)
S1 = S2def= ξ(S1)↔ ξ(S2)
S1 ⊆ S2def= ξ(S1)→ ξ(S2)
Ricardo Guimaraes Herrmann [email protected] Planejamento hierarquico sob incerteza Knightiana
IntroducaoPlanejamento Nao-Determinıstico Hierarquico
Analise e Conclusao
Tecnica de ND-transformacaoPlanejador ND-HSHOPImplementacao
1 IntroducaoPlanejamento ClassicoPlanejamento HierarquicoPlanejamento Nao-Determinıstico
2 Planejamento Nao-Determinıstico HierarquicoTecnica de ND-transformacaoPlanejador ND-HSHOPImplementacao
3 Analise e ConclusaoAnalise EmpıricaConclusao
Ricardo Guimaraes Herrmann [email protected] Planejamento hierarquico sob incerteza Knightiana
IntroducaoPlanejamento Nao-Determinıstico Hierarquico
Analise e Conclusao
Tecnica de ND-transformacaoPlanejador ND-HSHOPImplementacao
Modelo da Linguagem para HTN Nao-Determinıstico
Ricardo Guimaraes Herrmann [email protected] Planejamento hierarquico sob incerteza Knightiana
IntroducaoPlanejamento Nao-Determinıstico Hierarquico
Analise e Conclusao
Tecnica de ND-transformacaoPlanejador ND-HSHOPImplementacao
Planejadores implementados neste trabalho
Planejadores implementados neste trabalho:
HMBP , um planejador nao-determinıstico baseado emVerificacao de Modelos, sem o uso de BDDs nemhierarquias, implementado em Haskell
ND-HSHOP , um planejador nao-determinıstico que usadecomposicao hierarquica de acoes compostas, semuso de BDDs, implementado em Haskell
FS3HSHOP , uma implementacao de YoYo (FS3
SHOP), mas quenao utiliza BDDs, implementado em Haskell
Ricardo Guimaraes Herrmann [email protected] Planejamento hierarquico sob incerteza Knightiana
IntroducaoPlanejamento Nao-Determinıstico Hierarquico
Analise e Conclusao
Analise EmpıricaConclusao
1 IntroducaoPlanejamento ClassicoPlanejamento HierarquicoPlanejamento Nao-Determinıstico
2 Planejamento Nao-Determinıstico HierarquicoTecnica de ND-transformacaoPlanejador ND-HSHOPImplementacao
3 Analise e ConclusaoAnalise EmpıricaConclusao
Ricardo Guimaraes Herrmann [email protected] Planejamento hierarquico sob incerteza Knightiana
IntroducaoPlanejamento Nao-Determinıstico Hierarquico
Analise e Conclusao
Analise EmpıricaConclusao
Domınio Prototıpico: Predador-Presas
Descricao do domınio: Predador-Presas
Presas e predador movem-se em uma grade n × n
Movimentos utilizando as acoes norte, sul, leste e oeste
Predador possui a acao adicional agarrar, aplicavel quandoalcanca uma presa
Presas possuem a acao adicional descansar
Nao-determinismo do domınio reside nas acoes das presas
Possui um grande fator de ramificacao
Ricardo Guimaraes Herrmann [email protected] Planejamento hierarquico sob incerteza Knightiana
IntroducaoPlanejamento Nao-Determinıstico Hierarquico
Analise e Conclusao
Analise EmpıricaConclusao
Problema Prototıpico: Predador-Presas
Problema P25 :
grade 5× 5
2 presas
3 acoes possıveis
5× 5× 3 = 75 possıveisestados sucessores
Numero total de estados|Pp
n | =∑p+1
i=1 (n2)i
Ricardo Guimaraes Herrmann [email protected] Planejamento hierarquico sob incerteza Knightiana
IntroducaoPlanejamento Nao-Determinıstico Hierarquico
Analise e Conclusao
Analise EmpıricaConclusao
Decomposicao Hierarquica de Predador-Presas
Metodos HTN para o domınio Predador-Presas
TarefasMetodos
Nome Pre-condicao Lista de tarefas
catch preysdone preys = 0 ∅more preys > 0 (catch prey , catch preys)
catch prey chase > (chase prey , catch)
chase preysame x = x ′ ∧ y = y ′ ∅diff x 6= x ′ ∨ y 6= y ′ (chase horizontal)
chase horizontal
chase e x < x ′ (east, chase prey)chase w x > x ′ (west, chase prey)horz ok x = x ′ (chase vertical)
chase vertical
chase n y < y ′ (north, chase prey)chase s y > y ′ (south, chase prey)vert ok y = y ′ ∅
Ricardo Guimaraes Herrmann [email protected] Planejamento hierarquico sob incerteza Knightiana
IntroducaoPlanejamento Nao-Determinıstico Hierarquico
Analise e Conclusao
Analise EmpıricaConclusao
Tamanhos das Polıticas Obtidas por ND-HSHOP
10
100
1000
10000
100000
1e+06
1 10 100
Tam
anho
da
polit
ica
Tamanho da grade (n x n)
1 presa2 presas3 presas4 presas
Ricardo Guimaraes Herrmann [email protected] Planejamento hierarquico sob incerteza Knightiana
IntroducaoPlanejamento Nao-Determinıstico Hierarquico
Analise e Conclusao
Analise EmpıricaConclusao
Tempo Medio de Execucao de ND-HSHOP
0.001
0.01
0.1
1
10
100
1000
10000
1 10 100
Tem
po (
s)
Tamanho da grade (n x n)
1 presa2 presas3 presas4 presas
Ricardo Guimaraes Herrmann [email protected] Planejamento hierarquico sob incerteza Knightiana
IntroducaoPlanejamento Nao-Determinıstico Hierarquico
Analise e Conclusao
Analise EmpıricaConclusao
Comparacao entre Diferentes Planejadores
Comparacao em termos de tempo absoluto gasto durante oplanejamento
Planejador escolhido para comparacao
MBP , um planejador nao-determinıstico baseado emVerificacao de Modelos que usa BDDs paratestes eficientes de satisfacao de condicoes,implementado em C++, consideradoestado-da-arte em planejamentonao-determinıstico
Ricardo Guimaraes Herrmann [email protected] Planejamento hierarquico sob incerteza Knightiana
IntroducaoPlanejamento Nao-Determinıstico Hierarquico
Analise e Conclusao
Analise EmpıricaConclusao
Resultados dos Testes com Problemas P12...70
0.001
0.01
0.1
1
10
100
1000
10000
0 10 20 30 40 50 60 70
Tem
po (
s)
Tamanho da grade (n x n)
ND-HSHOPMBP
HMBP
Ricardo Guimaraes Herrmann [email protected] Planejamento hierarquico sob incerteza Knightiana
IntroducaoPlanejamento Nao-Determinıstico Hierarquico
Analise e Conclusao
Analise EmpıricaConclusao
Conclusao
ND-transformacao permite que avancos nos planejadores combusca progressiva no espaco de estados possam ser utilizadospara domınios nao-determinısticos
ND-HSHOP foi capaz de encontrar polıticas com ate 550 milestados. Ganho de eficiencia ao custo de maior verbosidadedo domınio
ND-HSHOP permite controle sobre escolhas de acoes masainda deve explorar todos os estados possivelmentealcancaveis em tempo de execucao
Meios de representacao compacta de conjuntos de estados saonecessarios para a solucao de problemas maiores
HMBP faz busca baseada em pre-imagem mas nao ecompetitivo com MBP por nao fazer uso de BDDs
Ricardo Guimaraes Herrmann [email protected] Planejamento hierarquico sob incerteza Knightiana
IntroducaoPlanejamento Nao-Determinıstico Hierarquico
Analise e Conclusao
Analise EmpıricaConclusao
Trabalhos Futuros
Extensoes a curto prazo
Disponibilizar biblioteca de metodos de planejamento HasPlan
Implementacao de BDDs para representacao compacta detransicoes em FS3
HSHOP
Planos estendidos para metas de decomposicao Planos Est.
Ricardo Guimaraes Herrmann [email protected] Planejamento hierarquico sob incerteza Knightiana
IntroducaoPlanejamento Nao-Determinıstico Hierarquico
Analise e Conclusao
Analise EmpıricaConclusao
Trabalhos Futuros
Extensoes a curto prazo
Disponibilizar biblioteca de metodos de planejamento HasPlan
Implementacao de BDDs para representacao compacta detransicoes em FS3
HSHOP
Planos estendidos para metas de decomposicao Planos Est.
Trabalhos a serem considerados futuramente
FCP → Cond-FCP (observabilidade parcial) [Kuter et al.2007]
FCP → Prob-FCP (acoes probabilısticas) [Kuter, 2006]
Acoes com probabilidades imprecisas [Trevizan et al. 2007]
Tentativa de combinacao dos trabalhos mencionados a fim debuscar um planejador mais pratico
Ricardo Guimaraes Herrmann [email protected] Planejamento hierarquico sob incerteza Knightiana
IntroducaoPlanejamento Nao-Determinıstico Hierarquico
Analise e Conclusao
Analise EmpıricaConclusao
Fim
Obrigado !
Ricardo Guimaraes Herrmann [email protected] Planejamento hierarquico sob incerteza Knightiana
IntroducaoPlanejamento Nao-Determinıstico Hierarquico
Analise e Conclusao
Analise EmpıricaConclusao
Conflito na Escolha de Acoes em Polıticas
Ricardo Guimaraes Herrmann [email protected] Planejamento hierarquico sob incerteza Knightiana
IntroducaoPlanejamento Nao-Determinıstico Hierarquico
Analise e Conclusao
Analise EmpıricaConclusao
Contextos de Execucao
Ricardo Guimaraes Herrmann [email protected] Planejamento hierarquico sob incerteza Knightiana
IntroducaoPlanejamento Nao-Determinıstico Hierarquico
Analise e Conclusao
Analise EmpıricaConclusao
Plano Estendido
act
s c a
s1 cd a1
s2 cd a3
s3 c1 a4
s3 c2 a2
ctxt
s c s ′ c ′
s1 cd s3 c1
s2 cd s3 c2
s3 c1 s5 cd
s3 c2 s4 cd
act diz qual acao deve ser executada (polıtica)
ctxt diz qual e o proximo contexto, dado o estado sucessor
Ricardo Guimaraes Herrmann [email protected] Planejamento hierarquico sob incerteza Knightiana
IntroducaoPlanejamento Nao-Determinıstico Hierarquico
Analise e Conclusao
Analise EmpıricaConclusao
Estrutura de Execucao de Polıticas
Definicao
A estrutura de execucao Σπ de uma polıtica π, dado o sistema detransicao de estados Σ e:
Σπ ⊆ Σ e um grafo direcionado, onde:
Nos sao estados alcancaveis atraves de acoes de πArestas sao possıveis transicoes de estado causadas por π
Caminho em Σπ de s1 ate s2 ⇐⇒ s1 e π-ancestral de s2 e s2e π-descendente de s1
Ricardo Guimaraes Herrmann [email protected] Planejamento hierarquico sob incerteza Knightiana
IntroducaoPlanejamento Nao-Determinıstico Hierarquico
Analise e Conclusao
Analise EmpıricaConclusao
Estrutura de Execucao de Polıticas
Sistema de Transicao deEstados Σ
Estrutura de Execucao Σπ
s2 e π-ancestral de s7
Ricardo Guimaraes Herrmann [email protected] Planejamento hierarquico sob incerteza Knightiana