View
1
Download
0
Category
Preview:
Citation preview
Abordagem Híbrida Fuzzy-Bayesiana para um Agente Jogador de
Pôquer
André G. Benjamim João J. P. F. Junior Yuri S. Diniz Igor R. Gomes
Centro Universitário do Pará (CESUPA) – Área de Ciências Exatas e Tecnologia (ACET)
Laboratório de Computação Natural (LCN) – Grupo de Estudos Temáticos de Matemática Computacional
(MatComp-CESUPA) - 66.060- 230, Belém – Pará – Brasil
E-mail: {andregomesb, joaojfarias, yurisdiniz, ruiz.igor}@gmail.com
RESUMO
Um dos grandes desafios em um jogo de pôquer é conseguir definir o comportamento dos adversários e definir o melhor conjunto de ações a ser tomada. Para isso, o resumo trata de uma
solução utilizando as abordagens de Redes Bayesianas e Sistemas Fuzzy aplicadas em um
agente.
As Redes Bayesianas são grafos acíclicos dirigidos que possuem nós e arcos, sendo eles variáveis com medidas de incerteza e relação causal direta entre os nós conectados,
respectivamente. Sua base de conhecimento é formada por probabilidades que são adquiridas do
conhecimento dos especialistas envolvidos [2]. O Sistema Fuzzy utiliza a Teoria de Conjuntos Fuzzy, caracterizado por uma função de
pertinência que fornece valores entre 0 e 1. Dessa forma, é possível representar informações que
não são precisas (por exemplo: quente, frio, alto, baixo, caro e barato) [1,2].
Apesar de possuírem abordagens diferentes, Redes Bayesianas sendo utilizadas para tratar a incerteza por aleatoriedade (probabilidade) e Sistemas Fuzzy, por imprecisão (possibilidade),
ambas buscam alcançar um resultado próximo do que se compreende por exato [2].
Combinando ambas as abordagens é possível que algumas deficiências sejam superadas para melhor resolver o problema, por exemplo, quando um problema apresenta características
aleatórias, uma rede bayesiana apresenta resultados satisfatórios, porém quando as incertezas
são representadas por eventos imprecisos ou vagos, é necessária uma manipulação de maneira diferente. Aplicando-se Teoria dos Conjuntos Fuzzy juntamente à Teoria da Probabilidade, é
possível resolver problemas que apresentem características imprecisas e aleatórias, como por
exemplo, o jogo de pôquer [1,2].
A modalidade de pôquer Texas Hold’em consiste em um jogo com dois ou mais jogadores, onde são distribuídas duas cartas fechadas para cada jogador e cinco cartas comunitárias que são
usadas por todos os jogadores. O jogo ocorre mediante as apostas e objetivo é ganhar as fichas
dessas apostas, para ganhar as fichas há duas maneiras: uma é quando se possui a melhor combinação de cinco cartas das sete disponíveis para os jogadores, duas fechadas e cinco
comunitárias, e outra é quando todos os jogadores saem da rodada em razão da aposta de algum
oponente, restando apenas um jogador [3]. As rodadas do jogo são divididas em Pré-Flop, Flop, Turn, River e Showdown. O jogo
inicia-se no Pré-Flop onde são feitos os pagamentos das apostas obrigatórias (blinds), os blinds
são divididos em small e big e pagam a metade e uma aposta mínima, respectivamente. A
ordem de ação segue o sentido horário iniciando pelo jogador à esquerda do big blind, os jogadores têm a opção de sair, pagar a aposta ou aumentá-la, uma vez feita uma aposta o
jogador só poderá permanecer na rodada se ele pagar ou aumentar essa aposta. Após a rodada de
Pré-Flop são distribuídas três cartas comunitárias e é reiniciada a rodada de apostas começando pelo small blind, o mesmo ocorre com as rodadas seguintes, mas é distribuída apenas uma carta
ao final do Flop e do Turn. Após o River é feita a comparação das cartas, Showdown e aquele
que possuir a melhor combinação leva o pote de fichas [3].
O importante no jogo é sempre buscar o maior lucro possível e minimizar ao máximo as perdas, por isso a aplicação de conceitos como expectativa, odds, pot odds, implied odds e
leitura do oponente são importantes [3].
1198
ISSN 1984-8218
Existem diversos fatores a considerar para se entrar com uma mão, cartas fechadas, dentre
eles estão: a força da mão, a posição, quantos jogadores entraram até o momento, quantos ainda
faltam ter suas ações, o perfil dos jogadores, quantas fichas possui, quantas fichas os adversários
possuem, entre outros fatores [3,4]. É possível observar que diversos fatores possuem propriedades aleatórias ou incertas, por
exemplo, que cartas comunitárias virão, quais delas podem beneficiar os outros jogadores ou
que cartas exatamente os outros jogadores possuem. Dessa forma é extremamente importante traçar o perfil dos oponentes e aplicar estratégias que busquem maior lucratividade contra eles
[1].
Uma abordagem híbrida se aplica principalmente na análise comportamental de cada indivíduo, incluindo o próprio agente. O objetivo é ir consolidando as características dos
indivíduos e buscar prever ações ou tentar compreender o motivo de uma determinada ação.
No início o agente não terá dados suficientes sobre cada indivíduo, e isso tornará a maior
parte dos valores da rede bayesiana de cada oponente ineficiente. Nessa etapa, a maior parte das variáveis terá que ser aplicada ao sistema fuzzy com estratégias padrões até que se tenham
dados suficientes para ser aplicados à rede [2].
Ao longo das rodadas, serão armazenadas e calculadas informações como VP$IP, abreviação de Vonluntarily Put Money in the Pot (porcentagem de vezes que o jogador entra no pote);
PFR%, Pre-Flop Raise percentage, que é número de vezes que o jogador aumentou a aposta
pré-flop; AF é o fator de agressividade que é o número de bet/raise pelo número de call (pagamento) feito nas rodadas do flop, turn e river; a posição em que mais entrou em um pote; o
range do oponente, são as mãos que possivelmente o jogador escolhe, geralmente variando de
acordo com a posição e o estilo de jogo; e a freqüência em que aplicou continuation bet,
check/raise e outras apostas [3,4]. Após consolidada as informações quantitativas, os valores são aplicados à rede e as variáveis
de imprecisão serão identificadas aos conjuntos fuzzy. Depois é feita a caracterização dos
conjuntos, escolhendo os tipos de função de pertinência que podem representar o domínio, também será feita a delimitação do universo de cada variável e a definição dos limites de cada
conjunto. A saída da rede bayesiana é repassada como parte da entrada do sistema fuzzy [1,2].
Com essa união é possível obter uma descrição mais precisa do que simplesmente utilizar
uma das técnicas. Para trabalho futuros, algoritmos aplicados no agente como um todo ou apenas em uma das técnicas para melhorar o desempenho e a precisão do dados. Por exemplo,
implementar um algoritmo EM (Expectation-Maximization) para a rede bayesiana.
Palavras-chave: Inteligência Artificial, Rede Bayesiana, Sistemas Fuzzy, Pôquer, Poker
Referências
[1] S. O. Rezende, "Sistemas inteligentes: fundamentos e aplicações", Manole Ltda., Barueri,
2005.
[2] C. A. G. Tibiriçá, "Desenvolvimento de uma Abordagem Híbrida Difuso-Probabilística
para a Modelagem de Incerteza", 2003. Disponível em:
<http://www.inf.ufsc.br/~silvia/trabalhos/Abordagem_Hibrida_Difuso_Probabilistica_Modelagem_Incerteza.pdf>.
[3] L. Bello, "Aprendendo a jogar poker: princípios, técnica & prática", Nova Fronteira, Rio de
Janeiro, 2008.
[4] L. Bello, "Dominando a arte do poker: fundamentos para o sucesso", Ediouro, Rio de
Janeiro, 2009.
1199
ISSN 1984-8218
Recommended