Embed Size (px)
Citation preview
Realidade Aumentada aplicada ao Futebol de Robos
Rafael Lima Silva†, Marcelo Bernardes Vieira†, Luis Antonio Dourado Junior∗ e Rodrigo Luis de Souza da Silva††Departamento de Ciencia da Computacao
Universidade Federal de Juiz de Fora - Juiz de Fora - BrasilEmail: [email protected], [email protected], [email protected]
∗Instituto de Artes e DesignUniversidade Federal de Juiz de Fora - Juiz de Fora - Brasil
Email: [email protected]
Abstract—This paper proposes a system to improve theentertainment of an Augmented Reality Robot Soccer envi-ronment. Basically, several markers will be placed around theRobot Soccer field. The markers will be used to orient theright positioning of virtual bleachers, stadium screen and othervirtual objects around the real robot soccer field. The systemaims to attract the attention of students and society about thescientific topics covered in this project.
Keywords-Augmented Reality; robot soccer; virtual stadium;
I. INTRODUCAO
Uma vasta gama de novas tecnologias sao desenvolvidasatraves de pesquisas em corporacoes e universidades, ecomecam como projetos aparentemente focados em outrosfins. O Futebol de Robos se enquadra nesta descricao, poisparte de uma ideia destinada a competicao e entreteni-mento com o intuito de fomentar bases multidisciplinaresde grande interesse cientıfico e tecnologico, sobretudo paraa computacao e engenharia. Atuando no desenvolvimentodesta tecnologia, seja criando robos mais eficientes parao jogo, algoritmos melhores para deteccao dos robos oude inteligencia artificial para criar taticas para as partidas,os pesquisadores contribuem na geracao de conhecimentonestas areas e promovem este conhecimento para o publicode forma atrativa.
A Realidade Aumentada (RA) tambem se define comouma destas tecnologias e tem despertado grande interesseatualmente, sobretudo nas areas de publicidade e propagandapor seu potencial de imersao e interatividade. Aplicacoesnesta area envolvem pesquisas em educacao, pedagogia, eprincipalmente em computacao grafica.
A fusao de metodos computacionais e de engenharia como futebol de robos facilita a disseminacao de conhecimentoem ambas as areas, despertando maior interesse dos estu-dantes para o futuro ingresso nestes cursos.
O principal objetivo deste trabalho e implementar umsistema de RA destinado ao entretenimento para promovere atrair maior atencao a competicao de Futebol de Robosrealizada na Universidade Federal de Juiz de Fora.
O sistema proposto ira adicionar elementos virtuais nocampo de jogo com o intuito de criar ao redor destecampo real um ambiente virtual voltado ao entretenimento,
semelhante ao visto em jogos eletronicos de futebol, quesera exibido para os espectadores durante as partidas.
Com a colaboracao da Faculdade de Arte da UFJF, ummodelo de estadio virtual (arquibancadas), sera inseridoatraves de tecnicas de RA com animacoes, replays, sonsde torcida e outros efeitos caracterısticos das transmissoesesportivas.
II. TRABALHOS RELACIONADOS
Existem na literatura varias referencias importantes arespeito do uso de realidade aumentada direcionada aoentretenimento, a educacao e tambem em aplicacoes emjogos. A fusao entre robotica e esta tecnologia tambempossui referencias importantes, onde sao estudados muitosaspectos relevantes para este projeto.
Em [1] foi proposto o uso da realidade aumentadacomo interface na interacao homem maquina. O uso depersonagens virtuais pode oferecer uma interface expres-siva para o usuario. Sendo barata e de facil adaptacao epersonalizacao, esta solucao torna-se uma alternativa inte-ressante na interacao homem-maquina. Este trabalho utilizao ARToolKit [2] em sua implementacao e propoe a adicaode elementos para refinar a compreensao das expressoes eaumentar as possibilidades de interacao com o usuario.
O trabalho desenvolvido em [3] insere figuras cartunescasem um robo de limpeza utilizando RA, demonstrando poderde expressao e a facilidade intuitiva de compreensao nainteracao entre o usuario e o robo. A grande vantagem dovisual cartunesco e que com simples imagens de facil criacaoe aplicacao se adquire um enorme poder de expressao.
Em [4] os autores fazem um estudo do nıvel de realismodesejavel para que um personagem seja expressivo em umaferramenta de educacao e os benefıcios da realidade au-mentada para esta expressividade. Atraves de uma aplicacaodenominada “AR History Game” que combina entreteni-mento e educacao, os autores fazem uma analise numericada expressividade do personagem virtual. Concluiu-se que ospersonagens em realidade aumentada geralmente sao maisinteressantes se houver interacao com os objetos reais nacena. Efeitos de audio tambem geram, segundo os autores,um resultado mais expressivo.
Alguns autores propoem jogos baseados na interacao entrerobos e elementos virtuais atraves de realidade aumentadautilizando uma plataforma conhecido como tabletop [5][6].
Em [7], efeitos de raios, explosoes, entre outros saoprojetados sobre os robos em uma mesa, de acordo com suaposicao e angulo obtida atraves do uso de fotossensores. Nojogo ha diversos tipos de interacao entre elementos reais evirtuais.
Finalmente em [8] foi proposto um trabalho que associafutebol de robos no contexto de Realidade Aumentada paraensino de robotica. Neste trabalho os robos sao reais, maso ambiente e virtual. O sistema proposto e composto porum monitor de LCD posicionado na horizontal, sendo usadocomo campo para a partida de futebol de robos. Sobre omonitor sao posicionadas cameras fixas. As cameras saoutilizadas para rastrear os marcadores fiduciais colocadossobre os robos.
III. PLATAFORMA UTILIZADA
O SudaRA - Suporte ao Desenvolvimento de Aplicacoesem Realidade Aumentada - e um framework open sourcedesenvolvido em C++ e baseado no ARToolKit para o desen-volvimento de aplicacoes de RA [9]. Este framework fornecerecursos de suporte a modelos 3D, som, rede, entre outros,que amplia o uso do ARtoolkit para diversas aplicacoes.
Buscando viabilizar o melhor suporte aos elementos vir-tuais e expandir as possibilidades de recursos empregadosno projeto, a implementacao deste projeto foi migrada doARToolkit para este framework.
Este framework possui suporte a modelos virtuais em di-versos formatos. Os modelos virtuais utilizados neste projetopossuem extensao obj e foi adicionado ao framework umnovo leitor para este tipo de formato.
IV. SISTEMA PROPOSTO
Neste secao sera realizada uma descricao do sistemaimplementado e detalhes de seu desenvolvimento, e dos ele-mentos virtuais adicionados, bem como das possibilidadesdo sistema, que foi apelidado de GCG ARStadium.
A. Marcadores
Devido a natureza do projeto foi necessario possibilitar amovimentacao da camera pelo campo para melhor registrara partida e simular de maneira coerente a transmissaotelevisionada de partidas de futebol reais.
Para corroborar esta necessidade, foi preciso introduzira abordagem de multi marcadores ao projeto possibilitandouma movimentacao mais livre da camera pelo campo. Como uso destes marcadores os objetos virtuais puderam seralinhados ao campo em diversas posicoes.
Foram utilizados sete marcadores para cobrir todo ocampo nas linhas de fundo e em uma lateral, para possibilitaro movimento da camera e obter uma filmagem semelhante avista em transmissoes televisivas de partidas de futebol real.
O posicionamento dos marcadores ao redor do campo visaa melhor cobertura para a deteccao correta dos padroes,sabendo que ao menos um destes marcadores deve estarvisıvel para a camera, mas sem causar uma poluicao visualque poderia prejudicar o acompanhamento da partida porparte dos participantes ou ainda interferir no sistema derastreamento dos robos.
Apos uma primeira bateria de testes de movimentacaode camera, foi decidido que os marcadores ocupariam asposicoes conforme a Figura 1.
Figura 1. Disposicao dos Marcadores
B. Miniatura
Com a intensao de facilitar a fase de testes inicial, foinecessario projetar e construir uma miniatura do campo realque e utilizado nas partidas.
Feita em madeira e com uma escala de 1:10 em relacaoao campo de futebol de robos oficial, este miniatura foiimportante para comprovar a viabilidade da proposta demulti marcadores do projeto e definir a disposicao dosmarcadores.
A Figura 2 mostra o aspecto da miniatura e a disposicaodos marcadores.
C. Elementos virtuais
Alguns elementos virtuais que farao parte da estrutura deentretenimento ja foram criados e introduzidos no sistema.
Visando dar suporte futuro a interacao entre o sistemaprincipal de futebol de robos e o sistema deste projeto,foram implementadas as funcoes dos eventos de modosegmentado para que seja possıvel adicionar facilmenterecursos de comunicacao. Desta maneira, sera possıvel ativaras animacoes, efeitos sonoros e vıdeos especiais de acordocom o registro destes eventos no sistema de controle dapartida. Por ora estes eventos sao acionados por teclado.
Figura 2. Miniatura
Os elementos virtuais e suas respectivas extensoes jaidealizados sao:
• O estadio virtual que cerca o campo (obj)• Robo personalizado que e exibido em eventos (obj)• Dirigıvel personalizado que circunda o campo durante
a partida (obj)• Telao para exibicao de elementos de destaque (avi)• Faixa dinamicas de propaganda ao redor do campo (avi)• Efeitos sonoros de torcida e comemoracao (wav)Foi idealizada a introducao de um telao virtual onde
seriam exibidos replays de jogadas, e vıdeos animados quefuncionariam como elementos de destaque a eventos dapartida em exibicao.
Sua primeira implementacao veio atraves da adaptacao deum codigo obtido em pesquisa. No decorrer do projeto estecodigo foi descartado, e o vıdeo foi implementado atravesdos recursos do SudaRA.
Os vıdeos foram projetados sobre o telao virtual de modoa personalizar a aplicacao e gerar os efeitos de interatividadecom a partida do futebol de robos.
Para emular as propagandas que sao vistas ao redor docampo nas partidas de futebol real, serao criados vıdeoscurtos que trazem os logos e mensagens a serem exibidas.Serao adicionados ao redor do campo exatamente como vistoem transmissoes televisivas.
O ARToolKit fornece suporte a modelos 3d no formatovrml (extensao wrl), no entanto este suporte nao se da demaneira intuitiva. Foram testados alguns modelos de estadios3D que poderiam ser utilizados para este projeto, porem apersonalizacao e criacao de modelos proprios se mostroubastante complicada pelas particularidades do formato.
Os modelos 3D de objetos virtuais que seriam intro-duzidos deveriam ser atrativos e representativos ao projeto,sendo necessario sua personalizacao. Com o apoio de co-laboradores do curso de Artes da UFJF, que se vincularam
ao GCG - Grupo de Computacao Grafica - para agregarconhecimento em projetos deste grupo, surgiu a proposta decarregar modelos com extensao .3ds ao projeto. Para issofoi necessario implementar um leitor para este formato epossibilitar a introducao ao ambiente do sistema. Os modelosvirtuais foram desenvolvidos na ferramenta Blender, maso leitor nao possibilitava o suporte correto as texturas dosmodelos tornando portanto este formato inviavel.
Atraves do SudaRA foi possıvel utilizar modelos 3Dno formato obj, tambem criados atraves do Blender. Esteformato se mostrou mais interessante para a aplicacao, poisfoi possıvel incorporar a textura aos objetos dando umaspecto muito mais atrativo.
Nas Figuras 3 e 4 sao exibidos os modelos ja personali-zados para este sistema.
Figura 3. Estadio.
(a) (b)
Figura 4. Elementos animados
D. Efeitos Sonoros
Foram introduzidos alguns efeitos sonoros com a ideia deaumentar a imersao no ambiente do jogo. Como visto em[4] os efeitos de audio contribuem significativamente nesteaspecto.
Um som de torcida foi utilizado como som ambiente paraser executado continuamente durante o decorrer do jogo.
Uma outra faixa de audio emula uma torcida euforica paracomemoracoes e eventos durante partida.
V. RESULTADOS
Os testes foram realizados em condicoes de iluminacaosimples, sem qualquer ajuste previo.
Foram testados com uma camera de alta resolucao BaslerScout e com camera VGA simples de notebook. Em ambosos casos foi obtido um resultado satisfatorio em relacao adeteccao dos marcadores.
Com marcadores de 22cm (no campo real) a camera podese posicionar em condicao de registrar toda a partida e omovimento dos robos sem perder a imagem dos marcadores.
A. Miniatura
Os testes iniciais com telao e dirigıvel foram executadossobre a miniatura. O resultado apresentado na Figura 5mostra o alinhamento em relacao ao campo e a dimensaorelativa dos modelos.
Figura 5. Resultados iniciais projetos sobre a miniatura do campo.
B. Campo Real
Apos a execucao dos testes iniciais na miniatura, umanova bateria de testes foi executada no campo real. Para estaetapa os marcadores foram distribuıdos conforme a Figura6. A projecao dos elementos virtuais sobre os marcadoresfiduciais pode ser visto na Figura 7.
VI. CONCLUSAO
Este projeto propoe a utilizacao de Realidade Aumentadapara adicao de entretenimento virtual em partidas de futebolde Robos. O sistema e composto por multiplos marcadoresque possibilitam uma movimentacao mais ampla da camerasobre o campo. O objetivo deste sistema e tornar maisatrativas a exibicao das partidas de futebol de robos atraindoa atencao de alunos do ensino medio e alunos dos perıodosiniciais dos cursos de Ciencia da Computacao e EngenhariaEletrica.
Figura 6. Distribuicao dos marcadores.
Figura 7. Resultados projetos sobre o campo oficial.
Algumas possibilidades de trabalhos futuros incluem autilizacao das caracterısticas naturais do campo para pos-sibilitar o registro dos elementos virtuais, removendo osmarcadores fiduciais necessarios neste prototipo.
REFERENCES
[1] M. Dragone, T. Holz, and G. M. O’Hare, “Mixing roboticrealities,” in Proceedings of the 11th international conferenceon Intelligent user interfaces, ser. IUI ’06. New York,NY, USA: ACM, 2006, pp. 261–263. [Online]. Available:http://doi.acm.org/10.1145/1111449.1111504
[2] H. Kato, ARToolKit 2.33 Documentation (Alpha Version), Hu-man Interface Technology Laboratory, University of Washing-ton, http://www.hitl.washington.edu/artoolkit/documentation/,2005.
[3] J. E. Young, M. Xin, and E. Sharlin, “Robot expressionismthrough cartooning,” in Proceedings of the ACM/IEEEinternational conference on Human-robot interaction, ser. HRI’07. New York, NY, USA: ACM, 2007, pp. 309–316. [Online].Available: http://doi.acm.org/10.1145/1228716.1228758
[4] D. Wagner, M. Billinghurst, and D. Schmalstieg, “Howreal should virtual characters be?” in Proceedings of the2006 ACM SIGCHI international conference on Advancesin computer entertainment technology, ser. ACE ’06.New York, NY, USA: ACM, 2006. [Online]. Available:http://doi.acm.org/10.1145/1178823.1178891
[5] D. Calife, J. a. L. Bernardes, Jr., and R. Tori, “Robot arena: Anaugmented reality platform for game development,” Comput.Entertain., vol. 7, pp. 11:1–11:26, February 2009. [Online].Available: http://doi.acm.org/10.1145/1486508.1486519
[6] A. Krzywinski, H. Mi, W. Chen, and M. Sugimoto,“Robotable: a tabletop framework for tangible interactionwith robots in a mixed reality,” in Proceedings ofthe International Conference on Advances in ComputerEnterntainment Technology, ser. ACE ’09. New York,NY, USA: ACM, 2009, pp. 107–114. [Online]. Available:http://doi.acm.org/10.1145/1690388.1690407
[7] M. KOJIMA, M. SUGIMOTO, A. NAKAMURA,M. TOMITA, M. INAMI, and H. NII, “Augmentedcoliseum: An augmented game environment withsmall vehicles,” in Proceedings of the First IEEEInternational Workshop on Horizontal Interactive Human-Computer Systems. Washington, DC, USA: IEEEComputer Society, 2006, pp. 3–8. [Online]. Available:http://dl.acm.org/citation.cfm?id=1109723.1110608
[8] R. Gerndt and S. Krupop, “Ecobe! mixed reality robot kit -an entry-level system for teaching cooperative robotics,” inProceeding of the Intl. Conf. on Simulation, Modeling andProgramming for Autonomous Robots, 2010, pp. 539–548.
[9] C. H. B. Cunha and S. M. M. Fernandes, “Prototipacao deambientes fısicos com realidade aumentada,” 2010, p. 4.
