Realidade Aumentada em Manutenção: proposta de uma abordagem multi-dispositivo

Bernardo Marques1, João Alves1, Rafael Esteves2, Paulo Dias1, Emanuel Fonseca3, Beatriz S. Santos1

1 DETI, IEETA, Universidade de Aveiro, Aveiro, Portugal 2 DETI, Universidade de Aveiro, Aveiro, Portugal

3 Bosch Termotecnologia, Aveiro, Portugal

Resumo. O conceito da Indústria 4.0 contribui para o crescente interesse na uti-lização da Realidade Aumentada (RA) no apoio a tarefas de manutenção. Este paradigma de interação permite a sobreposição de informação em posições es-pecíficas do mundo real e interação com esta informação. Nesta comunicação explora-se a utilização de RA para apoiar a manutenção de caldeiras, através de uma solução baseada numa abordagem multi-dispositivo. Desta forma, é possí-vel a um técnico ver informação sobreposta à caldeira, facilitando a localização das intervenções necessárias, através dum dispositivo móvel. Adicionalmente é possível ter acesso a informação mais detalhada através dum segundo dispositi-vo de apoio. O tipo de informação mostrado em cada dispositivo (objetos 3D, texto, vídeos, etc.) pode ser adaptado à situação e às preferências do técnico. Descrevem-se os mecanismos utilizados para localizar a informação e a sobre-por ao equipamento com precisão adequada ao contexto de utilização. Apresen-ta-se ainda a arquitetura proposta para a comunicação entre os dispositivos, que permite sincronizar a informação e a interação. Discutem-se os resultados de uma avaliação preliminar e indicam-se pistas para trabalho futuro.

Palavras chave: Realidade Aumentada, Indústria 4.0, manutenção.

1. Introdução A Realidade Aumentada (RA) permite a sobreposição de informação em posições específicas do mundo real [1] sendo a sua utilização no âmbito da Indústria 4.0 enco-rajada pelo aparecimento de dispositivos de preço acessível com câmaras e outros sensores, como dispositivos móveis e óculos específicos [2][3]. Este tipo de soluções permite uma interação mais intuitiva [4], perspectivando-se a sua utilização crescente para auxiliar serviços de manutenção, o que se pode vir a ter um grande impacto na produtividade e qualidade [5][6]. Nesta comunicação propõe-se uma solução para apoio a manutenção de equipamen-tos, através da apresentação de diferentes tipos de informação (objetos 3D, vídeos, texto, etc.) utilizando duas aplicações, uma aplicação móvel de RA para realçar áreas de interesse no equipamento a intervencionar e sobrepor informação virtual, enquanto a aplicação de suporte permite mostrar informação mais detalhada sobre o equipa-mento e a tarefa, sendo possível configurar o tipo de informação disponibilizada por cada dispositivo de acordo com as preferências do técnico.

2

2. Solução de Realidade Aumentada para manutenção O objetivo da solução é facilitar a execução de tarefas de manutenção através da apre-sentação de informação relevante, como tutoriais virtuais e instruções passo a passo relacionadas com as tarefas a realizar. Para atingir este objectivo foram desenvolvidas duas aplicações móveis, para serem usadas em dois dispositivos distintos, mas interli-gados.

Aplicação de Realidade Aumentada A aplicação de RA permite aos técnicos apontar a câmera de um dispositivo móvel para uma caldeira e executar tarefas de manutenção utilizando: manuais, esquemas, especificações, realce de componentes, instruções passo a passo, ferramentas e medi-das de segurança necessárias. Diversos formas de apresentação de informação são utilizadas, nomeadamente: imagens, vídeos, modelos 3D e suporte áudio, apresenta-dos em posições especificas associadas a componentes da caldeira e sua localização. Esta aplicação permite ao técnico selecionar entre dois métodos distintos, consoante o hardware disponível e a área de trabalho. O primeiro método (para pequenas áreas) pode ser usado em qualquer dispositivo móvel Android e usa a biblioteca Vuforia para detectar marcadores predefinidos e apresentar informação específica sobre a caldeira. O segundo método (para áreas mais extensas) exige hardware específico e utiliza a plataforma Tango com um número reduzido de QR Codes, permitindo re-calibrar a posição e orientação do conteúdo virtual quando necessário [7].

Aplicação de Suporte A aplicação de suporte funciona como um mecanismo de apresentação de informação adicional, facilitando o acesso a informação complementar. A sua integração na solu-ção, permite que a aplicação de RA seja usada para salientar áreas específicas de inte-resse na caldeira (não sendo sobrecarregada com demasiada informação), enquanto a informação mais detalhada é apresentada na aplicação de suporte (Fig. 1).

Fig. 1. Visualização dos componentes da caldeira. O dispositivo móvel salienta os principais componentes, enquanto o tablet exibe informação complementar - especificações.

3

Arquitetura proposta A comunicação entre aplicações utiliza uma arquitetura Cliente-Servidor (Fig. 2). Caracteriza-se por ser adaptável, escalável e permitir a visualização de informação interligada em diferentes dispositivos e plataformas. Através desta abordagem, é pos-sível adicionar novos clientes facilmente, sem limitações associadas com tecnologias específicas.

A arquitetura permite trocar mensagens (associadas a ações específicas) entre aplica-ções para causar alterações nas respectivas interfaces. O dispositivo 1 funciona como cliente (de forma a consumir menos recursos, uma vez que já é responsável por supor-tar todos os mecanismos para apresentar RA), enviando mensagens para o servidor em execução no segundo dispositivo. O servidor reage às mensagens recebidas, de-sencadeando ações específicas associadas à exibição de informação complementar ao que está a ser apresentado no dispositivo 1. Desta forma, é possível que o técnico interaja e personalize as informações disponíveis nos dispositivos, desde que estejam conectados à mesma rede sem fios.

Fig. 2. Arquitetura proposta para executar tarefas de manutenção utilizando dois dispositivos interligados. O dispositivo 1 detecta a caldeira e apresenta o conteúdo mais relevante sobrepos-to à caldeira, enquanto o dispositivo 2 exibe informação mais detalhada, de acordo com as necessidades e personalização do técnico.

3. Resultados Preliminares Com o objectivo entender o potencial e limitações de utilizar uma abordagem multi-dispositivo, foi realizado um teste preliminar com 11 participantes. Os participantes tinham de explorar a caldeira utilizando apenas um dispositivo e de seguida ambos. No final, todos os participantes responderam a um questionário dividido em três par-tes: 1- Informações demográficas e outras relevantes para o estudo (idade, sexo, ocu-pação, primeira vez utilizando RA); 2- Questões referentes ao uso da aplicação de RA; 3- Questões relacionadas com o uso de ambas as aplicações.

Todos os participantes acharam relevante o uso da aplicação móvel de RA para real-çar componentes em situações onde existe uma grande quantidade e diversidade. A maioria dos participantes (7 de 11) considera que o uso de um segundo dispositivo para distribuir a informação apresentada melhorou a legibilidade e a compreensão. Os restantes participantes, consideram que o segundo dispositivo poderia melhorar a experiência, mas apenas em casos específicos. Além disso, todos os participantes acreditam que o conteúdo exibido foi sobreposto à caldeira de forma credível, incen-tivando a exploração e a interação com a informação existente.

4

4. Conclusões e trabalho futuro A implementação de soluções de Realidade Aumentada para a realização de tarefas de manutenção pode apresentar várias vantagens. Nesta comunicação foi descrita uma solução de RA para apresentar informação relacionada com a execução de tarefas de manutenção numa caldeira, utilizando uma abordagem multi-dispositivo. A comuni-cação síncrona entre os dispositivos resulta num mecanismo capaz de permitir que o técnico selecione o tipo e a quantidade de informação disponível em cada dispositivo, contribuindo para a realização das tarefas de manutenção de uma forma mais eficien-te, de acordo com os resultados preliminares. No futuro, um estudo com mais participantes será realizado para testar as funcionali-dades da solução, com o objetivo de obter mais informações sobre o que a RA pode fornecer ao domínio da manutenção e entender em que situações esta abordagem pode ser útil e vantajosa, especificamente utilizando multi-dispositivos.

Agradecimentos O presente estudo foi desenvolvido no âmbito do Projeto Smart Green Homes [POCI-01-0247-FEDER-007678], uma co-promoção entre a Bosch Termotecnologia S.A. e a Universidade de Aveiro. É financiado pelo Portugal 2020, no âmbito do Programa Operacional Competitividade e Internacionalização, e pelo Fundo Europeu de Desen-volvimento Regional. Este estudo foi também apoiado pelo IEETA - Instituto de En-genharia Electrónica e Informática de Aveiro, financiado por Fundos Nacionais atra-vés da FCT - Fundação para a Ciência e Tecnologia, no contexto do projeto UID / CEC / 00127/2013.

Referências 1. R. T. Azuma, “A Survey of Augmented Reality”, in Presence: Teleoperators and Virtual

Environments, vol. 6, no. 4, pp. 355–385,1997,.

2. D. Chatzopoulos, C. Bermejo, Z. Huang, and P. Hui, “Mobile Augmented Reality Survey: From Where We Are to Where We Go”, pp. 6917–6950, 2017.

3. R. Azuma, Y. Baillot, R. Behringer, S. Feiner, S. Julier, and B. Macintyre, “Recent Advan-ces in Augmented Reality”, Computer Graphics and Applications, pp. 34–47, 2001.

4. E. Eiriksson, D. Pedersen, J. Frisvad, L. Skovmand, V. Heun, P. Maes, and H. Aanaes, “Augmented Reality Interfaces for Additive Manufacturing”, Lecture Notes in Computer Science, pp. 515–525, 2017.

5. D. W. F. Van Krevelen and R. Poelman, “A Survey of Augmented Reality Technologies, Applications and Limitations”, The International Journal of Virtual Reality, 2010.

6. R. Masoni, F. Ferrise, M. Bordegoni, M. Gattullo, A. E. Uva, M. Fiorentino, E. Carrabba, and M. Di Donato, “Supporting Remote Maintenance in Industry 4.0 through Augmented Reality”, Procedia Manufacturing, pp. 1296–1302, 2017.

7. B. Marques, R. Carvalho, P. Dias, M. Oliveira, C. Ferreira, and B. S. Santos, “Evaluating and enhancing Google Tango localization in indoor environments using fiducial markers”, 18th IEEE - ICARSC, pp. 142–147, 2018.