UMA ABORDAGEM PARA CONTROLE DE UM CELLBOT SEGUIDOR … · zas (Kumbasar and Hagras, 2013). O problema se torna mais complexo quando, al em da tarefa da navega˘c~ao, o rob^o deve

UMA ABORDAGEM PARA CONTROLE DE UM CELLBOT SEGUIDOR DEPAREDE USANDO VISAO MONOCULAR E SISTEMA FUZZY

Wilson Leal Junior∗, Ranulfo P. Bezerra Neto∗, Karoline de M. Farias∗, Igor RafaelSantos da Silva∗, Ricardo A. L. Rabelo∗, Andre M. Santana∗

∗Departmanto de Ciencia da ComputacaoUniversisade Federal do Piauı

Teresina,Piauı, Brasil

Emails: [email protected], [email protected] , [email protected],

[email protected], [email protected], [email protected]

Abstract— This paper presents a proposal to use range information by calculating a homography matrixto provide inputs to a fuzzy controller from monocular vision. This approach is focused on the architectureof a cellbot - mobile robot based on mobile devices such as smartphones and tablets - with the intention ofpopularizing its use as a robotic and scientific tool. To explore the environment the robot is equipped with thewall-following behavior, which enables the robot to follow contours of objects, thus the fuzzy controller providescommands for the correct execution of the movements of the robot when facing the adversities arising on theenvironment. In this approach the cellbot camera acts as a sensor capable of making a correlation between theimage elements and the real world, which enables the system to find the distances between the obstacles andthat information is used to provide the inputs to the controller fuzzy. The proposed fuzzy controller contains 3inputs that are distances between the robot and the obstacles on the left, front and right; and 2 outputs, whichare angular and linear velocities of the robot. Experimental results with the V-REP simulator are presented tovalidate the proposal.

Keywords— Mobile robot, fuzzy control, monocular vision.

Resumo— Este artigo apresenta uma proposta de utilizar informacao de alcance atraves do calculo de umamatriz de homografia para fornecer entradas para um controlador fuzzy a partir de visao monocular. Essaabordagem e voltada para a arquitetura de um cellbot - robo movel baseado em dispositivos moveis comosmartphones e tablets - com intencao de popularizar seu uso como ferramenta robotica e cientıfica. Para explorar oambiente o robo e equipado com o comportamento de seguidor de parede, que habilita o robo para seguir contornosde objetos, cabendo assim ao controlador fuzzy prover comandos para a correta execucao dos movimentos dorobo diante das adversidades advindas do ambiente. Nesta abordagem a camera do cellbot atua como umsensor capaz de fazer uma correlacao entre os elementos da imagem e do mundo real, desta maneira o sistema ecapaz de encontrar as distancias entre os obstaculos e estas informacoes sao utilizadas para fornecer as entradaspara o controlador fuzzy. O controlador fuzzy proposto contem 3 entradas que sao distancias em relacao aobstaculos a esquerda, frente e direita do robo e 2 saıdas, que sao velocidades angular e linear do robo. Resultadosexperimentais com o simulador V-REP sao apresentados para validar a proposta.

Palavras-chave— Robotica movel, controlador fuzzy, visao monocular.

1 Introducao

Robotica movel e um importante topico de pes-quisa por muitas razoes, entre elas, o surgimentode propostas de solucoes para diversas tarefas dodia-a-dia, sejam elas domesticas (aspiradores depo e cortadores de grama), industriais (Transporteautomatizado e veıculos de carga autonoma), mi-litares (sistemas de monitoramento aereo remoto- VANTs, transporte de suprimentos e de arma-zenamento de zonas de guerra, sistemas taticosde guerra) e seguranca publica (controle e patru-lhamento de ambientes, resgates e exploracao emambientes hostis).

Um dos grandes desafios enfrentados pela ro-botica e a autonomia. Um sistema robotico econsiderado autonomo se e capaz de reconhecero ambiente na qual esta inserido, inferir informa-coes a partir dele, mover-se independentemente,adaptar-se as suas condicoes, alem de ter habili-dades de planejamento e raciocınio.

Um comportamento que pode ser usando paraque o robo se locomova no ambiente de forma

autonoma, e o comportamento de seguidor de pa-rede. Esse comportamento habilita o robo se-guir contornos de objetos, como por exemplo,paredes e obstaculos em um ambiente e tam-bem pode ser combinado com outros comporta-mentos inteligentes para alcancar tarefas de altacomplexidade(Kuo et al., 2013).

Um problema relevante, e que deve ser le-vado em consideracao em navegacao autonoma,e lidar com uma grande quantidade de incerte-zas (Kumbasar and Hagras, 2013). O problemase torna mais complexo quando, alem da tarefada navegacao, o robo deve atuar no ambiente li-dando com incertezas inerentes a leitura do sensor,sendo que muitas dessas leituras influenciam o de-sempenho do sistema de navegacao autonomo.

Para superar o problema das leituras incer-tas encontradas nos sensores do robo, solucoes ba-seadas em Sistemas de Inferencia fuzzy tem sidoapresentadas como uma abordagem robusta, flexı-vel e capaz de lidar com navegacao em tempo real.Isso por que a logica fuzzy, ao contrario da logicaclassica, e tolerante a imprecisoes, incertezas e ver-

XIII Simposio Brasileiro de Automacao Inteligente

Porto Alegre – RS, 1o – 4 de Outubro de 2017

ISSN 2175 8905 2315

dades parciais (L Rodrigues Junior et al., 2016)(Hagras, 2004) (Melgarejo et al., 2012).

Este artigo apresenta um sistema de controlebaseado na logica fuzzy(CLF), para a navegacaode um robo seguidor de parede em um ambienteestatico. Para o controle do robo e utilizando umsistema visual monocular baseado em homografia,que fornece as distancia do robo em relacao aosobstaculos que se encontram no ambiente. A dis-tancia fornecida pelo sistema visual monocular eusada como entrada para o CLF. Essa abordageme voltada para uma arquitetura robotica chamadacellbot, que basicamente consiste em um robo mo-vel que se utiliza de um dispositivo movel comoambiente de execucao ou fonte de sensoriamento.

2 Background

A Teoria de conjuntos fuzzy foi concebida por L.A.Zadeh com o objetivo de fornecer um ferramentalmatematico para o tratamento de informacoes decarater impreciso ou vago(Tanscheit, 2004), ela foidesenvolvida e inspirada na capacidade humanade tomar decisoes diante de processos indecisose ambıguos. Dentre as principais caracterısticasdos controladores baseados na logica fuzzy, estasua habilidade de tomar decisoes adequadas paraum processo de inferencia linguıstica (Gueaieb andMiah, 2008). Os processos de inferencia linguısticasao baseadas em regras do formato se-entao base-ado em experiencia, heurıstica e conhecimento for-necido por um especialista ou extraıdo por dadosnumericos.

Sistemas baseados em logica fuzzy para anavegacao autonoma de robos moveis tem sidodesenvolvidos por muitos pesquisadores, como(L Rodrigues Junior et al., 2016) e (Kuo et al.,2013), que utilizam diferentes tipos de sensorespara mensurar as distancias dos obstaculos exis-tentes no ambiente e fazem uso de sensores ultras-sonicos. Outros pesquisadores, como em (Achmadand Karsiti, 2007), utilizam a camera para detec-tar obstaculos na frente, na esquerda e na direitado robo. Todos os trabalhos acima citados uti-lizam as informacoes de distancias colhidas pelossensores para usar como entrada nos seus contro-ladores fuzzy, que por sua vez fornecem comandosque equipam o robo com o comportamento de se-guidor parede, validando assim suas propostas.

3 Abordagem

Este trabalho propoe uma abordagem que trans-forma informacao visual recebida por uma ca-mera monocular em informacao de distancia, quee usada como entrada em um sistema de controlepara robo seguidor de parede. Para isso, a imagemprovinda da camera sofre projecao para o planoreal com dimensao 2D por meio da matriz de ho-mografia. Depois disso, a imagem sofre uma seg-

mentacao que separa o que e ou nao obstaculo.Apos isso, as distancias entre o robo e as celulasoclusas sao extraıdas e usadas como entrada parao CLF.

Figura 1: passo a passo da Abordagem proposta.

Esta secao esta dividida em 5 etapas: Proje-cao da homografia, Segmentacao, Extracao da dis-tancia, Wall-Following Controle. Figura 1 ilustraas etapas da abordagem.

3.1 Projecao da Homografia

Figura 2: Exemplo de projecao de homografia.Imagem a esquerda representa a captura feita pelacamera e a da direita, o resultado da projecao.

Inicialmente, a localizacao do robo e a matrizde homografia sao extraıdos do simulador VitualRobot Experimentation Plataform (V-REP). De-pois disso, as imagens recebidas do sensor visualsao projetadas em um plano 2D utilizando a ma-triz de homografia como pode ser visto na Figura2. Este procedimento e realizado de tal forma queos pixels da imagem sejam representados comomedidas do mundo real. A projecao da imagempode entao ser computada como uma aproxima-cao da distancia do robo ao obstaculo.Esse pro-cesso pode ser obtido atraves da seguinte formu-lacao matematica:

si

x′iy′i1

∼ H

xi

yi1

(1)

Como o sistema desenvolvido e voltado parao plano 2D, os pontos analisadas sao representa-dos em coordenadas homogeneas. Pela Equacao



2316

(4), si representa um fator de escala, x′i, y′i re-presentam os pontos no plano real obtidos pelamultiplicacao de uma matriz Homografia repre-sentada por H (matriz 3X3 com informacoes deprojecao imagem-mundo) pelos pontos xi, yi querepresentam as coordenadas dos pontos no planoda imagem.

3.2 Segmentacao

Figura 3: Area de atuacao do Mean shift.

Figura 4: A imagem da direita e resultado doprocesso de segmentacao da imagem da esquerda,onde a area branca representa uma area de oclu-sao, a area cinza representa espaco livre e a areapreta representa area fora do campo de visao dorobo.

Na etapa de segmentacao, o frame e divi-dido em celulas com um tamanho predeterminado.Como pode ser visto na Figura 3. As celulas saoclassificadas utilizando o componente de cor RGBda imagem. Por meio deste processamento cadacelula e classificada em oclusa ou livre. Portanto,e utilizada a area mais proxima do robo como pa-drao de espaco vazio. A Figura 3 mostra a areapadrao predeterminada.

Uma vez computada a media e variancia doscomponentes R, G e B da area padrao utilizandoo algoritmo Mean Shift, estes valores sao utiliza-dos para comparar cada celula, afim de determinarquais celulas sao caracterizadas como oclusas. AFigura 4 mostra o resultado da segmentacao daimagem projetada em 2D.

3.3 Extracao da distancia

Esta fase ocorre durante a fase de segmenta-cao. Inicialmente, definimos quantos sensores se-

......

Ns

Ns - 1

1

2

3

θs

θs

θs

0

θs

2θs

(Ns -2)θs

(Ns -1)θs

..............

Figura 5: Ilustracao do vetor de angulos.

rao usados no experimento. Em seguida, criamosum vetor de angulos do sensor correspondente acada sensor, como e ilustrador na Figura 5. Du-rante a fase de segmentacao, cada bloco rotuladocomo ocupado e mapeado em um dos angulos.Como a segmentacao ocorre de cima para baixo, osultimos blocos marcados corresponderao aos obs-taculos mais proximos associados a cada angulocomo pode ser visto na Figura 6, onde a distanciade cada bloco ao centro de visao e mapeado novetor de angulos.

Figura 6: A imagem da direita representa o resul-tado da interpretacao de sensores de alcance, ondede Ns = 15, da imagem segmentada da esquerda.

3.4 Wall-Following Controle

A lista de sensores e a distancia relacionadacom cada um dos angulos foi usado para obter adistancia da frente, da esquerda e da direita dorobo. A figura 7 ilustra como a lista de sensoresfoi distribuıda, as linhas em vermelho, verde eazul representam os sensores da direita, frente eda esquerda do robo, respectivamente. O CLFproposto foi modelado com base em conhecimentoheurıstico baseado no erro entre um referencial,que e a distancia que o robo deve se locomoverem relacao a parede (fixado em 0.5), e a distanciamensurada pelo sensor lateral (que e a distanciamensurada pelo sensor da direita ou da esquerdadependendo do lado que o robo esta seguindo aparede).[

wd

we

]=

[1/rd b/(2rd)1/re −b/(2re)

] [VW

]• V - velocidade linear do robo



2317

Figura 7: Ilustracao da distribuicao da lista deangulos com Ns = 30 sensores

• W – velocidade angular do robo

• rd – raio da roda direita

• re – raio da roda esquerda

• we – velocidade angular da roda esquerda

• wd – velocidade angular da roda direita

• b - diametro da roda do robo

O objetivo e modelar um CLF que forneca comosaıda V e W, com a finalidade de encontrar osvalores para we e wd de acordo com a formulacaomostrada na equacao matricial acima.

Figura 8: Controlador fuzzy : duas entradas, duassaıdas, nove regras

Tabela 1: fuzzy RulesLATERALERROR

DISTANCEFRONT

LINEARVELOCITY

ANGULARVELOCITY

NEGATIVO BAIXO BAIXO POSITIVO

NEGATIVO MEDIO MEDIO NEGATIVO

NEGATIVO ALTO MEDIO NEGATIVO

ZERO BAIXO BAIXO POSITIVO

ZERO MEDIO ALTO ZERO

ZERO ALTO ALTO ZERO

POSITIVO BAIXO BAIXO POSITIVO

POSITIVO MEDIO MEDIO POSITIVO

POSITIVO ALTO MEDIO POSITIVO

Para o controle da distancia do robo em re-lacao a parede, foram necessarias duas variaveislinguısticas para representar as entrada, sao elas:o erro lateral, que e a diferenca entre o referen-cial e a distancia medida pelo sensor lateral e adistancia frontal, que e a distancia medida pelo

sensor frontal. O erro lateral possui tres funcoesde pertinencias: negativo, zero e positivo, que in-dicam o resultado da subtracao entre o referenciale medida mensurada pelo sensor lateral. O sensorfrontal tambem possui tres funcoes de pertinencia:baixo, medio e alto, que indicam a proximidade dealgum obstaculo a frente do robo.

As variaveis linguısticas que representam assaıdas do CLF sao, a velocidade linear, que possui3 funcoes de pertinencia (baixo, medio e alto) e avelocidade angular do robo que tambem possui 3funcoes de pertinencia ( negativo, zero e positivo).O CLF proposto resultou em um total de 9 regrasfuzzy e elas sao listadas na Tabela 1. A estruturado CLF proposto e mostrada na figura 8.

4 Resultados e Discussoes

Para validar o sistema, foram feitos testes com da-dos gerados pelo simulador V-REP, tendo comocenario simulado do Departamento de Computa-cao da Universidade Federal do Piauı como de-monstrado na Figura 9.

Figura 9: Cenario 1 utilizado nos experimentos.

Para implementacao do sistema foram uti-lizadas a linguagem C++, a biblioteca de vi-sao computacional OpenCV(Opensource Compu-ter Vision library) versao 3.1 para Android e aeFLL - uma biblioteca fuzzy para arduino e sis-temas embarcados. Os testes foram feitos emum smartphone LG Nexus 5 Quad-Core 2.3 GHzcom 2GB de RAM e Android 6.1. Foram utili-zadas 25880 amostras de imagens com resolucao512x512, com discretizacoes de 10, 5, 2,5 e 1 cen-tımetros e uma lista de 30 sensores de alcance.

Alem do tempo de execucao, foi consideradoas discretizacoes. A discretizacao diz respeito aquanto do espaco do mundo real uma celula repre-senta. Assim uma discretizacao de 1 cm, significaque cada pixel da imagem corresponde a 1 cm domundo. As discretizacoes sao fatores importantesa serem considerados pois elas influenciam direta-mente na precisao da distancia mensurada. Issopode ser comprovado com os resultados da Figura10, onde e possıvel observar que conforme a dis-cretizacao da imagem aumenta, a precisao com adistancia mensurada diminui. Porem, para pro-cessar leituras de uma imagem com discretizacao10 cm e bem menor do que a de 1 cm. Diante des-ses fatos, e possıvel concluir que o grande desafio,



2318

Tabela 2: Metricas de avaliacao

DISCRETIZACAO DMRP VLM VAM1 0, 788305 ± 0, 474917 0, 217253 ± 0, 052613 −0, 009731 ± 0, 09752

2,5 0, 836973 ± 0, 560512 0, 190484 ± 0, 070336 0, 001832 ± 0, 1177825 0, 865524 ± 0, 523841 0, 171744 ± 0, 072716 −0, 008012 ± 0, 13544910 0, 787821 ± 0, 643775 0, 175454 ± 0, 080704 0, 032451 ± 0, 133655

no controle utilizando um sensor visual, e aliarprecisao com eficiencia em tempo processamento.

(a)

(b)

(c)

(d)

Figura 10: Parte do trajeto percorrido pelo robocom a discretizacao: a) discretizacao 1 b) discre-tizacao 2.5 c) discretizacao 5 d)discretizacao 10

A Tabela 2 apresenta um conjunto de metricasque avaliam o CLF. Dentre as metricas avalidasestao a velocidade linear media(VLM), velocidadeangular media (VAM) e a distancia media em rela-cao a parede (DMRP). Neste trabalho a DMRP foiusado com o proposito de verificar a proximidadeem que o robo se locomove em relacao a parede,ou seja, quanto maior o DMRP maior e o risco dorobo colidir com alguma parede, para essa metrica

o robo obteve uma boa avaliacao pois o mesmoconsegue se estabilizar em uma distancia seguraem relacao a parede. A VAM tem o propositode avaliar a suavidade com que o robo consegueexecutar a trajetoria, verificando tambem a suavi-dade em que o robo percorre as curvas. Nessa me-trica quanto mais proximo de zero, entao significaque o robo se estabiliza mais rapido em um posi-cao segura em relacao a parede, voltando a seguira parede de forma linear. A VLM e uma metricausada para avaliar a velocidade em que o robopercorreu a trajetoria. Diante dos dados expostasna Tabela 2 nota-se que o CLF conseguiu obtero resultado desejado, seguindo a parede do cena-rio proposto sem colidir com nenhum obstaculo.Para um resultado visual, e mostrado na Figura10 o trajeto executado pelo robo, com diferentestamanhos de discretizacao, enquanto percorria ocenario.

5 Conclusao

Este artigo apresentou uma nova abordagem desensoriamento utilizando somente uma cameracomo sensor, a partir das imagens coletadas foidesenvolvido uma tecnica de extracao de informa-coes de distancias de maneira que elas se com-portassem como sensores de alcance. Essas in-formacoes sao utilizadas como entrada para umCLF. Os testes foram realizados em cellbot, como objetivo de apresenta-lo como uma ferramentacientıfica e demonstrar suas potencialidades paraensino e desenvolvimento de aplicacoes roboticasde facil implementacao e baixo custo.

De acordo com os resultados apresentados,pode-se observar que o uso das informacoes dedistancia em forma de sensores de alcance apre-sentou resultados satisfatorios quando comparadocom outras tecnicas que utilizam visao monocu-lar para o controle de robo movel. A utiliza-cao das distancias extraıdas da imagem tambemtem como vantagem a economia no uso de senso-res, pois essas distancias podem ser usadas tantopara alguma tecnica de mapeamento quanto parao controle, resultando tambem em um baixo custocomputacional.

Referencias

Achmad, B. and Karsiti, M. N. (2007). Visual-based fuzzy navigation system for mobile ro-



2319

bot: Wall and corridor follower, Intelligentand Advanced Systems, 2007. ICIAS 2007.International Conference on, IEEE, pp. 244–248.

Gueaieb, W. and Miah, M. S. (2008). An intelli-gent mobile robot navigation technique usingrfid technology, IEEE Transactions on Ins-trumentation and Measurement 57(9): 1908–1917.

Hagras, H. A. (2004). A hierarchical type-2fuzzy logic control architecture for autono-mous mobile robots, IEEE Transactions onFuzzy systems 12(4): 524–539.

Kumbasar, T. and Hagras, H. (2013). A type-2 fuzzy cascade control architecture for mo-bile robots, Systems, Man, and Cybernetics(SMC), 2013 IEEE International Conferenceon, IEEE, pp. 3226–3231.

Kuo, C.-H. et al. (2013). Development of a fuzzylogic wall following controller for steering mo-bile robots, Fuzzy Theory and Its Applica-tions (iFUZZY), 2013 International Confe-rence on, IEEE, pp. 7–12.

L Rodrigues Junior, W., M Reis, D., P Be-zerra Neto, R., S Machado, R., AS Silva,W., O Brito Neto, J., AL Rabelo, R. andM Santana, A. (2016). Aplicacao de contro-ladores fuzzy e proporcional para um roboseguidor de parede autonomo em ambienteestatico, Revista de Sistemas e Computacao-RSC 6(1).

Melgarejo, M. A., Munoz, C. M. and Leottau, L.(2012). A hierarchical design approach for in-terval type-2 fuzzy controllers applied to mo-bile robots, International Journal of Roboticsand Automation 27(3): 330.

Tanscheit, R. (2004). Sistemas fuzzy, Depar-tamento de Engenharia Eletrica, PontifıciaUniversidade Catolica do Rio de Janeiro, Riode Janeiro .



2320

Documents

UMA ABORDAGEM PARA CONTROLE DE UM CELLBOT SEGUIDOR … · zas (Kumbasar and Hagras, 2013). O problema se torna mais complexo quando, al em da tarefa da navega˘c~ao, o rob^o deve