PONTIFÍCIA UNIVERSIDADE CATÓLICA DE SÃO PAULO
VAGNER UENDEL DE SÁ MEDEIROS
LOCALIZAÇÃO DE DEFICIENTES VISUAIS EM AMBIENTES FECHADOS E
RECONHECIMENTO DE PRODUTOS
MESTRADO EM ENGENHARIA BIOMÉDICA
São Paulo
2015
VAGNER UENDEL DE SÁ MEDEIROS
LOCALIZAÇÃO DE DEFICIENTES VISUAIS EM AMBIENTES FECHADOS E
RECONHECIMENTO DE PRODUTOS
Dissertação apresentada à Banca
Examinadora da
Pontifícia Universidade Católica de São
Paulo, como exigência parcial para obtenção
do título de Mestre em Engenharia Biomédica
sob a orientação da Profa. Dra. Annie France
Frère Slaets
MESTRADO EM ENGENHARIA BIOMÉDICA
São Paulo
2015
PONTIFÍCIA UNIVERSIDADE CATÓLICA DE SÃO PAULO
VAGNER UENDEL DE SÁ MEDEIROS
SISTEMA COMPLEMENTAR PARA LOCALIZAÇÃO DE DEFICIENTES VISUAIS
EM AMBIENTES FECHADOS
Dissertação apresentada à Banca
Examinadora da
Pontifícia Universidade Católica de São
Paulo, como exigência parcial para obtenção
do título de Mestre em Engenharia Biomédica
sob a orientação da Profa. Dra. Annie France
Frère Slaets
Aprovada em _____ de ___________________ de ________.
BANCA EXAMINADORA:
Nome do Professor
__________________________________
Nome do Professor
__________________________________
Nome do Professor
__________________________________
Dedico este trabalho a minha
esposa Ana pelo apoio e atenção
dedicados a mim incondicionalmente.
AGRADECIMENTOS
Gostaria de agradecer todos os envolvidos pelo trabalho (alunos, professores
e funcionários da PUC-SP) em especial aos meus colegas Renato, Rodrigo e minha
orientadora Annie pela paciência e dedicação. Agradeço também à CAPES pelo
apoio financeiro.
“O homem com esperança não vive
de ilusões. Conhece os seus limites, as
dificuldades da vida e dos homens, mas
luta para melhorar o mundo.”
Paul Debesse
RESUMO
Um dos problemas enfrentados pelos deficientes visuais é a localização de
objetos em um ambiente desconhecido. Encontrar um produto numa loja, sem
assistência é quase impossível para uma pessoa com baixa visão. Portanto,nessa
pesquisa foi desenvolvido um sistema para proporcionar a localização de produtos
nos corredores dos supermercados e a seguir permitir a leitura do código de barras
ou da etiqueta NFC no produto ou na prateleira .Para selecionar entre as opções
localização ou identificação, a tela do celular foi dividida em duas partes de tal modo
que os deficientes visuais ou pessoas com baixa visão possam escolher entre elas .
Para tanto, neste trabalho foi usado um smartphone com sistema operacional
Android. O sistema foi desenvolvido utilizando o MIT App Inventor 2. Esta interface é
uma aplicação web com código-fonte aberto desenvolvido pelo Google e mantido
pelo Instituto de Tecnologia de Massachusetts (MIT). A interface é dividida em duas
partes, uma para à concepção da aplicação dedicada e outra para a lógica. A
programação é baseada na linguagem Scheme, identificador de voz Google e leitor
de código de barras. O dispositivo foi testado em ambiente fechado simulando
corredores e prateleiras de um supermercado mensurando o tempo necessário para
encontrar e identificar cinco produtos.A adoção por loja e supermercados do sistema
desenvolvido para essa pesquisa, facilitando a localização e identificação de
produtos, devera contribuir para a independência e qualidade de vida das pessoas
com limitações visuais.
Palavras-chave: Localização de cego, identificação de etiquetas
ABSTRACT
One of the problems faced by the visually impaired is the location of objects in
an unfamiliar environment. Find a product in a store without assistance is almost
impossible for a person with low vision. Therefore, in this research we developed a
system to provide the location of products in the supermarket aisles and then allow
reading the bar code or NFC tag on the product or on the shelf .To select from the
options location or identification, the screen cell was divided into two parts such that
the blind or visually impaired persons may choose between them. Hence, in this
study used a smartphone with Android operating system. The system was developed
using the MIT App Inventor 2. This interface is a web application with open source
developed by Google and maintained by the Massachusetts Institute of Technology
(MIT). The interface is divided into two parts, one devoted to the design and
implementation for another logic. The program is based on the Scheme language,
Google voice ID and bar code reader. The device was tested indoors simulating
aisles and shelves of a supermarket measuring the time required to find and identify
five products. The adoption by store and supermarket system developed for this
research, facilitating the location and identification of products, should contribute to
the independence and quality of life for people with visual limitations.
Keywords: blind location, identification tags
LISTA DE ILUSTRAÇÕES
Figura 1: Robocart .................................................................................................. 16
Figura 2: Shoptalk................................................................................................... 17
Figura 3: Estrutura do Smartvision ....................................................................... 18
Figura 4: Implementação do Smartvision ............................................................. 19
Figura 5: Blind Shopping ....................................................................................... 20
Figura 6: Macro fluxo do sistema .......................................................................... 22
Figura 7: Primeira patente de código de barras ................................................... 24
Figura 8: Código EAN13 ......................................................................................... 24
Figura 9: Interface do site MIT Inventor 2. ............................................................ 26
Figura 10: Tela do sistema ..................................................................................... 27
Figura 11: Exemplo disposição de um produto na prateleira ............................. 30
Figura 12: Captura do código de barras em um celular ...................................... 31
Figura 13: Fluxograma simplificado do sistema. ................................................. 32
Figura 14: Representação esquemática da biblioteca......................................... 34
Figura 15: Disposição dos produtos ..................................................................... 34
Figura 16: Método para definição da distância entre o código de barras e o
celular....................................................................................................................... 36
Figura 17: Leitura do código de barras ................................................................. 37
Figura 18: Leitura com celular na vertical ............................................................ 38
Figura 19: Teste de leitura de 2 códigos simultâneos ......................................... 39
Figura 20: Teste de leitura de etiquetas NFC ....................................................... 39
LISTA DE TABELAS
Tabela 1: Comparativo entre tecnologia bluetooth x NFC.................................23
Tabela 2: Exemplo de subdivisão de produtos em um supermercado...........28
Tabela 3: Palavra identificada x mensagem corredor.........................................33
Tabela 4: Teste alcance da leitura de códigos de barras....................................40
Tabela 5: Teste identificação palavras sem variações no banco de
dados.........................................................................................................................40
Tabela 6: Teste identificação palavras com variações no banco de
dados.........................................................................................................................41
Tabela 7: .................................................................................................................42
Tabela 8: .................................................................................................................42
LISTA DE ABREVIATURAS
App – Aplicativo
LISTA DE SIGLAS
ABNT – Associação Brasileira de Normas Técnicas.
RFID – Radio Frequency Identifier.
GPS - Global Positioning System.
NFC – Near Field Communication.
UPC – Universal Product Code
EAN – European Article Numbering system
MIT - Instituto de Tecnologia de Massachusetts
SEBRAE - Serviço Brasileiro de Apoio às Micro e Pequenas Empresas
SUMÁRIO
1 INTRODUÇÃO……………………………………………………………………..13
1.1 CONCEITOS INICIAIS…………………………………………………………….13
1.2 MOTIVAÇÃO ………………………………………………………………………14
1.3 OBJETIVO………………………………………………………………………….15
2. ESTADO DA ARTE………………………………………………………………..16
3. MATERIAIS E METODOS……........................................................................21
3.1 PROJETO DO SISTEMA.................................................................................21
3.2 MATERIAL.......................................................................................................22
3.2.1 NFC..................................................................................................................22
3.2.2 CÓDIGO DE BARRAS....................................................................................23
3.3 DESENVOLVIMENTO DO SISTEMA…………………………………………...25
3.3.1 IMPLEMENTAÇÃO DO SOFTWARE…………………………………………...25
3.3.2 DESENVOLVIMENTO DO LEITOR DE CÓDIGO DE BARRAS....................27
3.3.3 CLASSIFICAÇÃO PARA BUSCA DE PRODUTOS.......................................30
3.4 MÉTODO PARA TESTES DOS DISPOSITIVOS............................................32
3.4.1 SIMULAÇÃO DO AMBIENTE SUPERMERCADO........................................32
3.4.2 TESTE DE POSIÇÃO DE POSIÇÃO DO SISTEMA EM RELAÇÃO ÀS
ETIQUETAS..............................................................................................................35
3.4.3 TESTE DE USABILIDADE E DE TERMINAÇÃO DO TEMPO DE BUSCA DE
PRODUTO.................................................................................................................35
4 RESULTADO……………….............................................................................37
4.1 IDENTIFICAÇÃO DE PRODUTOS…………...................................................37
4.2 DISTANCIA E POSICIONAMENTO DO CELULAR.......................................40
4.3 USABILIDADE................................................................................................41
5 DISCUSSÃO...................................................................................................43
6 CONCLUSÃO.................................................................................................44
REFERÊNCIAS…...........................................................................................45
13
1 INTRODUÇÃO.
1.1 CONCEITOS INICIAIS.
De acordo com o Censo de 2010, divulgado pelo Instituto Brasileiro de
Geografia e Estatística (IBGE), 23,9% da população possui alguma deficiência (45,6
milhões de pessoas), sendo a deficiência visual a mais representativa atingindo 35,7
milhões de pessoas. Destes 18,8% relataram ter dificuldade de enxergar, mesmo
com o auxílio de lentes de contato ou óculos (IBGE, 2010). Das pessoas que
declararam ter esta deficiência, 6,5 milhões alegam possuir graves problemas de
visão, 6 milhões possuem dificuldades para enxergar e 582 mil pessoas declararam
serem cegas.
No final do último século algumas políticas para inclusão de deficientes foram
implementadas no Brasil a fim de inserir o deficiente na sociedade. A Lei n° 8213/91
estabelece a obrigatoriedade de empresas com 100 ou mais funcionários
reservarem uma parcela de suas vagas a pessoas com deficiência (Brasil, 1991). A
Resolução CNE/CEB nº 2/2001, as Diretrizes Nacionais para a Educação Especial
na Educação Básica determina que “os sistemas de ensino devem matricular todos
os alunos, cabendo às escolas organizarem-se para o atendimento aos educandos
com necessidades educacionais especiais, assegurando as condições necessárias
para uma educação de qualidade para todos” (BRASIL, 2001). A Política Nacional
de Educação Especial na Perspectiva da Educação Inclusiva (BRASIL, 2008)
determina o processo educacional do deficiente. Com a implantação de políticas de
inclusão como estas e advento de novas tecnologias, os deficientes estão
conquistando um lugar na sociedade e no mercado de consumo.
Tratando especificamente dos deficientes visuais, um dos problemas
enfrentados por eles é o de "localização". Sem a visão, executar uma tarefa simples
como pegar uma moeda que caiu do bolso pode se tornar extremamente difícil.
Encontrar algo em um ambiente estranho, como um supermercado, aonde a
dinâmica da organização dos produtos muda com certa frequência, pode ser um
grande desafio. Como mostrado pela reportagem na BA TV (BA TV, 2008), a busca
por um produto sem a ajuda de outra pessoa pode ser uma tarefa impossível de ser
realizada. Os supermercados geralmente são ambientes hostis para um deficiente
14
visual e a grande maioria os evitam. Encontrar um deficiente visual sozinho neste
ambiente é uma ocasião rara. Propor uma solução para esta dificuldade se torna
relevante por não só proporcionar certa liberdade ao consumidor deficiente, mas
também para evitar seu constrangimento ao solicitar a ajuda de terceiros, uma vez
que ele sozinho, com o auxílio da tecnologia pode ser capaz de encontrar o produto
desejado.
1.2 MOTIVAÇÃO
Com os avanços na tecnologia cada vez mais os portadores de deficiência
visual tonaram-se mais independentes. Como exemplo de tais tecnologias pode-se
citar os sistemas de posicionamento, o GPS (SCHRIEVER, 2014), que é utilizado
para geolocalização, mas somente em ambientes abertos. Aplicativos diversos para
o reconhecimento e síntese de voz, assim como os adaptadores de teclado,
possibilitam leitura e escrita acessíveis aos deficientes visuais (KAHN, 1999). Outro
exemplo de dispositivo é um computador braile portátil que digitaliza um texto e o
exibe em braile (KLADYOO e INNET, 2007).
Para um dos maiores desafios que é a localização de pessoas e produtos em
um ambiente fechado, várias soluções já foram desenvolvidas sendo:
O oMoby (OMOBY, 2013), um aplicativo que foi desenvolvido para a
plataforma IOS, sendo capaz de identificar uma grande variedade de objetos e seus
respectivos fabricantes através de uma foto (este aplicativo foi descontinuado em
2013).
Em 2002 a IBM adquiriu a patente de Conzola et al. (2002) de um sistema
para os deficientes visuais que fornece a localização e identificação de itens através
do código de barras. O sistema consiste em uma unidade portátil com sintetização
de voz que indica a localização de produtos comparando o código de barras lido
pelo dispositivo com uma lista gravada na unidade portátil.
O Robocart de Kulyukin et al. (2005), desenvolvido por pesquisadores da
universidade de Utah (EUA) foi projetado para auxiliar deficientes visuais em
supermercados, lendo etiquetas RFIDS nos corredores do estabelecimento. O
sistema, complementado por um leitor de código de barras sem fio, foi acoplado ao
robô para identificação do produto desejado.
15
Outro dispositivo também desenvolvido na universidade de Utah (EUA) foi o
ShopTalk (NICHOLSON e KULYUKIN, 2007). Ele é basicamente um computador
portátil com teclado numérico, leitor de código de barras e fone de ouvido. O projeto
que funciona com verbalização da rota e leitura de código de barras, consegue
identificar até 4.297 produtos.
O iCare de Krishna et al. (2008) foi um projeto desenvolvido pela
Universidade Estadual do Arizona com o objetivo de criar um ambiente de compras
favorável à deficientes visuais. Ele consiste em uma luva integrada a um
microcontrolador com módulo bluetooth, Wi-fi, leitor de tela e RFID. Quando o
usuário passa a luva sobre uma prateleira ou um produto, o dispositivo RFID emite
uma mensagem referente à seção onde se encontra ou uma mensagem com preço,
peso, ingredientes e dados nutricionais do produto no qual o RFID está fixado.
O Trinetra de Lanigan et al. (2007) foi desenvolvido pela Universidade de
Carnegie Mellon utilizando um celular da marca Nokia, um fone de ouvido bluetooth,
um lápis Bluetooth com leitor de RFID e um lápis para leitura de código de barras. O
usuário ao entrar na loja digitaliza um código de barras ou uma etiqueta RFID e o
dispositivo reproduz uma mensagem com a descrição do produto.
A grande desvantagem desses sistemas está no fato deles não contemplarem
a localização de um produto específico, concentrando-se apenas na identificação do
código de barras ou na etiqueta afixada junto ao produto, deixando ao deficiente
visual a tarefa de encontrar onde essas informações estão no corredor, na prateleira
ou no produto.
1.3 OBJETIVO.
Desenvolver e testar um aplicativo de celular para auxiliar a localização e
identificação de produtos em ambiente de loja.
16
2. ESTADO DA ARTE.
Alguns dispositivos foram desenvolvidos com o intuito de auxiliar o deficiente
visual na localização de produtos.
O Robocart Kulyukin et al. (2005) utiliza para sua localização etiquetas RFID
que são colocadas em vários locais de uma loja, sendo no início e final de cada
corredores e em três locais ao longo destes. As etiquetas permitem que o robô
mantenha o controle de sua posição em cada corredor. Para identificação de
produtos um teclado numérico e scanner compara o código de barras com uma lista
registrada no estabelecimento.
Figura 1: Robocart
Fonte: KULYUKIN et al. (2005)
O ShopTalk (NICHOLSON e KULYUKIN, 2007), é um sistema para auxiliar
deficientes visuais a realizar compras em supermercado. O sistema é disposto em
uma pequena mochila a ser carregada pelo usuário. Além disso, possui um teclado
17
numérico preso na mochila e um leitor de código de barras. Os códigos são
comparados com listas e as informações e instruções são emitidas por mensagens
de voz ao usuário que utiliza um fone de ouvido. A estrutura de dados do sistema é
a matriz de conectividade de código de barras. A matriz associa códigos de barras
com corredores, lados do corredor, seções, prateleiras, etc. e auxilia a navegação
fornecendo instruções para a localização dos produtos. O ShopTalk possibilita a
inclusão de uma vasta biblioteca de produtos (4.297 produtos).
Figura 2: Shoptalk.
Fonte: (NICHOLSON e KULYUKIN, 2007)- figura adaptada
Trinetra de LANIGAN et al. (2007) é outro sistema baseado em um sistema
móvel que permite às pessoas com deficiência visual fazer compras
independentemente. O sistema trabalha com códigos de barras e etiquetas RFID. O
usuário ao entrar na loja digitaliza um código de barras ou uma etiqueta RFID e o
dispositivo reproduz uma mensagem com a descrição do produto. Os dados são
passados do telefone celular via Bluetooth ao fone de ouvido.
18
O SmartVision de Jose et al. (2011) foi um projeto desenvolvido por um grupo
de 4 universidades portuguesas com intuito de auxiliar deficientes visuais a percorrer
ambientes interiores e exteriores de forma autônoma. O dispositivo consiste de
módulos GPS, Wi-Fi e RFID integrados com o sistema de informação geográfica
SIG.
Figura 3: Estrutura do Smartvision.
Fonte: JOSE et al. (2011)- figura adaptada
O princípio de funcionamento do sistema de Jose et al. (2011) consiste em
navegar por algum destino seguindo marcos conhecidos armazenados no sistema
SIG, em combinação com um sistema de navegação local e detecção dos
obstáculos que estariam fora do alcance da bengala. O dispositivo não possui o
intuito de substituir a bengala do deficiente visual, mas sim complementá-la,
auxiliando no seu percurso e dando alertas de pontos de interesse nas proximidades
ou ainda obstáculos.
19
Figura 4: Implementação do Smartvision.
Fonte: JOSE et al. (2011)
O sistema Jose et al. (2011) integra GPS e Wi-Fi com um sistema GIS. O
módulo GPS é utilizado para a navegação em ambientes abertos enquanto que o
Wi-Fi é para ambientes fechados. Como podem ocorrer falhas na conexão Wi-Fi e
problemas na recepção do sinal GPS o sistema utiliza etiquetas RFID em pontos
predefinidos para sua orientação. Quando em funcionamento, a posição atual do
usuário é constantemente atualizada usando GPS, Wi-Fi ou etiquetas RFID. Quando
a recepção Wi-Fi é possível, a cada distância significativa atravessada, o mapa local
é atualizado pelo servidor GIS. Desta forma, o usuário pode sempre consultar o
sistema para saber o melhor ou o mais curto caminho para um determinado destino
e também conhecer os principais pontos de referência ao longo da rota.
O BlindShopping de Lópes-de-ipiña et al. (2011), desenvolvido na
universidade de Deusto (Espanha), consiste de um celular de baixo custo facilmente
implementável construído para permitir que as pessoas com deficiência visual
possam fazer compras de forma autônoma dentro de um supermercado. Seu
princípio de funcionamento baseia-se na navegação do usuário combinado com um
leitor de RFID na ponta de uma bengala branca e um telefone móvel. Além disso, o
sistema possui um componente de reconhecimento de produto sendo esse uma
câmera de telefone Android que usa códigos QR em relevo colocados em prateleiras
de produtos e para a sua identificação.
20
Figura 5: Testes do projeto BlindShopping.
Fonte: Lópes-de-ipiña et al. (2011)
21
3 MATERIAL E MÉTODOS.
3.1 PROJETO DO SISTEMA.
O sistema desenvolvido nesta pesquisa consiste em uma aplicação móvel
com duas opções. A primeira delas é para localizar o produto desejado pelo usuário
e informar através de mensagem de voz o corredor onde se encontre. A segunda
opção visa identificar o produto lendo o código de barras ou etiquetas NFC
associados a esse. Para tanto o sistema aciona tanto a câmera do telefone celular
para a leitura do código de barras dos produtos como também aciona o leitor de
etiquetas NFC.
Optou-se nesse projeto por desenvolver duas formas de identificação: código
de barras ou etiqueta NFC. A vantagem de identificar o produto utilizando o código
de barras é que esse é normalmente utilizado nos supermercados tanto na beirada
das prateleiras quanto no próprio produto. Entretanto é difícil para alguém com baixa
visão encontrar onde está o código de barras porque ele não possui localização
padronizada.
A vantagem de etiquetas NFC é que elas são identificáveis facilmente com o
dispositivo móvel localizado a distância de pelo menos 5 cm sem exigir
posicionamento definido.
Quando o dispositivo identifique o código de barras ou a etiqueta, o aparelho
reproduz uma mensagem de voz com a identificação do produto, preço, tamanho e
outras informações úteis (fig. 6).
22
Figura 6: Macro fluxo do sistema
3.2 MATERIAL.
3.2.1 NFC.
O NFC (ISO/IEC, 2004) é uma das mais recentes tecnologias de
comunicação sem fio. A comunicação ocorre quando um dispositivo compatível com
a tecnologia aproxima-se a alguns centímetros de outro dispositivo, fato que dificulta
o vazamento de informação. Este método de transmissão de dados é baseado em
RFID usando campos magnéticos para habilitar a comunicação entre dispositivos
eletrônicos.
A tecnologia utiliza a faixa de frequência de 13,56 MHz, largura de banda de 2
MHz, com modulação por chaveamento de amplitude (ASK) e codificação bifásica
de nível e suporta taxa de dados de 106, 212 ou 424 kbit/s. Ele funciona em dois
modelos de comunicação: passivo e ativo.
23
Etiquetas passivas dependem do campo magnético gerado pela antena de
um leitor ativo para funcionar e podem armazenar até 4KB, espaço suficiente para
registrar, por exemplo, detalhes de um produto como: identificação, preço, prazo de
validade, data de fabricação e etc.
Para este trabalho usamos etiquetas de 128 bytes, espaço suficiente para
armazenar um código de 13 algarismos.
Tabela 1: Comparativo entre tecnologia bluetooth x NFC
Bluetooth NFC
Frequência 2,4GHz 13,56MHz
Taxa de dados 1Mbps 424kbps
Alcance 4-10cm 5-10m*
Modo de comunicação Full duplex Half duplex
Pareamento instantâneo Não Sim
Facilidade no uso Fácil Difícil
* Bluetooth 2.0
3.2.2 CÓDIGO DE BARRAS
O código de barras é a representação gráfica de um determinado valor, que
pode ser tanto numérica quanto alfanumérica, dependendo do método empregado.
Esta representação é feita através de uma sequência de barras e espaços. A leitura
do código de barras é feitas através de um dispositivo que emite um feixe de luz que
converte a representação gráfica em uma sequência binária e esta sequência é
convertida por um software em um determinado valor (GS1 Brasil, 2014).
A primeira patente de um código de barras surgiu em 1952 atribuída a
Bernard Silver e Joseph Woodland e os padrões consistiam em circunferências.
24
Figura 7: Primeira patente de código de barras
Fonte: (Woodland e Silver, 1949)
Na década de 1970 a IBM criou um código denominado Universal Product
Code (UPC) a partir de então adotado nos Estados Unidos e Canadá. O código UPC
consiste em uma sequencia de 12 números representados de forma binária em
forma de barras (POLCINO MILIES, 2009).
Mais tarde para permitir uma maior difusão e rastreabilidade do país de
origem do produto criou um novo código de 13 dígitos com o nome European Article
Numbering system (EAN) sendo adotado em outros países com esse ou com outros
nomes (no Brasil utiliza-se a mesma denominação). Este código possui o mesmo
princípio do código UPC, mas a com o acréscimo do dígito adicional.
No Brasil a empresa que administra os códigos é a GS1 Brasil.
Figura 8: Código EAN
25
3.3 DESENVOLVIMENTO DO SISTEMA
O sistema foi desenvolvido para proporcionar duas opções. A primeira permite
a localização do produto no corredor do supermercado, a segunda permite a leitura
do código de barras ou de etiqueta NFC no produto ou na prateleira.
Para selecionar uma das opções a tela do celular foi dividida em duas partes
de tal modo que os deficientes visuais ou pessoas com baixa visão possam escolher
entre elas (localização e identificação).
Assim que o sistema, tema deste trabalho é executado, uma mensagem é
reproduzida dando boas vindas e indicando ao usuário como proceder nos próximos
passos sendo:
Bem-vindo. Selecione entre as duas opções do sistema: busca ou
identificação do produto. Tocando a parte superior da tela você selecionará a opção
“busca produto”, tocando a parte inferior você selecionará a opção identificação do
produto.
Ao pressionar a parte superior da tela é selecionada a opção em que o
dispositivo tem que verbalizar o produto desejado. Caso não identifica a palavra, o
dispositivo verbaliza uma lista com opções a serem selecionadas pelo usuário. Caso
a palavra identificada esteja no banco de dados o dispositivo verbaliza o corredor e
prateleira onde se encontra o produto. Quando pressionado a parte inferior da tela o
aparelho assume a opção leitura do código de barras ou do NFC para a identificação
do produto.
3.3.1 IMPLEMENTAÇÃDO DO SOFTWARE.
O sistema foi desenvolvido utilizando o MIT App Inventor 2 (MIT, 2014). Esta
interface é uma aplicação web com código-fonte aberto desenvolvido pelo Google e
mantido pelo Instituto de Tecnologia de Massachusetts (MIT). A interface é dividida
em duas partes, uma para à concepção da aplicação dedicada e outra para a lógica.
A programação é baseada na linguagem Scheme e o resultado é uma aplicação
para o sistema Android.
26
Para o “design” (figura 9), há na interface uma lista com vários componentes
(como botões e sensores) os quais estão disponíveis na tela do celular. Na lógica de
programação da interface os componentes previamente selecionados são exibidos.
O sistema MIT App Inventor torna a depuração da lógica programada em tempo real
através de um telefone Android conectado anteriormente.
Figura 9: Interface do site MIT Inventor 2.
Fonte: MIT Inventor 2
27
Figura 10: Tela do sistema.
Fonte: MIT Inventor 2
O reconhecimento de voz utilizado é o desenvolvido pelo Google. Tal
ferramenta é vinculada automaticamente pelo sistema quando o menu de
localização é acionado.
3.3.2 DESENVOLVIMENTO DE SISTEMA PARA LOCALIZAÇÃO DE
PRODUTO
Sendo selecionada a opção de localização do produto desejado, o sistema
deve informar o corredor e a altura da prateleira.
Caso o produto desejado não seja reconhecido devido a uma verbalização
diferente do prevista no desenvolvimento, colocamos como opção uma lista de
produtos que o sistema verbaliza para o usuário. Para estabelecer a lista seguimos o
28
método já aplicado pelos supermercados. Agrupando os produtos de acordo com
suas categorias.
Para tanto seguimos as recomendações do SEBRAE do Mato Grosso do Sul
(SEBRAE, 2015) onde as principais seções de um supermercado são:
1 - Alimentos
2 - Produtos de limpeza
3 - Produtos de higiene
4 - Bebidas e sucos
5 - Produtos de bazar e papelaria
6 - Utilidades domésticas diversas
7 – Equipamentos e instalações
8 – Açougue
9 – Recepção/Escritório
Por sua vez a seção de alimentos ainda é subdividida sendo:
1.1 - Cereais/grãos/farináceos
1.2 - Bolachas, biscoitos, torradas, pães e matinais
1.3 - Derivados do leite
1.4 - Conservas e enlatados
1.5 - Doces enlatados
1.6 - Bomboniere
1.7 - Frutas/verduras/hortaliças
1.8 - Congelados/frios/laticínios
1.9 - Carnes
A tabela 1 apresenta a lista com diversos produtos e suas respectivas
classificações que adotamos nesse trabalho.
Tabela 2: Exemplo de subdivisão de produtos em um supermercado
Produto Classificação Produto Classificação
Arroz 1.1 Bolacha 1.2
Feijão (carioca, preto, jalo, etc.) 1.1 Torradas 1.2
Massas em geral 1.1 Pães 1.2
Farinha de mandioca 1.1 Leite em pó 1.3
29
Farinha de trigo 1.1 Leite longa vida 1.3
Fubá 1.1 Queijo ralado 1.3
Amido de milho 1.1 Ervilha 1.4
Milho de pipoca 1.1 Milho verde 1.4
Açúcar 1.1 Salsicha em conserva 1.4
Açúcar refinado 1.1 Leite condensado 1.4
Pó de café 1.1 Creme de leite 1.4
Café solúvel 1.1 Molho de tomate 1.4
Fermento em pó 1.1 Molho inglês 1.4
Gelatina 1.1 Molho de pimenta 1.4
Coco ralado 1.1 Massa de tomate 1.4
Óleo de soja 1.1 Palmito 1.4
Azeite 1.1 Azeitona 1.4
Água mineral 1.1 Legumes em conserva 1.4
Caldo em tablete 1.1 Temperos 1.4
Vinagre 1.1 Goiabada 1.5
Chá mate 1.1 Doce de leite 1.5
Maionese 1.1 Pêssego em calda 1.5
Mostarda 1.1 Bombom em caixa 1.6
Catchup 1.1 Chocolates 1.6
Achocolatado 1.1 Balas 1.6
Pirulitos 1.6 Sabão em barra 2
Goma de mascar 1.6 Sabão em pó 2
Confeitos 1.6 Desinfetantes 2
Ovos 1.7 Amaciantes 2
Batata 1.7 Inseticidas/bactericidas 2
Cebola 1.7 Lustradores/polidores 2
Frutas diversas 1.7 Álcool/removedores/água
sanitária 2
Verduras diversas 1.7 Graxo-derivados 2
Legumes diversos 1.7 Creme dental 3
Requeijão 1.8 Sabonete 3
Queijos 1.8 Desodorante spray 3
Linguiça 1.8 Aparelho de barbear 3
Salsicha 1.8 Xampu 3
Manteiga 1.8 Absorvente higiênico 3
Margarina 1.8 Papel higiênico 3
Iogurte 1.8 Escova de dente 3
Hambúrguer 1.8 Algodão 3
Presunto 1.8 Esponja para banho 3
Mortadela 1.8 Lenço de Papel 3
Frango 1.9 Hidratante para o corpo 3
Carne bovina 1.9 Curativos 3
Carne para feijoada 1.9 Refrigerantes (lata e
garrafa) 4
30
Linguiça calabresa 1.9 Sidra 4
Ceras e abrasivos 2 Vinhos (branco e tinto) 4
Detergentes (líquido e em pó) 2 Vodca 4
Uísque 4 Saco de lixo 6
Suco de frutas 4 Vassoura/Rodo 6
Cerveja (lata e garrafa) 4 Esponja de aço 6
Refresco em pó 4 Esponja sintética 6
Bebidas esportivas 4 Pano de limpeza 6
Vela 5 Baldes (plástico e/ou alumínio) 6
Fósforo 5 Copo de vidro 6
Pilha/Bateria 5 Pratos 6
Lâmpada 5 Panelas 6
Artigos descartáveis para festa 5 Vasilhas (plástico e/ou vidro) 6
Material escolar 5 Conjunto de talheres 6
Escova de roupas 6 Fonte: (SEBRAE, 2015)
3.3.3 DESENVOLVIMENTO DO LEITOR DE CÓDIGO DE BARRAS
Quando é selecionado o menu de identificação de produto, o sistema
automaticamente acessa a opção câmera do celular. Para a leitura do código de
barras o usuário deve posicionar o celular a uma distância de 10 a 35 cm do código
para que seja possível a sua leitura conforme ilustra a figura 12.
Figura 11: Exemplo disposição de um produto na prateleira.
31
Para a leitura da etiqueta NFC o usuário deve encostar a parte traseira do
dispositivo na etiqueta em questão. Caso o número identificado na leitura esteja no
banco de dados, o sistema reproduz uma mensagem de áudio com as
especificações do produto selecionado.
Figura 12: Captura do código de barras em um celular.
A figura 13 apresenta o fluxograma simplificado do sistema.
32
Figura 13: Fluxograma simplificado do sistema.
3.4 MÉTODO PARA TESTES DOS DISPOSITIVOS
3.4.1 SIMULAÇÃO DO AMBIENTE SUPERMERCADO
Os testes foram realizados na biblioteca da universidade, lugar de fácil acesso
e utilizamos seus corredores e prateleiras para simular um ambiente de
supermercado.
A biblioteca (fig. 14) em si possui 15 corredores (fig. 15) e cada um dos lados
dos corredores conta com três prateleiras. Para nossos testes escolhemos dois
corredores e cinco produtos diferentes dispostos nas prateleiras (fig. 16). Os
produtos escolhidos foram: frango, carne, papel, coca-cola e detergente.
Devido a possíveis variações na verbalização desses produtos gravamos no
sistema 11 palavras (tabela 2).
33
Tabela 3: Palavra identificada x mensagem corredor
Palavra identificada Mensagem
Frango Corredor 1, prateleira superior
Frangos Corredor 1, prateleira superior
Frangu Corredor 1, prateleira superior
Carne Corredor 1, prateleira do meio
Carnes Corredor 1, prateleira do meio
Carni Corredor 1, prateleira do meio
Papel Corredor 2, prateleira inferior
Papéis Corredor 2, prateleira inferior
Coca-cola Corredor 3, prateleira do meio
Detergente Corredor 2, prateleira superior
Detergenti Corredor 2, prateleira superior
34
Figura 14: Representação esquemática da biblioteca
Figura 15: Disposição dos produtos
35
3.4.2 TESTE DE POSIÇÃO DO SISTEMA EM RELAÇÃO ÀS ETIQUETAS.
Para determinar as melhores distancia e posição do sistema em relação tanto
ao código de barras quanta as etiquetas NFC testamos várias distâncias entre o
celular e essas indicações assim como diversos modos de apoio na prateleira.
3.4.3 TESTE DE USABILIDADE E DETERMINAÇÃO DO TEMPO DE
BUSCA DE PRODUTO
Para o teste de usabilidade verificamos a eficácia na localização dos cinco
produtos disponíveis no banco de dados do sistema. Dois voluntários vendados
informaram qual produto desejavam dentro dos 5 disponibilizados.
Posicionamos os voluntários no ponto I (fig. 15) e mensuramos o tempo gasto
entre a verbalização do produto desejado e sua localização.
Inicialmente cada voluntário realizou o teste com somente as 5 palavras
gravadas sem as variações. A seguir introduzimos as variações da tabela 3 e
repetimos o teste.
Por último utilizamos a lista verbalizada da tabela 2. Solicitamos que cada
voluntário escolhesse os 5 produtos com o auxilio dessa tabela e mensuramos os
tempos de resposta do sistema.
Quando o voluntário encontrou o corredor e a prateleira indicada pelo sistema
ele procurou encontrar o código de barras. A seguir repetimos o teste com as
etiquetas NFC.
Desenvolvemos um sistema que permite modificar a distância entre o celular
e a etiqueta de centímetro em centímetro (Figura 16).
36
Figura 16: Método para definição da distância entre o código de barras e o celular
37
4. RESULTADOS.
4.1 TESTE DE DISTANCIA E POSICIONAMENTO DO CELULAR.
O celular utilizado para os testes é o Samsung Galaxy S3 (1.4 GHz quad-core
e sistema operacional Android 4.3). Na tabela 4 pode-se verificar que a distância
ideal para um celular com resolução de 5 Megapixels realizar a leitura é de 5 a 15
cm. O aparelho consegue realizar a leitura com outras distâncias, porém, encontra
dificuldade para focalizar o código de barras e demora mais tempo para
identificação.
Os testes realizados para verificar o melhor posicionamento do celular, das
etiquetas e dos códigos de barras mostraram que o melhor modo de leitura foi com
o celular na posição horizontal. Para a leitura das etiquetas NFC a única ressalva é
que estas não podem estar sobrepostas.
Figura 17: Leitura do código de barras com celular posicionado na horizontal.
38
Figura 18: Leitura com celular na vertical.
A porcentagem de leitura dos códigos foi de 100% nas 10 tentativas
realizadas e o tempo necessário para a leitura foi menor do que 2 segundos,
mostrando que a leitura dos produtos não é um problema.
Para ler a etiqueta contendo o código de barras o celular foi posicionado a
uma distância de 10 cm. Para facilitar o manuseio o celular foi colocado no pau de
selfie.
Para que não houvesse problemas com códigos próximos a distância entre
eles deve ser no mínimo de 15 cm, assim não há riscos do dispositivo focalizar dois
códigos. Para os testes com etiquetas NFC o celular precisa encostar-se à etiqueta
como mostrado na figura 19.
39
Figura 19: Teste de leitura de 2 códigos simultâneos
Figura 20: Teste de leitura com celular encostado nas etiquetas NFC
40
Tabela 4: Teste alcance da leitura de códigos de barras
Distância (cm) Código identificado? Tempo de identificação (s)
0 Não -
5 Sim <1
10 Sim <1
15 Sim <1
20 Sim 3s
25 Sim 10s
30 Não -
4.2 TESTE DE IDENTIFICAÇÃO DE PRODUTOS.
Testamos a identificação dos cinco produtos da tabela 2 sem variação de
verbalização. A porcentagem de identificação foi de 50% como mostrado na tabela
5.
Quando forem incluídas as variações no banco de dados, a porcentagem de
identificação foi de 90% considerando 10 tentativas com duas pessoas diferentes
(tabela 6).
Tabela 5: Teste identificação palavras sem variações no banco de dados
Voluntários Palavra identificada Vínculo com banco de dados?
V1 Frango Sim
V2 Frangos Não
V1 Carnes Não
V2 Carni Não
V1 Papel Sim
V2 Papéis Não
V1 Coca-cola Sim
V2 Coca-cola Sim
V1 Detergente Sim
V2 Detergenti Não
41
Tabela 6: Teste identificação palavras com variações no banco de dados
Voluntários Palavra identificada Vínculo com banco de dados?
V1 Frango Sim
V2 Frangos Sim
V1 Carnes Sim
V2 Carni Sim
V1 Papel Sim
V2 Papéis Não
V1 Coca-cola Sim
V2 Coca-cola Sim
V1 Detergente Sim
V2 Detergente Sim
4.3 TESTE DE USABILIDADE.
Nos testes de identificação o sistema leu os códigos de barras (tabela 4,
obedecendo a distância entre 5 e 15 cm) além de todas as etiquetas NFC instaladas,
informando verbalmente as características dos produtos.
Nos testes realizados para localização de produtos a partir da tabela
verbalizada o tempo médio de interação completa do sistema foi de 6 minutos e 09
segundos para 10 tentativas (vide soma dos tempos médios das tabelas 7 e 8). O
tempo foi baixo devido ao perímetro limitado da simulação que não ultrapassou 15
metros.
Neste teste obtivemos uma porcentagem 90% na localização do produto (uma
das 5 tentativas o voluntário desistiu da procura após o tempo da interação
ultrapassar 10 minutos) conforme verificado na tabela 8.
No teste de busca de produto, a partir da lista de produtos verbalizada para o
usuário, o tempo médio para localizar 5 produtos pelos dois voluntários foi 3 minutos
e 50 segundos (tabela 7). Deste teste pudemos observar que a tentativa falha
ocorreu pelo fato do usuário verbalizar de forma prolongada a letra “r” da palavra
“carne”.
42
Verificamos também que a maior dificuldade encontrada pelo usuário no
teste realizado estava na localização do produto no fim do corredor (figura 17). O
voluntário teve que percorrer todo o corredor até encontrar o produto desejado. Tal
dificuldade é a principal causadora na demora da identificação do produto sendo
responsável por quase metade do tempo médio da interação completa do sistema.
Tabela 7
Voluntário Produto procurado
Sequência escolhida pelo voluntário entre as palavras verbalizadas pelo sistema.
Informações Tempo para informação
(Min)
V1 Frango Alimentos Carnes Frango
Corredor 2, prateleira superior
6:37
V1 Carne Alimentos Carnes Carne bovina
Corredor 2, prateleira do meio
8:03
V1 Papel Bazar e papelaria Papel
Corredor 2, prateleira inferior
2:42
V1 Coca-cola Bebidas esportivas Refrigerantes (lata e garrafa)
Corredor 3, prateleira do meio
2:49
V1 Detergente Álcool/removedores/água sanitária
Detergentes (líquido e em pó)
Corredor 2, prateleira superior
2:57
V2 Frango Carnes Linguiça Frango
Corredor 2, prateleira superior
3:18
V2 Carne Alimentos Carne bovina
Corredor 2, prateleira do meio
5:56
V2 Papel Bazar e papelaria Papel
Corredor 2, prateleira inferior
1:18
V2 Coca-cola Sucos de freutas Refrigerantes (lata e garrafa)
Corredor 3, prateleira do meio
2:12
V2 Detergente Desinfetantes Amaciantes Detergentes (líquido e em pó)
Corredor 2, prateleira superior
2:31
Tempo médio 3:50
Tabela 8
Voluntário Produto procurado Tempo entre informação e
localização (min)
V1 Frango Carne Papel Coca-cola Detergente
1:39 1:57 (desistiu)
2:48 3:23 1:21
V2 Frango Carne Papel Coca-cola Detergente
1:58 1:31 2:12 4:34 1:51
Tempo médio 2:19
43
5. DISCUSSÃO
Uma das limitações de nosso sistema é que o usuário com baixa visão
precisa de auxílio para a instalação inicial. Também será necessária a colaboração
do supermercado para proporcionar códigos de barras acessíveis na borda das
prateleiras. Os estabelecimentos de médio porte e bem organizados já adotaram
esse método para se comunicar com os clientes sem limitações visuais.
O dispositivo desenvolvido nessa pesquisa utiliza tecnologia NFC. Há duas
vantagens na utilização da tecnologia NFC em detrimento do RFID que foi utilizado
na literatura: O NFC possibilita leitura e escrita de sua etiqueta, sendo possível
escrever de fato o número do código de barras, enquanto o RFID permite apenas
leitura da etiqueta. Mas a vantagem principal do NFC é seu baixo alcance de
atuação (alguns centímetros).
Dessa maneira o celular tem que ser encostado à etiqueta sendo esse um
dos motivos pelo qual utilizamos essa tecnologia, resolvendo assim o problema da
localização de produto que existe com os RFIDs, os códigos de barras ou as
etiquetas QR. Assim o usuário consiga encontrar uma etiqueta de cada vez. Com o
RFID que possui um alcance maior que o NFC, dependendo da distância das
etiquetas corre-se o risco de duas ou mais estarem dentro do raio de leitura.
As principais diferenças entre o sistema com relação ao Robocart Kulyukin et
al. (2005) ou o dispositivo descrito na patente US6497367 B2 (Kladyoo e Innet,
2007) é que nosso sistema funciona com aplicativos de celular, necessitando
apenas de um leitor de código de barras instalado previamente e utilizando-se do
reconhecimento de voz do Google. Também a patente conta com um dispositivo
específico e nosso sistema pode ser utilizada em qualquer smartphone com sistema
operacional android.
O ShopTalk (NICHOLSON e KULYUKIN, 2007). apenas realiza a leitura de
código de barras dos produtos não resolvendo como localizar esses seja no
supermercado ou na prateleira.
44
6. CONCLUSÃO
Identificamos que a inclusão de variáveis da mesma palavra foi uma decisão
acertada e quanto maior fora a variação na base de dados menor a chance do
sistema não reconhecer a palavra.
O dispositivo foi idealizado para ser utilizado em supermercados.
O teste realizado mostrou que o sistema é viável, pois etiquetas com código
de barras são frequentemente utilizadas em supermercado. As etiquetas NFC, que
formam mais fácil para a identificação do produto pelo usuário, podem ser
implementadas gradativamente para amortizar o custo inicial. (O custo no varejo de
uma etiqueta de NFC é de aproximadamente R$ 4,00). Ambos os métodos de
identificação devem respeitar padrão de tamanho e posicionamento.
A adoção por loja e supermercados do sistema que desenvolvemos para essa
pesquisa, facilitando a localização e identificação de produtos, devera contribuir para
a independência e qualidade de vida das pessoas com limitações visuais.
45
REFERÊNCIAS
Comprar em supermercados, para os cegos, é um esforço acima do normal.
BA TV. 1'55". Disponível em: <https://www.youtube.com/watch?v=c9XXcDZxgb4>.
Consultado em 22 Dez. 2014.
Conzola VC, Cox AR, Ortega KA, Sluchak TJ, inventor; Providing a location and
item identification data to visually impaired shoppers in a site having barcode labels.
United States patent US US6497367 B2. 24 Dez. 2002.
GS1 Brasil. Disponível em: <https://www.gs1br.org/>. Consultado em: 05 Dez. 2014.
IBGE. Censo 2010. Disponível em: <http://www.censo2010.ibge.gov.br/>.
Consultado em: 07 Jun. 2014.
ISO/IEC 18092(ECMA-340): Information technology – Telecommunications and
information exchange between systems - Near Field Communication - Interface and
Protocol (NFCIP-1). Primeira edição, 4 Jan. 2004.
José, João; Farrajota, Miguel; Rodrigues, João M.F.; du Buf, J.M. Hans. The
SmartVision local navigation aid for blind and visually impaired persons, International
Journal of Digital Content Technology and its Applications, 5, 5, pp. 362-375, 2011.
Kahn Shmuel; Portable braille computer device. United States patent US6542623
B1. 7 Set. 1999.
Kladyoo K, Innet S; A HCI Keyboard Layout Design for Blind People. International
Workshop on Advanced Image Technology, January 8-9, 2007, Bangkok, Thailand;
Kladyoo
46
Krishna S, Panchanathan S, Hedgpeth T, Juillard C, Balasubramanian V, Krishnan
NC. A wearable wireless rfid system for accessible shopping environments. 3rd Intl
Conference on BodyNets’08; Tempe, AZ 2008.
Kulyukin V, Gharpure C, Nicholson J. RoboCart: Toward robotassisted
navigation of grocery stores by the visually impaired. In:
Proceedings of the IEEE/RSJ International Conference on
Intelligent Robots and Systems (IROS). Edmonton, Canada: IEEE
Press 2005; pp. 2845-50.
Lanigan PE, Paulos AM, Williams AW, Rossi D, Narasimhan P. Trinetra: Assistive
technologies for grocery shopping for the blind. In: International IEEE-BAIS
Symposium on Research on Assistive Technologies (RAT). Dayton, OH 2007.
Lópes-de-ipiña, D., Lorido, T., Lópes, U.: BlindShopping: Enabling Accessible
Shopping for Visually Impared People through Mobile Technologies. In: The 9th
International Conference on Smart Homes and Health Telematics, Montreal, Canada,
pp. 266-270, 2011.
Ministério da Educação. CNE/CEB. Resolução nº 2 de 11 de setembro
de 2001. Institui Diretrizes Nacionais para a Educação Especial na Educa-
ção Básica. Disponível em: <http://portal.mec.gov.br/cne/arquivos/pdf/
CEB0201.pdf >. Consultado em 30 Dez. 2014.
Ministério da Educação. SEESP. Política Nacional de Educação Especial na
Perspectiva da Educação Inclusiva. 2008. Disponível em:
<http://portal.mec.gov.br/seesp/arquivos/pdf/politica.pdf >. Consultado em 30 Dez.
2014.
Ministério Público do Trabalho - Protocolo de procedimentos conjuntos para a
implementaçao da Lei m. 8.213/91. Disponível em:
<http://www.pgt.mpt.gov.br/publicacoes/pub19.html> Consultado em: 30 Dez. 2014.
47
MIT App Inventor. Disponível em: <http://appinventor.mit.edu/explore/>. Consultado
em: 07 Jun. 2014.
Nicholson J, Kulyukin V. ShopTalk: Independent blind shopping = verbal route
directions + barcode scans. Proceedings of the 30th Annual Conference of the
Rehabilitation Engineering and Assistive Technology Society of North America
(RESNA). Phoenix, Arizona 2007.
Omoby website. Disponível em:
<http://web.archive.org/web/20100722175636/http://omoby.com/pages/index.php>.
Consultado em: 11 Jun. 2014.
POLCINO MILIES, C. A matemática dos códigos de barras. Programa de Iniciação
Científica da OBMEP. Rio de Janeiro: OBMEP, 2009, v., p. 131-179.
Schriever Air Force Base. Disponível em: <http://www.schriever.af.mil/GPS/>.
Consultado em: 10 Jun. 2014.
SEBRAE/MS. Ficha técnica Supermercado. Disponível em: <
http://www2.ms.sebrae.com.br/uploads/UAI/fichastecnicas/supermercado.pdf>.
Consultado em: 24 Jan. 2015.
Woodland NJ, Bernard S, inventor; Classifying apparatus and method. United States
patent US 2612994 A. 20 Out. 1949.