ActiveIris: Uma solução para comunicação alternativa e autonomia de pessoas com deficiência motora severa

Pamela C. Levy, Nirvana S. Antonio, Thales R. B. Souza, Rogério Caetano, Priscila G. Souza

Núcleo de Tecnologias Assistivas - FPF Tech

Av. Danilo Areosa, 1170, Distrito Industrial, 69075-351, Manaus-AM, Brasil

{pamela.levy, nirvana.silva, thales.souza, rcaetano, pgomes}@fpf.br

ABSTRACT

Eyes movement detection has been broadly explored as an

alternative of computer interaction for people with physical

disabilities to interact with the computer. Nowadays,

accessibility products present a high cost for the user,

becoming impracticable for most of the target audience. In

this work, we present ActiveIris, an accessibility suite that

uses a common webcam to capture eyes movements and

integrates several functionalities. With a differentiated

interface, the suite facilitates the access to social networks,

mobile phone and internet navigation as a way of social and

educational inclusion and furthermore it promotes more

autonomy of the person with disability by enabling

residential environmental control. Initial tests show that

ActiveIris interface turns the tasks easier and faster when

compared to another interfaces.

Keywords

Iris tracking; Cursor controller; Assistive Technology;

Accessibility; Virtual Keyboard; Residential Environmental

Control.

ACM Classification Keywords

H.5.2. Information interfaces and presentation (e.g., HCI):

User Interfaces; H.5.m. Information interfaces and

presentation (e.g., HCI): Miscellaneous; I.4.8. Image

processing and computer vision: Scene Analysis---tracking.

RESUMO

A detecção do movimento dos olhos tem sido amplamente

explorada como uma alternativa para pessoas com

deficiência física interagirem com o computador.

Atualmente, produtos de acessibilidade apresentam um alto

custo para o usuário, tornando-se inviáveis para grande

parte do público alvo. Neste trabalho apresentamos o

ActiveIris, uma suíte de acessibilidade que utiliza uma

webcam comum para captar o movimento dos olhos e

integra diversas funcionalidades. Com uma interface

diferenciada, a suíte facilita o acesso a redes sociais, celular

e navegação na internet como forma de inclusão social e

educacional e, além disso, promove maior autonomia da

pessoa com deficiência ao possibilitar o controle do

ambiente residencial. Testes iniciais mostram que a

interface do ActiveIris torna as tarefas mais fáceis e ágeis

quando comparada com outras interfaces.

Palavras-chave

Rastreamento da íris; Controlador de cursor; Tecnologia

Assistiva; Acessibilidade; Teclado virtual; Controle de

ambiente residencial.

INTRODUÇÃO

Neste mundo mergulhado em profundas e aceleradas

transformações, a chamada Tecnologia Assistiva (TA)

emerge como uma área do conhecimento e de pesquisa que

tem se revelado como um importante horizonte de novas

possibilidades para maior autonomia e inclusão social da

pessoa com deficiência. Por meio da TA, pessoas com

graves limitações físicas são capazes de realizar tarefas que,

até recentemente, lhes eram inalcançáveis. O computador,

uma poderosa ferramenta de trabalho e canal de

comunicação, proporciona novas possibilidades às pessoas

com deficiência física. Para garantir que estas

possibilidades sejam efetivadas, é extremamente importante

a disponibilização de produtos de acessibilidade que

potencializem plenamente as capacidades de cada usuário.

Muitas pessoas com deficiência física não conseguem

utilizar o mouse ou o teclado se estes não forem

modificados ou adaptados. Dar um clique com o botão do

mouse, por exemplo, pode ser uma tarefa muito difícil ou

mesmo impossível para alguns em função de suas

dificuldades de coordenação física fina, ou por causa de

alterações anatômicas em seus membros superiores.

Pessoas com deficiência física severa, como os pacientes

afetados pela Esclerose Lateral Amiotrófica (ELA), cujo

controle muscular voluntário do corpo foi atingido,

geralmente conservam a capacidade intelectual intacta e

vivem literalmente o drama da prisão pessoal, uma vez que

só podem interagir com o mundo através do movimento dos

olhos e das pálpebras [4]. O acesso a recursos tecnológicos,

ao computador e à internet deve deixar de ser percebido

como algo apenas opcional ou secundário. É um direito

fundamental da pessoa com deficiência o uso de

ferramentas que proporcionam a inclusão educacional,

social e produtiva através do aprendizado, comunicação,

trabalho, diversão, entre outros.

Permission to make digital or hard copies of all or part of this work for personal or classroom use is granted without fee provided that copies are

not made or distributed for profit or commercial advantage and that copies

bear this notice and the full citation on the first page. To copy otherwise, or republish, to post on servers or to redistribute to lists, requires prior

specific permission and/or a fee.

A tendência atual é o desenvolvimento de ferramentas

adaptativas altamente tecnológicas para ajudar as pessoas

com deficiência a viver de forma mais independente [7].

Podem ser encontrados diversos trabalhos na área de TA

cujo objetivo é solucionar problemas específicos para

voltados para deficiência física severa [17, 25]. Entre as

soluções propostas, encontram-se aplicativos que facilitam

a navegação na internet [13, 22] e a comunicação

alternativa [2, 10], que muitas vezes são por meio de

teclados virtuais [11, 19, 23] otimizados para o acesso que

utilizam sistemas de rastreamento ocular.

Grande parte das soluções de TA não são adaptados à

realidade do nosso país, pois além do alto custo associado à

importação e ao preço do produto, estes aplicativos não

possuem suporte à língua portuguesa. Este trabalho propõe

a Suíte de Acessibilidade ActiveIris, cujo principal objetivo

é proporcionar às pessoas com os mais diversos graus de

limitação física nos membros superiores um meio de acesso

ao computador através do movimento dos olhos, porém de

maneira não intrusiva, fácil utilização e, principalmente,

baixo custo.

O ActiveIris conta com uma interface centralizada e

unificada, podendo ser usada mesmo por usuários com

pouco conhecimento em informática. A suíte permite maior

autonomia do deficiente físico ao facilitar a utilização de

redes sociais, do celular e o controle de equipamentos

eletrônicos do seu ambiente residencial. O movimento do

cursor é baseado na análise das imagens dos olhos

capturadas por uma webcam e o clique é realizado a partir

dos piscados.

O trabalho está organizado da seguinte maneira:

inicialmente são apresentados os principais conceitos e

trabalhos relacionados a rastreamento da íris e controle de

ambiente residencial. Em seguida, as funcionalidades e

principais características do ActiveIris são explanadas. Os

resultados de testes com alguns usuários são apresentados e

discutidos. Por fim, a conclusão é apresentada com algumas

observações e sugestões de trabalhos futuros.

REVISÃO BIBLIOGRÁFICA

Rastreamento da Íris

O rastreamento dos olhos de forma robusta, precisa e não

intrusiva, é um passo importante para o desenvolvimento de

aplicações de TA baseada em Interfaces Homem-

Computador (IHC). Existem técnicas intrusivas, como as

que utilizam eletrodos na face [15, 21, 25] e técnicas não

intrusivas que evitam contato físico com o usuário [2].

Além disso, a literatura classifica as técnicas de

rastreamento ocular em duas categorias: ativa e passiva

[39]. O método ativo é baseado em iluminação

infravermelho (IR) e o passivo utiliza apenas a imagem da

câmera.

O método de rastreamento ocular ativo consiste em

determinar a posição do olhar por meio da relação entre o

movimento da pupila e a reflexão da luz IR pela córnea [1].

Este método é aplicado na maioria dos produtos comerciais,

pois alcança resultados precisos mesmo com a interferência

da iluminação ambiente. Contudo, é necessário um emissor

de luz IR e a posição da câmera não é flexível, sendo

muitas vezes acoplada à cabeça do usuário (head-mounted)

como um capacete [10, 17].

Em relação aos métodos de rastreamento passivo, existem

alguns propostos na literatura: baseado em modelos

(template matching) [1, 12, 28, 37], baseado em aparência

(padrões) [39, 29], baseado em características (cor,

intensidade, contorno) [24, 27]. Porém, a maior parte dos

métodos passivos não é aplicada em cenas ativas, ou seja,

cenas onde há o movimento da cabeça e da câmera [1].

O método de rastreamento ocular desenvolvido neste

trabalho utiliza uma webcam comum de baixo custo e não

necessita de iluminação IR. Além disso, permite um

movimento livre da cabeça e a câmera não necessita estar

acoplada na mesma.

Controle de Ambiente Residencial

Recentemente, tem-se observado um crescimento

tecnológico de aplicações relacionadas ao controle de

ambiente para aumentar a independência de pessoas com

deficiência. Denominam-se Eletronic Aids for Daily Living

(EADLs) os dispositivos que facilitam a operação de

aplicações elétricas em um dado ambiente para pessoas com

deficiência física severa [14].

Muitos EADLs foram desenvolvidos nas últimas décadas,

como em [6], que utiliza um sistema baseado em sinal IR

para controlar várias funções de uma aplicação. No entanto,

o sinal IR é facilmente bloqueado por obstáculos.

Recentemente, Yang et al [34, 35] desenvolveram um

sistema de controle de ambiente baseado em rádio

frequência (RF) para o ambiente residencial. A

comunicação RF resolve o problema direcional apresentado

pela transmissão IR, contudo o dispositivo controlado deve

ser modificado pela adição de um módulo RF. Observa-se

também que o consumo de energia de um módulo RF é

muito elevado para ser alimentado por bateria.

A definição da tecnologia a ser empregada no ActiveIris

deve levar em consideração o baixo consumo de energia de

forma que os módulos possam ser alimentados por bateria.

Uma tecnologia diferenciada em comunicações sem fio é o

ZigBee. Baseado no padrão Open Systems Interconnection

(OSI) de sete camadas, o ZigBee define um protocolo de

comunicação de uma rede sem fio com baixa taxa de

transferência, baixo consumo e curto alcance [38]. Entre as

tecnologias baseadas em ZigBee, encontram-se as redes de

sensores sem fio [9, 26, 32, 36]. Em [20], foi implementada

uma unidade de controle remoto universal com ZigBee para

controlar vários aplicações eletrônicas residenciais

diferentes.

Em muitas aplicações da tecnologia ZigBee, o tempo total

em que o dispositivo sem fio está em atividade é bem

limitado. O dispositivo passa a maior parte do tempo no

modo de economia de energia, também conhecido como

sleep mode. Podemos ver na Figura 1, um quadro

comparativo entre ZigBee, Bluetooth e WiFi.

Figura 1 – Comparação entre os padrões

ZigBee, Bluetooth e WiFi.

Fonte: Adaptado de Farahani [8].

Na Suíte de Acessibilidade ActiveIris, o sistema de

automação residencial foi desenvolvido utilizando um

método de controle remoto integrado, combinando

comunicação sem fio ZigBee com transmissão IR. Deste

modo, o problema direcional da transmissão IR é resolvido

sem a necessidade de modificar o equipamento controlado.

SUÍTE DE ACESSIBILIDADE ACTIVEIRIS

A Suíte de Acessibilidade ActiveIris é um conjunto de

aplicativos que agrega diversas funcionalidades com o

objetivo de possibilitar a utilização plena do computador

por pessoas com deficiência física. A partir do movimento

dos olhos, que é captado e processado pelo controlador de

cursor, é possível manipular um teclado virtual, navegar na

internet, acessar as redes sociais, controlar o ambiente

residencial e interagir com o celular na tela do computador,

conforme o esquema apresentado na Figura 2.

De maneira geral, as principais funcionalidades

proporcionadas pelo ActiveIris podem ser divididas nas

seguintes categorias:

Interação com o computador através do controlador de

cursor;

Interação com o teclado por meio de um teclado virtual;

Interação com a web proporcionada por acesso rápido ao

navegador padrão, ferramenta de busca, visualização de

feeds de notícias (RSS) e exibição do clima atual e

previsão do tempo;

Interação social ao acessar as redes sociais Twitter e

Facebook;

Interação com o ambiente residencial;

Interação com o celular;

Funcionalidades customizadas como: tamanho

diferenciado dos botões, posicionamento ajustável das

ferramentas e botões na barra, entre outros.

Figura 2 – Principais funcionalidades do ActiveIris.

Figura 3 – Suíte de Acessibilidade ActiveIris

O software da Suíte de Acessibilidade ActiveIris foi

desenvolvido em linguagem de programação Java, podendo

ser executado tanto em ambiente Windows quanto em

ambiente Linux. Um dos principais focos durante o

desenvolvimento do aplicativo foi apresentar ao usuário

uma interface gráfica especialmente elaborada para facilitar

o controle de cursor por meio dos movimentos oculares.

A Figura 3 mostra em detalhe a Suíte de Acessibilidade

ActiveIris, a qual possui a forma de uma barra vertical que

pode ser alocada na lateral esquerda ou direita da tela

(Figura 4), minimizando o espaço ocupado pelo software. O

acesso aos aplicativos é realizado através de botões que

possuem dimensão diferenciada de forma a aumentar a área

de clique sobre eles. Além dos botões representando as

funcionalidades citadas anteriormente, há um espaço

reservado para exibição de feeds de notícias, visualização

do clima e na parte inferior é apresentada a imagem do

usuário capturada pela câmera, fornecendo um feedback

visual sobre o rastreamento da íris.

Figura 4 – ActiveIris em execução no computador

Controlador de cursor

A implementação de um método confiável de rastreamento

da íris é fundamental para a interação dos movimentos dos

olhos com o computador. O algoritmo desenvolvido neste

trabalho compreende as etapas de localização do par de

olhos, detecção da pupila e identificação do centro da

pupila (íris). O código foi desenvolvido em linguagem C++,

utilizando a biblioteca de visão computacional OpenCV (do

inglês Open Source Computer Vision) [18].

Para a localização do par de olhos, foi aplicada a

implementação de [5] integrada ao OpenCV, que estende o

método em cascata proposto por Viola e Jones [30]. Este

método utiliza características simples de Haar (assim

chamadas porque são calculadas de forma similar aos

coeficientes das Transformadas Wavelets de Haar) e um

conjunto de classificadores interligados em cascata. A

Figura 5 ilustra a região com o par de olhos localizado pelo

método empregado. Após a primeira localização dos olhos,

que é realizada na região que envolve todo o quadro

capturado, as demais buscas se realizam em uma nova

região de interesse (ROI – Region of Interest) de tamanho

reduzido, com o objetivo de diminuir o tempo de

processamento, pois a busca em um quadro inteiro é de

aproximadamente 0,3 segundos, enquanto que a detecção

na nova ROI diminui para 0,04 segundos. Esta ROI, como

mostra a Figura 6, assume uma largura e altura um pouco

maior que a região dos olhos localizada no último quadro

processado. Caso não se tenha localizado os olhos no

quadro anterior, a busca é reiniciada na região que

compreende o quadro inteiro até que a posição dos olhos

seja detectada novamente.

Figura 5 – Par de olhos detectado.

Figura 6 – ROI para a localização do par de olhos.

Um algoritmo de limiar adaptativo para a binarização da

imagem foi implementado na etapa de detecção da pupila.

A componente vermelha (R - Red) do espaço de cor RGB

(Red Green Blue – vermelho verde azul) é utilizada como

uma imagem na escala de cinza (greyscale), conforme

mostra a Figura 7a, e um filtro de suavização (blur) é

aplicado para reduzir os ruídos.

Figura 7 - Detecção da pupila e da íris. (a) Imagem do olho em

escala de cinza. (b) Imagem binária do olho. (c) Contorno do

objeto selecionado como pupila em verde e localização do

centro de massa em azul. (d) Localização da íris.

Após aquisição da imagem binária (Figura 7b), filtros

morfológicos e de área são utilizados para remover os

ruídos e objetos pequenos. O objeto, definido como pixels

pretos conectados, que apresentar o valor de circularidade

mais alto é definido como pupila (Figura 7c). Para a

localização da íris, o centro de massa deste objeto é

calculado. Na Figura 7d, o ponto branco na imagem

representa a íris detectada.

Rastreamento da íris para diferentes resoluções

e distancias da câmera

Resolução 30 cm 60 cm 90 cm

640x320 Detecta Detecta com

deficiência Não detecta

800x448 Detecta Detecta com

deficiência Não detecta

1280x800 Detecta Detecta Detecta com

deficiência

Tabela 1 – Planilha de avaliação da detecção da íris em

diferentes resoluções de captura

Para uma detecção mais robusta da íris, a resolução dos

quadros a serem capturados pela webcam foi definida por

meio de uma análise qualitativa de várias imagens da região

do olho obtidas de quadros com três resoluções diferentes

combinadas com três distancias entre o usuário e a câmera.

O algoritmo de rastreamento da íris foi aplicado para cada

combinação, como mostra a Tabela 1. A resolução adotada

neste trabalho foi de 1280x800, pois garante a detecção

para uma distância confortável entre o usuário e a câmera.

A detecção do piscado é realizada simultânea a detecção da

íris, como em [33]. Ao capturar os olhos fechados, o objeto

que representa a pupila na imagem binária assume a forma

apresentada na Figura 8, onde a razão entre altura e largura

é menor que a observada quando o olho está completamente

aberto (Figura 7c). Quando esta razão é menor que um

limiar de 0,35 (estabelecido experimentalmente) e este tipo

de objeto é detectado em quadros consecutivos por um

tempo maior que 1,5 segundos, considera-se que um

piscado foi realizado.

Figura 8 – Captura do piscado e imagem binária resultante.

Para determinar a direção do movimento do cursor, é

necessário mapear um ponto de referência dos olhos em

relação à tela. Esta referência é definida quando o usuário

olha para o centro da tela na etapa de calibração do sistema

e, posteriormente, é utilizada para determinar os possíveis

movimentos do cursor em relação a esta posição central,

assim como em [21]: para cima, para baixo, para a esquerda

e para a direta. Assim, ao olhar para uma destas direções, o

controlador de cursor envia um comando para o sistema

operacional que realiza um movimento contínuo na direção

detectada. Este movimento é interrompido apenas quando

um piscado é detectado ou quando uma mudança de

movimento ocorre. Quando o cursor está parado, a detecção

de um novo piscado realiza o clique correspondente ao

botão esquerdo do mouse.

Teclado Virtual

A interação do usuário com o computador por meio dos

olhos exige um método alternativo de entrada de caracteres

para substituir o teclado convencional. Normalmente, os

sistemas operacionais fornecem seu próprio teclado virtual

como forma de acesso alternativo ao computador. Este

teclado, porém, apresenta a mesma configuração de teclas

que um teclado físico, sendo o QWERTY o exemplo mais

conhecido pelos usuários.

Conforme analisado em [19], teclados virtuais com layouts

projetados inicialmente para teclados convencionais podem

sobrecarregar o usuário na tarefa de “digitar” com os olhos,

pois o processo torna-se mais lento e cansativo devido a

características como disposição, dimensão e espaçamento

entre as teclas.

O ActiveIris propõe um teclado virtual (Figura 9)

adaptando a disposição inicial de teclas de maneira

semelhante à proposta em [19] e aplicando conceitos de

frequência de utilização das teclas, conforme abordado em

[11, 16]. Inicialmente, com o intuito de minimizar o esforço

de deslocamento entre um ponto e outro da tela, a tecla

correspondente ao espaço ficou situada no centro do teclado

de forma a ficar o mais equidistante possível das demais

teclas. Como pode ser visto na Figura 9a, próxima à posição

central, foram colocadas as letras que aparecem com maior

frequência nas palavras da língua portuguesa, como as

vogais e as letras R, S e M. Nas posições mais distantes da

tecla espaço foram colocadas as letras menos acessadas,

como K, W e X. Além do posicionamento por frequência de

utilização, foram dispostas próximas umas das outras as

letras que compõem as terminações onde a vogal é seguida

de R ou S, como “-ar”, “-er”, “-ir”, “-as”, “-es”, etc, e as

teclas M, P e B, obedecendo à regra gramatical, onde o M é

escrito antes de P e B.

Figura 9 – Teclado Virtual do ActiveIris. Em (a) a disposição

geral do teclado alfabético, em (b) os caracteres especiais, em

(c) o teclado numérico e em (d) as teclas de acentuação gráfica.

Complementando as ferramentas necessárias para o usuário

redigir um texto, o teclado também apresenta botões que

exercem as funções de Tab, Capslock, Shift, Apagar (ou

Backspace) e Enter na parte superior e botões de atalho

para caracteres especiais, teclado numérico e acentuação,

conforme podem ser observados na Figura 9b, na Figura 9c

e na Figura 9d, respectivamente.

A Figura 10 ilustra a versão expandida do teclado virtual,

que pode ser acessada através dos botões verticais

localizados nas laterais da interface. Nesta versão, funções

adicionais para manipulação de texto ficam disponíveis nas

abas laterais.

Figura 10 – Teclado Virtual Expandido do ActiveIris.

Na aba esquerda, são exibidas cinco sugestões de palavras

que são atualizadas à medida que o usuário “digita” uma

letra. Ao clicar na sugestão desejada, o teclado insere

automaticamente as letras que faltam para completar a

palavra selecionada. As palavras que compõem as sugestões

são armazenadas em um banco de palavras e possuem um

contador de frequência de uso. Desta forma, palavras mais

usadas pelo usuário aparecem no topo da lista.

Na aba direita, estão disponíveis teclas correspondentes às

setas de navegação e botões que auxiliam nas tarefas de

selecionar, copiar, colar e recortar. Estas ferramentas foram

incluídas no teclado virtual devido à dificuldade de executar

operações como a seleção de trechos de texto com o cursor

e a ativação simultânea de teclas, como é o caso dos

comandos Ctrl + C, Ctrl + V e Ctrl + X.

Redes Sociais Facebook e Twitter

Atualmente, as redes sociais de relacionamento online

tornaram-se populares meios de integração social, porém a

interação com estes sites de relacionamento a partir de um

navegador de internet apresenta-se como uma difícil tarefa

a ser realizada por meio da movimentação dos olhos, pois

exige maior precisão em ações como o clique em links.

Como forma de facilitar a integração social de pessoas com

deficiência física, o ActiveIris proporciona acesso as

principais redes sociais utilizadas no Brasil atualmente:

Facebook e Twitter. Após associar a conta de usuário do

Facebook ou Twitter à Suíte, a pessoa pode ter acesso a

uma interface diferenciada, conforme mostra a Figura 11.

Entre as facilidades proporcionadas pela interface de redes

sociais do ActiveIris, destaca-se o uso de botões com uma

maior área de clique para inclusão de comentários em feeds

de amigos, envio de novas mensagens ou fotos.

Na interface para o Facebook é possível visualizar a linha

do tempo (ou timeline), onde são exibidas atualizações de

status dos amigos, o mural, que contém apenas os

compartilhamentos do usuário, o perfil e a lista de amigos.

Na interface do Twitter, a timeline do usuário é apresentada

de forma semelhante a do Facebook. Ao lado de cada tweet

são exibidos os botões representando as ações de responder

e retweet (RT). Além da timeline, podem ser acessadas as

menções ao usuário, mensagens diretas, trending topics e

lista de amigos.

Figura 11 – Interface para as redes sociais Facebook e Twitter.

Controle de Ambiente Residencial

Controlar o ambiente de forma simples é um dos requisitos

básicos de um sistema de automação residencial. Neste

contexto, o módulo de controle de ambiente do ActiveIris

consegue unir usabilidade à praticidade tanto no controle da

iluminação quanto na interface com equipamentos

eletrônicos.

Uma pessoa com deficiência física severa não consegue

controlar a iluminação do ambiente e manipular a TV ou o

ar condicionado por meio do um controle direcional

tradicional sem a ajuda de terceiros. Para vencer esta

barreira física e tecnológica, é necessária uma solução de

baixo consumo de energia que possibilite não só o

acionamento remoto de cargas, como também resolva o

problema do controle direcional. Conforme visto

anteriormente, o ActiveIris integra a tecnologia ZigBee aos

equipamentos e interruptores no ambiente do usuário. Neste

sentido, o módulo de controle de ambiente foi projetado

para comunicar-se com vários dispositivos através de uma

base central conectada ao computador, conforme mostra o

esquema da Figura 12.

Através de uma comunicação sem fio, a base envia

comandos para os módulos que estão associados a cada

dispositivo que se deseja controlar. Estes receptores podem

atuar de forma direcional, no caso de dispositivos que

utilizam IR, como TV, DVD e ar condicionado, ou não

direcional, para interruptores de iluminação e dispositivos

de acionamento de cargas, como ventilador.

Figura 12 – Solução para controle de ambiente do ActiveIris.

Com a base central conectada ao computador, o usuário do

ActiveIris terá acesso aos dispositivos conectados a ela

através do botão “Controle de Ambiente”, como pode ser

visto na Figura 3. Existem três módulos de controle de

dispositivos: módulo IR, módulo de iluminação e módulo

de acionamento.

Figura 13 – Interface para controle de ambiente residencial

O módulo IR funciona em duas etapas:

Configuração: Nesta etapa, o usuário utiliza o controle

remoto do equipamento específico para configurá-lo. Ao

pressionar a tecla Power, direcionando o controle para

um receptor IR localizado na base central, o sinal é

reconhecido.

Operação: Ao receber o comando do usuário através da

Suíte, a base central comunica-se com o módulo IR

específico que emite o sinal para o equipamento. A

Figura 13 ilustra a interface de controle da TV, onde o

usuário é capaz de ligar/desligar, aumentar/diminuir o

volume ou canal e inserir o número do canal desejado

usando o teclado numérico.

O módulo de iluminação funciona como um interruptor

paralelo, também conhecido como “Three way”, ou seja, a

lâmpada pode ser acionada tanto pela interface de

iluminação do ActiveIris (Figura 13) quanto pelo seu

interruptor físico.

Para o módulo de acionamento, exemplificado pelo

ventilador na Figura 13, é possível realizar a interrupção ou

o fornecimento de energia do equipamento.

Interação com o celular

A interação com o celular é realizada por meio de um

aplicativo instalado no aparelho. Este aplicativo foi

desenvolvido na plataforma Android e se comunica com o

computador através de uma rede sem fio. Através do botão

“Telefone”, que pode ser acessado na Suíte, o usuário pode

buscar todos os aparelhos que estão conectados na mesma

rede sem fio local e possuem o aplicativo instalado. Ao

selecionar o aparelho desejado, é possível acessar as

seguintes funcionalidades (Figura 14):

Enviar, receber e apagar mensagens de texto (SMS);

Acessar a agenda telefônica;

Realizar e receber ligações;

Visualizar listas de chamadas recebidas, discadas e

perdidas;

Outras informações, como nível da bateria do celular,

potência do sinal e status da conexão do celular com o

computador.

Figura 14 – Interface para interação com o celular. (a) Agenda

de contatos. (b) Teclado para discagem. (c) Lista de chamadas.

(d) Visualização de mensagens de texto.

RESULTADOS E DISCUSSÃO

Para avaliar a solução proposta para interface do Facebook

e do Teclado Virtual do ActiveIris, foram realizados testes

iniciais de usabilidade sem o uso das mãos. Os testes foram

executados por oito voluntários divididos em três níveis de

experiência (iniciante, intermediário e avançado) no uso de

teclados virtuais. Após os testes, cada usuário respondeu

um questionário de avaliação.

O primeiro teste consistiu em cronometrar o tempo para

realizar uma atividade no Facebook usando tanto o

navegador de internet quanto a Suíte de Acessibilidade. A

tarefa envolveu curtir e comentar uma postagem presente na

linha do tempo do usuário. A Tabela 2 apresenta os tempos

de execução em segundos para cada pessoa, sendo P1 um

usuário com deficiência física nos membros superiores.

Além destes resultados, no questionário preenchido pelos

voluntários, 75% afirmaram que se sentiram mais

confortáveis ao utilizar o Facebook através da Suíte.

Entre os usuários avaliados, apenas P5 realizou a tarefa

mais rápido no navegador, o que indica que a interface para

Facebook tornou a atividade proposta mais ágil. Todos os

usuários afirmaram que a maior dificuldade encontrada foi

efetuar o posicionamento do cursor sobre o link “Curtir” no

navegador. Por outro lado, o tamanho dos botões e das

áreas clicáveis na interface do ActiveIris facilitou a tarefa.

Usuário

Experiência

com teclados

virtuais

Tempo para curtir e

comentar uma postagem

no Facebook (segundos)

Navegador ActiveIris

P1 Avançado 155 94

P2 Avançado 67 45

P3 Avançado 164 161

P4 Intermediário 130 84

P5 Intermediário 92 98

P6 Iniciante 166 153

P7 Iniciante 227 114

P8 Iniciante 123 93

Tabela 2 – Comparação entre o tempo que o usuário levou

para curtir e comentar uma postagem no Facebook utilizando

o navegador e o ActiveIris.

O segundo teste teve como objetivo avaliar o teclado virtual

do ActiveIris. O desempenho na utilização deste teclado foi

comparado ao desempenho dos usuários ao utilizar outro

teclado virtual com configuração QWERTY. Para este

teste, foi selecionado o teclado VirtualKeyboard [31]

desenvolvido pela Universidade de Lleida (UdL).

Por meio dos teclados virtuais selecionados, cada pessoa

escreveu a frase “A taça é nossa, somos tetracampeões!”, a

qual possui 36 caracteres. O tempo de “digitação” e a

quantidade de botões pressionados foram contabilizados

para cada teclado, como mostra a Tabela 3. A quantidade

mínima de botões para escrever a frase utilizando o teclado

virtual do ActiveIris é de 42 e para o VirtualKeyboard é de

39, ou seja, os usuários que apresentam valores superiores a

estes cometeram erros durante a “digitação”.

De acordo com os dados apresentados na Tabela 3, apesar

de necessitar de mais teclas para formar a frase, grande

parte dos usuários levou menos tempo para completar a

tarefa e cometeu uma quantidade menor de erros utilizando

o teclado do ActiveIris, pois afirmaram que a disposição e o

tamanho das teclas contribuiu para o bom desempenho.

Usuário

Tempo (segundos) Botões pressionados

Virtual

Keyboard ActiveIris

Virtual

Keyboard ActiveIris

P1 249 156 41 42

P2 183 164 45 50

P3 390 312 43 46

P4 309 229 58 52

P5 297 170 44 42

P6 307 330 42 51

P7 393 256 60 44

P8 431 352 44 47

Tabela 3 – Comparação entre o teclado virtual do ActiveIris e

o teclado VirtualKeyboard para escrever uma frase.

Com base no nível de experiência na utilização de teclados

virtuais, foi calculada a média de tempo gasto no segundo

teste, conforme mostra o gráfico da Figura 15. Vale

ressaltar que o usuário P3 não foi considerado nos cálculos,

pois, diferente dos demais usuários, utilizou a função de

clique automático do controlador de cursor, que consistiu

em aguardar 2 segundos para executar cada clique. Para o

ActiveIris, foi verificado que os usuários gastaram em

média 312 segundos no nível iniciante, 199 segundos no

nível intermediário e 160 segundos no nível avançado. Em

relação ao VirtualKeyboard, o tempo médio para realizar a

tarefa foi de 377 segundos para iniciantes, 303 segundos

para intermediários e 216 segundos para avançados.

Figura 15 – Nível de experiência relacionado ao tempo médio

para escrever uma frase com os teclados virtuais testados.

Através do gráfico da Figura 15, pode ser observado que o

teclado do ActiveIris proporcionou uma execução mais

rápida da tarefa quando comparado ao VirtualKeyboard,

independente da experiência do usuário. Outro ponto que

pode ser destacado é a redução do tempo que o usuário leva

para realizar a tarefa à medida que aumenta sua experiência.

CONCLUSÃO

Este trabalho propôs uma solução tecnológica para

amenizar as grandes limitações e dependências enfrentadas

por pessoas com deficiência física severa. Nas últimas

décadas, inúmeras pesquisas na área de TA foram

realizadas com o objetivo de facilitar a comunicação e

interação do usuário com o mundo. Entre as soluções mais

promissoras está o controle por meio do rastreamento dos

olhos. A Suíte de Acessibilidade ActiveIris utiliza-se desta

forma de interação homem-computador para proporcionar à

pessoa com deficiência o acesso à ferramentas de

comunicação social, como as redes sociais de

relacionamento e o celular; educação e trabalho, com um

teclado virtual adaptado para uso através do movimento dos

olhos; controle de ambiente residencial, entre outros.

Comparado a outros tipos de sistemas controlados pelo

movimento dos olhos, o ActiveIris apresenta-se como uma

aplicação não intrusiva e de baixo custo. Além disso, é um

sistema flexível, pois não se limita apenas a usuários com

deficiência física severa, podendo ser utilizado por pessoas

com dificuldade de comunicação ou de acesso ao teclado e

mouse.

Os resultados obtidos nos testes demonstram que as

interfaces do Facebook e do teclado virtual do ActiveIris

tornam as tarefas mais fáceis e ágeis quando comparadas

com uma interface alternativa, como o navegador de

internet e o teclado virtual com configuração QWERTY. A

interface do Facebook facilita o acesso a links como

“Curtir” e “Comentar”, pois possui maior área de clique

para estas opções. No teclado virtual, o tamanho maior das

teclas ameniza os erros do usuário e a disposição das

mesmas torna a “digitação” do texto mais ágil.

Como trabalhos futuros, pretende-se:

Inserir outras funcionalidades do mouse como clique

duplo, clique com o botão direito e “clicar e arrastar”;

Implementar outros tipos de teclados virtuais, como o

teclado por varredura, necessário para pessoas que

possuem movimento limitado dos olhos;

Integrar módulos de consulta a sinais biológicos para

auxiliar no acompanhamento médico;

Implementar ferramentas voltadas para o público infantil;

Consultar os níveis de bateria dos módulos de forma a

alertar quando o mesmo estiver com pouca carga;

Consultar o nível de potência do sinal recebido através do

Received Signal Strength Indicator (RSSI) para decidir a

melhor localização dos módulos de controle, evitando a

perda de pacotes de comunicação;

Coletar variáveis do ambiente para identificar a condição

de conforto térmico do usuário e autoconfigurar o sistema

de ar condicionado.

AGRADECIMENTOS

Os autores gostariam de agradecer à FINEP e ao CNPq pelo

apoio financeiro, ao designer Bruno Lopes pelo

desenvolvimento da interface gráfica do aplicativo e aos

voluntários da FPF Tech por sua ajuda nos testes realizados

para este trabalho.

REFERÊNCIAS

1. Akashi, T., Wakasa, Y. e Tanaka, K. Using Genetic

Algorithm for Eye Detection and Tracking in Video

Sequence. In Systemics, Cybernetics and Informatics,

vol. 5, 2 (2007), 72-79.

2. Bacivarov, I., Ionita, M. e Corcoran, P. Statistical

Models of Appearance for Eye Tracking and Eye-Blink

Detection and Measurement. In IEEE Trans. on

Consumer Electronics, vol. 54, 3 (2008), 1312-1320.

3. Biswas, P. e Samanta, D. Friend: A Communication Aid

for Persons with Desabilities. In IEEE Trans. on Neural

Systems and Rehabilitation Engineering, vol. 16, 2

(2008), 205-209.

4. Cassemiro, C. R. e Arce, C. G. Comunicação visual por

computador na esclerose lateral amiotrófica. In Arquivos

Brasileiros de Oftalmologia, v. 67 (2004), 295-300.

5. Castrillón-Santana, M., Déniz-Suárez, O., Antón-

Canalís, L. e Lorenzo-Navarro, J. Face and Facial

Feature Detection Evaluation: Performance Evaluation

of Public Domain Haar Detectors for Face and Facial

Feature Detection.

6. Ciarcia, S. A. Build a Trainable Infrared Master

Controller. Byte, vol. 12 (1987), 113-123.

7. Cook, A. M. e Polgar, J. M. Cook & Hussey’s Assistive

Technologies: Principles and Practice, (2008).

8. Farahani, S. ZigBee Wireless Networks and

Transceivers, (2008).

9. Figueiredo, M., Nakamura, E., Ribas, A., Souza, T. R.

B. e Barreto, R. S. Assessing the Communication

Performance of Wireless Sensor Networks in

Rainforests. In IFIP Wireless Days, vol. 1 (2009), 1-6.

10. Galante, A. e Menezes, P. A Gaze-based Interaction

System for People with Cerebral Palsy. In Conf. on

Enterprise Information Systems and Technologies/ Intl.

Conf. on Health and Social Care Information Systems

and Technologies, (2012), 895-902.

11. Ghosh, S., Sarcar, S., Sharma, M. K. e Samanta, D.

Effective Virtual Keyboard Design with Size and Space

Adaption. In Proc. IEEE Students’ Technology

Symposium, (2010), 262-267.

12. Katada, T., Kobatake, M., Yoshimura, Y., Mizukami,

Y., Wakasa, Y., Akashi, T. e Tanaka, K. A

Communication System Using Eye Gaze. In Proc. Intl.

Conf. on Instrumentation, Control and Information

Technology, (2005), 3466–3469.

13. Kumar, M. e Winograd, T. Gaze-enhanced Scrolling

Techniques. In Proc. Symposium on User Interface

Software and Technology, (2007).

14. Litte, R. Electronic Aids to Daily Living. In Phys. Med.

Rehabil. Clin. N. Am., vol. 21 (2010), 33-42.

15. Lv, Z., Wu, X., Li, M. e Zhang, D. A Novel Eye

Movement Detection Algorithm for EOG Driven Human

Computer Interface. In Pattern Recognition Letter, vol.

31 (2010) 1041-1047.

16. MacKenzie, I. S. e Zhang, S. X. The Design and

Evaluation of a High Performance Soft Keyboard. In

Proc. Conf. on Human Factors in Computing Systems,

(1999).

17. Mascarenhas, I. C., Oliveira, S. C. e Fontana, E.

Desenvolvimento de Aplicativo Gráfico para uso de

Sistema de Rastreamento Ocular por Portadores de

Deficiência Motora Severa. In Proc. XXIII Congresso

Brasileiro em Eng. Biomédica, (2012), 1536-1540.

18. OpenCV. http://opencv.org/about.html.

19. Panwar, P., Sarcar, S. e Samanta, D. EyeBoard: A fast

and accurate eye gaze-based text entry system. In IEEE

Proc. 4th Intl. Conf. on Intelligent Human Computer

Interaction, (2012), 1-8.

20. Park. W. K., Han, I. e Park, K. R. ZigBee Based

Dynamic Control Scheme for Multiple Legacy IR

Controllable Digital Consumer Devices. In IEEE Trans.

Consumer Electronics, vol. 53 (2007), 172-177.

21. Postelnicu, C., Girbacia, F. e Talaba, D. EOG-based

Visual Navigation Interface Development. In Proc.

Expert Systems with Applications, vol. 39 (2012) 10857-

10866.

22. Porta, M. e Ravelli, A. WeyeB, an Eye-Controlled Web

Browser for Hands Free Navigation. In Proc. 2nd Conf.

on Human Systems Interations, (2009), 210-215.

23. Prabhu, V. e Prasad, G. Designing a Virtual Keyboard

with Multi-Modal Access for People with Disabilities.

In Proc. World Congress on Information and

Communication Technologies, (2011), 1133-1138.

24. Rikert, T. D. e Jones, M. J. Gaze Estimation using

Morphable Models, in Proc. Intl. Conf. on Face &

Gesture Recognition, (1998), 436–441.

25. Rocha, L. A. A., Naves, E. L. M., Soares, A. B., Morere,

Y., Pino, P. e Bourhis, G. Interface Homem Máquina

Aplicada à Comunicação Alternativa de Pessoas com

Deficiências Motoras Graves. In Proc. Congresso

Brasileiro em Eng. Biomédica, (2012), 692-695.

26. Ruiz-Garcia, L., Barreiro, P. e Robla, J. I. Performance

of ZigBee-based wireless sensor nodes for real-time

monitoring of fruit logistics. In Journal of Food

Engineering, vol. 87 (2008), 405-415.

27. Stiefelhagen, R. e Yang, J. Gaze Tracking for

Multimodal Human-Computer Interaction. In Proc.

IEEE Intl. Conf. on Acoustics, Speech, and Signal

Processing, vol. 4, (1997), 2617–2620.

28. Tan, H., Zhang, Y. e Li, R. Robust Eye Extraction using

Deformable Template and Feature Tracking Ability. In

Proc. Intl. Conf. on Information, Communications and

Signal Processing, vol. 3 (2003), 15-18.

29. Valenti, R. e Gevers, T. Accurate Eye Center Location

throught Invariant Isocentric Patterns. In Proc. IEEE

Trans. on Pattern Analysis and Machine Intelligence,

vol. 34, 9 (2012), 1785-1798.

30. Viola, P. e Jones, M. Robust real-time object detection.

In Intl. Journal of Computer Vision, vol. 57, 2 (2004),

137-154.

31. VirtualKeyboard. http://robotica.udl.cat.

32. Wheeler, A. Commercial Applications of Wireless

Sensor Networks using ZigBee. In Proc. IEEE

Communications Magazine, vol. 45, 4 (2007), 70-77.

33. Wu, J., Trivedi, M. M. An Eye Localization, Tracking

and Blink Pattern Recognition System: Algorithm and

Evaluation. In ACM Trans. on Multimedia Computing,

Communications and Applications. Vol. 6, 2 (2010).

34. Yang, C. H., Chuang, L. Y., Yang, C. H. e Luo, C. H.

Environmental Control Aid System for People with

Physical Disabilities. In Proc. IEICE Trans. Inf.

Systems, (2006), 1948-1954.

35. Yang, C. H., Chuang, L. Y., Yang, C. H. e Luo, C. H.

Morse Code Application for Wireless Environmental

Control Systems for Severely Disabled Individuals. In

IEEE Trans. on Neural Systems and Rehabilitation

Engineering, vol. 11, 4 (2003), 463-469.

36. Yick, J., Mukherjee, B. e Ghosal, D. Wireless Sensor

Network Survey. In Computer Network, vol. 52 (2008),

2292-2330.

37. Yuille, A., Hallinan, P. e Cohen, D. Feature Extraction

from Faces Using Deformable templates. In Intl.

Journal of Computer Vision, vol. 8, 2 (1992) 99-111.

38. ZigBee Specification. (2008), www.zigbee.org.

39. Zhu, Z. e Ji, Q. Robust Real-Time Eye Detection and

Tracking under Variable Lighting Conditions and

Various Face Orientations. In Computer Vision and

Image Understanding, vol. 98 (2005), 124–154