Avaliação de Interfaces. Avaliação de Interfaces Porque avaliar? A percepção do usuário não é igual a dos projetistas. O desenvolvimento de interfaces

Avaliação de Interfaces

Avaliação de Interfaces Porque avaliar?

A percepção do usuário não é igual a dos projetistas.

O desenvolvimento de interfaces baseado em processos formais e estudos científicos NÃO garante uma boa usabilidade.

Devemos ter em mente que alguém vai avaliar a qualidade de uso do seu sistema, nem que seja o usuário final.

Avaliação de Interfaces Importância

Corrigir os problemas antes que o produto seja lançado é sempre a melhor alternativa.

Quanto mais cedo forem encontrados os problemas de interação, menor o custo de consertá-los. (Menor o tempo de lançamento do produto)

Problema: Engenheiros codificam ao invés de debater

MÉTODOS DE AVALIAÇÃO DE INTERFACE

Necessidade: Trabalhar com problemas reais. Mas como identificá-los?

Identificar as necessidades de usuários ou verificar os entendimento dos projetistas sobre estas necessidades;

Identificar problemas de interação ou de interface;

Identificar como uma interface afeta a forma de trabalhar dos usuários;

Comparar alternativas de projeto de interface (o design utilizado na primeira versão poderá ser mantido em versões futuras);

Identificar objetivos quantificáveis em métricas de usabilidade;

Verificar a conformidade com um padrão ou um conjunto de heurísticas.

Avaliação de Interfaces Objetivos

Qualidade de Uso

Capacidade e facilidade dos usuários atingirem suas metas com eficiência e satisfação.

O conceito de qualidade de uso mais amplamente utilizado é o de usabilidade, relacionado a facilidade e eficiência de aprendizado e de uso, bem como a satisfação do usuário.

O conceito de qualidade de uso agrega ainda conceitos como comunicabilidade e aplicabilidade

Capacidade dos usuários entenderem o design tal como concebido pelo projetista.

Em sistemas de alta comunicabilidade usuários são capazes de responder:

Para que serve o sistema; Qual a vantagem de utilizá-lo; Como funciona; Quais são os princípios gerais de interação com o

sistema;

Qualidade de Uso - Comunicabilidade

Conceito relacionado a utilidade de um sistema com uma variedade de situações e problemas.

Permite determinar: O quanto o sistema é útil para o contexto

em que foi projetado; Em que outros contextos o sistema pode

ser útil

Qualidade de Uso - Aplicabilidade

Problemas de Usabilidade

RETARDAM, PREJUDICAM OU INVIALIZAM A REALIZAÇÃO DE UMA TAREFA


Quanto ao impacto que produzem sobre a produtividade da tarefa.

Barreiras Obstáculos Ruídos

Quanto ao tipo de usuário que afetam Geral Iniciantes Experientes Específicos


Quanto a tarefa em que se manifestam Principal Secundária

Quanto ao grau de severidade Escala:

Fatores a serem considerados: Freqüência com que ocorre Impacto sobre o usuário Persistência do problema Impacto no mercado

0 - + 4

Problemas de Interfaces com baixa Usabilidade

Requerem treinamento excessivo; Desmotivam a exploração; Confundem os usuários; Induzem os usuários ao erro; Geram insatisfações; Diminuem a produtividade; Não trazem o retorno de investimento previsto.

Métodos de Avaliação de Interfaces Características

Métodos de avaliação de interfaces diferem em vários aspectos

Deve-se entender as características de cada métodos para se avaliar interfaces de acordo com cada contexto.

Principais diferenças entre métodos de avaliação: Etapa do ciclo de vida do design do software (durante

ou após o desenvolvimento); Técnica utilizada para a coleta de dados; Tipos de coletas de dados (quantitativos ou qualitativos) Tipo de análise a ser feita.

Cognição ReflexivaEnvolve pensar, comparar e tomar decisões;

Promove novas idéias e a criatividade;

EX: Perceber, aprender, escrever um livro, etc.

Cognição ReflexivaCaract. Métodos de Avaliação de Interfaces

Etapa do Ciclo de Vida Coleta de Dados Tipos de Dados Tipos de Análise

• Formativas• Somativas

• Opinião dos usuários• Observação de usuários• Registro de Uso

• Quantitativos• Qualitativos

• Preditiva • Interpretativa

CICLO DE VIDA - Formativa Realizadas durante o processo de design, antes

mesmo de uma linha de código sequer ser escrita.

Utilização de cenários, storyboards, modelagem conceitual ou até mesmo protótipos.

Quanto antes um problema for identificado menor é o custo de alterações no software.

Realizadas após o término do desenvolvimento do produto.

Buscam verificar a existência de determinados aspectos no sistema (conformidade com um padrão estabelecido).

CICLO DE VIDA - Somativa







COLETA DE DADOSOpinião do usuário

Visam obter uma apreciação dos usuários com relação ao sistema interativo. Usuários gostaram dos sistema. Aparência estética dos sistema é satisfatória. Sistema faz aquilo que usuário deseja. Usuários tiveram algum problema ao utilizar o sistema. Usuários gostariam de usá-lo novamente.

Principais técnicas utilizadas: questionários/entrevistas (pessoalmente ou por

telefone, e-mail ou web) Pequeno ou grande número de pessoas; Perguntas estruturadas ou livres

Permite ao avaliador ter uma visão dos problemas vivenciados pelo usuário e dos aspectos positivos experimentados durante o uso do sistema.

Pode ser registrada usando-se anotações do observador, gravação de vídeo, áudio ou uma combinação destas.

COLETA DE DADOSObservação dos usuários

Uma forma de se coletar informações de como o usuário interage com o sistema é através de registros de uso (logs).

Normalmente, registros de uso geram uma grande quantidade de informação e a análise destes dados pode ser bastante custosa para os avaliadores.

COLETA DE DADOSRegistro de Uso







TIPO DE DADOSQuantitativos/ Qualitativos

QUANTITATIVOSDados que podem ser representados numericamente.Podem ser utilizados cálculos estatísticos para sua obtenção (desvio padrão, média etc..).

QUALITATIVOSDados que não podem ser representados numericamente.Podem ser apresentados em forma de uma lista de problemas identificados na interface ou ainda como sugestões de melhoria para a mesma.







TIPO DE ANÁLISEPreditiva

Ao analisarem os dados especialistas tentam prever os problemas a serem enfrentados pelo usuário.

Pode ser realizada através de uma inspeção da interface ou em função de técnicas de modelagem.

TIPO DE ANÁLISEInterpretativa ou Experimental

Ao analisarem os dados coletados os especialistas procuram explicar os fenômenos que ocorreram durante a interação do usuário com o sistema.

São consideradas interpretativas quando realizadas em ambientes naturais sem a interferência dos observadores nas atividades normais do usuário.

Quando realizadas em ambientes controláveis (laboratórios) são denominadas experimentais.

Cognição Reflexiva

Métodos de Avaliação de Interfaces

Analíticos

Empíricos

• Heurísticas• Percurso Cognitivo

• Testes de usabilidade• Testes de comunicabilidade• Protocolos verbais• Avaliação no ambiente

• Testes de laboratório

Preparação: objetivo da avaliação, seleção de tarefas, seleção de usuários, material para teste e execução do teste piloto Execução: ambiente de teste, questões éticas, deixando o usuário a vontade, aplicação de testes e análise de dados coletados.

MÉTODOS DE AVALIAÇÃO ANALÍTICOS

Aqueles em que avaliadores inspecionam ou examinam aspectos de uma interface de acordo com aspectos relacionados a usabilidade.

Avaliadores podem ser especialistas em usabilidade, consultores de desenvolvimento de SW especializado em determinado estilo de interface ou usuários finais conhecedores do domínio e da tarefa.

Tem por objetivo: Identificação de problemas de usabilidade Seleção de problemas a serem corrigidos

MÉTODOS DE AVALIAÇÃO ANALÍTICOS Tipos de conhecimentos envolvidos em uma inspeção analítica:

Conhecimento sobre o domínio; Conhecimento e experiência no projeto e avaliação de interfaces Experiência para realizar um tipo de avaliação específico

Perfis de Avaliadores:

Ideal: possui experiência tanto nos processos e nos princípios de usabilidade quanto nos processos e aspectos relevantes do domínio.

Desejável: especialista em IHC. Conhece o processo de avaliação, bem como os princípios e diretrizes relevantes. Capaz de aprender o suficiente do domínio para selecionar as tarefas que devem ser realizadas.

Menos desejável: especialista no domínio e estuda princípios de interface

Menos desejável ainda: membro da equipe de desenvolvimento (tem dificuldade de enxergar o ponto de vista de um usuário comum)



Analíticos

Empíricos


• Testes de usabilidade• Testes de comunicabilidade• Protocolos verbais• Avaliação no ambiente


Preparação: objetivo da avaliação, seleção de tarefas, seleção de usuários, material para teste e execução do teste piloto Execução: ambiente de teste, questões éticas, deixando o usuário a vontade, aplicação de testes e análise de dados coletados.

Método analítico de avaliação que visa identificar problemas de usabilidade conforme um conjunto de heurísticas ou diretrizes (guidelines).

Se baseia nas melhores praticas definidas por especialistas experientes e especialistas em IHC.

Não envolve usuários.

Recomenda-se que 3 a 5 especialistas realizem a avaliação.


HEURÍSTICAS

Sessões curtas (1 a 2 horas) Especialistas julgam a conformidade da interface

com um determinado conjunto de heurísticas Anotação de problemas encontrados e sua

localização Julgamento da gravidade do problema encontrado. Elaboração de relatório individual com o resultado da

avaliação e comentários adicionais

Consolidação da avaliação de especialistas. Julgamento consolidado de especialistas Relatório unificado de problemas de usabilidade

Seleção dos problemas a serem corrigidos

PROCEDIMENTOS DE AVALIAÇÃO

HEURÍSTICA

Descrevem as propriedades que devem ocorrer em sistemas de alta

usabilidade

(1)Visibilidade do status do sistema: O sistema precisa manter os

usuários informados sobre o que está acontecendo, fornecendo um

feedback adequado dentro de um tempo razoável.

(2) Correspondência do sistema com o mundo real: Sistema precisa

falar a linguagem do usuário, com palavras, frases e conceitos

familiares ao usuário, ao invés de termos orientados ao sistema. Seguir

convenções do mundo real, fazendo com que a informação apareça

numa ordem natural e lógica,

HEURÍSTICAS - NIELSEN


(3) Controle de liberdade do usuário: Usuários freqüentemente escolhem por

engano funções do sistema e precisam ter saídas claras de emergência para sair

do estado indesejado sem ter que percorrer um extenso diálogo. Prover funções

desfazer e refazer.

(4) Consistência e padronização: Fale a mesma língua o tempo todo, e nunca

identifique uma mesma ação com ícones ou palavras diferentes. Trate coisas

similares, da mesma maneira, facilitando a identificação do usuário.Usuários não

precisam adivinhar que diferentes palavras, situações ou ações significam a

mesma coisa.


(5) Prevenção de erros: Na tradução livre das palavras do próprio Nielsen

“Ainda melhor que uma boa mensagem de erro é um design cuidadoso que

possa prevenir esses erros”. Por exemplo, ações definitivas, como deleções

ou solicitações podem vir acompanhadas de um checkbox ou uma

mensagem de confirmação

(6) Ajuda aos usuário a reconhecer, diagnosticar e se recuperar de erros:

As mensagens de erro do sistema devem possuir uma redação simples e

clara que ao invés de intimidar o usuário com o erro, indique uma saída

construtiva ou possível solução. As mensagem de erro devem ser expressas

em linguagem clara, sem códigos indicando precisamente o problema.

HEURÍSTICAS - NIELSEN(7) Reconhecimento em vez de memorização: Evite acionar a memória do

usuário o tempo inteiro, fazendo com que cada ação precise ser revista

mentalmente antes de ser executada. Permita que a interface ofereça ajuda

contextual, e informações capazes de orientar as ações do usuário - ou seja - que

o sistema dialogue com o usuário. O usuário não deve ter que lembrar

informação de uma parte para outra do diálogo.

(8) Flexibilidade e eficiência de uso: O sistema precisa ser fácil para usuários

leigos, mas flexível o bastante para se tornar ágil à usuários avançados. Essa

flexibilidade pode ser conseguida com a permissão de teclas de atalhos, por

exemplo. No caso de websites, uso de máscaras e navegação com tab em

formulários são outros exemplos.


(9) Design estético e minimalista: Evite que os textos e o design fale mais do

que o usuário necessita saber. Os “diálogos” do sistema precisam ser simples,

diretos e naturais, presentes nos momentos em que são necessários. Os

diálogos não devem conter informação irrelevante ou raramente necessárias.

Qualquer unidade de informação extra no diálogo irá competir com unidades

relevantes e diminuir sua visibilidade relativa.

(10) Ajuda e documentação: Um bom design deveria evitar ao máximo à

necessidade de ajuda na utilização do sistema. Ainda assim, um bom conjunto

de documentação e ajuda deve ser utilizado para orientar o usuário em caso de

dúvida. Deve ser visível, facilmente acessada, focalizadas na tarefa do usuário e

não muito extensa. Dica: oferecer uma ferramenta de busca na ajuda.

HEURÍSTICAS Identificação de Problemas

Para cada heurística violada deve-se definir a sua localização na interface e a gravidade do mesmo.

O problema pode estar: Em um único local na interface; Em dois ou mais locais da interface, casualmente, Na estrutura geral da interface de forma sistemática, Pode ser algo que não está lá, ou seja, precisa ser incluído na interface

Quanto a gravidade (severidade do problema): Frequência com que o problema ocorre (comum ou raro) Impacto do problema (de fácil ou difícil superação para o usuário) Persistência do problema (problema que ocorre apenas uma vez e facilmente

superado pelo usuário ou problema que ocorre diversas vezes e usuários se sentem incomodas pelo problema

Defina a gravidade através de escalas de erro : Nível 0: Não é encarado necessariamente como um problema de usabilidade.Nível 1: Problema estético que não tem necessidade de ser corrigido (só se houver tempo e recurso disp.)Nível 2: Pequeno problema com baixa prioridade na correção.Nível 3: Problema com alta prioridade de correção.Nível 4: Catástrofe de usabilidade, ou seja, o produto só será liberado se a correção for feita.

HEURÍSTICAS Identificação de Problemas

O relatório das violações de heurística vai ficar similar à tabela abaixo:

Método analítico que visa avaliar principalmente a facilidade de aprendizado do sistema pela exploração do usuário.

Investiga principalmente: Correspondência de conceitualização de uma tarefa por parte de

usuários e designers. Escolha adequada (inadequada) de termos, ou seja, vocabulário

utilizado. Feedback adequado (inadequado) para as consequências de uma

ação.

Não envolve usuários.

Pode ser realizado individualmente pelo próprio projetista ou em grupos (projetista, equipe de projeto, pessoal de marketing, pessoal responsável pela documentação ou especialistas em IHC).


PERCURSO COGNITIVO



Analíticos

Empíricos


•Testes de comunicabilidade• Protocolos verbais• Avaliação no ambiente


Baseado em Engenharia Semiótica

Objetivo: avaliar a interface de acordo com sua comunicabilidade comunicabilidade: propriedade de transmitir ao

usuário de forma eficaz e eficiente as intenções e princípios de interação que guiaram o seu design

Propõe um conjunto de expressões que o usuário plausivelmente pode usar para se exprimir em uma situação onde acontece uma ruptura na sua comunicação com o sistema

MÉTODOS DE AVALIAÇÃO EMPÍRICOSTESTE DE COMUNICABILIDADE

PROCEDIMENTOS: Aplicação do teste

solicitar ao usuário a execução de uma tarefa pré-determinada na aplicação

gravar a interação do usuário com a aplicação entrevista com o usuário

Análise ver gravações da interação e atribuir expressões nos momentos

de ruptura tabular as expressões interpretação:

extrair mapa dos pontos críticos da interação obter perfil da interação da aplicação



Cadê? usuário sabe a operação que deseja executar mas não a encontra de imediato na interface. Sintoma: abrir e fechar menus e submenus e passar com o cursor de mouse sobre botões, inspecionando diversos elementos de interface sem ativá-los.

E agora? O usuário não sabe o que fazer e procura descobrir qual é o seu próximo passo. Sintoma: vagar com o cursor do mouse sobre a tela e inspecionar os menus de forma aleatória ou seqüencial.

O que é isto? usuário não sabe o que significa um elemento de interface. Sintoma: deixar o cursor do mouse sobre o elemento por alguns instantes, esperando que uma dica seja apresentada.

EXPRESSÕES: Conjunto das interjeições: Capaz de expressar as rupturas de interação que acontecem durante o uso de uma aplicação

Onde estou? O usuário efetua operações que são apropriadas para outros contextos, mas não para o contexto atual (por exemplo, tenta digitar um dado em um campo desabilitado; digita um comando em um campo de dado ou um dado no campo reservado para comandos). Sintoma: desfazer a ação incorreta e mudar em seguida para o contexto desejado.

Assim não dá. O usuário efetuou uma seqüência (longa) de operações antes de perceber que estava seguindo um caminho improdutivo. Sintoma: acionamento de Undo repetidas vezes ou o cancelamento de um ou mais quadros de diálogos abertos indevidamente.

Por que não funciona? A operação efetuada não produz o resultado esperado, mas o usuário não entende ou não se conforma com o fato. Sintoma: típico consiste em o usuário repetir a ação.


Epa! O usuário realizou uma ação indesejada e, percebendo imediatamente que isto ocorreu, desfaz a ação. Sintoma: acionamento imediato do Undo ou o cancelamento de um quadro de diálogo aberto indevidamente.

Ué, o que houve? O usuário não percebe ou não entende a resposta dada pelo sistema para a sua ação (ou o sistema não dá resposta alguma). Os sintomas típicos incluem repetir a ação ou buscar uma forma alternativa de alcançar o resultado esperado.

Para mim está bom… Ocorre quando o usuário acha equivocadamente que concluiu uma tarefa com sucesso. O sintoma típico é encerrar a tarefa e indicar na entrevista ou no questionário pós-teste que a tarefa foi realizada com sucesso. O observador, no entanto, sabe que se trata de um engano, provavelmente causado por uma falha de resposta do sistema ou modo de visualização inadequado para a tarefa atual.

Desisto. O usuário não consegue fazer a tarefa e desiste. O sintoma é a interrupção prematura da tarefa. A causa pode ser falta de conhecimento, tempo, paciência, informação necessária, etc.



Vai de outro jeito. O usuário não consegue realizar a tarefa da forma como o projetista gostaria que ele o fizesse, e resolve seguir outro caminho, geralmente mais longo ou complicado. Cabe ao avaliador determinar, se possível junto ao designer, qual é a forma preferencial de execução da tarefa.

Não, obrigado. O usuário já conhece a solução preferencial do designer, mas opta explicitamente por uma outra forma de interação. Sintoma: ocorrência da ação preferencial seguida de uma ou mais formas alternativas para se alcançar o mesmo resultado.

Socorro! O usuário não consegue realizar sua tarefa através da exploração da interface. O sintoma é recorrer à documentação ou pedir explicação a outra pessoa.


SERG – Semiotic Engineering Research Group

navegação

atribuição de significado

fracasso da tarefa

affordance baixa/inexistenteaffordance recusada

Cadê?

Que é isso? E Agora?

Epa!/Onde estou?/Assim não dá.

Por que não funciona?Ué, o que houve?

Para mim está bom...

Não dá.

Vai de outro jeito.Não, obrigado.

navegação




Soco

rro!

Comunicabilidade x Problemas de IHC

Dilema de Comunicabilidade

Semelhança com um ícone existente (de procurar em muitas aplicações), o que sugere uma interpretação diferente da indicada no tooltip (Nova Tarefa).

No entanto, na concepção do designer o VirusScan é uma ferramenta que PROCURA vírus no disco.


Projetando um Teste de Comunicabilidade

Definir perfil dos usuários a participarem do teste

Selecionar as tarefas a serem executadas no teste Critérios:

· Os pontos onde o designer está ciente ou acredita que possa haver ruptura de comunicação.

· Pontos críticos da aplicação, ou seja, onde o usuário não pode errar.

· Pontos principais da aplicação


Testes de Usabilidade x Testes de Comunicabilidade Usabilidade

Quantitativo Não oferecem indicadores de solução Necessário especialista em IHC Avalia produtividade

Comunicabilidade Quantitativo e qualitativo Oferecem indicadores de solução Não é necessário especialista em IHC para coleta de dados Avalia sucesso da comunicação


Exemplo de Teste de Usabilidadefator método de

mediçãopior caso nível

almejadomelhorcaso

taxa deaprendizado

comparação entreprimeira e segundamedições

mesma coisa segundamediçãomelhor

“muito”melhor

uso inicial tempo para realizaruma consulta

20 min 1,5 min 0,5 min

uso esporádico,após 2 semanassem uso

número de vezes emque o sistema deajuda é acessado emcada tela

mais de umavez

nenhuma vez nenhuma vez

preferência sobrefichas impressas

questionário igual maiorpreferênciaao sistema

nenhumapreferência àsfichas

avaliação inicial questionário sobreimpressões

neutro positivo muitopositivo

avaliação deusuárioexperiente

questionário sobreimpressões

neutro positivo muitopositivo

restrições ao usodo sistema

questionário muitas poucas nenhuma

Documents

Avaliação de Interfaces. Avaliação de Interfaces Porque avaliar? A percepção do usuário não é igual a dos projetistas. O desenvolvimento de interfaces