Avaliação de Interfaces:Avaliação de Interfaces:Heurística e Teste de UsabilidadeHeurística e Teste de Usabilidade
Unisinos – Centro 6
Projeto de Interfaces – 2003/02
Profª: Renata Vieira
Comentado por: Cássia T. dos Santos
2 - 57
RoteiroRoteiro
• Parte I– Considerações Iniciais
– Classificação dos Métodos de Avaliação
• Parte II– Avaliação Heurística
– Teste de Usabilidade
– Comparativo
• Referências Bibliográficas
3 - 57
AvaliaçãoAvaliação
• Coletar informações sobre um projeto ou produto em relação a funcionalidade e a interação;
• Estimativa do sucesso ou insucesso das hipóteses do projetista sobre a solução que está propondo;
• Envolve desde “o que você acha desta idéia” até avaliações rigorosas (experimentos em laboratório e questionários em larga escala).
4 - 57
AvaliaçãoAvaliação
• Obtenção de interfaces com melhor usabilidade;
• Garante melhores decisões de projeto;
• Evita custos de fazer e distribuir correções;
• Vantagens indiscutíveis: modificação do projeto nas fases iniciais são melhores que nas fases finais!
5 - 57
Por quê avaliar?Por quê avaliar?
• Conhecer o que os usuários querem e problemas que experimentam;
• Verificar se idéias estão de acordo com as necessidades e os desejos dos usuários;
• Responder dúvidas que surgem durante o projeto e desenvolvimento.
6 - 57
Por quê avaliar?Por quê avaliar?
• Verificar o sistema na situação real de uso;
• Comparar alternativas de design;
• Marketing:– comparação entre produtos (funcionalidade, aceitação)
• Adequação a normas:– produtos estão de acordo com padrões específicos
(exemplo ISO)?
7 - 57
O que avaliar?O que avaliar?
• Funcionalidade do sistema– qualidade da adequação aos problemas do usuário;
– design permite que usuário efetue as tarefas pretendidas de modo fácil e eficiente;
• Usabilidade da interface– qualidade da interação usuário/sistema;
– fácil aprender usar o sistema, uso agradável e eficiente.
8 - 57
O que avaliar?O que avaliar?
• Comunicabilidade– qualidade da comunicação projetista/usuário;
– interface expressa o modelo de interação previsto pelos projetistas;
• Aprendizado do usuário– conhecimento do usuário evolui através da interação.
9 - 57
Quando?Quando?
• Deve ocorrer durante o ciclo de vida do sistema:– resultados utilizados para melhorias gradativas da interface.
• Nas primeiras fases:– verificar compreensão dos projetistas sobre as necessidades dos
usuários (estudo de um sistema existente);
– testar idéias (possibilidades de layout).
• Nas fases finais:– identificar dificuldades do usuário;
– melhorar produto.
10 - 57
Tipos de AvaliaçãoTipos de Avaliação
• FormativaFormativa– feita durante o processo de projeto e desenvolvimento;
– permite identificar e consertar um problema de interação antes que a aplicação seja implementada ou terminada;
– uso de modelos, protótipos, storyboards.
• SomativaSomativa– avaliar o produto já terminado;
– testar se produto está de acordo com o estilo padrão da empresa.
11 - 57
ConsideraçõesConsiderações
• Características dos usuários– experiência, idade, gênero;
• Tipo de atividade a ser realizada– atividades específicas controladas ou livres, de acordo
com a vontade do usuário;
12 - 57
• Ambiente do estudo– laboratório, ambiente natural de trabalho (estudo de
campo);
• Natureza do artefato– projeto gráfico não implementado, protótipo em
desenvolvimento, produto terminado.
ConsideraçõesConsiderações
13 - 57
Métodos e Técnicas de AvaliaçãoMétodos e Técnicas de Avaliação
• Envolvem:
– observação e monitoração das interações do usuário;
– coleta de opiniões dos usuários;– experimentos;– interpretação de interações naturais;– predição de usabilidade de um produto.
14 - 57
Métodos e Técnicas de AvaliaçãoMétodos e Técnicas de Avaliação
• Classificação (Rocha e Baranaukas, 2000)
– Inspeção de usabilidade
– Teste de usabilidade
– Experimento controlado
– Método interpretativo
15 - 57
Métodos e Técnicas de AvaliaçãoMétodos e Técnicas de Avaliação
• Classificação (Rocha e Baranaukas, 2000)
– Inspeção de usabilidade
– Teste de usabilidade
– Experimento controlado
– Método interpretativo
16 - 57
Inspeção de UsabilidadeInspeção de Usabilidade
• Conjunto de métodos baseados em se ter avaliadores inspecionando ou examinando aspectos de usabilidade de uma interface;
• Avaliadores: – especialistas em usabilidade ou em determinado padrão
de interface, consultores de software, usuários finais.
17 - 57
Inspeção de UsabilidadeInspeção de Usabilidade
• Visa encontrar problemas de usabilidade no projeto de uma interface e fazer recomendações para eliminação destes problemas;
• Utiliza a habilidade e a experiência de avaliadores;
• Pode ser aplicada em fases iniciais e finais do projeto e desenvolvimento.
18 - 57
Inspeção de UsabilidadeInspeção de Usabilidade
• Métodos:– Avaliação Heurística: uso de lista de heurísticas;
– Revisão de Guidelines: verificação da conformidade com guidelines;
– Inspeção de Consistência: consistência dentro de uma família de interfaces (terminologia, cores, layout, formatos entrada/saída);
– Percurso Cognitivo (predição de uso): análise do “caminho” percorrido na execução de uma tarefa (modelagem psicológica); especialistas revisam o sistema para predizer problemas que usuários podem encontrar.
19 - 57
Métodos e Técnicas de AvaliaçãoMétodos e Técnicas de Avaliação
• Classificação (Rocha e Baranaukas, 2000)
– Inspeção de usabilidade
– Teste de usabilidade
– Experimento controlado
– Método interpretativo
20 - 57
Teste de UsabilidadeTeste de Usabilidade
• Método centrado no usuário;
• Inclui– Métodos experimentais ou empíricos;– Métodos observacionais;– Técnicas de questionamento.
• Necessária existência de uma implementação real (simulação, protótipo básico, cenário, implementação completa).
21 - 57
Métodos e Técnicas de AvaliaçãoMétodos e Técnicas de Avaliação
• Classificação (Rocha e Baranaukas, 2000)
– Inspeção de usabilidade
– Teste de usabilidade
– Experimento controlado
– Método interpretativo
22 - 57
Experimento ControladoExperimento Controlado
• Envolve a execução de um bem projetado experimento de laboratório;
• Tem-se uma hipótese a ser testada e variáveis de interesse devem ser controladas;
• Uso de métodos estatísticos: necessário conhecimento estatístico para validação dos resultados.
23 - 57
Experimento ControladoExperimento Controlado
• Controle de variáveis em interações complexas envolvendo humanos pode ser difícil e de validade questionável;
• São feitos em laboratórios especialmente construídos;
• Coleta de dados através de observação e monitoramento;
• Avaliação rigorosa e dados coletados analisados quantitativamente, de modo a produzir métricas que guiem o projeto.
24 - 57
Experimento ControladoExperimento Controlado
• No planejamento, observar:
– propósito do experimento;– o que se mantém constante, o que é alterado;– hipótese (estabelecida de forma a ser testada);– quais testes estatísticos e por que?
25 - 57
Experimento ControladoExperimento Controlado
• Exemplo:
- avaliação da eficiência relativa dos usuários utilizando teclas de função ou menus num sistema de controle de processos estabelecida em termos dos elementos comparados, constantes (experiência dos usuários e tarefa de controle) e medidas de performance (velocidade na execução dos comandos ou percentual de erros).
26 - 57
Experimento ControladoExperimento Controlado
• Exemplo
• Hipótese possível- Teclas de função são mais eficientes (produzem execução mais
rápida dos comandos);
• Grupos usarão duas interfaces;
• Significância estatística entre as diferenças serão determinadas.
27 - 57
Métodos e Técnicas de AvaliaçãoMétodos e Técnicas de Avaliação
• Classificação (Rocha e Baranauskas, 2000)
– Inspeção de usabilidade
– Teste de usabilidade
– Experimento controlado
– Método interpretativo
28 - 57
Método InterpretativoMétodo Interpretativo
• Objetiva proporcionar ao projetista um melhor entendimento
– das condições naturais de trabalho do usuário;
– de como o uso do sistema se integra as outras atividades do usuário.
29 - 57
• Coleção de dados é informal
– deve causar pouca interferência ao trabalho do usuário;
– participação do usuário na coleta, análise e interpretação dos dados;
– formas de registro como vídeos e áudio podem ser adotadas.
• Incluem avaliação participativa e etnográfica (pesquisadores inseridos no contexto de trabalho).
Método InterpretativoMétodo Interpretativo
30 - 57
Qual método utilizar?
• Fatores determinantes:– o que se deseja avaliar;– etapa do desenvolvimento;– disponibilidade de especialistas;– ambiente e recursos necessários;– tempo disponíveis para avaliação.
• Técnica ideal: misturar e adaptar métodos.
31 - 57
Métodos e Técnicas de AvaliaçãoMétodos e Técnicas de Avaliação
• Técnicas representativas:Técnicas representativas:
– Avaliação HeurísticaAvaliação Heurística
– Teste de UsabilidadeTeste de Usabilidade
32 - 57
Avaliação HeurísticaAvaliação Heurística
• Engenharia Econômica de Usabilidade proposta por Nielsen (1989,1993);
• Envolve pequeno conjunto de avaliadores, examinando a interface e julgando suas características em face de reconhecidos princípios de usabilidade (heurísticas).
33 - 57
• Heurística: regra geral que descreve uma propriedade comum em interfaces usáveis;
• Avaliadores, por experiência, estudam e observam a interface;
• Não deve ser feita por um único avaliador (3-5).
Avaliação HeurísticaAvaliação Heurística
34 - 57
Avaliação HeurísticaAvaliação Heurística
• Metodologia:
– feita, em primeiro momento, individualmente;– avaliadores percorrem a interface e relatam
problemas encontrados, junto as heurísticas violadas;– posteriormente, as listas de problemas dos
avaliadores são consolidadas;– discussão final: equipe de desenvolvimento e
sugestões de re-design.
35 - 57
• Avaliadores não estarão usando o sistema de fato: interfaces não implementadas;
• Resultado: lista de problemas de usabilidade da interface com referências aos princípios de usabilidade violados;
• Uso de heurísticas específicas: derivadas da análise de produtos similares e de resultados de uso (Ex.: formulários).
Avaliação HeurísticaAvaliação Heurística
36 - 57
Algumas Heurísticas Algumas Heurísticas (Nielsen, 1990/93)(Nielsen, 1990/93)
• Diálogo simples e natural;• Falar na linguagem do usuário;• Minimizar a carga de memória do usuário;• Ser consistente;• Prover feedback;• Saídas claras marcadas;• Prover shortcuts;• Mensagens de erro construtivas e precisas;• Prevenir erros;• Help e documentação.
37 - 57
Avaliação HeurísticaAvaliação Heurística
(Rocha e Baranauskas, 2000, pág. 177)
38 - 57
Avaliação HeurísticaAvaliação Heurística
• Diagnóstico de um problema associado as heurísticas: possibilidades concretas de re-design;
• Pode ser usada para avaliar a gravidade de cada problema: atribuição de graus de severidade;
• Método básico da engenharia da usabilidade, relativamente fácil de ser usado e aprendido.
39 - 57
Teste de UsabilidadeTeste de Usabilidade
• Observação da interação de usuários no mundo real ou sob condições controladas;
• Avaliadores coletam dados e verificam se a interface suporta as tarefas do usuário;
• Importância do teste: impossibilidade do projetista em prever o comportamento dos usuários diante da interface;
• Ferramentas de registro: áudio, vídeo, software para registro da interação, outras;
• Importante coleta da opinião do usuário.
40 - 57
• Resultados práticos: testes têm acelerado desenvolvimento e produzido redução de custos;
• Vantagens (Matias, 1995):
– indicar reações dos usuários potenciais;
– mostrar os problemas e falhas no sistema;
– mostrar onde o sistema funciona bem;
– fornecer idéias ao projeto através das sugestões dos usuários;
– fornecer meios para comparar múltiplos usuários;
– promover a participação do usuário.
Teste de UsabilidadeTeste de Usabilidade
41 - 57
• Observação dos usuários:– direta
• usuários podem ser observados diretamente em seu local de trabalho;
• observador toma nota sobre o comportamento do usuário, como seqüência de ações (escolher o que é importante ser anotado);
• usuários podem alterar comportamento pelo fato de estarem sendo observados;
Teste de UsabilidadeTeste de Usabilidade
42 - 57
• Observação dos usuários:– direta
• técnicas de anotação de dados podem ser utilizadas ou desenvolvidas, do tipo checklist;
• para registro permanente, vídeo, áudio ou logging de interação é necessário.
Teste de UsabilidadeTeste de Usabilidade
43 - 57
• Observação dos usuários:– indireta
• software logging:
– coleta é automática e não interfere no trabalho do usuário;
– ferramentas disponíveis para software logging;
– tempo de digitação: grava seqüência e os intervalos de tempo.
Teste de UsabilidadeTeste de Usabilidade
44 - 57
• Observação dos usuários:– indireta
• vídeo: – uso de diferentes câmeras;– usuários têm noção de que estão sendo filmados;– reduzir impacto da presença da câmera: coloca-la
dias antes do início das filmagens;– análise é difícil e consome tempo;– podem ser usados para convencer gerentes e
projetistas dos problemas no sistema.
Teste de UsabilidadeTeste de Usabilidade
45 - 57
• Coleta da opinião dos usuários:
– além da performance é importante saber o que ele pensa sobre o uso que faz da tecnologia;
– impressão dos usuários sobre o software;
– performance pode ser boa, mas usuário não gostar do sistema;
– detalhes para os projetistas podem ser desagradáveis ao usuário.
Teste de UsabilidadeTeste de Usabilidade
46 - 57
• Coleta da opinião dos usuários:
– protocolo verbal: usuários “pensam em voz alta”;– usuários podem ver vídeos e comentar sobre suas
ações;– dois usuários podem testar uma interface e comentar; – entrevistas e questionários podem ser utilizados.
Teste de UsabilidadeTeste de Usabilidade
47 - 57
• Entrevistas e questionários:
– dados de entrevistas: qualitativos;
– dados de questionários: quantitativos;
– questionários podem ser aplicados a um grande número de pessoas, possibilitando a obtenção de resultados estatisticamente validados;
– questionário deve ser planejado de forma a garantir que perguntas sejam relevantes às questões analisadas.
Teste de UsabilidadeTeste de Usabilidade
48 - 57
• Entrevistas e questionários:
– entrevistas flexíveis podem ser moldadas se acordo com a reação dos entrevistados (uso de um plano básico);
– entrevistado deve se sentir seguro e a vontade: podem ter vergonha de criticar o sistema;
– entrevistador responsável por criar um clima agradável de conversação.
Teste de UsabilidadeTeste de Usabilidade
49 - 57
• Entrevistas e questionários:
– questionários podem conter respostas fechadas ou abertas;
– fechadas• checklists (sim, não, não sei);• escalas (muito útil ... Inútil; concordo plenamente ... discordo
plenamente);
– questionários devem ser breves;
– estudos pilotos: antes de distribuir um questionário para 500 pessoas, distribuir um rascunho para 20.
Teste de UsabilidadeTeste de Usabilidade
50 - 57
Teste de UsabilidadeTeste de Usabilidade
• Testes realizados em laboratório;
• Problemas:– limitações de tempo e de recursos;
– dificuldade em conseguir usuários representativos;
– contexto do trabalho dificilmente consegue ser reproduzido;
• Saídas:– testes remotos (tele-conferência);
– testes de campo: ambientes reais de uso (resposta do usuário, logs, comandos usados, freqüência de acesso ao help).
51 - 57
Teste de UsabilidadeTeste de Usabilidade
• Plano detalhado de teste: objetivo, quando e onde, duração, recursos necessários, experimentadores, usuários, tarefas a serem avaliadas;
• Etapas:– Preparação dos recursos;
– Apresentação usuários as tarefas de teste;
– Teste (evitar auxiliar o usuário);
– Sessão final: usuários convidados a comentar, sugerir e comentar ou responder questionário;
52 - 57
Teste de UsabilidadeTeste de Usabilidade
• Usuários:– Representativos em relação aos usuários aos reais:
• se não forem usuário reais: características similares (idade, conhecimento, experiência com sistema, outras);
• evitar influências: – Ex.: determinar um conjunto de ícones que é mais rapidamente
reconhecido por crianças entre 7 e 10 anos
» selecionar crianças que cubram todas as idades;
» número igual de meninos e meninas;
» mesmo nível de experiência;
» notas escolares semelhantes.
53 - 57
• Equipe experimentadores:
- conhecimento da aplicação e interface;
- saber lidar com problemas que afetem o teste;
- isenção na avaliação.
Teste de UsabilidadeTeste de Usabilidade
54 - 57
Teste de UsabilidadeTeste de Usabilidade
• Comentar com usuário:
– importância do teste: melhorias na interface;– sistema é confidencial e resultados não serão colocados
publicamente;– participação é voluntária (usuários tem outras coisas
para fazer);– explicar gravações de vídeo ou áudio;– informa-los dos objetivos do teste, tarefas a serem
realizadas e que podem ser livres para abandonar o teste se assim desejarem.
55 - 57
ComparativoComparativo
• Testes de laboratório são caros;
• Abordagem heurística proposta para oferecer informação de usabilidade de modo mais rápido e barato– não substituem os testes: uso em conjunto;
• Avaliação heurística melhor quando aplicada por especialistas em avaliação;
– permite avaliação global da interface, menor custo, detecção de erros;
56 - 57
• Testes são mais eficazes, mas caros (50x);
• Avaliação heurística detectou mais problemas ao custo mais baixo, mas necessita de pessoas com conhecimento e experiência para aplica-la (Jeffries);
• Não se pode afirmar qual o melhor método: cada situação de projeto irá requerer uma forma de avaliação.
ComparativoComparativo
57 - 57
• Rocha, Heloísa; Baranauskas, Maria. Design e avaliação de interfaces humano-computador. São Paulo, IME-USP, 2000 (Escola de Computação, 2000), 242 p.
• Matias, Márcio. Checklist: Uma ferramenta de suporte à avaliação ergonômica de interfaces. Florianópolis, 1995 (dissertação de mestrado).
• Souza, Clarisse; Leite, Jair; Prates, Raquel; Barbosa, Simone. Projeto de Interfaces de Usuário: Perspectivas Cognitivas e Semióticas. In: XIX Congresso Nacional da Sociedade Brasileira de Computação, 1999, Rio de Janeiro. Anais do XIX Congresso Nacional da Sociedade Brasileira de Computação;
• Material disponibilizado pela Profª Renata Vieira.
Referências