View
1
Download
0
Category
Preview:
Citation preview
AgendaAgenda� Considerações Iniciais
� Classificação dos Métodos de Avaliação
� Avaliação Heurística
� Teste de Usabilidade� Teste de Usabilidade
� Comparativo
� Referências Bibliográficas
2 - 57
3 - 57
4 - 57
AvaliaçãoAvaliação� Coletar informações sobre um projeto ou produto
em relação a funcionalidade e a interação;
� Estimativa do sucesso ou insucesso das hipóteses� Estimativa do sucesso ou insucesso das hipótesesdo projetista sobre a solução que está propondo;
� Envolve desde “o que você acha desta idéia” atéavaliações rigorosas (experimentos em laboratórioe questionários em larga escala).
5 - 57
AvaliaçãoAvaliação�Obtenção de interfaces com melhor usabilidade;
� Garante melhores decisões de projeto;
� Evita custos de fazer e distribuir correções;
� Vantagens indiscutíveis: modificação do projetonas fases iniciais são melhores que nas fases finais!
6 - 57
Por quê avaliar?Por quê avaliar?� Conhecer o que os usuários querem e problemas
que experimentam;
� Verificar se idéias estão de acordo com as� Verificar se idéias estão de acordo com asnecessidades e os desejos dos usuários;
� Responder dúvidas que surgem durante o projeto edesenvolvimento.
7 - 57
Por quê avaliar?Por quê avaliar?� Verificar o sistema na situação real de uso;
� Comparar alternativas de design;
�Marketing:
� comparação entre produtos (funcionalidade, aceitação)
� Adequação a normas:
� produtos estão de acordo com padrões específicos(exemplo ISO)?
8 - 57
O que avaliar?O que avaliar?� Funcionalidade do sistema
� qualidade da adequação aos problemas do usuário;
� design permite que usuário efetue as tarefas pretendidasde modo fácil e eficiente;de modo fácil e eficiente;
� Usabilidade da interface
� qualidade da interação usuário/sistema;
� fácil aprender usar o sistema, uso agradável e eficiente.
9 - 57
O que avaliar?O que avaliar?� Comunicabilidade
� qualidade da comunicação projetista/usuário;
� interface expressa o modelo de interação previsto pelos projetistas;projetistas;
� Aprendizado do usuário
� conhecimento do usuário evolui através da interação.
10 - 57
Quando?Quando?� Deve ocorrer durante o ciclo de vida do sistema:� resultados utilizados para melhorias gradativas da interface.
� Nas primeiras fases:verificar compreensão dos projetistas sobre as necessidades dos� verificar compreensão dos projetistas sobre as necessidades dosusuários (estudo de um sistema existente);
� testar idéias (possibilidades de layout).
� Nas fases finais:� identificar dificuldades do usuário;
� melhorar produto.
11 - 57
Tipos de AvaliaçãoTipos de Avaliação�� FormativaFormativa� feita durante o processo de projeto e desenvolvimento;
� permite identificar e consertar um problema de interação antes que a aplicação seja implementada ou terminada;a aplicação seja implementada ou terminada;
� uso de modelos, protótipos, storyboards.
�� SomativaSomativa� avaliar o produto já terminado;
� testar se produto está de acordo com o estilo padrão da empresa.
12 - 57
ConsideraçõesConsiderações� Características dos usuários
� experiência, idade, gênero;
� Tipo de atividade a ser realizada� Tipo de atividade a ser realizada
� atividades específicas controladas ou livres, de acordo com a vontade do usuário;
13 - 57
ConsideraçõesConsiderações
• Ambiente do estudo– laboratório, ambiente natural de trabalho (estudo de
campo);
14 - 57
• Natureza do artefato– projeto gráfico não implementado, protótipo em
desenvolvimento, produto terminado.
Métodos e Técnicas de AvaliaçãoMétodos e Técnicas de Avaliação� Envolvem:
� observação e monitoração das interações do usuário;
� coleta de opiniões dos usuários;� coleta de opiniões dos usuários;
� experimentos;
� interpretação de interações naturais;
� predição de usabilidade de um produto.
15 - 57
Métodos e Técnicas de AvaliaçãoMétodos e Técnicas de Avaliação� Classificação (Rocha e Baranaukas, 2000)
� Inspeção de usabilidade
� Teste de usabilidade� Teste de usabilidade
� Experimento controlado
� Método interpretativo
16 - 57
Métodos e Técnicas de AvaliaçãoMétodos e Técnicas de Avaliação� Classificação (Rocha e Baranaukas, 2000)
� Inspeção de usabilidade
� Teste de usabilidade� Teste de usabilidade
� Experimento controlado
� Método interpretativo
17 - 57
Inspeção de UsabilidadeInspeção de Usabilidade� Conjunto de métodos baseados em se ter
avaliadores inspecionando ou examinandoaspectos de usabilidade de uma interface;
� Avaliadores:
� especialistas em usabilidade ou em determinado padrãode interface, consultores de software, usuários finais.
18 - 57
Inspeção de UsabilidadeInspeção de Usabilidade� Visa encontrar problemas de usabilidade no
projeto de uma interface e fazer recomendaçõespara eliminação destes problemas;
� Utiliza a habilidade e a experiência de avaliadores;
� Pode ser aplicada em fases iniciais e finais doprojeto e desenvolvimento.
19 - 57
Inspeção de UsabilidadeInspeção de Usabilidade�Métodos:
� Avaliação Heurística: uso de lista de heurísticas;
� Revisão de Guidelines: verificação da conformidade com guidelines;
� Inspeção de Consistência: consistência dentro de uma família de
interfaces (terminologia, cores, layout, formatos entrada/saída);
� Percurso Cognitivo (predição de uso): análise do “caminho”
percorrido na execução de uma tarefa (modelagem psicológica);especialistas revisam o sistema para predizer problemas que usuáriospodem encontrar.
20 - 57
Métodos e Técnicas de AvaliaçãoMétodos e Técnicas de Avaliação� Classificação (Rocha e Baranaukas, 2000)
� Inspeção de usabilidade
� Teste de usabilidade� Teste de usabilidade
� Experimento controlado
� Método interpretativo
21 - 57
Teste de UsabilidadeTeste de Usabilidade� Método centrado no usuário;
� Inclui
� Métodos experimentais ou empíricos;� Métodos experimentais ou empíricos;
� Métodos observacionais;
� Técnicas de questionamento.
� Necessária existência de uma implementação real(simulação, protótipo básico, cenário, implementação completa).
22 - 57
Métodos e Técnicas de AvaliaçãoMétodos e Técnicas de Avaliação� Classificação (Rocha e Baranaukas, 2000)
� Inspeção de usabilidade
� Teste de usabilidade� Teste de usabilidade
� Experimento controlado
� Método interpretativo
23 - 57
Experimento ControladoExperimento Controlado� Envolve a execução de um bem projetado
experimento de laboratório;
� Tem-se uma hipótese a ser testada e variáveis de� Tem-se uma hipótese a ser testada e variáveis deinteresse devem ser controladas;
� Uso de métodos estatísticos: necessárioconhecimento estatístico para validação dosresultados.
24 - 57
Experimento ControladoExperimento Controlado� Controle de variáveis em interações complexasenvolvendo humanos pode ser difícil e de validadequestionável;
São feitos em laboratórios especialmente construídos;� São feitos em laboratórios especialmente construídos;
� Coleta de dados através de observação e monitoramento;
� Avaliação rigorosa e dados coletados analisadosquantitativamente, de modo a produzir métricas queguiem o projeto.
25 - 57
Experimento ControladoExperimento Controlado� No planejamento, observar:
� propósito do experimento;
� o que se mantém constante, o que é alterado;� o que se mantém constante, o que é alterado;
� hipótese (estabelecida de forma a ser testada);
� quais testes estatísticos e por que?
26 - 57
Experimento ControladoExperimento Controlado
• Exemplo:
- avaliação da eficiência relativa dos usuáriosutilizandoteclasdefunçãoou menusnumsistemade
27 - 57
utilizandoteclasdefunçãoou menusnumsistemadecontrole de processos estabelecida emtermos doselementos comparados, constantes (experiência dosusuários e tarefa de controle) e medidas deperformance (velocidade na execução dos comandosou percentual de erros).
Experimento ControladoExperimento Controlado
• Exemplo
• Hipótese possível- Teclasdefunçãosãomaiseficientes(produzemexecuçãomais
28 - 57
- Teclasdefunçãosãomaiseficientes(produzemexecuçãomaisrápida dos comandos);
• Grupos usarão duas interfaces;
• Significância estatística entre as diferenças serãodeterminadas.
Métodos e Técnicas de AvaliaçãoMétodos e Técnicas de Avaliação� Classificação (Rocha e Baranauskas, 2000)
� Inspeção de usabilidade
� Teste de usabilidade� Teste de usabilidade
� Experimento controlado
� Método interpretativo
29 - 57
Método InterpretativoMétodo Interpretativo� Objetiva proporcionar ao projetista um melhor
entendimento
� das condições naturais de trabalho do usuário;das condições naturais de trabalho do usuário;
� de como o uso do sistema se integra as outras atividadesdo usuário.
30 - 57
Método InterpretativoMétodo Interpretativo� Coleção de dados é informal
� deve causar pouca interferência ao trabalho do usuário;
� participação do usuário na coleta, análise e interpretaçãodos dados;participação do usuário na coleta, análise e interpretaçãodos dados;
� formas de registro como vídeos e áudio podem seradotadas.
� Incluem avaliação participativa e etnográfica(pesquisadores inseridos no contexto de trabalho).
31 - 57
Qual método utilizar?� Fatores determinantes:� o que se deseja avaliar;
� etapa do desenvolvimento;
� disponibilidade de especialistas;� disponibilidade de especialistas;
� ambiente e recursos necessários;
� tempo disponíveis para avaliação.
� Técnica ideal: misturar e adaptar métodos.
32 - 57
Métodos e Técnicas de AvaliaçãoMétodos e Técnicas de Avaliação
��Técnicas representativas:Técnicas representativas:
��Avaliação HeurísticaAvaliação Heurística
��Teste de UsabilidadeTeste de Usabilidade
33 - 57
Avaliação HeurísticaAvaliação Heurística� Engenharia Econômica de Usabilidade proposta por
Nielsen (1989,1993);
� Envolve pequeno conjunto de avaliadores, examinando� Envolve pequeno conjunto de avaliadores, examinandoa interface e julgando suas características em face dereconhecidos princípios de usabilidade (heurísticas).
34 - 57
Avaliação HeurísticaAvaliação Heurística� Heurística: regra geral que descreve uma
propriedade comum em interfaces usáveis;
� Avaliadores, por experiência, estudam e observam� Avaliadores, por experiência, estudam e observama interface;
� Não deve ser feita por um único avaliador (3-5).
35 - 57
Avaliação HeurísticaAvaliação Heurística� Metodologia:
� feita, em primeiro momento, individualmente;
� avaliadores percorrem a interface e relatam problemas� avaliadores percorrem a interface e relatam problemasencontrados, junto as heurísticas violadas;
� posteriormente, as listas de problemas dos avaliadoressão consolidadas;
� discussão final: equipe de desenvolvimento esugestões de re-design.
36 - 57
Avaliação HeurísticaAvaliação Heurística� Avaliadores não estarão usando o sistema de fato:
interfaces não implementadas;
� Resultado: lista de problemas de usabilidade da interface� Resultado: lista de problemas de usabilidade da interfacecom referências aos princípios de usabilidade violados;
� Uso de heurísticas específicas: derivadas da análisede produtos similares e de resultados de uso (Ex.:formulários).
37 - 57
Algumas Heurísticas Algumas Heurísticas (Nielsen, 1990/93)(Nielsen, 1990/93)
� Diálogo simples e natural;
� Falar na linguagem do usuário;
� Minimizar a carga de memória do usuário;
� Ser consistente;� Ser consistente;
� Prover feedback;
� Saídas claras marcadas;
� Prover shortcuts;
� Mensagens de erro construtivas e precisas;
� Prevenir erros;
� Help e documentação.
38 - 57
Avaliação HeurísticaAvaliação Heurística
39 - 57
(Rocha e Baranauskas, 2000, pág. 177)
Avaliação HeurísticaAvaliação Heurística� Diagnóstico de um problema associado as heurísticas:
possibilidades concretas de re-design;
� Pode ser usada para avaliar a gravidade de cada� Pode ser usada para avaliar a gravidade de cadaproblema: atribuição de graus de severidade;
� Método básico da engenharia da usabilidade,relativamente fácil de ser usado e aprendido.
40 - 57
Teste de UsabilidadeTeste de Usabilidade� Observação da interação de usuários no mundo real ou sob
condições controladas;
� Avaliadores coletam dados e verificam se a interfacesuporta as tarefas do usuário;suporta as tarefas do usuário;
� Importância do teste: impossibilidade do projetista emprever o comportamento dos usuários diante da interface;
� Ferramentas de registro: áudio, vídeo, software pararegistro da interação, outras;
� Importante coleta da opinião do usuário.
41 - 57
Teste de Usabilidade
42 - 57
Teste de UsabilidadeTeste de Usabilidade� Resultados práticos: testes têm acelerado desenvolvimento
e produzido redução de custos;
� Vantagens (Matias, 1995):
� indicar reações dos usuários potenciais;
� mostrar os problemas e falhas no sistema;
� mostrar onde o sistema funciona bem;
� fornecer idéias ao projeto através das sugestões dos usuários;
� fornecer meios para comparar múltiplos usuários;
� promover a participação do usuário.
43 - 57
Teste de UsabilidadeTeste de Usabilidade� Observação dos usuários:
� direta
� usuários podem ser observados diretamente em seu local detrabalho;trabalho;
� observador toma nota sobre o comportamento do usuário,como seqüência de ações (escolher o que é importante seranotado);
� usuários podem alterar comportamento pelo fato de estaremsendo observados;
44 - 57
Teste de UsabilidadeTeste de Usabilidade� Observação dos usuários:
� direta
� técnicas de anotação de dados podem ser utilizadas ou desenvolvidas, do tipo checklist;desenvolvidas, do tipo checklist;
� para registro permanente, vídeo, áudio ou logging de interação é necessário.
45 - 57
Teste de UsabilidadeTeste de Usabilidade� Observação dos usuários:
� indireta
� software logging:
� coleta é automática e não interfere no trabalho do� coleta é automática e não interfere no trabalho dousuário;
� ferramentas disponíveis para software logging;
� tempo de digitação: grava seqüência e os intervalosde tempo.
46 - 57
Teste de UsabilidadeTeste de Usabilidade� Observação dos usuários:� indireta� vídeo:
� uso de diferentes câmeras;uso de diferentes câmeras;
� usuários têm noção de que estão sendo filmados;
� reduzir impacto da presença da câmera: coloca-la diasantes do início das filmagens;
� análise é difícil e consome tempo;
� podem ser usados para convencer gerentes e projetistasdos problemas no sistema.
47 - 57
Teste de UsabilidadeTeste de Usabilidade� Coleta da opinião dos usuários:
� além da performance é importante saber o que ele pensasobre o uso que faz da tecnologia;
� impressão dos usuários sobre o software;
� performance pode ser boa, mas usuário não gostar dosistema;
� detalhes para os projetistas podem ser desagradáveis aousuário.
48 - 57
Teste de UsabilidadeTeste de Usabilidade� Coleta da opinião dos usuários:
� protocolo verbal: usuários “pensam em voz alta”;
� usuários podem ver vídeos e comentar sobre suas� usuários podem ver vídeos e comentar sobre suasações;
� dois usuários podem testar uma interface e comentar;
� entrevistas e questionários podem ser utilizados.
49 - 57
Teste de UsabilidadeTeste de Usabilidade� Entrevistas e questionários:
� dados de entrevistas: qualitativos;
� dados de questionários: quantitativos;� dados de questionários: quantitativos;
� questionários podem ser aplicados a um grande númerode pessoas, possibilitando a obtenção de resultadosestatisticamente validados;
� questionário deve ser planejado de forma a garantir queperguntas sejam relevantes às questões analisadas.
50 - 57
Teste de UsabilidadeTeste de Usabilidade� Entrevistas e questionários:
� entrevistas flexíveis podem ser moldadas se acordo coma reação dos entrevistados (uso de um plano básico);
� entrevistado deve se sentir seguro e a vontade: podemter vergonha de criticar o sistema;
� entrevistador responsável por criar um clima agradávelde conversação.
51 - 57
Teste de UsabilidadeTeste de Usabilidade� Entrevistas e questionários:
� questionários podem conter respostas fechadas ouabertas;
� fechadas� fechadas� checklists (sim, não, não sei);
� escalas (muito útil ... Inútil; concordo plenamente ... discordoplenamente);
� questionários devem ser breves;
� estudos pilotos: antes de distribuir um questionário para500 pessoas, distribuir um rascunho para 20.
52 - 57
Teste de UsabilidadeTeste de Usabilidade� Testes realizados em laboratório;
� Problemas:
� limitações de tempo e de recursos;limitações de tempo e de recursos;
� dificuldade em conseguir usuários representativos;
� contexto do trabalho dificilmente consegue ser reproduzido;
� Saídas:
� testes remotos (tele-conferência);
� testes de campo: ambientes reais de uso (resposta do usuário, logs,comandos usados, freqüência de acesso ao help).
53 - 57
Teste de UsabilidadeTeste de Usabilidade� Plano detalhado de teste: objetivo, quando e onde, duração,
recursos necessários, experimentadores, usuários, tarefas aserem avaliadas;
� Etapas:� Etapas:
� Preparação dos recursos;
� Apresentação usuários as tarefas de teste;
� Teste (evitar auxiliar o usuário);
� Sessão final: usuários convidados a comentar, sugerir ecomentar ou responder questionário;
54 - 57
Teste de UsabilidadeTeste de Usabilidade� Usuários:� Representativos em relação aos usuários aos reais:
� se não forem usuário reais: características similares (idade,conhecimento, experiência com sistema, outras);
� evitar influências:
� Ex.: determinar um conjunto de ícones que é mais rapidamentereconhecido por crianças entre 7 e 10 anos
� selecionar crianças que cubram todas as idades;
� número igual de meninos e meninas;
� mesmo nível de experiência;
� notas escolares semelhantes.
55 - 57
Teste de UsabilidadeTeste de Usabilidade
� Equipe experimentadores:
- conhecimento da aplicação e interface;- conhecimento da aplicação e interface;
- saber lidar com problemas que afetem o teste;
- isenção na avaliação.
56 - 57
Teste de UsabilidadeTeste de Usabilidade� Comentar com usuário:
� importância do teste: melhorias na interface;
� sistema é confidencial e resultados não serão colocadospublicamente;publicamente;
� participação é voluntária (usuários tem outras coisaspara fazer);
� explicar gravações de vídeo ou áudio;
� informa-los dos objetivos do teste, tarefas a seremrealizadas e que podem ser livres para abandonar o testese assim desejarem.
57 - 57
ComparativoComparativo� Testes de laboratório são caros;
� Abordagem heurística proposta para oferecer informaçãode usabilidade de modo mais rápido e barato� não substituem os testes: uso em conjunto;� não substituem os testes: uso em conjunto;
� Avaliação heurística melhor quando aplicada porespecialistas em avaliação;
� permite avaliação global da interface, menor custo, detecção deerros;
58 - 57
ComparativoComparativo� Testes são mais eficazes, mas caros (50x);
� Avaliação heurística detectou mais problemas ao customais baixo, mas necessita de pessoas com conhecimentoe experiência para aplica-la (Jeffries);e experiência para aplica-la (Jeffries);
� Não se pode afirmar qual o melhor método: cadasituação de projeto irá requerer uma forma de avaliação.
59 - 57
Referências� Rocha, Heloísa; Baranauskas, Maria. Design e avaliação de
interfaces humano-computador. São Paulo, IME-USP, 2000 (Escolade Computação, 2000), 242 p.
� Matias, Márcio. Checklist: Uma ferramenta de suporte à avaliaçãoergonômica de interfaces. Florianópolis, 1995 (dissertação deergonômica de interfaces. Florianópolis, 1995 (dissertação demestrado).
� Souza, Clarisse; Leite, Jair; Prates, Raquel; Barbosa, Simone. Projetode Interfaces de Usuário: Perspectivas Cognitivas e Semióticas.In: XIX Congresso Nacional da Sociedade Brasileira de Computação,1999, Rio de Janeiro. Anais do XIX Congresso Nacional da SociedadeBrasileira de Computação;
� Material disponibilizado pela Profª Renata Vieira - Internet.
60 - 57
Recommended