Upload
fernanda-sarmento
View
115
Download
3
Embed Size (px)
Citation preview
PinterestAvalição Cooperativa
Fernanda, Lucien, Livia R. e Livia F.Prof.: Christiane Melcher
Sobre a Avaliação Cooperativa
O que é a Avaliação Cooperativa?Avaliação Cooperativa é um procedimento para a obtenção de dados sobre os problemas que podem ser experimentados quando se trabalha com um software. O objetivo é mapear mudanças que possam ser feitas para melhorar o produto.
Tradução livre e adaptada de MONK et al (1993)
Quando usar a Avaliação Cooperativa?Avaliação Cooperativa é mais útil para obter um feedback inicial sobre o redesign, em um ciclo iterativo rápido. O objetivo não é fornecer uma lista exaustiva de todos os problemas que poderiam ser identificados.
Pelo contrário, é para ajudar a identificar, com o mínimo de esforço, os problemas mais importantes a considerar.
Tradução livre e adaptada de MONK et al (1993)
Avaliação Cooperativa x Teste de UsabilidadeAvaliação Cooperativa se assemelha a um teste de usabilidade, diferenciando-se especialmente em relação à sua forma mais colaborativa e menos rígida de pesquisa.
Na prática o que costuma ocorrer é a decisão de escolhas de pesquisa dentro um continuum de acordo com as necessidades de investigação, mais do que se ater estritamente às metodologias em seu estado puro.
+formal- formal
Avaliação Cooperativa
Teste de Usabilidade
Sobre a atividade proposta
Tarefa proposta em sala
1 2 3
Planejamento da aplicação
Aplicação Análise e produção do relatório com os
resultados
07/maio 20/maio
Tarefa proposta em sala1. Planejamento da aplicação:
• Definir objeto de teste e o recorte;
• Verificar os fluxos principais e possíveis problemas de usabilidade;
• Especificar os objetivos com a aplicação da técnica;
• Listar questões para investigação: principais e secundárias;
• Criar tarefas e definir objetivos para cada tarefa;
• Listar as perguntas que serão feitas para o usuário durante o teste;
• Preparar o roteiro de teste;
• Definir perfil dos usuários e amostra de teste.
Tarefa proposta em sala2. Aplicação:
• Realizar um piloto do teste com 1 usuário, cujo resultado será descartado;
• Após o piloto, fazer os ajustes necessários no roteiro de teste;
• Cada grupo deve aplicar a técnica com um mínimo de 6 usuários;
• Todos devem passar pelos 3 papéis: moderador, observador e usuário;
• Fazer anotações, tirar fotografia e gravar em vídeo.
Tarefa proposta em sala3. Análise e produção do relatório com os resultados
• Breve descrição do objeto de estudo/recorte, contendo telas e explicação dos fluxos/funções investigadas;
• Objetivos com a aplicação da técnica;
• Questões investigadas: principais e secundárias;
• Amostra/perfil de usuários recrutados;
• Tarefas aplicadas e objetivos de cada uma;
• Resultados, pontos a esclarecer em testes futuros e outras observações;
• Ilustrar com comentários dos usuários e imagens das telas do sistema estudado.
Relatório Final
Objeto e RecortePinterest para IOS
ObjetivoAvaliar se os usuários iniciantes são capazes de utilizar o app usufruindo do benefício total de forma a conseguir criar pastas e salvar pins.
Possíveis Problemas de usabilidade● O usuário não reconhece que o “Pin it” é para salvar a imagem
dentro da pasta;● Criar pasta - o ícone dentro do pin it não é claro;● Dificuldade de criar pasta (onde encontrar o lugar para criar
pasta) e dúvidas em preencher as informações que não são obrigatórias;
● Busca: separação de palavras por TAGs;● Navegação: usuário não pode voltar para imagens anteriores.
Questões para Investigação: principais e secundárias● O usuário iniciante consegue encontrar os conteúdos que está
interessado?● Consegue salvar as imagens de seu interesse?● Consegue identificar o link para o ir ao site?
Perfil da amostra desejado● Ambos os sexos (50% homens e 50% mulheres);● 18 +;● Nunca acessaram o Pinterest;● Preferencialmente para usuários de IOS;● Domínio de tecnologia comum (80%) e avançado (20%).
Perfil da amostra*● Ambos os sexos (50% homens e 50% mulheres);● 25 a 30 anos;● Nunca acessaram o Pinterest ou acessaram poucas vezes;● Usuários iOS e Android;● Domínio de tecnologia avançado.
● A amostra foi limitada por usuários da mesma faixa etária da turma da pós-graduação de Ergodesign.
Usuário 1Perfil do usuário
Faixa etária: 25-30 anos.
Frequência de uso do Pinterest: Não é
usuário do app.
Frequência de uso da internet: Sempre,
acessa para trabalho e redes sociais.
Conteúdo que costuma consumir na internet: Redes sociais e sites de
entretenimento.
Perfil do usuário
Faixa etária: 25-30 anos.
Frequência de uso do Pinterest: Usa o Pinterest no computador e não o aplicativo. Não é usuária frequente do aplicativo. Acessa poucas vezes no mês quando quer ver referências.
Frequência de uso da Internet: Sempre. Smarthphone e notebook.
Conteúdo que costuma consumir na internet: E-mail, Redes sociais (Facebook, Instagram), alguns sites especificos.
Usuário 2
Usuário 3Faixa etária: 30-35 anos.
Frequência de uso do Pinterest: Não é
usuária frequente, já tinha usado mas somente
salvando as imagens no computador.
Frequência de uso da Internet: Sempre.
Acessa para consultas relacionadas ao trabalho
e redes sociais (Facebook, Linkedin, Twitter)
Conteúdo que costuma consumir na internet: Conteúdo relacionado a área de TI e
decoração.
Perfil do usuário
Faixa etária: 20-25 anos.
Frequência de uso do Pinterest: Não é
usuário, mas acessou 1 vez.
Frequência de uso da internet: Sempre,
acessa para trabalho e redes sociais.
Conteúdo que costuma consumir na internet: Sites de notícias, produtividade e
entretenimento.
Usuário 4
Desenvolvimento da TarefaO intuito foi desenvolve uma tarefa que abrangesse algumas atividades principais do app:
1) Acesso (Cadastrar-se)2) Encontrar conteúdo (buscar, clicar, ver detalhes, etc.)3) Organizar (salvar, criar pastas, etc.)4) Visite ou leia mais (acessar links externos a partir do app em
busca de mais detalhes)
A seguir veremos os principais insights que os participantes trouxeram em cada uma dessas macro atividades.
Tarefa exibida aos participantesVocê tem uma sobrinha de 8 anos que irá fazer aniversário na época do Halloween. Como você possui muitas habilidades manuais, sua irmã pediu ajuda com a decoração e algumas comidinhas temáticas.
Você se comprometeu a levar 4 itens decorativos e 4 comidinhas para festa. Para se inspirar resolveu entrar no Pinterest.
1) Acesso
1) AcessoUsuário 1
● Sem dificuldades
Usuário 2
● Utilizou as dicas do tutorial para seguir o fluxo de navegação;● Achou o cadastro fluído.● Sentiu dificuldades por não ser usuário IOs, sistema no qual o teste foi aplicado
Para ver mais conteúdo eu posso
clicar na imagem, no computador é
assim...
1) AcessoAcesso 3
● Não teve dificuldade de acesso● Ao selecionar os Interesses:
○ Tentou realizar busca pelos interesses○ Tentou navegar para esquerda e para direita○ Ficou na dúvida de como sair dessa área, pois tem selecionar no mínimo 3 itens e havia
selecionado apenas 2
Usuário 4
● Dúvida no passo de escolha do sexo, não sabia se deveria digitar ou encostar para selecionar a opção;
● Na tela “Olá” tentou passar para o lado, mas não tinha essa opção;● Na tela “pelo que vc se interessa?” tentou fazer uma busca relacionada à tarefa;
2) Encontrar conteúdo
2) Encontrar conteúdoUsuário 1
● Buscou diretamente pelas palavras chaves “halloween”, “decoração” e “comidas” com isso obteve resultado satisfatório ao que procurava.
● A princípio não sabia o que esperar do botão “pin it”, mas acabou entendendo pela ajuda do tutorial.
Usuário 2
● Fez a busca em inglês;● Não sentiu dificuldades para encontrar imagens que queria para sua
coleção; ● Usou a palavra ¨kids¨
Eu queria salvar o link desse site no
meu pinterest
2) Encontrar conteúdoUsuário 3
● Para encontrar o que queria, realizou logo a busca e encontrou com facilidade o que queria● Selecionou sem querer a opção de chat, enquanto scrollava a tela
Usuário 4
● Tentou buscar clicando no logo do pinterest (lugar errado);● Usou o pressionar para pinar;
3) Organizar
3) OrganizarUsuário 1
● Como seguiu o tutorial, não teve dificuldade para criar a pasta.● Criou somente uma pasta para guardar todas as imagens.● Numa segunda busca à pasta precisou dar refresh na página para enxergá-la.
Usuário 2
● Achou o ícone de criar pasta ruim e confuso; ● Criou apenas uma pasta sobrinha e colocou todos os itens lá;● Tutorial ajudou para criar a pasta;● Identificou um erro textual no cadastro da pasta. Ora chama de pasta ou painel;● Não achou com facilidade a opção para transferir a imagem de pasta.
Se o tutorial não me mostrasse que
o Pin it é para salvar, eu não teria
encontrado...
3) OrganizarUsuário 3
● Ao tentar guardar a imagem, selecionou a opção de Pin it, porém não optou primeiramente por criar uma pasta. Depois que não conseguiu selecionar uma das pastas listadas, acessou a opção para criar pasta
● Ficou na dúvida de como sair da pasta● Conseguiu sair da pasta, porém sem criá-la● Acessou novamente a opção para criar e conseguiu● Teve dificuldade em encontrar a pasta que criou
Usuário 4
● Criou a pasta de forma correta;● Ao procurar suas pastas foi no botão pinterest, mas foi no lugar correto numa segunda
tentativa;● Teve que dar um “refresh” para aparecer as pastas criadas;● Queria o feedback de quantas imagens tinham nas pastas;
4) Visite ou Leia mais
Usuário 1
● Clicou na imagem esperando achar mais informações e dessa forma descobriu o botão “leia mais”
● Não teve interesse de clicar no botão “pin it” dessa seção.● Tentou salvar o link externo para ler depois (função inexistente no app).
Usuário 2
● Estabeleceu relação com a navegação que faz pelo computador;● Não sentiu dificuldades e entendeu a nevegação que o app disponibiliza
para chamar links externos.
4) Visite ou Leia mais Eu esperava encontrar minha
pasta aqui.
Usuário 3
● Não encontrou a opção. Se precisasse fazer um dos itens que guardou, acessaria somente a imagem e tentaria ver do que é feito, para replicar;
Usuário 4
● Foi no “leia mais” de forma induzida;● Utilizou o “pin it” dessa seção de forma correta, mas não esperava o comportamento apresentado;● Achou confuso os botões de “avançar” e “voltar” já que ele não tinha navegado na página;
4) Visite ou Leia mais
Extra: Navegação Exploratória pós-tarefaUsuário 2
Como o usuário comentou, enquanto realizava a tarefa, que todos os itens ficaram embolados em uma única pasta, sugerimos após a conclusão da tarefa que tentasse organizar conforme gostaria.
● O usuário tentou encontrar uma opção “Mover”, como não encontrou, acessou a imagem e tentou movê-la, porém percebeu que teria que criar a pasta;
● Retornou a pasta e selecionou a opção “Criar outra pasta”;● Retornou a imagem, selecionou editar, porém não encontrou como mover no 1º acesso. No 2º
acesso, percebeu que teria que selecionar o nome da pasta para selecionar outra pasta.
Extra: Navegação Exploratória pós-tarefaUsuário 3
● Menu superior: Identificou e acessou sem dificuldades● Menu inferior:
○ Chat: não viu utilidade dessa opção○ Pasta: esperava acessar a pasta que criou nessa opção
● Ao selecionar uma imagem:○ Esperava que ela fosse ampliada e não aberto um link○ Depois de selecionada a imagem, percebeu que foi aberto um link externo, porém não
percebeu que ainda estava dentro do próprio app, achando que não conseguiria retornar○ Ao acessar o site externo, permanece a opção Pin it, porém o usuário não entendeu a
funcionalidade disso, pois não percebeu ainda estar dentro do app. Após acessar a opção percebeu ainda ter as funcionalidades do Pinterest
ResumoNotas 7 | 8 | 10 |8.5
Média 8.4
Acesso
● Sem grandes dificuldade● 2/4 usuários tentaram dar “swipe” na imagem da página “Olá”● 2/4 usuários tentaram fazer uma busca já na página de “Pelo que
você se interessa?”
Encontrar o conteúdo
● Sem dificuldades● Apesar de não estar incluído na nossa tarefa percebemos que uma
funcionalidade que é disponibilizada pelo pinterest nenhum usuário descobriu - busca por padrões de imagens
Organizar
● Todos os usuários precisaram dar um “refresh” na página para que suas pastas aparecessem;
● Um usuário teve dificuldade para criar a pasta;● Somente um usuário tentou mover as imagens depois de
adicionadas a pasta e teve dificuldade para mover um pin para uma nova pasta;
● Somente um usuário utilizou o atalho disponível ao pressionar a imagem por um tempo, para armazená-la em uma pasta;
Resumo
Visite ou Leia mais
● Todos os usuários tiveram dificuldades para achar a seção;● Todos os usuários acessaram essa opção através da imagem, não
utilizaram o botão Leia mais ou Visitar;● Nenhum usuário entendeu o botão “pint it” dessa seção;● Alguns usuários não entenderam o botão “voltar” e “avançar”
Resumo
● Percebemos que temos que fazer modificações no roteiro, pois algumas perguntas ficaram redundantes;
● O trabalho de moderador é complicado, pois necessita de atenção para guiar o usuário e não influenciar sua navegação;
● As respostas devem ser comedidas;● A função do observador é árdua, pois a informação devem ser entendida e escrita
rapidamente no bloco de notas;● O roteiro estava extenso atrapalhando a anotação e fluxo da entrevista em
alguns casos;● Foi muito importante o teste piloto para o grupo entender como se comportar e
ter uma estimativa das atividades que podem fugir do roteiro.
Conclusão sobre a aplicação do teste
Referências
MELCHER, Christiane ; MONT’ALVÃO, Cláudia. Proposta metodológica para avaliações otimizadas de usabilidade em websites desenvolvidos com método ágil: um estudo de caso. 2012. Disponível em: http://www2.dbd.puc-rio.br/pergamum/biblioteca/php/mostrateses.php?open=1&arqtese=1011877_2012_Indice.html. Acesso em 08/05/2016
MONK, Andrew; WRIGHT, Peter; HABER, Jeanne; DAVENPORT, Lora. Improving your humancomputer interface: a practical technique. 1993. Disponível em: http://openlab.ncl.ac.uk/wp-content/uploads/2011/01/coop_run_time.pdf
Anexos
Questionário - Recrutamento - 1 de 2[ Em vermelho, os itens que encerram a pesquisa.]
Informações Pessoais
Sexo❏ Feminino❏ Masculino❏ Personalizado
Idade❏ Abaixo de 18 anos❏ Entre 18 e 24 anos❏ Entre 25 e 34 anos❏ Entre 35 e 49 anos❏ Entre 50 e 64 anos❏ Acima de 65 anos
Informações de Acesso a Internet
Com que frequência você acessa a Internet?❏ Todos os dias❏ Em torno de 5 dias na semana❏ Em torno de 2 dias na semana❏ Uma vez por semana❏ Algumas vezes no mês❏ Não acesso a Internet
Acessa a Internet de onde? Pode ser marcado mais de 1 item.❏ Em casa❏ No trabalho❏ Curso/Faculdade❏ Casa de parentes/amigos❏ Celular
Questionário - Recrutamento - 2 de 2O que mais costuma acessar na Internet? Especifique.
❏ Redes sociais ❏ Facebook❏ Snapchat❏ Twitter❏ ____________________________
❏ WhatsApp❏ Sites de notícias
❏ Globo.com❏ UOL❏ Terra❏ ___________________________
❏ Blogs ___________________________________❏ Sites de Vídeos
❏ Youtube❏ Vimeo❏ Netflix❏ ___________________________
❏ Pinterest❏ Outros __________________________________
Já utilizou o Pinterest?❏ Sim❏ Não
2. Com que frequência acessa o Pinterest?❏ Todos os dias❏ Em torno de 5 dias na semana❏ Em torno de 2 dias na semana❏ Uma vez por semana❏ Algumas vezes no mês❏ Acesso esporadicamente❏ Nunca acessei
Check-listAmbiente:
⎕ Lugar com temperatura agradável?
⎕ Iluminação adequada?
⎕ Água, café e biscoito?
Aparelho:
⎕ Internet está funcionando?
⎕ Bateria está carregada?
⎕ Aplicativo está zerado?
⎕ Desativar notificações de outros apps;
Roteiro - 1 de 13
Projeto / Produto: App Pinterest para iOS
Bateria de testes nº: 1
Objetivo do Teste: Avaliar se os usuários iniciantes sao capazes de utilizar o app
usufruindo do beneficio total de forma a conseguir criar pastas e salvar pins.
Sobre o Projeto
Data: Duração da sessão
Início: Término:
Local:
Moderador: Observador:
Sobre o teste
Roteiro - 2 de 13Sobre o Usuário
Usuário nº: Gravação nome/nº:
Perfil: Comum ou Avançado?
Nome:
Idade: Sexo: [ ] Feminino [ ] Masculino
Profissão/Ocupação:
Usuário de Pinterest?
Caso sim, com que frequência acessa o Pinterest?
Roteiro - 3 de 13MODERADOR:
>> Explicar que o usuário não está sendo testado, mas sim o aplicativo Pinterest
>> Explicar que ele estará sendo filmado, mas que o vídeo é somente para ajudar na análise posterior e não
será divulgado publicamente/comercialmente
>> Dar instruções básicas de como será o andamento da pesquisa
>> Pedir para desligar o celular
Entrevista Inicial
01- O que você faz na internet de uma forma geral? Que sites costuma acessar?
Comentários do usuário:
Observações do moderador:
Roteiro - 4 de 1302 - E quanto à redes sociais, você usa?
02.01. - Se sim, qual(is) e com que frequência?
Comentários do usuário:
Observações do moderador:
03 - Acessa a internet de onde?
Comentários do usuário:
Observações do moderador:
Roteiro - 5 de 1304 - Usa o celular para acessar a internet?
04.01. - Se sim, o que costuma acessar do celular?
Comentários do usuário:
Observações do moderador:
05 - Que tipo de conteúdo te interessa ver na internet?
Comentários do usuário:
Observações do moderador: 06 - Você costuma acessar o aplicativo Pinterest? 06.01. - Se sim, com que frequência acessa? Que tipo de conteúdo costuma ver no app?
Comentários do usuário:
Observações do moderador:
Roteiro - 6 de 13MODERADOR:
>> Dizer que dará início ao teste
>> Explicar que ele receberá tarefas e estas podem ser feitas sem pressa, no tempo que ele desejar.
>> Relembrar que ele não está sendo testado e que sua ajuda é fundamental.>> Pedir para pensar em voz alta.
>> Avisar que nem sempre poderá responder alguma pergunta dele, mas que a dúvida em voz alta é importante.
>> Pedir para ele avisar toda vez que achar ter terminado uma tarefa para poder passar para a próxima.>> Avisar que ele pode “desistir” caso não consiga completar uma tarefa e que não precisa ficar com “vergonha”,
pois o problema é do sistema e não dele.
>> Explicar que o principal desta avaliação é saber a opinião dele e não executar a tarefa em si.>> Verificar se gravação foi iniciada.
Roteiro - 7 de 13Tarefa Principal
MODERADOR:
Você tem uma sobrinha de 8 anos que irá fazer aniversário na época do Halloween. Como você possui muitas habilidades manuais, sua irmã pediu ajuda com a decoração e algumas comidinhas temáticas.
Você se comprometeu a levar 4 itens decorativos e 4 comidinhas para festa. Para se inspirar resolveu entrar no Pinterest.
Comentários do usuário durante a tarefa:
Observações / Interpretação do moderador/observador:
Roteiro - 8 de 13Usuário conseguiu realizar a tarefa?
Obs:
[ ] Sim, com facilidade.
[ ] Sim, com dificuldade
[ ] Não conseguiu realizar a tarefa
MODERADOR:
>> Perguntar impressões gerais
O que achou desta experiência?
Comentários do usuário: Observações do moderador:
02- Procurou algo específico? Se sim, o quê? Encontrou?
Comentários do usuário:
Observações do moderador: 03- O que achou das páginas e dos elementos? Algo te chamou mais a atenção positiva ou negativamente?
Comentários do usuário:
Observações do moderador:
04- Mudaria algo ou deixaria assim? Sentiu falta de algo?
Comentários do usuário:
Observações do moderador:
Perguntas Finais
O que você achou do app?
Comentários do usuário:
Observações do moderador: Quais foram os pontos positivos e negativos do app?
Comentários do usuário:
Observações do moderador: Mudaria algo, acrescentaria algo ou deixaria como está?
Comentários do usuário:
Observações do moderador: De 1 a 10, qual a nota que você daria para o site? Por qual motivo?
Comentários do usuário:
Observações do moderador: Sugestões?
Comentários do usuário:
Observações do moderador:
Navegação livre
MODERADOR:
>> Dizer que dará início a uma nova avaliação
>> Explicar que ele deve navegar como se estivesse à vontade e não deve conversar.
>> Navegue livremente, clicando no que te interessar.
>> Avisar que depois de um tempo ele será interrompido.
Roteiro - 9 de 13Procurou algo específico? Se sim, o quê? Encontrou?
Comentários do usuário: Observações do moderador: O que achou das páginas e dos elementos? Algo te chamou mais a atenção positiva ou negativamente?
Comentários do usuário:
Observações do moderador: Mudaria algo ou deixaria assim? Sentiu falta de algo?
Comentários do usuário:
Observações do moderador:
Roteiro - 10 de 13Perguntas Finais
O que você achou do app?
Comentários do usuário:
Observações do moderador:
Quais foram os pontos positivos e negativos do app?
Comentários do usuário:
Observações do moderador:
Mudaria algo, acrescentaria algo ou deixaria como está?Comentários do usuário:
Observações do moderador:
Roteiro - 11 de 13De 1 a 10, qual a nota que você daria para o site? Por qual motivo?Comentários do usuário:
Observações do moderador:
Sugestões?
Comentários do usuário:
Observações do moderador:
Navegação livre
MODERADOR:
>> Dizer que dará início a uma nova avaliação
>> Explicar que ele deve navegar como se estivesse à vontade e não deve conversar.
>> Navegue livremente, clicando no que te interessar.
>> Avisar que depois de um tempo ele será interrompido.
Roteiro - 12 de 13Comentários do usuário durante a tarefa:
Observações / Interpretação do moderador/observador:
Usuário conseguiu realizar a tarefa?
Obs:
[ ] Sim, com facilidade.[ ] Sim, com dificuldade
[ ] Não conseguiu realizar a tarefa
MODERADOR: >> Interromper após 5 minutos
>> Perguntar impressões gerais
Roteiro - 13 de 13O que achou desta experiência?
Comentários do usuário:Observações do moderador: Procurou algo específico? Se sim, o quê? Encontrou?Comentários do usuário:Observações do moderador: O que achou das páginas e dos elementos? Algo te chamou mais a atenção positiva ou negativamente?Comentários do usuário:
Observações do moderador:
Mudaria algo ou deixaria assim? Sentiu falta de algo?Comentários do usuário:Observações do moderador:
MODERADOR: >> Encerrar o teste e agradecer a presença e colaboração do usuário
Obrigado!