Challenges 2013

AVALIAÇÃO DA USABILIDADE E DA ACESSIBILIDADE DO PROTÓTIPO MULTIMÉDIA F.R.e.e.: TÉCNICAS DE PROCURA DE EMPREGO

Celes=no Magalhães José Alberto Lencastre

Universidade do Minho

O Projeto

O Projeto e-‐Learning em Estabelecimentos Prisionais ( e-‐

Pris ) tem por obje=vo avaliar a viabilidade de formação

via e-‐Learning em contexto prisional, contribuindo para

diminuir fatores de risco e exclusão social e uma melhor

(re)inserção social da população, fomentando a

igualdade de oportunidades e de género.

I

O Projeto

O problema

Inexistência de produtos no mercado cer=ficados e

adaptados à formação "a distância” via e-‐Learning

adequados às caracterís=cas e necessidades das potenciais

formandas.

I

O Projeto

Os obje.vos

•  iden=ficar as caraterís=cas do público-‐alvo

•  desenhar e criar um protó=po mul=média educa=vo adequado à formação “a distância” via e-‐learning de adultos em contexto prisional

•  avaliar a usabilidade e a acessibilidade do protó=po

I

Modelo ADDIA

•  O modelo ADDIA é um processo de design intera=vo

forma=vo, onde os resultados da avaliação forma=va de

cada fase alimentam a fase seguinte mas podem levar o

designer de volta para qualquer fase anterior.

•  Obje=vo centrado no u=lizador e não na abordagem

tradicional do formador (centrada na instrução), para

que a aprendizagem seja eficaz.

II

Modelo ADDIA

Modelo ADDIA (adaptado de Clark, 2000)

II

Análise III

(adaptado de Clark, 2000)

Desenho

Adaptado de Clark (2000)

IV

Desenho

Objetivos da Formação

Integração das TIC

Interface

Avaliação Fontes de Informação

Estratégias de Ensino

e Motivação

Currículo

Desenho

Layout do protó.po Técnicas de Procura de Emprego

IV

Desenho

Algumas preocupações na construção do protó=po:

a)  Estrutura b)  Navegação c)  Interface e layout

d)  Rapidez de acesso e)  Níveis de intera=vidade

f)  Informação

IV

•  Fácil de aprender: a capacidade com que os utilizadores conseguem realizar tarefas básicas quando usam o protótipo pela primeira vez.

•  Eficiente para usar: após os utilizadores terem aprendido o funcionamento do protótipo, conseguem facilmente localizar a informação de que precisam.

•  Fácil de lembrar: depois de algum tempo sem utilizar o pro tó t ipo , conseguem fac i lmente recordar o seu funcionamento.

•  Pouco sujeito a erros: os utilizadores cometem poucos erros durante a utilização do protótipo e, caso aconteça, estes possuem um grau de gravidade baixo e são de fácil correção.

•  Agradável de usar: os utilizadores sentem-se satisfeitos com a utilização do protótipo.

V Usabilidade

Para avaliar a usabilidade do protótipo, foram utilizados dois métodos:

•  Avaliação heurística: realizada por peritos à versão alpha do protótipo na fase de desenho;

•  Teste de usabilidade: realizado por um grupo de utilizadores com características semelhantes às do público-alvo, realizado na fase de desenvolvimento.

V Usabilidade

•  A avaliação heurística envolveu uma análise do protótipo por 3 peritos que não tiveram participação no projeto. Segundo Nielsen (1994) é o número suficiente de avaliadores que permite identificar a maior parte dos erros de usabilidade.

•  Cada perito avaliou individualmente, de acordo com as heurísticas definidas.

V Avaliação heurís=ca

Heurísticas (Nielsen,1994): 1.  Tornar o estado do sistema visível

2.  Falar a linguagem do utilizador

3.  Utilizador controla e exerce livre-arbítrio

4.  Consistência e Adesão a Normas

5.  Evitar erros

6.  Reconhecimento em vez de Memorização

7.  Flexibilidade e Eficiência

8.  Desenho de ecrã estético e minimalista

9.  Ajudar o utilizador a reconhecer, diagnosticar e recuperar dos erros

10.  Dar Ajuda e Documentação

V Avaliação heurís=ca

Recolha dos dados através de um inquérito por questionário dividido em 3 partes:

1.  Parte 1 – Questionário Pessoal

2.  Parte 2 – Consulta e Navegação pelo protótipo

3.  Parte 3 – Questionário composto por 13 questões de resposta fechada e uma de resposta aberta.

V Teste de usabilidade

•  Em conformidade com o World Wide Web Consortium (W3C), acessibilidade significa que “pessoas com deficiências possam usar a Web”, isto é, “percebam, naveguem e interajam com a Web”.

•  A acessibilidade é definida por três níveis de prioridade:

i.  aspetos que os criadores de conteúdos Web têm que cumprir;

ii.  aspetos que os criadores de conteúdos Web devem cumprir

iii.  aspetos que os criadores de conteúdos Web podem cumprir.

VI Acessibilidade

•  Os níveis de conformidade atribuídos dependem da verificação das prioridades assim:

–  nível de conformidade "A” , se foram satisfeitos todos os pontos de verificação de prioridade 1;

–  nível de conformidade "AA", se foram satisfeitos todos os pontos de verificação das prioridades 1 e 2 e

–  nível de conformidade "AAA", se foram satisfeitos todos os pontos de verificação das prioridades 1, 2 e 3.

•  Os testes de acessibilidade realizados foram baseados nas recomendações WCAG 2.0 da W3C.

VI Acessibilidade

Apresentação e Análise dos Resultados

•  Avaliação heurística: durante a avaliação heurística foram recolhidos dados quantitativos – número de transgressões observadas em cada uma das heurísticas – e dados qualitativos, através dos comentários efetuados pelos avaliadores.

Sim Não Não Avaliado

1. Tornar o estado do sistema visível 100% 0% 0%

2. Falar a linguagem do utilizador 95% 0% 5%

3. Utilizador controla e exerce livre-arbítrio 58% 25% 17%

4. Consistência e Adesão a Normas 100% 0% 0%

5. Evitar erros 83% 0% 17%

6. Reconhecimento em vez de Memorização 97% 0% 3%

7. Flexibilidade e Eficiência 92% 0% 8%

8. Desenho de ecrã estético e minimalista 94% 0% 6%

9. Ajudar o utilizador a reconhecer, diagnosticar e recuperar dos erros

67% 0% 33%

10. Dar Ajuda e Documentação 80% 13% 7%

% de RespostasHeurísticas

VII


•  Das 10 heurísticas, subdivididas em 62 sub-heurísticas, duas apresentaram problemas.

•  Os problemas foram classificadas de acordo com o grau de severidade.

•  Das 62 sub-heuríst icas, três (cerca de 5%) apresentaram problemas de usabilidade

•  59 (cerca de 95%) foram referenciadas como não apresentando qualquer tipo de problema.

VII


•  Teste de usabilidade com utilizadores: para a recolha de dados foram utilizadas/os:

–  Inquérito por questionário, em papel e entregue às participantes no início da sessão;

–  Observação, os dados e informações foram registados em Grelhas de Observação (tempo gasto na realização das tarefas, tempo gasto para concluir o teste e registo das classificações obtidas pelas participantes).

VII

•  A seleção dos u=lizadores que realizaram os testes de avaliação da usabilidade foi feita tendo em conta dois critérios: –  caracterís.cas pessoais (idade, género, habilitações), e –  experiência tecnológica (u=lização de computador, u=lização de documentos mul=média, u=lização da Internet, conhecimentos dos conteúdos).

•  Devido ao facto do público-‐alvo se encontrar em reclusão prisional, não foi possível u=lizar uma amostra proveniente do grupo. A solução encontrada foi escolher um grupo com o maior número de caracterís=cas semelhantes.

VII Apresentação e Análise dos Resultados


•  Relativamente aos testes de usabilidade dos protótipos e tendo em atenção as respostas apresentadas nos inquéritos por questionário, consideramos uma escala onde a resposta “Nunca” corresponde a 0 e a resposta “Sempre” corresponde a 2.

VII

Parâmetros Questões

Média Protótipo Multimédia

"Técnicas de Procura de Emprego"

1. O ambiente gráfico do protótipo é agradável? 1,82. A informação no protótipo encontra-se bem organizada? 23. A linguagem utilizada é simples e clara? 1,8

4. Sentiu-se à-vontade a usar o protótipo? 1,8

5. O protótipo permite uma fácil navegação? 1,66. Foi fácil encontrar a informação que precisou? 27. O protótipo tem as funcionalidades e capacidades que esperava? 28. A informação disponibilizada pelo protótipo foi útil para completar as tarefas? 1,89. Conseguiu utilizar o protótipo sem necessitar de conhecimentos anteriores? 1,210. A informação fornecida pelo protótipo foi fácil de entender? 211. Conseguiu completar eficazmente o seu trabalho? 1,812. Na globalidade ficou satisfeito com o seu trabalho? 1,8

Erros 13. Quando fez uma seleção errada no protótipo, este permitiu-lhe voltar atrás e recomeçar? 1,8

Design

Facilidades de utilização

Funcionalidades

Aprendizagem

Satisfação

Apresentação e Análise dos Resultados VII Critérios

Protó.po Mul.média FRee "Técnicas de Procura de Emprego"

Fácil de aprender

Média de 46 min na realização do teste (60 min)

80% das u=lizadoras mostraram-‐se à vontade com a u=lização do protó=po

Eficiente para usar

80% de sucesso na realização das tarefas propostas.

Maioria das u=lizadoras indicou que a informação disponibilizada pelo protó=po mul=média foi fácil de entender e ú=l para a realização das tarefas propostas.

Fácil de lembrar Para medir convenientemente este critério precisaríamos de realizar o teste mais do que uma vez, o que não aconteceu.

Pouco sujeito a erros

80% das u=lizadoras conseguiram recuperar dos erros come=dos (pela observação direta pudemos constatar que os erros que exis=ram deveram-‐se a distrações (fechar janela do browser em vez do separador, por exemplo)).

Agradável de usar 80% das u=lizadoras ficaram sa=sfeitas com o seu trabalho.


•  Acessibilidade: Total Validator. •  O principal objetivo foi permitir que o protótipo passasse

os testes de acessibilidade para a prioridade 1 (nível de conformidade A).

•  Submetemos o protótipo multimédia educativo ao validador automático e obtivemos o seguinte resultado:

VII


•  O único erro apresentado, refere-se a um erro de sintaxe no xhtml, nomeadamente atributos que foram utilizados unicamente para criar uma apresentação visual e está relacionado com a ferramenta utilizada para a criação do protótipo multimédia educativo.

VII


•  Aplicamos também o validador da W3C não tendo obtido qualquer erro.

VII

•  Respondendo aos objetivos do nosso estudo:

•  iniciamos com a caraterização do público-alvo, formandas do estabelecimento prisional, e definimos o contexto em que estão inseridas. Isto permitiu identificar as necessidades de aprendizagem, definir os objetivos de ensino e as restrições envolvidas.

•  desenhamos o protótipo no quadro de um referencial teórico e fizemos a avaliação com os peritos.

•  desenvolvemos o protótipo e avaliamos a usabilidade com utilizadores semelhantes ao público-alvo.

•  avaliamos a acessibilidade.

VIII Considerações finais

•  Respondendo aos objetivos do nosso estudo:

•  É fácil de aprender

•  É eficiente para usar

•  É pouco sujeito a erros

•  É agradável de usar


•  a avaliação de um protótipo multimédia educativo não

pode ser vista como algo fechado e exato, não existindo

nenhuma fórmula “mágica” que nos permita criar e

desenvolver um protótipo multimédia educativo cem por

cento eficaz. No entanto, a avaliação da sua usabilidade e

da sua acessibilidade permitirá que seja utilizado com

maior probabilidade de sucesso por parte dos utilizadores

finais.


Obrigado pela vossa atenção!

[email protected]

Education

Challenges 2013