A contribuição da história oral e dos testes de campo na pesquisa em Arquitetura de Informação

A contribuiA contribuiçção da ão da histhistóória oral e dos ria oral e dos testes de campotestes de camponana pesquisapesquisa de de arquiteturaarquitetura de de informainformaççãoãoLuiz AGNERLuiz AGNERLaboratLaboratóório de Ergonomia e Usabilidaderio de Ergonomia e UsabilidadePesquisa de doutorado, Pesquisa de doutorado, PUCPUC--RioRio

ApresentaApresentaççãoão�� Designer e ilustradorDesigner e ilustrador�� Tecnologista em informaTecnologista em informaçções do IBGEões do IBGE�� Professor (Professor (UniverCidadeUniverCidade--RioRio))�� Doutorando em Design (PUCDoutorando em Design (PUC--Rio)Rio)

ObjetoObjeto

IntroduIntroduççãoão“O IBGE é o órgão oficial de estatísticas do país, que transforma dados em informação e –principalmente -informação em conhecimento.”

IntroduIntroduççãoão

ProblemaProblema

ProblemaProblema�� Comunidade do Orkut Comunidade do Orkut -- ““para todos os para todos os

pesquisadores, universitpesquisadores, universitáários ou não, que:rios ou não, que:–– sentem calafrios quando precisam procurar algum sentem calafrios quando precisam procurar algum dado no site;dado no site;

–– sabem que o lema do site sabem que o lema do site éé "quem procura NUNCA "quem procura NUNCA acha!";acha!";

–– sabem que sabem que éé mais fmais fáácil descobrir qualquer cil descobrir qualquer informainformaçção lendo borra de cafão lendo borra de caféé do que acessando o do que acessando o site;site;

–– na hipna hipóótese de encontrar a planilha desejada, ela tese de encontrar a planilha desejada, ela provavelmente farprovavelmente faráá seu computador trancar;seu computador trancar;

–– reconhecem o mreconhecem o méérito dos pesquisadores do instituto rito dos pesquisadores do instituto mas quase nunca acham os dados pesquisados por mas quase nunca acham os dados pesquisados por eles.eles.””

Pesquisa de AIPesquisa de AI(ROSENFELD eMORVILLE)

Pesquisa de AIPesquisa de AI

Contexto(ROSENFELD eMORVILLE)

Objetivos da organização, políticas, cultura, tecnologia e recursos humanos

Pesquisa de AIPesquisa de AI

Contexto

Conteúdo

(ROSENFELD eMORVILLE)

Objetivos da organização, políticas, cultura, tecnologia e recursos humanos

Documentos, formatos/tipos, objetos,

metadados, estrutura existente

Pesquisa de AIPesquisa de AI

Contexto

UsuáriosConteúdo

(ROSENFELD eMORVILLE)

Objetivos da organização, políticas, cultura, tecnologia e recursos humanos

Perfil dos usuários, identificação das audiências, tarefas, necessidades, comportamento de busca de informação, experiência, vocabulário

Documentos, formatos/tipos, objetos,

metadados, estrutura existente

Arquitetura de Arquitetura de informainformaççãoão�� DefiniDefiniçções de AIões de AI

–– AI AI éé a atividade que combina a aplicaa atividade que combina a aplicaçção de ão de esquemas de navegaesquemas de navegaçção, de organizaão, de organizaçção e ão e de rotulagem dentro de um sistema de rotulagem dentro de um sistema informacional.informacional.

–– AI AI éé o Design estrutural de um espao Design estrutural de um espaçço de o de informainformaçção com o objetivo de facilitar as ão com o objetivo de facilitar as tarefas e o acesso intuitivo aos contetarefas e o acesso intuitivo aos conteúúdos. dos.

Arquitetura de Arquitetura de informainformaççãoão

–– AI AI éé a arte e a ciência de estruturar e a arte e a ciência de estruturar e classificar classificar websiteswebsites e intranets para auxiliar e intranets para auxiliar as pessoas a encontrar e a gerenciar as pessoas a encontrar e a gerenciar informainformaçção. ão.

–– AI AI éé uma disciplina emergente e uma uma disciplina emergente e uma comunidade de prcomunidade de práática profissional.tica profissional.(Morville)(Morville)

Arquitetura de Arquitetura de informainformaççãoão�� PapPapééis do arquiteto:is do arquiteto:

–– Clarificar a missão e a visão do Clarificar a missão e a visão do sitesite fazendo fazendo o balanceamento entre necessidades da o balanceamento entre necessidades da organizaorganizaçção e as necessidades de seus ão e as necessidades de seus usuusuáários.rios.

–– Determinar qual o conteDeterminar qual o conteúúdo e a do e a funcionalidade que o funcionalidade que o sitesite conterconteráá..

–– Especificar como usuEspecificar como usuáários encontrarão rios encontrarão informainformaçção no ão no sitesite, por meio da defini, por meio da definiçção da ão da sua organizasua organizaçção, navegaão, navegaçção, rotulagem e ão, rotulagem e sistemas de busca.sistemas de busca.

Arquitetura de Arquitetura de informainformaççãoão�� Componentes da AI:Componentes da AI:

–– Sistemas de OrganizaSistemas de Organizaççãoão –– como como éé apresentada a apresentada a organizaorganizaçção e a categorizaão e a categorizaçção do conteão do conteúúdo.do.

–– Sistemas de RotulaSistemas de Rotulaççãoão –– signos verbais signos verbais (terminologia) e visuais (icônicos).(terminologia) e visuais (icônicos).

–– Sistemas de NavegaSistemas de Navegaççãoão –– formas de o usuformas de o usuáário se rio se mover atravmover atravéés do espas do espaçço.o.

–– Sistemas de BuscaSistemas de Busca –– define as perguntas que o define as perguntas que o usuusuáário pode fazer e o conjunto de respostas do rio pode fazer e o conjunto de respostas do banco de dados.banco de dados.

Ciência da informaCiência da informaççãoão

O mO méétodotodo� Concepções filosóficas e epistemológicas diferentes sustentam paradigmas metodológicos diferentes (GRESLER, 2003).� Existem duas grandes abordagens: a

quantitativa e a qualitativa.

O mO méétodotodo� Abordagem quantitativa - caracteriza-se pela formulação de hipóteses, definições operacionais de variáveis, quantificação na coleta de dados e utilização de tratamentos estatísticos.

O modelo quantitativo estabelece hipóteses que exigem uma relação entre causa e efeito e apóia conclusões em dados estatísticos, comprovações e testes. Os critérios são a verificação, a demonstração, os testes e a lógica matemática.

O mO méétodotodo� Abordagem qualitativa - não emprega instrumentos estatísticos como base para a análise.

É utilizada quando se busca descrever a complexidade de determinado problema - não envolvendo manipulação de variáveis ou estudos experimentais. Ela contrapõe-se à abordagem quantitativa, uma vez que busca levar em consideração todos os componentes de uma situação e suas interações e influências recíprocas, numa visão holística.

O mO méétodotodo� Há domínios quantificáveis e outros qualificáveis. Segundo RICHARDSON (1999), as investigações que se voltam para uma análise qualitativa têm como objeto de estudo situações complexas ou bastante

particulares (como é o caso do objeto de estudo deste trabalho). Estudos que empregam a metodologia qualitativapodem descrever a complexidade dos problemas, analisar a interação de variáveis, compreender e classificar processos dinâmicos vividos por grupos sociais, e contribuir no processo de mudança.

O mO méétodotodo� História oral� Testes de usabilidade no campo

HistHistóóriaria oraloral�� A A histhistóóriaria oral oral -- comocomo mméétodotodo de de pesquisapesquisa -- se se revelarevela importanteimportante instrumentoinstrumento paraparacompreensãocompreensão dasdas construconstruççõesões dasdas estratestratéégiasgiasde de aaççãoão e e dasdas representarepresentaççõesões, de , de gruposgrupos ouou de de indivindivííduosduos, , emem umauma dada dada sociedadesociedade..

FERREIRA, FERREIRA, MarietaMarieta ((coordcoord.) .) ““Entrevistas: abordagens e usos da histEntrevistas: abordagens e usos da históória oralria oral””. . Ed.FGV, 1994.Ed.FGV, 1994.

HistHistóóriaria oraloral�� ÉÉ utilizadautilizada no no registroregistro dada histhistóóriaria de de grandesgrandesempresasempresas e de e de organizaorganizaççõesões governamentaisgovernamentais. . O O registroregistro oral oral mostramostra--se a se a úúnicanica possibilidadepossibilidadede de recuperarrecuperar um um passadopassado queque -- apesarapesar de de recenterecente -- deixoudeixou poucospoucos tratraççosos. .

DIAS, JosDIAS, Joséé L. Mattos.L. Mattos.““Entrevistas: abordagens e usos da histEntrevistas: abordagens e usos da históória oralria oral””. . Ed.FGV, 1994.Ed.FGV, 1994.

HistHistóóriaria oraloral�� Permite abordar o mundo fechado da Permite abordar o mundo fechado da

burocracia burocracia ““de de dentrodentro””, , rachandorachando a a fachadafachada de de neutralidadeneutralidade e de e de racionalidaderacionalidade, , queque buscabuscaisolisoláá--lo do lo do ppúúblicoblico ““externoexterno””. . Motta, Marly Silva.Motta, Marly Silva.““Entrevistas: abordagens e usos da histEntrevistas: abordagens e usos da históória oralria oral””. . Ed.FGV, 1994.Ed.FGV, 1994.

HistHistóória oralria oral�� Privilegia a recuperaPrivilegia a recuperaçção do vivido conforme ão do vivido conforme

concebido por quem o viveu. concebido por quem o viveu. �� ÉÉ um dium diáálogo entre entrevistado e logo entre entrevistado e

entrevistadores, uma construentrevistadores, uma construçção e uma ão e uma interpretainterpretaçção do passado, atualizada atravão do passado, atualizada atravéés s da linguagem falada. da linguagem falada.

�� Não Não éé fator negativo o fato de o depoente fator negativo o fato de o depoente poder poder ““distorcerdistorcer”” a realidade, ter a realidade, ter ““falhasfalhas”” de de memmemóória ou ria ou ““errarerrar”” em seu relato.em seu relato.(ALBERTI).(ALBERTI).

HistHistóória oralria oral�� A escolha de entrevistados não A escolha de entrevistados não éé orientada por orientada por

critcritéérios quantitativos (amostragens), mas pela rios quantitativos (amostragens), mas pela posiposiçção do entrevistado no grupo ou por sua ão do entrevistado no grupo ou por sua experiência. experiência.

�� Entrevistados estão entre os que participaram, Entrevistados estão entre os que participaram, viveram, presenciaram ou se inteiraram de viveram, presenciaram ou se inteiraram de ocorrências e que possam fornecer ocorrências e que possam fornecer depoimentos significativos. depoimentos significativos.

�� O processo de seleO processo de seleçção de entrevistados se ão de entrevistados se aproxima da antropologia, tomados não como aproxima da antropologia, tomados não como unidades estatunidades estatíísticas mas como unidades sticas mas como unidades qualitativas. qualitativas.

HistHistóória oralria oral�� 16 entrevistas (2004 16 entrevistas (2004 –– 2007).2007).

–– TTéécnicoscnicos–– ConteudistasConteudistas–– DesignersDesigners–– GerentesGerentes–– Profissionais de atendimento ao usuProfissionais de atendimento ao usuááriorio

HistHistóória oralria oral� “(...) A busca no portal é [realizada pela] pessoa que está fazendo uma pesquisa, que vai ali ter uma resposta no [site] Cidades@. Ou uma criança que vai lá no site Teen e consegue fazer o levantamento dele. Agora, na Loja Virtual, você já tem um perfil de empresas, de consultorias, de pesquisadores (...)”

� Alcides Braga – Administrador da Loja Virtual

HistHistóória oralria oral�� ““(...) O que a Internet permitiu (...) (...) O que a Internet permitiu (...) ééjustamente colocar, democraticamente, este justamente colocar, democraticamente, este

maior banco de dados sobre o Brasil maior banco de dados sobre o Brasil ààdisposidisposiçção de todo o pão de todo o púúblico. (...) Então, acho, blico. (...) Então, acho, éé mais um papel de cumprimento da missão do mais um papel de cumprimento da missão do IBGE IBGE -- em levar a informaem levar a informaçção ão àà sociedade.sociedade.””

� Francisco Alchorne - Jornalista

ConteConteúúdodo

ConteConteúúdodo

ConteConteúúdodo

ConteConteúúdodo

ConteConteúúdodo

ConteConteúúdodo

ConteConteúúdodo

ConteConteúúdodo

ConteConteúúdodo

ConteConteúúdodo

ConteConteúúdodo

ConteConteúúdodo

ConteConteúúdodo

Testes de usabilidadeTestes de usabilidade�� O O feedbackfeedback vivo de usuvivo de usuáários operando rios operando

tarefas reaistarefas reais�� Processo empProcesso empíírico de aprender a partir rico de aprender a partir

dos usudos usuáários, sobre a usabilidade de rios, sobre a usabilidade de um produto, observandoum produto, observando--os durante a os durante a sua utilizasua utilizaçção.ão.

(RUBIN, 1994; DUMAS & REDISH, 1994; BARNUM, (RUBIN, 1994; DUMAS & REDISH, 1994; BARNUM, 2002).2002).

Testes de usabilidadeTestes de usabilidade�� Registrados em vRegistrados em víídeo deo

ou em ou em ááudio, usuudio, usuáários rios interagem com o interagem com o sistema, em condisistema, em condiçções ões controladas, para controladas, para checar o sucesso das checar o sucesso das interfaces, observando interfaces, observando dados dados comportamentais. comportamentais.

Testes de usabilidadeTestes de usabilidade

�� NIELSEN propôs testes com melhor relaNIELSEN propôs testes com melhor relaçção custoão custo--benefbenefíício, utilizando entre quatro e cinco usucio, utilizando entre quatro e cinco usuáários rios �� dispensa das dispensa das gravagravaçções em laboratões em laboratóórios, para se rios, para se encaixar dentro dos orencaixar dentro dos orççamentos das empresas.amentos das empresas.

Testes de usabilidadeTestes de usabilidade�� Participantes:Participantes:

–– Os objetivos especOs objetivos especííficos de cada teste ficos de cada teste definem os participantes e as tarefas definem os participantes e as tarefas executadas. executadas.

–– Os participantes devem representar Os participantes devem representar usuusuáários reais: membros do grupo que rios reais: membros do grupo que utiliza ou que vai utilizar o produto. utiliza ou que vai utilizar o produto.

–– Os participantes devem executar tarefas Os participantes devem executar tarefas reais.reais.

Testes de campoTestes de campo�� LaboratLaboratóório portrio portáátil:til:

–– NotebookNotebook–– Internet Explorer 6.Internet Explorer 6.–– WebcamWebcam..–– Mouse.Mouse.–– HeadphoneHeadphone com microfonecom microfone–– SoftwareSoftware de captura de telas de captura de telas –– Câmera digitalCâmera digital–– Gravador analGravador analóógicogico–– Acesso Acesso wirelesswireless àà Internet Internet –– QuestionQuestionáários e documentarios e documentaççãoão

Testes de campoTestes de campo�� Vantagens:Vantagens:

–– ir ao usuir ao usuáário em vez de convidrio em vez de convidáá--lo a vir atlo a vir atééele; ele; –– observar o ambiente real onde o usuobservar o ambiente real onde o usuáário rio trabalha ou vive; trabalha ou vive;

–– observar o usuobservar o usuáário com todas as rio com todas as interrupinterrupçções e distraões e distraçções do ambiente; ões do ambiente;

–– verificar os artefatos criados pelos usuverificar os artefatos criados pelos usuáários rios para as tarefas; para as tarefas;

–– pode acessar documentapode acessar documentaçções especões especííficas. ficas.

Testes de campoTestes de campo

Locais – Campi universitários do Rio, residências e locais de trabalho dos pesquisadores.

Variáveis controladas – Acesso wireless, hardware, software, público-alvo, tarefas.Variáveis intervenientes – Inúmeras, típicas dos testes de campo.

Testes de campoTestes de campo

Locais – Campi universitários do Rio, residências e locais de trabalho dos pesquisadores.

Variáveis controladas – Acesso wireless, hardware, software, público-alvo, tarefas.Variáveis intervenientes – Inúmeras, típicas dos testes de campo.

Testes de campoTestes de campo

Locais – Campi universitários do Rio, residências e locais de trabalho dos pesquisadores.

Variáveis controladas – Acesso wireless, hardware, software, público-alvo, tarefas.Variáveis intervenientes – Inúmeras, típicas dos testes de campo.

Tarefa 1Tarefa 1““A partir da A partir da homehome page do portal IBGE, page do portal IBGE, identifique em que estado do Brasil identifique em que estado do Brasil reside a maior concentrareside a maior concentraçção de pessoas ão de pessoas idosas (com mais de 60 anos)idosas (com mais de 60 anos)””. .

Tarefa 2Tarefa 2““A partir da A partir da homehome page do portal IBGE, page do portal IBGE, descubra em que bairro da cidade de descubra em que bairro da cidade de Recife reside a maior concentraRecife reside a maior concentraçção de ão de cidadãos da terceira idadecidadãos da terceira idade””..

Testes de campoTestes de campo�� Exemplo deExemplo de

registroregistroProtocolosProtocolosde verbade verba--lizalizaççãoão

-- concorrenteconcorrente-- retrospectivoretrospectivo

AnAnáálise dos dadoslise dos dados�� ApApóós o registro e a categorizas o registro e a categorizaçção das ão das

descobertas, procuroudescobertas, procurou--se determinar a se determinar a causa dos problemas de usabilidade, causa dos problemas de usabilidade, avaliouavaliou--se seu impacto individual e se seu impacto individual e recomendaramrecomendaram--se soluse soluçções. ões.

�� O resultado do processo levou ao O resultado do processo levou ao estabelecimento de um conjunto de estabelecimento de um conjunto de critcritéérios heurrios heuríísticos especsticos especííficosficos para a para a avaliaavaliaçção do portal IBGE. ão do portal IBGE.

AnAnáálise dos dadoslise dos dados�� Estes critEstes critéérios heurrios heuríísticos foram sticos foram

consubstanciados em uma lista de consubstanciados em uma lista de verificaverificaçção (ão (checklistchecklist).).

�� ChecklistChecklist foi submetida a validafoi submetida a validaçção ão junto junto àà uma equipe com grande uma equipe com grande experiência no desenvolvimento do experiência no desenvolvimento do portal IBGE.portal IBGE.

ParticipantesParticipantesNível de instrução

71%

29%

Mestrado

Doutorado

ParticipantesParticipantesM

estrad

o

0 1 2 3 4 5 6

administração

ciência dainformação

ciênciassociais

comunicação

design

economia/finanças

engenharia

geografia

relaçõesinternacionais

ParticipantesParticipantesDoutorado

0

1

2

3

ciência dainformação

ciênciassociais

comunicação design geografia

ParticipantesParticipantesInstituição acadêmica

PUC-Rio34%

PUC-SP4%

UERJ8%

UFF/ IBICT33%

UFRJ17%

USP4%

ParticipantesParticipantesExperiência com computadores

0

2

46

8

10

12

nenh

uma

algum

a

mod

erad

am

oder

adament

e alta

alta

ParticipantesParticipantesHoras diárias na web

0

2

4

6

8

10

12

1-3h 3-8h mais de 8h

ParticipantesParticipantesConhecimento ou utilização de estatística

não50%

sim50%

ResultadosResultadosResultados - tarefa 1

sucesso13%

insucesso87%

sucesso

insucesso

ResultadosResultadosResultados - tarefa 2

sucesso0%

insucesso100%

sucesso

insucesso

ResultadosResultadosCausas de insucesso - tarefa 1

expiração do tempo48%

desistência5%

dado errado47%

ResultadosResultadosCausas de insucesso - tarefa 2

expiração do tempo83%

desistência17%

ResultadosResultadosEncontrar informações estatísticas é

0

1

3

13

7

0 2 4 6 8 10 12 14

muito fácil

fácil

nem fácil nem difícil

difícil

muito difícil

ResultadosResultadosO que menos gostou

6

5

5

5

4

3

3

3

0 1 2 3 4 5 6

busca

falta de clareza

dificuldade

classificação de informações

outros

comunicação visual

excesso de informações/links

descrições dos arquivos

AvaliaAvaliaçção da tão da téécnicacnicaParticipante 10 – Achou “ótimo”. Considerou o procedimento de “pensar

alto” para gravação válido pois às vezes “fazemos coisas sem perceber”.

Participante 20 – Considerou o método utilizado “perfeitamente válido” e um “modelo aplicável” em outras pesquisas.

Participante 22 – Avaliou como “bastante completo”. Considera que hádiferenças no ato de navegar, quando as ações estão sendo gravadas e que, fora do ambiente de teste, sua navegação seria “mais ágil”.

Participante 26 – Relatou inibição pelo fato de ser observada. Sentiu-se “pressionada” e isto “interferiu de forma negativa na sua performance”.

Conclusões parciaisConclusões parciaisOs problemas relacionamOs problemas relacionam--se se largamente largamente àà ineficiência dos ineficiência dos mecanismos de busca, mecanismos de busca, àà taxonomia taxonomia aparentemente ilaparentemente ilóógica ou incompleta, gica ou incompleta, ààfalta de clareza dos rfalta de clareza dos róótulos e links, e tulos e links, e aos problemas de redaaos problemas de redaçção ão –– todos todos problemas tproblemas tíípicos de arquitetura de picos de arquitetura de informainformaçção.ão.

Obrigado.Obrigado.Luiz Luiz AgnerAgner

luizagner@gmail.comluizagner@gmail.comwww.agner.com.brwww.agner.com.br

DivulgaDivulgaçção de livroão de livroERGODESIGN EARQUITETURA DE INFORMAÇÃO:Trabalhando Com o UsuárioEd. Quartet, 2006Luiz Agner

Saraiva, Submarino e 2AB