Estratégias de Pesquisa

Ricardo de Almeida Falbo

Metodologia de Pesquisa Departamento de Informática

Universidade Federal do Espírito Santo

2

Agenda

Survey

Design e Criação

Estudo de Caso

Pesquisa Ação

Experimento

Design Science

Survey

Propósito: obter os mesmos tipos de dados a partir de um grande grupo de pessoas ou eventos, de modo sistemático e padronizado, de modo a identificar padrões, visando generalizar para uma população maior que seu grupo alvo.

3

Planejando e Projetando um Survey

O que considerar:

Que dados você quer gerar?

Pense antecipadamente sobre como você pretende analisar os dados, que padrões você procura e interpretações que podem surgir

Método de Geração de Dados

Questionário? Entrevista? Observação? Análise de Documentos?

4

Planejando e Projetando um Survey

O que considerar:

Quadro de Amostragem:

Definir a lista da população de pessoas, eventos ou documentos alvo de seu survey.

Técnica de Amostragem

Definir como você vai selecionar a amostra real a partir do quadro de amostragem. Amostra probabilística? Não probabilística?

5

Planejando e Projetando um Survey

O que considerar:

Taxa de Resposta:

Taxas da ordem de 10% não são incomuns.

Necessidade de definir uma estratégia para tentar aumentar o número de respostas.

Tamanho da Amostra

Menor do que 30 compromete uma análise estatística confiável.

Considerar nível de confiança e margem de erro.

6

Exemplo de Survey

Tema: Refinamentos em protocolos de estudos secundários (revisões e mapeamentos sistemáticos)

Questão de Pesquisa: Quais itens do protocolo de revisões/mapeamentos sistemáticos que estão mais sujeitos a refinamentos ao longo do processo de revisão?

7

Exemplo de Survey

Dados a serem gerados: percepções em relação à extensão em que itens do protocolo são refinados ao longo do processo de revisão.

Tipo do estudo: em corte transversal, i.e., participantes são questionados acerca de suas experiências passadas.

Método de Geração de Dados: questionário on-line. Disponível em https://goo.gl/CLdDzL

8

Exemplo de Survey

População: pesquisadores que já tenham realizado pelo menos uma revisão/mapeamento sistemático.

Seleção da amostra: por conveniência

Solicitação de participação enviada para a lista da SBC e LinkedIn.

Solicitação direta a pesquisadores conhecidos dos autores.

9

Exemplo de Survey

Número de respondentes: 53

Grupo 1: até 2 estudos: 28

Grupo 2: 3 ou 4 estudos: 13

Grupo 3: 5 ou mais estudos: 12

10

Exemplo de Survey

11

Survey: Vantagens

Provê uma cobertura ampla.

Comparativamente a outras estratégias, produz grande quantidade de dados, em pouco tempo e a custo relativamente baixo.

Permite análise de dados quantitativa.

Pode ser replicado.

12

Survey: Desvantagens

Falta de profundidade.

Tende a enfocar o que pode ser contado e medido.

Provê um retrato instantâneo em um particular ponto no tempo, ao invés de examinar processos em andamento e mudanças.

Não estabelece relações de causa e efeito.

13

Design e Criação

Esta estratégia enfoca o desenvolvimento de novos produtos ou artefatos de TI.

14

Design e Criação

Que artefatos podem ser criados?

Constructos: novas noções ou conceitos (p.ex., a noção de objetos)

Modelos: combinação de constructos para representar uma situação

Métodos: orientações sobre modelos a serem produzidos e processos a serem seguidos para resolver problemas.

Instanciações: sistemas demonstrando que constructos, modelos, métodos, ideias ou teorias podem ser implementados em um sistema computacional.

15

Design e Criação

Problema: É pesquisa ou apenas uma demonstração de habilidades técnicas?

Para ser pesquisa:

Tem de contribuir para o conhecimento de alguma forma.

Tem de exibir qualidades acadêmicas: análise, explanação, argumentação, justificativa e avaliação crítica.

16

Design e Criação

A forma de contribuição para o conhecimento pode se dar de três maneiras principais:

Como foco principal da pesquisa (p.ex., artefato incorpora uma nova teoria)

Um veículo para alguma outra coisa (p.ex., comparar e avaliar diferentes algoritmos)

Um produto final tangível de um projeto, cujo foco é o processo de desenvolvimento (p.ex., ilustrar o uso de um método)

17

Design e Criação

Pode ser usada como única estratégia de pesquisa ou como uma das estratégias dentro do método global de pesquisa (Design Science).

Se o artefato a ser gerado for um sistema, deve seguir um processo de desenvolvimento de software (não confundir com método de pesquisa).

18

Design e Criação

Em trabalhos de pós-graduação, sobretudo doutorado, a implementação pode ser desnecessária ou terceirizada.

19

“Design e Criação” e Avaliação

Prova de Conceito: artefato é apenas uma mostra de exequibilidade. Não há uma avaliação se o artefato funciona ou não em um contexto real (p.ex., um protótipo).

Prova por Demonstração: artefato é avaliado em uso, mas em um contexto restrito (p.ex., participação de estudantes ao invés de profissionais). Pode usar outras técnicas, tais como estudos de caso e experimentos.

20

“Design e Criação” e Avaliação

Avaliação de Mundo Real: artefato é avaliado em situações reais. Neste caso, é necessário usar uma outra estratégia de maneira complementar (estudo de caso, survey etc).

21

Design e Criação: Vantagens

Ter algo tangível para mostrar ao invés de ter somente teorias abstratas ou outro conhecimento.

É um modo de pesquisa normalmente esperado em várias áreas da computação.

Como o uso de computação em muitos domínios é relativamente novo e como a tecnologia avança rapidamente, há muito espaço para o desenvolvimento de novos artefatos de TI que deem uma contribuição ao conhecimento.

22

Design e Criação: Desvantagens

Você pode ser questionado se seu trabalho não é somente um design normal.

É arriscado se você não tem as habilidades técnicas necessárias.

Pode ser difícil generalizar para configurações diferentes daquela situação única em que o artefato de TI foi usado.

Pode produzir pesquisa perecível. Avanços rápidos na tecnologia podem invalidar os resultados.

23

Exemplo de Design e Criação

Desenvolvimento de PoN-S: um Método para o Design da Sintaxe Concreta de Linguagens de Modelagem Conceitual (tese de doutorado de Maria das Graças Teixeira)

24

Exemplo de Design e Criação

25

Estudo de Caso

É uma investigação empírica que olha um fenômeno dentro de seu contexto real.

26

Estudo de Caso

Focaliza uma instância da “coisa” a ser investigada (uma organização, um projeto etc.).

O objetivo é obter uma compreensão rica e detalhada da “vida” deste caso e de suas relações e processos complexos.

27

Estudo de Caso

Um estudo de caso olha para o caso escolhido dentro de seu contexto real e enfoca todos os fatores envolvidos.

Ao explorar todos esses fatores e estabelecer um quadro detalhado de como eles se unem, o pesquisador tenta explicar como e porque certos resultados podem ocorrer em uma particular situação.

28

Estudo de Caso

Um caso não testa uma hipótese.

Mas, a partir do estudo de uma instância particular, podem ser obtidos insights e conhecimento que podem ser relevantes para outras situações.

29

Estudo de Caso: Características

Foco na profundidade ao invés da largura.

Ambiente natural, ao invés de uma situação artificial.

Estudo holístico, ao invés de isolar fatores individuais.

Utiliza múltiplas fontes de dados e métodos.

30

Estudo de Caso

Atenção! Muitos pesquisadores em disciplinas de Computação usam o termo “estudo de caso” para designar um cenário no qual eles aplicaram suas ideias. Esse cenário é, na maioria das vezes, artificial e muito mais simples do que ocorre na vida real. Ou seja, não é um estudo de caso efetivamente!

31

Seleção de Casos

Algumas opções:

Instância Típica: instância representativa de uma classe.

Instância extrema

Test-bed para uma teoria: contém elementos que são apropriados para testar uma teoria.

Conveniência

É importante escolher a instância certa e justificar essa escolha.

32

Generalização a partir de Estudo de Caso

Se o caso escolhido for típico, é possível gerar conclusões mais amplas que vão além do caso em si.

Para poder fazer generalizações, é importante informar até que extensão você julga que o caso escolhido é típico de outros casos em sua classe.

33

Generalização a partir de Estudo de Caso

Dê detalhes suficientes do caso que permitam a um leitor decidir se o caso escolhido é similar a um caso que lhe seja familiar.

34

Estudo de Caso

Pode ser usado para:

Construir uma nova teoria: um estudo de caso leva ao desenvolvimento de um novo conceito, teoria, framework ou modelo.

Testar uma teoria existente

35

Estudo de Caso: Vantagens

Pode lidar com situações complexas em que é difícil estudar um único fator isoladamente.

Adequado para situações em que o pesquisador tem pouco controle sobre eventos.

Produz dados que são mais próximos das experiências das pessoas (histórias).

36

Estudo de Caso: Desvantagens

Muitas vezes é tido como uma estratégia que peca pela falta de rigor e por levar a generalizações com pouca credibilidade.

Pode ser difícil negociar acesso ao cenário, pessoas e documentos necessários.

A presença do pesquisador pode afetar o comportamento das pessoas.

Não há regras definidas para a condução de estudos de caso.

37

Exemplo de Estudo de Caso

Design de uma Linguagem de Modelagem Visual para representar Linguagens de Padrões Ontológicos (dissertação de mestrado da Glaice Quirino) usando PoN-S.

Estudo caso para a pesquisa da Maria

Design e criação na pesquisa da Glaice

38

Pesquisa Ação

Enfoca a pesquisa em ação.

O pesquisador planeja fazer alguma coisa em uma situação do mundo real, faz isso, reflete sobre o que aconteceu ou aprendeu, e começa outro ciclo “planeja-faz-reflete”.

Espera-se que pesquisadores colaborem com as pessoas dentro daquele cenário.

39

Ingredientes da Pesquisa Ação

Um framework conceitual que atua como base teórica.

Um método de solução de problemas, que incorpora o framework conceitual.

Uma área de aplicação onde o método será aplicado.

O processo de pesquisa adotado.

40

Pesquisa Ação

Normalmente é difícil planejar antecipadamente e em detalhes projetos de pesquisa ação.

Uma vez iniciado, um projeto de pesquisa ação não está totalmente sob controle do pesquisador.

Contudo, o processo de pesquisa precisa ser estruturado e gerenciado para evitar críticas de falta de rigor científico.

41

Pesquisa Ação

Um protocolo de pesquisa deve ser desenvolvido e acordado entre todos os envolvidos.

Este protocolo deve envolver, dentre outros:

Objetivos do projeto e como ele será avaliado.

Papéis e responsabilidades dos participantes.

Restrições organizacionais

42

Pesquisa Ação

Potencial ameaça: Pesquisador, talvez subconscientemente, quer mostrar que o exercício é útil e que sua teoria ou método é válido. Ele pode estar iludindo a si próprio.

Mesmo em projetos envolvendo grupos de pesquisadores, pode imperar um pensamento de grupo, em que todos acreditam naquilo ou não têm coragem de desafiar o consenso do grupo.

43

Generalização em Pesquisa Ação

Não é possível fazer generalizações a partir de um estudo que tem características únicas, não encontradas em outras situações.

Dê detalhes suficientes da situação que permitam a um leitor decidir se o cenário que ele tem em mãos é similar ao cenário da pesquisa ação.

44

Pesquisa Ação

Uma importante aplicação é na exploração de novos métodos de desenvolvimento.

Nestes casos, alguns pesquisadores defendem que a pesquisa ação é a estratégia mais apropriada.

45

Pesquisa Ação Técnica

Technical Action Research – TAR

Pesquisador desempenha três papéis:

Projetista: o pesquisador projeta uma técnica, método, processo ou outro artefato.

Ajudante: ajuda outros a aplicar a técnica

Pesquisador: tira lições sobre o uso da técnica.

46

Pesquisa Ação: Vantagens

Pode fazer a ponte entre a pesquisa acadêmica e o estado da prática, resultando em melhorias reais.

É particularmente apropriada para a criação e refinamento de métodos de desenvolvimento de sistemas e de resolução de problemas.

47

Pesquisa Ação: Desvantagens

Ainda não é aceita por muitos pesquisadores da área de Computação.

É criticada por alguns pela falta de rigor, inabilidade de estabelecer causa e efeito, e resultados que podem não ser generalizáveis para outras situações.

Pode ser difícil satisfazer as necessidades e expectativas de todos os envolvidos.

48

Experimento

É uma estratégia que investiga relações de causa e efeito, procurando provar ou refutar uma relação causal entre um fator e um resultado observado.

49

Experimento

Requer a formulação de uma hipótese.

O experimento é projetado para comprovar ou rejeitar a hipótese.

Todos os fatores que podem afetar o resultado são excluídos do estudo, exceto o fator que se pensa ser a causa para um resultado particular.

50

Experimento

Entretanto, até os experimentos de laboratório mais bem projetados podem ser contaminados por outros fatores desconhecidos...

Assim, não se pode tirar conclusões firmes de experimentos, até que eles sejam repetidos várias vezes, preferencialmente por outros pesquisadores.

51

Exemplo de Experimento

Experimento realizado por Maria das Graças e publicado em (Teixeira et al., 2013).

Objetivo: Avaliar o uso de notações visuais para linguagens específicas de domínio

52

Exemplo de Experimento

Hipótese: O desempenho dos participantes na interpretação de modelos construídos usando uma notação específica de domínio é melhor do que de modelos usando uma notação genérica.

53

Exemplo de Experimento

Experimento in-vitro, i.e. em ambiente controlado.

Abordagem analítica: coletar indicações preliminares para experimentos adicionais posteriores.

54

Exemplo de Experimento

Objeto de estudo: duas instanciações de um modelo conceitual.

As instanciações são apresentadas em duas notações diferentes: específica de domínio e genérica (baseada em diagramas de objetos da UML).

55

Exemplo de Experimento

56

Exemplo de Experimento

57

Administrative Branch Production Branch

Quality Control

Board of Directors John

Peter

PaulMax

Mark

Otto

Mary

Linda

Lisa

Ana

Sales Marketing

James

Robert

Victor

Claudia

Jennifer

Elizabeth

Clarisse

Juliane

Lauren

R&D Executive Office

Engineering Research

Exemplo de Experimento

58

Board of Directors: Department

John: Man Mary: Woman

partOfpartOf

Peter: Man Linda: Woman

supervisedBy

supervisedBy

Administrative: Organizational Branch

partOf

Sales: Department

partOfPaul: Man

supervisedByMax: Man

supervisedBy

partOf

partOfpartOf

partOf

Audit: CommissionPhase = Normal

Load

memberOf

Marc: Man

partOf

memberOf

Ana: Woman

memberOf

Marketing: Department

partOf

Lisa: Woman

partOf

supervisedBy

Otto: ManpartOf

supervisedBy

supervisedBy

partOf

supervisedBy

Quality Control: CommissionPhase = Overloaded

memberOf

Clarisse: Woman

memberOf

James: Man

supervisedBy

memberOf

Jenifer: Woman

supervisedBy

memberOf

Claudia: Woman

supervisedBy

R & D Executive Office: Department

Robert: Man{duplicated}

supervisedBy

Elizabeth: Woman

Engineering: DepartmentpartOf

partOf

partOf

partOf

memberOf

Production: Organizational BranchpartOf

partOf

partOf

supervisedBy

Research: Department

partOf

partOf

Juliane: Woman

Lauren: Woman Victor: Man

partOf

Robert: Man{duplicated}

supervisedBy

supervisedBy

partOfpartOf

supervisedBy

memberOf

Exemplo de Experimento

Sujeitos (Participantes): estudantes de Computação (graduação e pós-graduação).

Número de participantes: 22

Grupo 1: 12

Grupo 2: 10

59

Exemplo de Experimento

Foram feitas perguntas sobre os modelos:

Que informação pode ser obtida sobre Lisa?

Quais os empregados com maior número de subordinados? Que são eles?

60

Exemplo de Experimento

Questionário via Web, mas preenchido durante uma aula em laboratório.

61

Exemplo de Experimento

Resultados

62

Exemplo de Experimento

63

Notação Genérica Notação Específica

Exemplo de Experimento

Análise: Nem sempre os resultados confirmaram a hipótese.

No geral, a notação específica foi melhor para questões mais objetivas e a notação geral para questões mais subjetivas.

64

Exemplo de Experimento

Ameaças à Validade:

Estudantes de Computação, acostumados a notações genéricas (UML).

Experiência dos participantes.

65

Experimento: Variáveis

É importante identificar a variável independente e as variáveis dependentes.

A variável independente afeta uma ou mais variáveis dependentes.

O objetivo é mostrar que apenas um fator causa um efeito observado. Assim, o pesquisador tenta controlar todas as demais variáveis.

66

Experimento: Meios de Controlar Variáveis

Eliminar o fator do experimento (p.ex., eliminar estudantes com experiência)

Quando não for possível eliminar, manter o fator constante.

Usar seleção randômica de indivíduos.

Garantir que as pessoas não influenciam os resultados devido às suas expectativas.

67

Experimento: Meios de Controlar Variáveis

Usar grupos de controle:

Dois grupos são estabelecidos de modo a igualmente balancear os membros.

Para um deles (o grupo de controle), nenhuma manipulação da variável independente é feita.

Para o outro (o grupo experimental), a variável independente é manipulada.

Resultados são medidos para cada grupo. 68

Experimento: Observações e Medições

Deve haver medição antes (pré-teste) e depois (pós-teste), de modo que as alterações observadas possam ser atribuídas à manipulação da variável independente.

Dados quantitativos são medidos e análises estatísticas são feitas.

69

Experimento: Observações e Medições

É importante definir, antes de realizar o experimento, exatamente o que vai ser medido e que testes estatísticos serão usados para analisar os resultados.

70

Experimento: Validade Interna

Um experimento tem boa validade interna se os valores medidos obtidos são realmente devidos à manipulação da variável independente (e não decorrentes de outro fator).

71

Ameaças Comuns à Validade Interna de um Experimento

Diferenças entre o grupo experimental e o grupo de controle.

Eventos não notados pelos pesquisadores interferem nas observações de pré-teste e pós-teste.

Amadurecimento: características dos participantes mudam entre os testes.

72

Ameaças Comuns à Validade Interna de um Experimento

Instrumento imperfeito usado para medir as variáveis dependentes afetam os resultados.

Alguns participantes sairem do experimento antes do estudo ser completado.

Pessoas podem alterar seu comportamento como uma reação a estarem sendo testadas.

73

Experimento: Validade Externa

Um experimento tem boa validade externa se os resultados não são únicos para um particular conjunto de circunstâncias, mas sim são generalizáveis.

A melhor maneira de demonstrar capacidade de generalização é repetir o experimento muitas vezes, em muitas situações diferentes.

74

Ameaças Comuns à Validade Externa de um Experimento

A principal ameaça à validade externa vem da não representatividade: usar uma amostra de participantes que não seja típica.

Excesso de confiança em tipos especiais de participantes (p.ex., estudantes, voluntários).

Muito poucos participantes.

75

Tipos de Experimento

Experimento verdadeiro: envolve a manipulação de variável independente, medição pré e pós-teste de variáveis dependentes, e controle ou remoção de outras variáveis.

Normalmente conseguido em laboratório, que, por natureza, é uma situação artificial.

76

Tipos de Experimento

Quase-experimento (ou experimento de campo): observa eventos em situações reais.

Em um quase-experimento, frequentemente há variáveis que os pesquisadores não podem controlar e que podem ter causado o efeito observado.

Assim, não podem estabelecer causa e efeito de maneira conclusiva como um experimento verdadeiro.

77

Design de Experimentos

Somente um grupo com pré-teste e pós-teste

Comparação de dois grupos (grupo de controle e grupo experimental) apenas com pós-teste

Dois grupos (experimental e de controle) com pré-teste e pós-teste

78

Experimento: Vantagens

Estratégia bem estabelecida, tida como a mais “científica” e, portanto, é a mais aceitável

É a única estratégia de pesquisa que pode provar relações causais.

Experimentos de laboratório permitem elevados níveis de precisão na medição de resultados e na análise de dados.

79

Experimento: Desvantagens

Em um experimento, o pesquisador tem de divorciar o fenômeno de seu contexto.

Experimentos de laboratório frequentemente criam situações artificiais, não comparáveis a situações reais.

Muitas vezes é difícil ou até impossível controlar todas as variáveis relevantes.

Frequentemente é difícil recrutar uma amostra representativa de participantes.

80

Design Science

Envolve três ciclos intimamente relacionados de atividades (HEVNER, 2007):

Ciclo da Relevância

Ciclo do Design

Ciclo do Rigor

81

Design Science

82

Design Science: Relevância

Refere-se principalmente à:

Motivação para a pesquisa, a qual pode vir de necessidades práticas e/ou de oportunidades de melhoria nas teorias correntes.

Articulação entre a proposta de solução e a motivação, de modo a reforçar as contribuições.

Define o problema a ser tratado, requisitos e critérios de avaliação

83

Design Science: Rigor

Refere-se ao uso e geração de conhecimento.

Está associado a um corpo de conhecimento confiável (teorias, métodos, modelos etc.), o qual é usado para embasar a pesquisa.

Conhecimento gerado na pesquisa é incorporado a esse corpo de conhecimento.

84

Design Science: Design

Refere-se às atividades centrais do processo de pesquisa em direção ao atendimento dos objetivos de pesquisa.

Envolve o desenvolvimento e a avaliação de artefatos ou teorias para resolver o problema de pesquisa.

Leva em consideração aspectos de relevância e rigor.

85

Design Science: Exemplo da Tese de Fabiano Ruy

86

87

Referência

OATES, B.J., Researching Information Systems and Computing, SAGE Publications, 2006.

HEVNER, A.R. A three cycle view of design science research. Scandinavian journal of information systems, 19(2), p.4, 2007.