View
107
Download
0
Category
Preview:
Citation preview
Aula III – Pesquisa empírica com intervenção: questões de validade e generalidade.
Metodologia da Pesquisa em Ensino de Ciências I
• População alvo da pesquisaGrupo de pessoas para as quais queremos que
nossos resultados de pesquisa sejam válidos e aplicáveis;
• AmostraParte da população que escolhemos para ser o
grupo que estudaremos: a amostra é uma parte da população constituída por parte dos sujeitos da população;
• Caso Um elemento de um conjunto de elementos.Importante: caso amostra.
Algumas definições
paulo.rosa@ufms.br 2Curso de Metodologia da Pesquisa – Aula 3
Prof. Paulo RosaCurso de Mestrado em Ensino de Ciências
- UFMS
• Delinear uma pesquisa é estabelecer a forma pela qual a pesquisa será executada.
O que é o delineamento de uma pesquisa?
paulo.rosa@ufms.br 3Curso de Metodologia da Pesquisa – Aula 3
Prof. Paulo RosaCurso de Mestrado em Ensino de Ciências
- UFMS
Delineamento
População
Seleção da amostra ou caso
Forma de coleta de
dados
Forma de análise dos
dados
Cronograma
Tipos de delineamentos
paulo.rosa@ufms.br 4Curso de Metodologia da Pesquisa – Aula 3
Prof. Paulo Rosa Curso de Mestrado em Ensino de Ciências
- UFMS
ExperimentaisNão
Experimentais
QualitativosQuantitativos
Sem controle
de variáveis
Com controle
de variáveis
Análise quantitativ
a dos dados
Análise qualitativa dos dados
Pesquisa Empírica vs Pesquisa Não Empírica
paulo.rosa@ufms.br 5Curso de Metodologia da Pesquisa – Aula 3
Prof. Paulo Rosa Curso de Mestrado em Ensino de Ciências
- UFMS
Pesquisa bibliográfica
Observação participante
Pesquisa não empírica: estudamos o evento a partir de fontes indiretas (relatos, por exemplo).
Pesquisa empírica: vamos a campo, no local onde o evento acontece;
Exe
mplo
de
delin
eam
en
to e
mpírico
Exe
mplo
de
delin
eam
en
to n
ão
em
pírico
Pesquisa Quantitativa vs Pesquisa Qualitativa
paulo.rosa@ufms.br 6Curso de Metodologia da Pesquisa – Aula 3
Prof. Paulo Rosa Curso de Mestrado em Ensino de Ciências
- UFMS
Pesquisas com grupo de controle Pesquisa
participante
Pesquisa qualitativa: técnicas de análise privilegiam a interpretação.
Pesquisa quantitativa: variáveis quantificáveis analisadas usando ferramentas estatísticas
Exe
mplo
de
pesq
uisa
qualita
tiva
Exe
mplo
de
pesq
uisa
quantita
tiva
Pesquisa Experimental vs Pesquisa Não Experimental
paulo.rosa@ufms.br 7Curso de Metodologia da Pesquisa – Aula 3
Prof. Paulo Rosa Curso de Mestrado em Ensino de Ciências
- UFMS
Pesquisas com grupo de controle
Estudo de Caso
Pesquisa não experimental: abdicamos de controlar variáveis
Pesquisa experimental: controle estrito de variáveis
Exe
mplo
de
delin
eam
ent
o n
ão
experim
enta
l
Exe
mplo
de
delin
eam
ent
o
experim
ent
al
Um diagrama: o espaço da pesquisa
paulo.rosa@ufms.br 8Curso de Metodologia da Pesquisa – Aula 3
Prof. Paulo Rosa Curso de Mestrado em Ensino de Ciências
- UFMS
Pesquisa experimental
Pesquisa não experimental
Pesquisa quantitativa
Pesquisa qualitativa
P1P2
P4
P3
Pesquisa não empírica
Pesquisa empírica
paulo.rosa@ufms.br 9Curso de Metodologia da Pesquisa – Aula 3
Prof. Paulo Rosa Curso de Mestrado em Ensino de Ciências
- UFMS
É empírica pois é realizada no local em que o evento ocorre
É experimental pois o pesquisador tenta controlar variáveis
É com intervenção pois o pesquisador altera as condições nas quais os indivíduos vivem.
Pesquisa Empírica
Experimental
É quantitativa quando faz uso de ferramentas da Estatística
Inferencial
É qualitativa quando utiliza
técnicas interpretativas
Pesquisa empírica experimental
• Um pesquisador deseja testar uma nova metodologia de ensino de certo conteúdo: vai usar uma simulação em computador. Então, toma uma turma que vai estudar o conteúdo usando a nova metodologia e outra que terá aulas tradicionais (aula expositiva, por exemplo).
• No final, aplica um teste a ambas as turmas e compara os escores obtidos pelos alunos com base em algum teste estatístico (teste t de Student, por exemplo).
Um exemplo
paulo.rosa@ufms.br 10Curso de Metodologia da Pesquisa – Aula 3
Prof. Paulo Rosa Curso de Mestrado em Ensino de Ciências
- UFMS
• O pesquisador tenta controlar as variáveis de modo que apenas uma seja modificada (o método de ensino);
• O pesquisador intervém na realidade ao introduzir uma nova metodologia;
• O pesquisador trabalha com duas amostras da população;
• O pesquisador utiliza ferramentas da estatística para analisar a influência do método escolhido.
Características dessa pesquisa
paulo.rosa@ufms.br 11Curso de Metodologia da Pesquisa – Aula 3
Prof. Paulo Rosa Curso de Mestrado em Ensino de Ciências
- UFMS
• Validade está ligada à seguinte pergunta: até que ponto a pesquisa é válida, ou seja, os resultados da pesquisa podem ser generalizados para toda a população?
• Fidedignidade está relacionada com a seguinte questão: se repetida sob as mesmas condições a pesquisa ainda daria os mesmos resultados?
Questões de validade e fidedignidade
paulo.rosa@ufms.br 12Curso de Metodologia da Pesquisa – Aula 3
Prof. Paulo Rosa Curso de Mestrado em Ensino de Ciências
- UFMS
paulo.rosa@ufms.br 13Curso de Metodologia da Pesquisa – Aula 3
Prof. Paulo Rosa Curso de Mestrado em Ensino de Ciências
- UFMS
Fatores que afetam a fidedignidade
Validade Interna
HistóriaTestagem
Maturação
Seleção
Mortalidade
Instrumentação
Interação entre
múltiplos fatores
Regressão
Validade da pesquisa
paulo.rosa@ufms.br 14Curso de Metodologia da Pesquisa – Aula 3
Prof. Paulo Rosa Curso de Mestrado em Ensino de Ciências
- UFMS
A validade da pesquisa tem a ver com duas questões:O resultado da pesquisa é generalizável?A pesquisa e seus instrumentos avaliam o que pretendem
avaliar?
Validade de um experimento
• Fatores de validade são aqueles que influenciam um experimento, limitando as asserções de conhecimento que podem ser feitas ou o grau de generalização obtido.
Fatores de validade interna
Fatores de validade externa
Curso de Metodologia da Pesquisa – Aula 3
Prof. Paulo Rosa Curso de Mestrado em Ensino de Ciências
- UFMS
paulo.rosa@ufms.br 15
Validade externa- tipologia
• Validade de População
• Validade Ecológica
Curso de Metodologia da Pesquisa – Aula 3
Prof. Paulo Rosa Curso de Mestrado em Ensino de Ciências
- UFMS
paulo.rosa@ufms.br 16
Validade de população
• Falamos de Validade de População quando lidamos com fatores ligados à generalização dos resultados a populações de sujeitos, das quais a amostra foi retirada. (Que tipo de sujeito pode ser esperado comportar-se do mesmo modo como o fez a amostra experimental?)
Curso de Metodologia da Pesquisa – Aula 3
Prof. Paulo Rosa Curso de Mestrado em Ensino de Ciências
- UFMS
paulo.rosa@ufms.br 17
População experimentalmente acessível vs. população alvo
A generalização da população de sujeitos que é disponível ao experimentador (a população acessível) para uma população de sujeitos sobre a qual ele está interessado (a população alvo) exige um conhecimento detalhado das características de ambas. Os resultados de um experimento podem aplicar-se somente para aqueles tipos especiais de pessoas das quais os sujeitos pertencentes ao grupo experimental foram selecionados e não a uma população qualquer.
Curso de Metodologia da Pesquisa – Aula 3
Prof. Paulo Rosa Curso de Mestrado em Ensino de Ciências
- UFMS
paulo.rosa@ufms.br 18
Interação de variáveis pessoais e efeitos do tratamento
Se a superioridade de um tratamento experimental sobre outro puder ser revertida quando sujeitos em diferentes níveis de alguma variável descritiva forem expostos ao tratamento, então existe uma interação dos efeitos do tratamento com variáveis de caráter pessoal.
Curso de Metodologia da Pesquisa – Aula 3
Prof. Paulo Rosa Curso de Mestrado em Ensino de Ciências
- UFMS
paulo.rosa@ufms.br 19
Validade Ecológica
Este tipo de validade lida com variáveis ligadas ao ambiente do experimento. Sobre quais condições, isto é, parâmetros, tratamentos, experimentadores, variáveis dependentes, etc., podem os mesmos resultados ser esperados?
Curso de Metodologia da Pesquisa – Aula 3
Prof. Paulo Rosa Curso de Mestrado em Ensino de Ciências
- UFMS
paulo.rosa@ufms.br 20
Descrição explícita da variável independente
A generalização e repetição do experimento e seus resultados pressupõe um conhecimento completo de todos os aspectos do tratamento e condições experimentais.
Curso de Metodologia da Pesquisa – Aula 3
Prof. Paulo Rosa Curso de Mestrado em Ensino de Ciências
- UFMS
paulo.rosa@ufms.br 21
Interferência de múltiplos tratamentos
Quando dois ou mais tratamentos são administrados consecutivamente às mesmas pessoas dentro do mesmo ou de diferentes estudos, é difícil, se não mesmo impossível algumas vezes, identificar as causas dos resultados experimentais ou generalizar os resultados a condições nas quais somente um dos tratamentos está presente.
Curso de Metodologia da Pesquisa – Aula 3
Prof. Paulo Rosa Curso de Mestrado em Ensino de Ciências
- UFMS
paulo.rosa@ufms.br 22
Interação sujeito – experimento (Efeito Hawthorne)
O comportamento do sujeito pode ser influenciado parcialmente por sua percepção do experimento e de como ele poderia responder aos estímulos experimentais. Sua consciência de participação em um experimento pode precipitar comportamentos os quais não ocorreriam em condições não percebidas como experimentais.
Curso de Metodologia da Pesquisa – Aula 3
Prof. Paulo Rosa Curso de Mestrado em Ensino de Ciências
- UFMS
paulo.rosa@ufms.br 23
Fatores novidade e mudança
Os resultados experimentais podem ser parcialmente devidos ao entusiasmo ou quebra da rotina gerados pela novidade do tratamento. O efeito de algum programa novo em condições onde variações são comuns pode ser muito diferente do efeito em condições onde muito poucas variações são experimentadas.
Curso de Metodologia da Pesquisa – Aula 3
Prof. Paulo Rosa Curso de Mestrado em Ensino de Ciências
- UFMS
paulo.rosa@ufms.br 24
Influência do experimentadorO comportamento dos sujeitos pode ser influenciado não
intencionalmente por certas características ou comportamentos do experimentador. As expectativas do experimentador podem também influenciar a aplicação do tratamento e as observações do comportamento dos sujeitos.
Curso de Metodologia da Pesquisa – Aula 3
Prof. Paulo Rosa Curso de Mestrado em Ensino de Ciências
- UFMS
paulo.rosa@ufms.br 25
Sensibilização devido ao pré-teste
• Quando um pré-teste foi administrado, os resultados experimentais podem parcialmente ser resultado da sensibilização ao conteúdo do tratamento. Os resultados do experimento podem não ser aplicáveis a um segundo grupo de sujeitos que não foram pré-testados.
Curso de Metodologia da Pesquisa – Aula 3
Prof. Paulo Rosa Curso de Mestrado em Ensino de Ciências
- UFMS
paulo.rosa@ufms.br 26
Sensibilização devido ao pós-testeEfeitos do tratamento podem ser latentes ou
incompletos e aparecer somente quando um teste pós-experimental for aplicado. O pós-teste pode clarear alguns pontos.
Curso de Metodologia da Pesquisa – Aula 3
Prof. Paulo Rosa Curso de Mestrado em Ensino de Ciências
- UFMS
paulo.rosa@ufms.br 27
Interação entre História e Tratamento
Os resultados podem ser unicamente devidos a eventos estranhos ao tratamento que ocorreram paralelamente à aplicação do mesmo.
Curso de Metodologia da Pesquisa – Aula 3
Prof. Paulo Rosa Curso de Mestrado em Ensino de Ciências
- UFMS
paulo.rosa@ufms.br 28
Curso de Metodologia da Pesquisa – Aula 3 Prof. Paulo Rosa Curso de Mestrado em Ensino de Ciências - UFMS
Medidas da variável dependente
A generalização dos resultados depende da clara identificação das variáveis dependentes e da seleção dos instrumentos para medir estas variáveis.
paulo.rosa@ufms.br 29
Interação entre o tempo de medida e o tratamento
Medidas da variável dependente em dois instantes de tempo diferentes podem produzir resultados diferentes. Certo efeito do tratamento observado imediatamente após sua aplicação pode não ser observado algum tempo depois, e vice-versa.
Curso de Metodologia da Pesquisa – Aula 3
Prof. Paulo Rosa Curso de Mestrado em Ensino de Ciências
- UFMS
paulo.rosa@ufms.br 30
Interação entre a seleção e o tratamento
Se estivéssemos conduzindo um experimento dentro de uma escola específica, usando distribuição aleatória dos sujeitos entre os grupos experimental e de controle, poderíamos não nos preocupar muito com o efeito principal: a própria escola. Se, por outro lado, existissem características da escola que influenciassem o tratamento experimental de modo que esse fosse mais ou menos efetivo do que o seria quando aplicado em outra população alvo pertencente a outra escola, isto poderia ser um problema sério para a generalização dos resultados obtidos.
Curso de Metodologia da Pesquisa – Aula 3
Prof. Paulo Rosa Curso de Mestrado em Ensino de Ciências
- UFMS
paulo.rosa@ufms.br 31
Interação entre a instrumentação e o tratamento
São aqueles efeitos associados à influência da instrumentação de medida sobre os resultados do tratamento. Por exemplo, a análise de uma entrevista clínica sabendo-se se o sujeito era do grupo experimental ou de controle.
Curso de Metodologia da Pesquisa – Aula 3
Prof. Paulo Rosa Curso de Mestrado em Ensino de Ciências
- UFMS
paulo.rosa@ufms.br 32
Interações estatísticasInterações estatísticas não são aquelas entre indivíduos ou grupos, mas são aquelas entre variáveis independentes. Questões sobre a generalidade dos resultados podem ser vistas como questões sobre os efeitos de interação. Por exemplo, a presença de interação entre o tratamento (isto é, a variável independente primária) e o que o experimentador espera como resultado do tratamento é evidência de falta de possibilidade de generalização do estudo. Validade externa exige a ausência de interações entre a principal variável independente do estudo e as condições de pesquisa na variável dependente.Curso de Metodologia da Pesquisa – Aula
3 Prof. Paulo Rosa
Curso de Mestrado em Ensino de Ciências - UFMS
paulo.rosa@ufms.br 33
Formas de validar externamente um experimento
Pela validação dos instrumentos usados para obter os dados.
Curso de Metodologia da Pesquisa – Aula 3
Prof. Paulo Rosa Curso de Mestrado em Ensino de Ciências
- UFMS
paulo.rosa@ufms.br 34
Validade de conteúdo
Um instrumento tem validade de conteúdo na medida em que se constitui em uma amostra representativa do conteúdo (conhecimentos e comportamentos) do que está sendo medido. É também chamada validade curricular, amostral ou lógica. Não é determinada estatisticamente, mas resulta do julgamento de diferentes examinadores que analisam a representatividade dos itens em relação às áreas de conteúdo e à relevância dos objetivos a medir.
Curso de Metodologia da Pesquisa – Aula 3
Prof. Paulo Rosa Curso de Mestrado em Ensino de Ciências
- UFMS
paulo.rosa@ufms.br 35
Validade concorrente
Um instrumento apresenta esse tipo de validade quando os resultados de sua aplicação se correlacionam com os de outro instrumento já validado e que mede a mesma coisa. É o mesmo que validade congruente.
Curso de Metodologia da Pesquisa – Aula 3
Prof. Paulo Rosa Curso de Mestrado em Ensino de Ciências
- UFMS
paulo.rosa@ufms.br 36
Validade preditiva
Se o instrumento tem esse tipo de validade isso significa que o pesquisador usou resultados obtidos com esse instrumento para fazer predições sobre o comportamento futuro dos respondentes e essas predições foram confirmadas. Ou seja, há uma alta correlação entre os escores do teste cuja validade se está argumentando e os escores no desempenho futuro, segundo algum critério, obtido independentemente. É também conhecida como validade empírica ou relativa ao critério.
Curso de Metodologia da Pesquisa – Aula 3
Prof. Paulo Rosa Curso de Mestrado em Ensino de Ciências
- UFMS
paulo.rosa@ufms.br 37
Curso de Metodologia da Pesquisa – Aula 3 Prof. Paulo Rosa Curso de Mestrado em Ensino de Ciências - UFMS
Uma análise sobre o rigor da pesquisa em Educação pode ser encontrada em André, M. Pesquisa em Educação: buscando rigor e qualidade. Cadernos de Pesquisa 113, 2001. p:51-64.
Um texto que faz uma comparação entre pesquisa qualitativa e pesquisa quantitativa é o texto de Portela, G. L. Abordagens teórico-metodológicas: Pesquisa quantitativa ou qualitativa ? Eis a questão.
Outro texto que aborda a comparação entre pesquisa qualitativa e pesquisa quantitativa é o texto: Dias, C. Pesquisa Qualitativa: características gerais e referências.
Sugestões de leitura (os textos podem ser encontrados na área Textos de Apoio)
paulo.rosa@ufms.br 38
Curso de Metodologia da Pesquisa – Aula 3 Prof. Paulo Rosa Curso de Mestrado em Ensino de Ciências - UFMS
paulo.rosa@ufms.br 39
Fim da aula 3
Curso de Metodologia da Pesquisa – Aula 3 Prof. Paulo Rosa Curso de Mestrado em Ensino de Ciências - UFMS
Fatos que acontecem durante o experimento podem influenciar os resultados obtidos.
História
paulo.rosa@ufms.br 40
As pessoas envolvidas procurarão informações sobre astronomia, a mídia irá tratar do assunto, as pessoas conversarão sobre o evento.Qual, então, o efeito real do novo método sobre a aprendizagem de astronomia? Volta
r
Exemplo:Durante uma pesquisa sobre um novo método para ensinar astronomia ocorre um evento astronômico importante
Curso de Metodologia da Pesquisa – Aula 3 Prof. Paulo Rosa Curso de Mestrado em Ensino de Ciências - UFMS
O teste usado pode afetar o desempenho dos sujeitos pesquisados posteriormente.
Testagem
paulo.rosa@ufms.br 41
As meninas podem ter sua curiosidade despertada e procurarem informação sobre o assunto.Qual, então, o efeito real do novo método sobre a aprendizagem de métodos anticoncepcionais?
Voltar
Exemplo:Durante uma pesquisa sobre um novo método para ensinar métodos anticoncepcionais a adolescentes um teste é aplicado para saber o que meninas de 14 anos sabem sobre sexo.
Curso de Metodologia da Pesquisa – Aula 3 Prof. Paulo Rosa Curso de Mestrado em Ensino de Ciências - UFMS
O grupo sujeito da pesquisa é selecionado por ser extremo em algum teste (grupo superior ou inferior).
Regressão
paulo.rosa@ufms.br 42
A média do grupo em um teste convergirá para a média da população, independente do efeito da nova metodologia.Qual, então, o efeito real do novo método sobre a aprendizagem de conceitos em Química?
Voltar
Exemplo:Alunos são selecionados para participarem de uma nova metodologia de recuperação de alunos com problemas de aprendizagem em Química.
Curso de Metodologia da Pesquisa – Aula 3 Prof. Paulo Rosa Curso de Mestrado em Ensino de Ciências - UFMS
Os testes usados não são adequados ou equivalentes.
Instrumentação
paulo.rosa@ufms.br 43
Os dois testes podem medem variáveis diferentes. Qual ,então, o efeito real do novo método sobre a percepção ambiental? Se os testes mostrarem que após o curso com a nova metodologia, será que eles estão medindo as mesmas coisas? Volta
r
Exemplo:Dois testes são aplicados, um antes outro depois de um curso baseado em uma nova metodologia para despertar a percepção ambiental de um grupo de alunos. O primeiro é um teste escrito e o segundo de múltipla escolha.
Ocorre abandono de participantes da pesquisa, causando viés nos resultados.
Mortalidade
paulo.rosa@ufms.br 44Curso de Metodologia da Pesquisa – Aula 3 Prof. Paulo Rosa Curso de
Mestrado em Ensino de Ciências - UFMS
Ao aplicarmos um outro teste no final estaremos apenas com alunos que foram mal no teste inicial. A tendência é obtermos um resultado com viés pela ausência dos alunos que foram melhor classificados no primeiro teste.
Voltar
Exemplo:Em uma pesquisa, os alunos melhor classificados em algum teste abandonam a pesquisa.
O grupo da pesquisa é selecionado com alguma característica que influencia a pesquisa.
Seleção
paulo.rosa@ufms.br 45Curso de Metodologia da Pesquisa – Aula 3 Prof. Paulo Rosa Curso de
Mestrado em Ensino de Ciências - UFMS
O resultado é influenciado pelo fato de que os alunos já são pessoas predispostas a comer peixe.
Voltar
Exemplo:Em uma pesquisa sobre um novo método para ensinar os alunos a comerem mais peixe o grupo escolhido é formado por filhos de pescadores de Corumbá.
O grupo da pesquisa “envelhece” ao longo da pesquisa.
Maturação
paulo.rosa@ufms.br 46Curso de Metodologia da Pesquisa – Aula 3 Prof. Paulo Rosa Curso de
Mestrado em Ensino de Ciências - UFMS
O resultado é influenciado pelo fato de que as meninas menstruam ao longo do estudo. Este fato pode influenciar a maneira como elas lidam com a própria sexualidade.
Voltar
Exemplo:Em uma pesquisa é estudado um novo método para ensinar as meninas cuidados anticoncepcionais.
Todos fatores anteriores podem atuar conjuntamente para mascarar os resultados da pesquisa.
Interação entre múltiplos fatores
paulo.rosa@ufms.br 47Curso de Metodologia da Pesquisa – Aula 3 Prof. Paulo Rosa Curso de
Mestrado em Ensino de Ciências - UFMS
Fatores de seleção e maturação podem interagir e mascarar o resultado da pesquisa.
Voltar
Exemplo:Em uma pesquisa é estudado um novo método para ensinar as meninas cuidados anticoncepcionais são selecionadas alunas de uma escola que já engravidaram. A pesquisa é desenvolvida durante dois anos.
Recommended