Upload
doankhanh
View
223
Download
1
Embed Size (px)
Citation preview
1
PARÁMETROS,CRITERIOS,INDICADORESY/OCUESTIONAMIENTOSPARAEVALUARLACALIDADDE
UNAINVESTIGACIÓN
INTRODUCCIÓN
Talcomoloseñalamosenelcapítuloanterior:noexistelainvestigaciónperfecta,como
tampocohayunserhumanoperfecto(laperfecciónconstituyeunestándarideal).Por
tanto,encualquierestudiosiempretendremoslimitaciones.Enlarealidadeslocomún
yresultaimposibleevitarlascienporciento.
Sin embargo, ¿hasta dónde podemos decir que un estudio es razonablemente
dignodeserconsiderado?,¿quéelementosdebemostomarencuentaparaevaluaruna
investigación?Lasrespuestasaestaspreguntassoncomplejasyexistenvarioscriterios
quesehangeneradoparaanalizarlacalidaddeunestudio,peroactualmentenoexiste
un consenso general ni un acuerdo definitivo entre los autores sobre cuáles deben
contemplarse.Porello,acontinuaciónpresentamoscincolistadosdetaleselementos.El
primeroaplica fundamentalmente a investigaciones cuantitativasy se generódurante
1995a2009porprofesoresqueenseñanmetodologíadelainvestigaciónendiferentes
universidadesiberoamericanas,yalgunosdesuscriteriossehanincluidoenlapágina
CAPÍTULO
10
2
webomanualesdel instructorenedicionesanterioresaestaobra (Metodologíade la
investigación,5ªedición).Elsegundo,tambiénbásicamenteparaestudioscuantitativos,
fue una adecuación sobre el trabajo de Fischer (2005). El tercero, más bien para
indagaciones cuantitativas, constituye una adaptación de diferentes autores en la
materia. El cuarto es propio para investigaciones cualitativas y es producto de las
aportacionesdediversosmetodólogos.Finalmente,elquintoesunaprimerapropuesta
(muy tentativa) para evaluar investigaciones mixtas y se cimienta en Hernández
Sampieri yMendoza (2008), Onwuegbuzie y Johnson (2008) y Tashakkori y Teddlie
(2008b),asícomoTeddlieyTashakkori(2009).Loslistadospuedenserviramaneradesistemadeverificación(checklist).Incluso,
cadalectorpodráelegirde losdistintos listados loscriteriosqueconsideraapliquena
suestudio.
Investigacióncuantitativa
Tabla10.1Primerlistadoderubrosyfactores
paraevaluarunainvestigacióncuantitativa1
Aplica principalmente a estudios cuantitativos y cabe señalar que cada elemento de
cualquierrubrosecalificadelceroaldiez,donde0implicaríaelvalormásbajoy10el
másalto.
Rubro:planteamientodelproblema.
Rango:máximo70,mínimocero.
Elemento,indicadorofactor Escala2
1. Comprensióndelaredaccióndelosobjetivosdeinvestigación
2. Comprensión de la redacción de las preguntas deinvestigación
3. Precisióndeobjetivos
4. Delimitacióndelproblemadeinvestigación
1 Este listado fue producto de presentaciones que los autores han realizado enmás de 25 países y porcuestiones de espacio resultaría sumamente difícil incluir a todos los docentes e investigadores que hanaportadofactoresoelementos.Seutilizancalificandocadaunoenunaescaladelceroal10.2Recordemos:delceroal10,dondeceroimplicaríaelvalormásbajoy10elmásalto.
3
5. Concordanciaentreobjetivosypreguntasdeinvestigación
6. Justificación de la investigación por al menos dos razones(desarrollodeconocimiento,aportacionesateorías,soluciónde situaciones prácticas o problemáticas sociales, resolucióndecontroversias,aportacionesmetodológicas,etcétera)
7. Inclusióndedatosestadísticosválidosyactuales,asícomodetestimonios de expertos confiables que contribuyan aenmarcarelproblemayjustificarlo
Rubro:revisióndelaliteraturaomarcoteórico.
Rango:máximo80,mínimocero.
Elemento,indicadorofactor Escala
1. Revisión de autores destacados en el campo o campos deconocimiento en los cuales se inserta el problema deinvestigación
2. Inclusión de una o más revisiones del estado del arte y/ometaanálisisendichocampoocampos
3. Utilización de bancos de datos o bibliográficos másimportantes en las áreas de conocimiento abarcadas por elproblemadeinvestigación(porlomenosunoydeserposiblelostresmásimportantes)
4. Insercióndereferenciasrecientes(dosomenosaños)
5. Presentación de estudios que apoyan las hipótesis deinvestigaciónydelosquelasrefutan(sieselcaso)
6. Vinculaciónlogradaentreelplanteamientoylarevisióndelaliteraturaomarcoteórico
7. Ubicación en la literatura de las deficiencias o huecos deconocimientorespectoalplanteamientodelproblema
8. Revisióndelplanteamientodelproblemaaraízdelarevisióndelaliteratura
Rubro:alcance(s)delainvestigación.
Rango:máximo20,mínimocero.
Elemento,indicadorofactor Escala1. Identificación del alcance inicial del estudio (exploratorio,
descriptivo,correlacionaly/oexplicativo)
2. Congruencia entre el alcance inicial y el planteamiento delproblemarevisadoalaluzdelarevisióndelaliteratura
4
Rubro:hipótesis.
Rango:máximo90,mínimocero.
Elemento,indicadorofactor Escala1. Grado en que la(s) hipótesis sea(n) comprensible(s) para
otroscolegasolectores
2. Grado en que la relación planteada entre las variables sealógica
3. Grado en que la relación planteada entre las variables seaconsistente(ocongruente)
4. Precisióndelasdefinicionesconceptuales 5. Grado en que las definiciones conceptuales son
comprensiblesparaotroscolegasolectores
6. Precisióndelasdefinicionesoperacionales 7. Grado en que las definiciones operacionales son
comprensiblesparaotroscolegasolectores
8. Congruenciadelashipótesisconlosobjetivosypreguntasdeinvestigación.
9. Identificación de variables susceptibles de medir, evaluar,diagnosticary/oanalizar
Rubro:diseñodeinvestigación.
Rango:máximo70,mínimocero.
Elemento,indicadorofactor Escala1. Adecuacióndeldiseñodeinvestigaciónalplanteamientodel
problema
2. Adecuación del diseño de investigación a la realidad ycontexto
3. Congruenciadeldiseñoconla(s)hipótesis 4. Congruenciadeldiseñoconelalcanceinicial 5. Factibilidaddeaplicacióndeldiseño 6. Resolucióndeobstáculosqueplanteeeldiseño 7. Controldelasfuentesquepuedaninvalidarlaaplicacióndel
diseño
Rubro:muestra.
Rango:máximo70,mínimocero.
Elemento,indicadorofactor Escala1. Precisiónconquesedelimiteeluniversodeestudio 2. Claridad y precisión con las cuales se defina la unidad de
muestreo
3. Claridadyprecisiónconquesedefinalamuestra 4. Gradoenquelamuestraesadecuadaalenfoquedelestudio 5. Gradoenqueseconocelaprobabilidaddeloselementosdel
5
universoparaformarpartedelamuestra6. Grado en que la muestra es representativa del universo
(tamañoyniveldeconfianza‐error)
7. Grado de semejanza entre las estadísticas descriptivas (ydistribuciones)delasvariablesdemográficasdelamuestraylasdeluniverso(género,edad,ocupación,estadocivil,nivelsocioeconómico,etcétera)Aplicasólosi sedisponede talesestadísticasdeluniversoopoblación.
Rubro:recoleccióndelosdatos.
Rango:máximo150,mínimocero.
Elemento,indicadorofactor Escala1. Elección apropiada del lugar de recolección de los datos u
obtencióndeinformación
2. Elecciónapropiadadelmomentoderecoleccióndelosdatosuobtencióndeinformación
3. Capacidad del investigador para adaptarse al momento derecoleccióndelosdatosuobtencióndeinformación
4. Capacidad del investigador para adaptarse al lugar derecoleccióndelosdatosuobtencióndeinformación
5. Explicacióndelcontextoenqueocurriólarecolección 6. Capacitaciónadecuadadelpersonalqueobtuvo losdatoso
lainformación
7. Grado de supervisión por parte del investigador en larecoleccióndelosdatosoinformación
8. Poder de medición o evaluación (en gran medidadeterminadoporlautilizacióndedistintasformasométodosdeevaluaciónomedición)
9. Confiabilidaddelinstrumentooinstrumentos Un punto por cada 10décimas del coeficiente deconfiabilidadocorrelación
10. Evidenciasobrelavalidezdecontenidodelinstrumentooinstrumentos(muestreodedimensiones)
11. Evidencia sobre la validez de “rostro” o “de cara” delinstrumento(facevalidity)(revisióndeexpertos)
12. Evidencia sobre la validez de criterio (ya sea concurrente opredictiva)
13. Evidenciasobrelavalidezdeconstructo 14. Evidenciasobrelavalidezconvergente‐discriminante(quese
vinculaconlavalidezdeconstructo)
15. Elaboracióndeunabitácoradelprocesoderecoleccióndelainformación(opcionalymuyvinculadoalquintoelementoocriterio: explicación del contexto en que ocurrió larecolección)
6
Rubro:preparacióndelosdatosoinformaciónparasuanálisis.
Rango:máximo50,mínimocero.
Elemento,indicadorofactor Escala1. Revisiónconrespectoasiestáncompletasydeacuerdocon
lo programado: las respuestas, mediciones, ejemplares delinstrumentodemediciónoequivalentesdelainvestigación
2. Número de errores en la codificación (hoy en día debe sernuloonosuperar1%,yaquealanalizar losdatospodemosidentificarlos)
3. Existencia de un respaldo para los datos codificados en lamatriz
4. Preparación adecuada de la información para su análisis oevaluación
5. Posibilidaddequelainformaciónolosdatosseananalizadosoevaluadosporotrosinvestigadores
Rubro:análisisdelosdatos.
Rango:máximo90,mínimocero.
Elemento,indicadorofactor Escala1. Congruencia de los análisis elegidos con los objetivos y
preguntasdelainvestigación
2. Congruencia de los análisis elegidos con las hipótesis de lainvestigación
3. Congruenciadelosanálisisconeldiseñodeinvestigación 4. Aplicacióncompletadelosanálisisrequeridosparalosdatos 5. Utilización de un paquete o programa computacional
confiableparalosanálisisoevaluaciones
6. Descripciónde las razonespor las cuales se llevarona cabolosanálisisolasevaluacionespracticadas
7. Interpretaciónadecuadadelasestadísticasdescriptivas 8. Interpretación adecuada de los análisis para la prueba de
hipótesis (resultados de las pruebas, valores y significanciaestadística)
9. Integración adecuada entre distintos análisis (coherencia yvinculaciónentreresultados)
Rubro:veracidadenlainterpretaciónderesultados.
Rango:máximo60,mínimocero.
Elemento,indicadorofactor Escala1. Presentacióndelosresultadosobtenidostalcomosedieron
(evitar ocultar información y no distorsionar los datos nipresentarparcialmentelosresultados)
7
2. Grado en que se distinguen con claridad cuáles fueron lasinterpretacioneseinferenciasdelinvestigador
3. Gradoenquelosresultadosestánapoyadosporlaevidenciadelosdatosyanálisis
4. Medida en que se pueden generalizar a la población losresultadosobtenidosenlamuestra
5. Gradoenquelainformaciónylosdatossonsuficientesparaconsiderarquelasinferenciasresultansólidas.
6. Gradoenqueserespetaronlaspremisasorequisitosdecadapruebaométodoestadístico.
Rubro:discusión.
Rango:máximo90,mínimocero.
Elemento,indicadorofactor Escala1. Inclusióndeunresumendelosresultadosgeneralescomoun
“todo”(holísticamente)
2. Pertinenciadelasinferenciasfinales 3. Inclusióndeconclusiones 4. Inclusióndesugerenciasyrecomendaciones 5. Inclusióndeaportaciones,alcancesyfortalezasdelestudio 6. Ubicación final de la investigación dentro del ámbito del
estudiodelplanteamientodelproblema
7. Inclusióndelaslimitacionesdelaindagación 8. Inclusióndenuevosrumbosydirectricesquedebentomarse
o seguirse respecto a la investigación sobre el problema ehipótesisplanteadas
9. Sugerenciadenuevaslíneasdeinvestigación
Rubro:redaccióndeldocumentofinaloreportederesultados.
Rango:máximo110,mínimocero.
Elemento,indicadorofactor Escala1. Gradoenquelosresultadosydescubrimientosrespondieron
alplanteamientodelproblema
2. Gradoenquelasconclusionesestánsoportadasenlosdatos 3. Gradoenque ladiscusiónal finaldel trabajoescongruente
conlosresultadosydescubrimientos
4. Ortografía 5. Sintaxis 6. Claridadenlaredacción 7. Coherenciainternadeldocumento 8. Inclusióndeíndicesotablasdecontenidos 9. Inclusiónderesumen 10. Elaboración adecuada de citas y referencias en el texto
(siguiendo un estilo aceptado de publicación, por ejemplo:
8
APA,Chicago…)11. Elaboraciónadecuadadecitasyreferenciasenlabibliografía
o listado de referencias (siguiendo un estilo aceptado depublicación,porejemplo:APA,Chicago…)
Rubro:diseñográficodelreporte(elementosdeseables).
Rango:máximo60,mínimocero.
Elemento,indicadorofactor Escala1. Selección e inclusión apropiada de tablas, esquemas,
gráficos,dibujoseimágenes
2. Inclusión de tablas, cuadros y figuras de acuerdo con unestiloaceptadodepublicación(porejemplo:APA,Chicago…)
3. Calidaddeesquemas,gráficos,dibujoseimágenes 4. Diseño de la portada de acuerdo con lineamientos
institucionales
5. Diferenciaciónclaraentreapartados 6. Calidad de impresión de acuerdo con los lineamientos
solicitados por la institución en que se presenta el reporte(papel,encuadernación,entreotros)
Un rubro adicional que tal vezno se aplique a todos los estudios, peroquehan
solicitadoinstitucioneseducativasenPuertoRico,PanamáyBolivia,eselsiguiente.
Rubro:inclusiónodesarrollodemodelosypatrones.
Rango:máximo30,mínimocero.
Elemento,indicadorofactor Escala
1. Utilización de un modelo, patrón, teoría o enfoque a lo
largodelainvestigación
2. Generacióndeunoovariosmodelos,patrones,enfoqueso
teoríascomoproductodelainvestigación
3. Comparación del modelo, patrón o teoría con otros(as)
desarrollados(as)pordistintosinvestigadores
9
Investigacióncuantitativa
Tabla10.2Segundolistadoderubrosyfactores
paraevaluarunainvestigacióncuantitativa3
Cadaelementodecualquierrubrodeeste listadosecalificaalestiloLikertdelceroal
cuatro(Fischer,2005),perolohemosadaptadodelunoalcinco(elvalormásbajoesel
unoyelmásaltoelcinco),aunquepodríatambiénconsiderarsedelceroalcincoodel
ceroal10. Insistimosenquealgunoselementosocriteriospuedensersimilareso los
mismosdelprimerlistado.
Criteriosrelativosalplanteamientodelproblemayrevisióndelaliteratura.
Número Criterio Escala*
1. Adecuacióndelarevisióndelaliteratura 1 2 3 4 5
2. Claridaddelaidea 1 2 3 4 5
Claridaddelplanteamientodelproblema
(objetivos)
1 2 3 4 5
3. Claridaddelplanteamientodelproblema
(preguntas)
1 2 3 4 5
4. Claridaddelplanteamientodelproblema
(justificación)
1 2 3 4 5
5. Claridadenlaformulacióndehipótesis 1 2 3 4 5
6. Claridadenlaespecificacióndelasvariables 1 2 3 4 5
7. Claridadenlasdefinicionesconceptualesdelas
variables
1 2 3 4 5
8. Claridadenlasdefinicionesoperacionalesdelas
variables
1 2 3 4 5
9. Sensatezenlasuposiciónderelacionesentrelas
variables
1 2 3 4 5
10. Inclusióndetodaslasvariablespertinentesde 1 2 3 4 5
3 Adaptado de Fischer (2005, p. 387‐398). Se agregaron diversos elementos a la lista original,particularmentedespuésdeunavisitaalaUniversidadCatólicadeCostaRicayalaFacultaddePedagogíadelaUniversidadVeracruzana.*Recordar:elvalormásbajoeselunoyelmásaltoelcinco.
10
acuerdoconelplanteamientodelproblema
11. Transparenciaenlospatrociniosdela
investigación
1 2 3 4 5
12. Sensatezdelassuposicionesypremisasdel
investigador
1 2 3 4 5
13. Claridadenlaorientacióndelinvestigador 1 2 3 4 5
Enexperimentosyestudioscausales,cabríaagregarlosdossiguientescriterios:
14. Claridadenlaespecificacióndela(s)variable(s)
independiente(s)ydependiente(s)
1 2 3 4 5
15. Claridadenlaformulacióndehipótesisrivales 1 2 3 4 5
Criteriosrelativosalmétodo.
Número Criterio Escala
1. Convenienciadelasmedicionesenrelaciónconel
planteamientodelproblema
1 2 3 4 5
2. Convenienciadelasmedicionesenrelaciónconlosobjetos,
personas,casosoequivalentesdelainvestigación
1 2 3 4 5
3. Gradodeconfiabilidaddelasmediciones 1 2 3 4 5
4. Cantidaddeevidenciasobrelavalidezdecontenidodelas
medicionesrealizadas
1 2 3 4 5
5. Gradodevalidez“encarada”(facevalidity) 1 2 3 4 5
6. Cantidaddeevidenciasobrelavalidezdecriteriodelas
medicionesrealizadas
1 2 3 4 5
7. Cantidaddeevidenciasobrelavalidezdeconstructodelas
medicionesrealizadas
1 2 3 4 5
8. Gradodeutilizacióndediferentesinstrumentospara
recolectardatos
1 2 3 4 5
9. Claridadacercadecómoserecolectaronlosdatos 1 2 3 4 5
10. Claridadrespectodequiénoquiénesrecolectaronlosdatos 1 2 3 4 5
11. Gradoenqueseevitaronerroresenlarecoleccióndelosdatos 1 2 3 4 5
12. Claridadenelplanteamientodeldiseñodeinvestigación 1 2 3 4 5
13. Adecuacióndeldiseñoalplanteamiento 1 2 3 4 5
11
14. Precisiónenladefinicióndeluniverso 1 2 3 4 5
15. Adecuacióndeltamañodemuestraalplanteamiento 1 2 3 4 5
16. Gradodeconocimientodelaprobabilidadquetienenlos
casosdeluniversoopoblacióndeserseleccionadospara
conformarlamuestra(procedimientodemuestreo)
1 2 3 4 5
17. Representatividaddelamuestra 1 2 3 4 5
18. Gradoenquelasestadísticasdemográficasdelamuestrase
parecenalasdeluniversoopoblación
1 2 3 4 5
19. Gradodeconfiabilidadenlacodificación 1 2 3 4 5
20. Gradodeconfiabilidadenlarevisióndelamatrizdelosdatos 1 2 3 4 5
21. Encuestionarios‐escalas‐pruebasestandarizadasy
equivalentes:claridaddeinstrucciones
1 2 3 4 5
22. Encuestionarios‐escalas‐pruebasestandarizadasy
equivalentes:claridaddelformato
1 2 3 4 5
23. Enanálisisdelcontenido:claridaddelsistemadecodificación 1 2 3 4 5
Enexperimentos,cabríaagregar:
24. Claridadenlaespecificacióndeloscambiosdeseados 1 23 4 5
25. Gradodecontroldelasfuentesdeinvalidacióninterna 1 2 3 4 5
26. Gradodecontroldelasfuentesdeinvalidaciónexterna 1 2 3 4 5
27. Convenienciadelmétododeasignacióndelosparticipantesa
losgrupos
1 2 3 4 5
28. Inclusióndegrupo(s)decontrol 1 2 3 4 5
29. Convenienciadel(los)tratamiento(s)experimental(es):
operacionalización
1 2 3 4 5
30. Inclusióndechequeosdemanipulación 1 2 3 4 5
31. Gradodecontroldelosefectosdeinteracción 1 2 3 4 5
32. Seguimientoomonitoreodelosgrupos 1 2 3 4 5
Criteriosrelativosalosanálisisyresultados.
Número Criterio Escala
1. Convenienciadelosanálisisseleccionadosyrealizadosde
acuerdoconelplanteamientoehipótesis
1 2 3 4 5
12
2. Convenienciadelosanálisisseleccionadosyrealizadosde
acuerdoconelniveldemedicióndelasvariables
1 2 3 4 5
3. Claridadenlapresentacióndeestadísticasdescriptivas 1 2 3 4 5
4. Claridadenlapresentacióndeestadísticasparapruebade
hipótesis
1 2 3 4 5
5. Claridadenlapresentacióndetablas 1 2 3 4 5
6. Claridadenlapresentacióndecuadros 1 2 3 4 5
7. Claridadenlapresentacióndediagramas 1 2 3 4 5
8. Claridadenelordendepresentaciónderesultados 1 2 3 4 5
9. Convenienciadelastablaspresentadas 1 2 3 4 5
10. Convenienciadeloscuadrospresentados 1 2 3 4 5
11. Convenienciadelosdiagramaspresentados 1 2 3 4 5
12. Uniformidadenlastablas,cuadrosydiagramas 1 2 3 4 5
Criteriosrelativosaladiscusión.
Número Criterio Escala
1. Grado de claridad que los datos ofrecen acerca de la(s)
prueba(s) de hipótesis (ya sea que las apoyen o refuten)
1 2 3 4 5
2. Grado de coherencia de las conclusiones con respecto a
los datos
1 2 3 4 5
3. Grado de exclusión de deseos y tendencias personales del
investigador o investigadores
1 2 3 4 5
4. Claridad en el significado de los resultados 1 2 3 4 5
5. Adecuación de la discusión a los resultados y
descubrimientos de estudios previos (marco teórico)
1 2 3 4 5
6. Grado en que el estudio cumplió con sus objetivos 1 2 3 4 5
7. Grado en que el estudio respondió a las preguntas de
investigación
1 2 3 4 5
8. Conveniencia de las opiniones sobre las implicaciones del
estudio
1 2 3 4 5
9. Conveniencia para generalizar los resultados 1 2 3 4 5
10. Grado en el cual se someten a discusión hipótesis rivales o
alternativas
1 2 3 4 5
13
11. Adecuación en el manejo de situaciones no esperadas 1 2 3 4 5
12. Adecuación en el manejo de resultados no esperados 1 2 3 4 5
13. Grado de relevancia práctica 1 2 3 4 5
14. Grado de relevancia teórica 1 2 3 4 5
15. Claridad de las recomendaciones 1 2 3 4 5
16. Grado en que las recomendaciones direccionan futuros
estudios dentro del área o campo de conocimiento donde
se inserta la investigación
1 2 3 4 5
Criteriosrelativosaldocumentoydifusión.
Número Criterio Escala
1. Númerodeespaciosdondesedifundióelestudio 1 2 3 4 5
2. Gradodeelaboracióndelreportedeacuerdoconlas
normasaceptadasporlacomunidadcientífica‐académica
deláreadondeseinsertólainvestigación
1 2 3 4 5
3. Calidadenlaredaccióndelreporte 1 2 3 4 5
4. Calidadeneldiseñográficodelreporte 1 2 3 4 5
Losmáximosymínimosparacadarubrodependerándelaescalautilizada.
Investigacióncuantitativa
Tabla10.3Tercerlistadoderubros
yfactoresparaevaluarunainvestigacióncuantitativa
Este listado está basado enKerlinger y Lee (2002), Corbetta (2003),Mertens (2005),
Bostwick y Kyte (2005), Wiersma y Jurs (2008), Creswell (2009), Babbie (2009),
Neuman(2009)yotrosautores.Enestaediciónelformatoesamododepreguntayla
respuestapuedeserpositivaonegativa.Enlamayoríadeloscasoslarespuestapositiva
(sí)esmásconveniente,peroenalgunoscuestionamientosesalcontrario(“no”resulta
más adecuado). Cada respuesta adecuada podría calificarse con uno (1) y cada
contestacióninadecuadatendríaunvalordecero(0).
14
Rubro:título.
1) ¿Eltítuloreflejaelplanteamientofinal?
2) ¿Reflejaeltrabajocompletooinvestigaciónrealizada?
Rubro:planteamientodelproblema.
1) ¿Poseeclaridad?
2) ¿Está redactado el planteamiento de tal manera que el lector puede
comprenderelestudio?
3) ¿Escompletoelplanteamiento?
4) ¿Esexactoelplanteamiento?
5) ¿Poseevalorteórico?
6) ¿Poseevalorpráctico?
7) ¿Poseevalormetodológico?
8) ¿Elplanteamientoincluyealashipótesisyvariablescentrales?
Nota:observequelaspreguntasestánplanteadasparaunarespuestadicotómica,
peropodríanelaborarseparaunarespuestaordinal.Porejemplo:
¿Quétantaclaridadposeeelplanteamiento?
(Oagregarunpuntointermedio:medianaclaridad.)
Rubro:revisióndelaliteratura.
1) ¿Seutilizólaliteraturaparadocumentarlaimportanciadelplanteamiento?
2) ¿Laestructuradelarevisióndelaliteraturaesclara?
5 Bastanteclaridad 2 Pocaclaridad4 Claridadaceptable
1 Muypocaclaridad
15
3) ¿Seidentificóunateoríaoseintegraronvariasteorías?
4) ¿Seidentificaronhipótesispotencialespormediodelarevisióndelaliteratura?
5) ¿Mediantelarevisióndela literaturaseubicóelplanteamientodentrodelcampode
conocimientoenqueestáinserto?
6) ¿Por medio de la revisión de la literatura se identificaron variables claves para el
planteamiento?
7) ¿Lasconclusionesdelarevisióndelaliteraturasonclaras?
8) ¿Seeligieronfuentesrelevantesquedemuestrenconocimientodelplanteamientopor
partedelinvestigador?
9) ¿Se vincularon la referencias con el planteamiento del problema? (relación de la
literaturaconelestudio,tantoconceptualcomometodológicamente)
10) ¿Lasreferenciassondeactualidad?(recientes)
11) ¿Lasreferenciasestánbasadasenestudiosqueobtuvierondatosempíricos?
12) ¿Lasreferenciassecitanapropiadamente?
Rubro:hipótesisyvariables.
1) ¿Se identificaron lasvariablesdemaneraapropiada? (dependiente, independiente,de
control,interviniente,etcétera)
2) ¿Lasdefinicionesconceptualessonexactasyprecisas?
3) ¿Lasdefinicionesconceptualessonclaras?
4) ¿Lasdefinicionesoperacionalessonprecisasyexactas?
5) ¿Lasdefinicionesoperacionalessonclaras?
6) En experimentos: ¿se controlaron las variables independientes? (¿las de interés y las
quesepretendecontrolarsuinfluencia?)4
7) ¿Constituye(n) la(s) hipótesis una respuesta(s) tentativa(s) a la(s) pregunta(s) de
4Estecriteriopodríaserincluidoenelrubrodediseñoenexperimentos.
16
investigación?(relacióndelaolashipótesisconelplanteamiento)
8) ¿Lahipótesissirvecomoguíaparaestablecereldiseñodeinvestigación?
9) ¿Existe claridad en la relación o relaciones entre las variables establecidas por la(s)
hipótesis?
Rubro:diseño.
1) ¿Seidentificóeldiseño?(¿seseñalóyespecificó?)
2) ¿Eldiseñoesapropiadodeacuerdoconelplanteamientoehipótesis?
Rubro:diseñoenexperimentos.
1) ¿Elestímulofueimplementadoenunlugarapropiado?
2) ¿Elestímulootratamientofueadministradoadecuadamente?
3) ¿El experimentador indicó los cambios que ocurrieron en la(s) variable(s)
dependiente(s) como resultado de la manipulación o introducción de la(s)
independiente(s)?(además:¿explicócómoocurrierontalescambios?)
4) ¿Losgruposeraninicialmenteequiparables?(procedimientodeasignacióndelos
participantesalosgrupos)
5) ¿Duranteeldesarrollodelexperimento semantuvo laequivalencia inicialde los
grupos?
6) Sinopudieronasignarsealazar,¿seemparejaron?,¿encuálesvariablessebasóel
emparejamiento?Enelcasodegruposintactos,¿losgrupospuedenequipararse?
7) Sihubopreprueba,¿sepresentaronlosresultados?
8) ¿Eltiempotranscurridoentrelaprepruebaylapospruebafueeladecuado?(para
quesemanifestaranloscambiosenladependienteodependientes)
9) ¿Se incluyeron controles para evitar sesgos de las personas que manejaron los
gruposenelexperimento?
Hemos agregado algunos criterios que aplican exclusivamente a experimentos y
en particular al control de las fuentes internas y externas, están basados en los
17
conceptosdeCampbellyStanley(1966),Campbell(1975)yMertens(2005,p.302).A
diferenciade los rubrosy criteriosanteriores (en los cuales las respuestasadecuadas
debenserpositivas:“sí”),enlossiguientesqueserefierenalavalidezinterna,entremás
respuestasnegativas(no),laevaluaciónesmásfavorable.Enlosquetienenquevercon
lavalidezexterna,laevaluaciónfavorablevaríaencadacaso.
Validezinterna.
1. Historia: ¿ocurrieron eventos que pudieron afectar los resultados? (además de la variable
independienteoeltratamientootratamientos)
2.Maduración: ¿se presentaron cambios biológicos o psicológicos en los sujetos participantes que
pudieranafectar losresultados?(diferentesaaquellosasociadoscon lavariable independienteoal
tratamientootratamientos)
3. Administración de pruebas: ¿la preprueba pudo influir en forma significativa las respuestas a la
pospruebayconfundidolosresultadosreales?
4.Instrumentación:¿haydiferenciasentrela(s)preprueba(s)yla(s)posprueba(s)?(obviamentenoen
lasrespuestas,sinoenlosinstrumentos)
5.Regresión:¿seutilizarongruposextremos?
6.Selección:¿losgruposdifierenapartedela(s)variable(s)independiente(s)otratamiento(s)?
7.Mortalidadexperimental:¿variosparticipantesabandonaronelexperimento?
8.Selección‐maduración:¿estuvo la selecciónyasignacióndeparticipantesa losgruposbasadoen
característicasbiológicasopsicológicasdelamuestra?
9. Difusión de tratamientos experimentales: ¿participantes de distintos grupos pudieron haber
comentadosobrelascondicionesexperimentales?
10. Rivalidad‐desmoralización‐compensación: ¿alguno de los grupos realizó esfuerzos adicionales
para lograr mejores resultados?, ¿alguno de los grupos mostró desmoralización durante el
experimento?,¿se leproporcionaron recursosobeneficiosadicionalesaalgúngrupoquepudieran
serconocidospormiembrosdeotrosgrupos?
18
Validezexterna.
1.¿Eltratamientoexperimentalfuedescritodemaneradetalladayespecífica?Respuestaadecuadao
correcta:sí.
2. ¿Se utilizaron diferentes tratamientos múltiples?, ¿interfirieron entre sí?, ¿la secuencia de
tratamientos provocó efectos que son identificados y se puede saber cómo afectó a cada
tratamiento? Las respuestas adecuadas a las dos primeras preguntas pueden ser “sí” o “no”,
dependiendodelanaturalezadelexperimento.Avecesunaopciónserálaadecuadayotrasno.Pero
larespuestacorrectaalatercerapreguntaes“sí”.
3.¿OperóelefectoHawthorne?Respuestaadecuadaocorrecta:no.
4. ¿Los resultados pudieron haber sido influidos por ser novedoso(s) el(los) tratamiento(s)
experimental(es)oporinterrumpirlaactividadnormaldelosparticipantes?Respuestacorrecta:no.
5. ¿El experimentador influyó de manera significativa en los participantes y sus respuestas?, ¿su
papelfuemásalládeloplaneado?Respuestascorrectas:no.
6. ¿Se presentó una sensibilización notoria o significativa en los participantes por efectos de
prepruebasypospruebasensusrespuestas?Respuestaadecuada:no.
7.¿Sepresentóalgunainteracciónentrelosefectosdeltratamientoyotrosfactoresquepudieranimpactar
losresultadosdelestudioysuaplicaciónasituacionesnoexperimentales?Respuestacorrecta:no.
8. ¿Los resultados del experimento se alteran dependiendo del tipo de instrumento de medición
utilizado?Respuestacorrecta:no.
9.¿Influyeelperiododetiempocomprendidoentreeltratamientoylapospruebaenlosresultados?
Larespuestaadecuadadependedesi seplanteó lahipótesisdeunefectoacorto,medianoo largo
plazo;asícomosielperiododetiempoesunavariableindependientedeinterés.
10.¿Seadministróel(los)tratamiento(s)deacuerdoconloplaneado?Respuestacorrecta:sí.
A partir de este rubro, la mayoría de las respuestas a las preguntas debe ser
afirmativa(“sí”).
19
Rubro:muestra
1) ¿Existecongruenciaentreelenfoqueylamuestra?
2) ¿Existecongruenciaentreelplanteamientoylamuestra?
3) ¿Existecongruenciaentreeldiseñoylamuestra?
4) ¿Elmétodo demuestreo es riguroso?, ¿el procedimiento de selección de los casos o
unidadesfueadecuado?,¿sejustificó?(rigordelmétododemuestreo)
5) ¿El tamaño de muestra es el adecuado?5 (el cual depende del nivel de confianza al
calculareltamañodemuestra,95%comomínimo)
6) ¿La muestra representa a la población? (representatividad de la muestra: grado de
error,comparacióndevariablesdemográficasdelamuestraconlasdelapoblación;la
muestradebe tenerunadistribución similar a lapoblaciónenvariables comogénero,
edad,ocupación,nivelsocioeconómico,entreotras)
7) ¿Sedetectaronloscasosdeinterésdeacuerdoconelplanteamiento?
8) ¿Lamuestratienefortalezas?,¿cuáles?(númerodefortalezasdelamuestra)
9) ¿La muestra tiene debilidades?, ¿cuáles? (número de debilidades de la muestra) (la
respuestadebesernegativa,un“sí”seríadesfavorable)
10) ¿Seevitaronerroresdeselección?
11) ¿Hubocasosopersonasque fueronseleccionados(as)en lamuestraynoparticiparon
en el estudio? (pregunta cuyo “sí” es desfavorable). Cuando la respuesta resulta
desfavorabledebejustificarse:¿porquénoparticiparonenlainvestigación?
12) ¿Hubo casos o participantes que abandonaron el estudio? (pregunta cuyo “sí” es
desfavorable). Cuando la respuesta resulta desfavorable debe justificarse: ¿por qué
abandonaronlainvestigación?
5 Recordemosqueentremayoreseltamañodemuestralosresultadostienenmayorprobabilidaddeserestadísticamentesignificativos.
20
Rubro:procedimientos(incluyendorecoleccióndelosdatos).
1) ¿Sesolicitaronlospermisosoautorizacionesnecesariaspararecolectarlosdatos?(sise
requerían)
2) ¿Se especificó quién o quiénes recolectaron los datos, cómo los recabaron, dónde y
cuándofueronobtenidos?
3) ¿Seincluyeroncontrolesparaevitarsesgosdelosencuestadores?(enencuestas)
4) ¿Seevitaronsesgosprovocadosporelinvestigador?
Rubro:instrumento(s).
1) ¿Elinstrumentooinstrumentossonapropiadosparalospropósitosdelestudio?
2) ¿Elinstrumentooinstrumentossonapropiadosparaeltipodedatoseinformaciónque
se requiere para el estudio? (¿son la mejor manera de obtener la información
necesaria?)
3) ¿Elinstrumentooinstrumentossonapropiadosdeacuerdoconlascaracterísticasdelos
participantes?(porejemplo,sedebiótomarencuentasierananalfabetosoalfabetos,
mujeresuhombres,odeambosgéneros,nivelsocioeconómico,etcétera)
4) ¿Seefectuóunapruebapiloto?(¿fuesatisfactoria?)
5) ¿Sedeterminóevidenciasobrelaconfiabilidad?,¿fuesatisfactoria?
6) ¿Sedeterminóevidenciasobrelavalidezdecontenido?,¿fuesatisfactoria?
7) ¿Eldominiodecontenidodelasvariablesmedidasseespecificó?
8) ¿Eldominiodecontenidodelasvariablesmedidasresultaclaro?
9) ¿Laeleccióndelosítemseslógica?
10) ¿Se determinó evidencia sobre la validez de criterio concurrente?, ¿fue satisfactoria?
(¿secompararonlosdatosobtenidosoresultadoscontrauncriterioexternoactual?)
11) ¿Sedeterminóevidenciasobrelavalidezdecriteriopredictivo?,¿fuesatisfactoria?(¿se
compararonlosdatosobtenidosoresultadoscontrauncriterioexternofuturo?)
12) ¿Sehizoanálisisconvergente‐discriminante?,¿fuesatisfactorio?
21
13) ¿Sedeterminóevidenciasobrelavalidezdeconstructo?,¿fuesatisfactoria?(¿seefectuó
análisisdefactores?)
14) ¿Elinstrumentodemostróconsistenciainterna?
15) ¿Laspersonasquerecolectaronlosdatosseencontrabancalificadasparataltarea?
16) ¿Elgradodeestandarizacióndelinstrumentooinstrumentospararecabarlosdatosfue
elevado?
17) ¿Elinvestigadorutilizódiversosinstrumentosparamedirlasvariables?(triangulaciónde
métodos de recolección o, como los autores siempre hemos denominado,
“multimétodos”)
Rubro:análisis.
1) ¿Los análisis son pertinentes o apropiados para el planteamiento e hipótesis
desarrolladas?
2) ¿Los análisis son pertinentes o apropiados para el nivel demedición de las variables
involucradas?
3) ¿Losanálisissonpertinentesoapropiadosaldiseño?
4) ¿Launidaddeanálisisesadecuada?
5) ¿Losanálisissonsuficientes?(cantidadycalidad)
6) ¿Secubrierondiferentesángulosdelanálisis?
7) ¿Se presentaron los análisis completos de todas las hipótesis? (que no aplicaría a
reportes breves como artículos de revistas, en cuyo caso podría cuestionarse: ¿se
presentaronlosanálisismásrelevantesvinculadosconelplanteamientoehipótesis?)
8) ¿Seevitaronerroreseneltratamientodelosdatos?
Rubro:resultados.
1) ¿Seencontrósignificanciaestadísticaenla(s)prueba(s)dehipótesis?(¿enquéniveles?).De no resultar significativos los valores de las pruebas estadísticas, ¿se explicaronrazones?,¿sejustificóelhecho?
2) ¿Seinterpretaroncorrectamentelaspruebasdesignificancia?
22
3) ¿Losresultadosestánadecuadamenterepresentadosentablasyfiguras?
4) ¿Losresultadosrespondenalplanteamientodelproblemaehipótesis?
Rubro:discusión.
1) ¿Losresultadosydescubrimientosaportanaalgunateoríaoconceptualización?
2) ¿Losresultadosydescubrimientosayudanaresolverunproblema?
3) ¿Losresultadosydescubrimientosaportanmetodológicamentealgo?
4) ¿Lasinterpretacionessonrazonablementelógicas?
5) ¿Lasimplicacionesestándefinidas?
6) ¿Lasimplicacionesresultanclaras?
7) ¿Ladiscusiónesconvincenteparalosusuarios?
8) ¿Sehicieronprediccionesenelestudio?
9) ¿Fueronexactastalespredicciones?
10) ¿Pormediodelosresultadosseeliminaronposiblesexplicacionesrivales?
11) ¿Las conclusiones se encuentran vinculadas al planteamiento, revisiónde la literatura
(marcoteórico)ehipótesis?
12) ¿Sereconocieronlaslimitacionesdelestudio?
13) ¿Esposiblereplicarelestudio?
Rubro:reporteengeneral.
1) Alolargodetodoeldocumento,¿secitaronadecuadamentelasreferencias?
2) ¿Eltextoeslegible?
3) ¿Eltextoesameno?
4) ¿Laortografíaesaceptable?
5) ¿Eltonoeselapropiado?(noemotivo)
6) ¿Hayprogresiónenlasideas?
Rubro:difusión.
1) ¿Elestudiosedifundióenvariosforos?(congresos,publicaciones,etcétera)
2) ¿Segeneraronvariossubproductos?
3) ¿Losresultadosseutilizaronparapromoverelbiencomún?,¿losresultadosseutilizaron
23
para generar conocimiento?, ¿los resultados se utilizaron para resolver un problema?
(algunarespuestadeberíaserpositiva)
Rubro:financiamientodelainvestigación.
1) ¿Eslegalelfinanciamiento?
2) ¿Los resultados se encuentran sujetos al financiamiento? (¿si se obtenían ciertos
resultados el financiamiento no operaría?) (Una respuesta positiva es inconveniente
paralacredibilidaddelestudio)
Investigacióncualitativa
Para la investigación cualitativa se consideraron aMiles yHuberman (1994), Álvarez
Gayou(2003),Henwood(2004),FranklinyBallau(2005),Mertens(2005),Tashakkori
yTeddlie(2008b),Creswell(2009),Neuman(2009)yDaymon(2010).
Tabla10.4Cuartolistadoderubrosyfactores
paraevaluarunainvestigacióncualitativa
El presente listado se respondería dicotómicamente: “sí” o “no”, satisfactorio/insa‐
tisfactorio.Másqueunacalificación,seconsideraríandebilidades.
Rubro:título.
1) ¿Reflejaelplanteamientofinal?
2) ¿Reflejaeltrabajocompletorealizado?
Rubrosgenerales.
1) ¿Elinvestigadormanifiestahonestidad?
2) ¿Losparticipantesdemuestranomanifiestanhonestidadalolargodelestudio?
3) ¿Elinvestigadordemuestraautenticidad?
4) ¿Losparticipantesdemuestranomanifiestanautenticidadalolargodelestudio?
5) ¿Elestudioagregainformaciónnovedosa?(porejemplo,llenarhuecosdeconocimiento
uobtenerperspectivasinternas“frescas”)
24
6) ¿La investigación tiene fundamentación? (grado en que la investigación posee bases
teóricasyfilosóficassólidasyproveedeunmarcoreferencialqueinformaalestudio)
7) ¿Lainvestigaciónposeeaproximación?(contundenciaenlosjuiciosylógicadelestudio)
8) ¿La investigación demuestra capacidad de otorgar significado? (grado en que se
presentan nuevos descubrimientos y entendimientos del problema de investigación a
travésdelosdatosyelmétodoutilizado)
Rubro:planteamientodelproblema.
1) ¿Laspreguntasdeinvestigaciónsonclaras?
2) ¿Las preguntas de investigación son congruentes con las características del diseño de
investigación?
3) ¿Seespecificóconclaridadelparadigmabásicoqueguíaalainvestigación?
4) ¿Se especificó con claridad el marco interpretativo que guía a la investigación?
(feminismo,etnografíaclásica,etcétera)
5) ¿Sedemostróqueelplanteamientoessignificativooimportante?
Rubro:papeldelinvestigador.
1) ¿Seespecificóelpapeldelinvestigadorentodoelestudio?
2) ¿Elinvestigadorconociósupapelcomoobservador?(¿estuvoconsciente?)
Rubro:relacióninvestigadorparticipantes.
1) ¿Elinvestigadorlogróempatíaconlosparticipantes?(autoevaluación)
2) ¿Elinvestigadordemuestraquelogrótalempatía?
3) ¿Elinvestigadorseganólaconfianzadelosparticipantes?(autoevaluación)
4) ¿Elinvestigadordemuestraqueseganólaconfianzadelosparticipantes?
5) ¿Seagradecióalosparticipantesporsucolaboraciónenelestudio?
25
Rubro:revisióndelaliteratura.
1) ¿Seutilizólaliteraturaparadocumentarlaimportanciadelplanteamiento?
2) ¿Laliteraturafuecontrastadaconlosresultadosdelestudio?
3) ¿Lasreferenciassondeactualidad?(recientes)
4) ¿Lasreferenciasestánbasadasenestudiosqueobtuvierondatosempíricos?
5) ¿Lasreferenciassecitaronapropiadamente?
Rubro:inmersióngeneralenelambiente(procesocompleto).
1) ¿Elinvestigadorobtuvopermisoparaingresaralambienteyestudiarlo?
2) ¿Sereportócómosetuvoaccesoalambiente?
3) ¿Setuvoaccesocompletoalambiente?
4) ¿Sedescribiódetalladamenteelambiente?
5) ¿Elaccesoalambientefuelomásmeticulosoysigilosoposible?
6) ¿Elaccesoalambientefuelomenosobstrusivoposible?
Rubro:inmersióninicial.
1) ¿La inmersión inicial logró que el investigador se enfocara en los conceptos
fundamentalesdelplanteamiento?
2) ¿Lainmersióninicialcontribuyóamejorarelplanteamientooriginal?
Rubro:muestra.
1) ¿Sedetectaronloscasosdeinterésdeacuerdoconelplanteamiento?
2) ¿Eltipodemuestraescongruente(acorde)conelplanteamientoyelenfoqueelegido?
3) ¿Lamuestratienefortalezas?(¿cuáles?)
4) ¿Lamuestratienedebilidades?(¿cuáles?)(negativa,un“sí”esdesfavorable),¿cómose
superaron?
26
5) ¿Hubo casos o personas que habían sido seleccionados(as) en la muestra y no
participaron en el estudio? (pregunta cuyo “sí” es desfavorable). Cuando la respuesta
resultadesfavorabledebejustificarse:¿porquénoparticiparonenlainvestigación?
6) ¿Hubo casos o participantes que abandonaron el estudio? (pregunta cuyo “sí” es
negativo, implica desfavorable). Cuando la respuesta resulta desfavorable debe
justificarse:¿porquéabandonaronlainvestigación?
7) ¿Elolosperfilesdelamuestraestándescritosconsuficientesdetalles?(género,edad,
estadocivil,ingresos,niveleducativo,entreotros)
8) ¿Elperfildelosparticipanteseselquesehabíaconcebido?¿Porqué?
9) ¿Se encuentran representadas todas las voces? (Recordemos la premisa de evitar
“silenciar”voces)
10) ¿Se excluyeronmujeres u hombres de la investigación? ¿es justificable su exclusión?
Unarespuestainjustificadaresultadesfavorable
11) ¿Seobtuvoladiversidaddecasosrequerida?
12) ¿Sesaturaronlascategoríasrelativasalplanteamientodelproblema?
Rubro:recolecciónengeneral.
1) ¿Elinstrumentooinstrumentossonapropiadosparaeltipodedatoseinformaciónque
serequiereparaelestudio?
2) ¿Elinstrumentooinstrumentosestabandiseñadosdeacuerdoconlascaracterísticasde
los participantes? (por ejemplo, tomar en cuenta si eran analfabetos o alfabetos,
mujeresuhombres,odeambosgéneros,nivelsocioeconómico,entreotros)
3) ¿Losparticipantespudieronexpresarselibremente?
4) ¿Huborigorenlarecoleccióndelosdatos?(sistematización)
5) ¿Setuvierondiferentesfuentesdedatos?(¿múltiples?,¿triangulación?)
6) ¿Losdatossonprofundosycompletos?
7) ¿Elperiodofuelosuficientementelargopararecolectarlosdatosnecesariosdeacuerdo
conelplanteamiento?
27
8) ¿Resultanabundantesysignificativaslasdescripcionesdelprocesoderecoleccióndelosdatos?
9) ¿Las fases de la recolección fueron las adecuadas de acuerdo con el planteamiento y
ambiente?
10) ¿Secuentaconevidenciadirectadeactores?(¿Evidenciadetestigosdirectos?)
11) ¿Seencontraronsignificados?,¿cuáles?
12) ¿Coincidenentresílasdiversasfuentesencuantoalacronologíadehechos?
13) ¿Coincidenentresílasdiversasfuentesencuantoalasdescripcionesdeloshechos?
14) ¿Coincidenentresí lasdiversas fuentesencuantoa lascausasyconsecuenciasde los
hechos?(Particularmenteenloreferentealplanteamientodelproblema)
Rubro:notas(anotaciones).
1) ¿Seelaboraronnotascompletas?
2) ¿Las notas fueron profundas? (¿Captaron las emociones, vivencias y creencias de los
participantes?)
3) ¿Lasnotasincluyeronlosconceptosesencialesdelplanteamiento?
4) ¿Secodificaronlasnotas?
5) ¿Sealcanzólasaturacióndecategoríasenlasanotaciones?
Rubro:análisisdelosdatos.
1) ¿Setuvieronmúltiplesnivelesdeanálisis?
2) ¿Son abundantes y significativas las descripciones de los procesos de análisis de los
datos?
3) ¿Las fases del análisis fueron las adecuadas de acuerdo con el planteamiento y el
ambiente?
4) ¿Cadacategoría,temay/opatrónestáapoyada(o)enlosdatos?
5) ¿Elfenómenooplanteamientoseanalizódesdediversasperspectivas?
Rubro:dependencia(confiabilidad).
Recordatorio de la definición: grado en que diferentes investigadores que recolecten
datos similares en el campo y efectúen los mismos análisis, generan resultados
equivalentes.
28
1) ¿Seimplantarondiversasestrategiasparagenerardependencia?
2) ¿Sedescribióexplícitamenteelpapelyestatusdel investigadordentrodelambienteo
contexto?
3) ¿Losresultadosydescubrimientosmuestranunparalelismosignificativoentre fuentes
dedatos?(¿Losresultadossoncongruentesalcompararlosentrediversasfuentes?)
4) ¿Lascategoríasylostemasfueroninducidas(os)apropiadamenteporlosparticipantes?
5) ¿Lascategoríasylostemasseencuentranclaramenteespecificadas(os)?
6) ¿Lasestructurasdecategoríassonlógicas?(encasonegativo:¿estájustificadoquesean
ilógicas?)
7) ¿Lasdecisionessobrelacodificaciónycategorizaciónestánjustificadas?(¿seexplicany
demuestran?)
8) ¿Las reglas de codificación se aplicaron coherentemente (entre unidades e
investigadores,sieselcaso)?
9) ¿Losdatosfueronrecolectadospormediodeunrangocompletodeambientes,tiempos
yparticipantesapropiadosdeacuerdoconelplanteamiento?
10) ¿Se involucraron varios investigadores en el campo? (triangulación entre
investigadores); y si así fue: ¿siguieron el mismo protocolo e instrucciones para
recolectarlosdatos(incluyendoelinstrumentooinstrumentos)?
11) ¿Seefectuaronchequeosdecodificaciónentre investigadores?,¿mostraronunaltode
niveldeacuerdooconcordanciaenunidades,categoríasytemas?
12) ¿Los resultados fueron validados por distintos investigadores?, y más riguroso: ¿los
resultadosfueronvalidadospordistintosinvestigadoresdediferentesedades,géneroy
otrascaracterísticasquepudieranintroducirsesgos?
13) ¿Sehicieronverificacionessobrelacalidaddelosdatos?(¿cuáles?)
14) ¿Los investigadores convergieron en lugares, tiempos e instancias donde se esperaba
queestuvieran?
15) Enelcampo,¿sehicieronrevisionesdeparesocolegas?
16) ¿Lossignificadosgeneradossoncreíblesparalosparticipantes?
17) ¿Elentendimientogeneradoresultacreíbleparalosparticipantes?
18) ¿Losresultadosseencuentranfundamentadosenlosdatos?
19) ¿Lasinferenciassonlógicas?
20) ¿Las decisiones respecto a la recolección y el análisis están justificadas? (justificación
29
metodológica)
21) Enelanálisis,¿sehicieronauditoríasdepares?
Rubro:credibilidad(validezinterna).
Recordatorio de la definición: se refiere a si el investigador ha captado el significado
completo y profundo de las experiencias de los participantes, particularmente de
aquellasvinculadasconelplanteamientodelproblema.
1) ¿Seutilizaronodesarrollaronestrategiasparagenerarcredibilidad?
2) ¿Los datos de diferentes fuentes fueron recolectados en el mismo contexto o
ambiente?
3) ¿En todos los casosde lamuestra seobtuvo la información completa ydetallada
requerida?
4) ¿Seregistrarontodoslosdatos?
5) ¿Se pidió a todos los participantes o a la mayoría que proporcionaran
realimentaciónsobreelestudio?
6) ¿Elinvestigadorautoevaluóelefectodesupresenciaenelambiente?
7) ¿El investigador autoevaluó si sus sesgos y tendencias influyeron o no los
resultados?
8) ¿Elinvestigadorautoevaluósusbitácorasynotas?
9) ¿Secapturaronoregistraronloscambiosenelambiente?
10) ¿Se reconocieron los sesgos o tendencias del investigador?, ¿se explicaron tales
sesgos?,¿sejustificaron?
11) ¿Los resultados se encuentran fundamentados en los datos? (este criterio ya se
habíamencionado,afectaladependenciaylacredibilidad).
12) ¿Coinciden los resultados con ladocumentaciónexistente yestudiosprevios? (en
casonegativo,¿esjustificable?)
13) ¿Existe correspondencia entre la manera como los participantes perciben los
conceptos socialesy lamaneracomoel investigador capta, retrataydescribe sus
puntosdevista?
14) ¿Seincrementólacredibilidadmedianteunaestanciasustancialyprolongadaenel
campo?
30
15) ¿Seincrementólacredibilidadmedianteunaobservaciónpersistenteysistemática?
16) ¿Seincrementólacredibilidadconlarecoleccióndedatosporpares?(porejemplo,
enunaentrevistaalestarpresentesdosinvestigadores)
17) ¿Seincrementólacredibilidadalanalizarcasosnegativos?
18) ¿Seincrementólacredibilidadpormediodesubjetividadprogresiva?
19) ¿Seincrementóconlaevaluaciónderesultadosparticularesconlosparticipantes?
(chequeoconparticipantes)
20) ¿Seincrementótriangulandodatos?
21) ¿Seaumentólacredibilidadtriangulandométodos?
22) ¿Sonabundantes(completas)ysignificativaslasdescripcionesdelambiente?
23) ¿Son abundantes (completas) y significativas las descripciones de los sucesos o
hechos?
24) ¿Sonabundantes(completas)ysignificativaslasdescripcionesdelosparticipantes?
25) ¿Losresultadostienensentidoosemuestranconvincentesparalosparticipantes?
26) Sihubotriangulaciónentremétodosderecoleccióndedatosofuentesdedatos:¿la
triangulación o comparación entremétodos complementarios o fuentes de datos
generalmenteproduceconclusionesconvergentes?
27) ¿Losresultadosmantienencoherenciainterna?
28) ¿Seidentificaronlasáreasdeincertidumbre?
29) ¿Los datos presentados se encuentran vinculados a categorías de otros estudios
similaresoteoríaemergente?
30) ¿Sebuscóevidencianegativaocontrariaalosresultados?
31) ¿Seconsideraronactivamenteexplicacionesrivales?
32) ¿Losresultadosydescubrimientoshanrecibidoréplicasendiferenteselementosde
labasededatos?
33) ¿Lasconclusiones fueronconsideradasprecisasyverdaderaspor losparticipantes
y/oinformantesoriginales?
Rubro:transferenciaovalidezexterna.
1) ¿Los datos presentados se encuentran vinculados a categorías de otros estudios
similaresoteoríaemergente?(Estecriteriofueconsideradotambiénenlacredibilidad)
2) ¿Los resultados presentados son congruentes o están conectados a otros estudios
previosyalateoríageneradaporéstos?
31
3) ¿Los resultados han recibido réplicas en otros estudios para robustecer su
transferencia?
4) ¿Los procedimientos y resultados descritos en las conclusiones e inferencias son lo
suficientementegenéricosparaaplicarseenambientessimilares?
5) ¿Lascaracterísticasde lamuestraoriginaldepersonas,contextosy/oprocesossehan
descritocompletamenteparapermitircomparacionesconotrasmuestras?
6) ¿Se examinaron obstáculos y amenazas posibles para poder comparar los resultados
conotrasmuestras?
7) ¿Lamuestraeslosuficientementediversaparaencontrarunaaplicabilidadmayor?
8) ¿Sedefinieronlasfronterasdelalcanceyaplicabilidaddelestudio?
9) ¿Losresultadosincluyendescripcionescompletasysuficientesparaqueellectorpueda
valorar la posibilidad de transferirlos o adecuarlos a su propio contexto u otros
ambientes?
10) ¿Selogróunbalanceentrelasperspectivasinternayexternadelinvestigador?
11) ¿Lassecuenciasnarrativassontransparentesyclaras?
12) ¿Lectores del reporte con perfiles similares a los participantes considerarían que los
resultadossoncongruentesconsusexperiencias?(Verificaciónulterior)
13) ¿Loslectores(principalmenteotrosinvestigadores)puedenreconstruirelanálisis?
14) ¿El investigador señala de manera específica la secuencia que se siguió en la
investigaciónylosrazonamientosquelacondujeron?
15) ¿Esposiblereplicarelestudio?
Rubro:historiasorales.
1) ¿Lashistoriasoralesdelosparticipantessoncreíbles?
2) ¿Lashistoriasoralesdelosparticipantessonequilibradas?
3) ¿Lashistoriasoralesdelosparticipantessoncompletas?
Rubro:entrevistas.
1) ¿Las condiciones de las entrevistas permitieron a los participantes explayarselibremente?
2) ¿Lascondicionesdelasentrevistaspermitieronalosparticipantesconcentrarseensusrespuestas?
32
Rubro:diseño.
1) ¿Seseñalóyespecificóeldiseño?
2) ¿Eldiseñoeseladecuadodeacuerdoconelplanteamiento?
3) ¿Eldiseñoeseladecuadodeacuerdoconlainmersiónenelambiente?
4) ¿Eldiseñoeseladecuadodeacuerdoconlaevolucióndeltrabajodecampo?
Rubro:resultados.
1) ¿Seexpresólarealidadconstruidaporlosparticipantes?
2) ¿Losresultadossonrealistas?
3) ¿Losresultadossonaceptables?
4) ¿Los descubrimientos están enraizados o ligados con los datos? (Este criterio ha sidoexpresado en diferentes rubros, pero se encuentra vinculado a todo el procesocualitativo)
5) ¿Losresultadossoncomprensiblesoclarosparaellector?
6) ¿Losmétodosparticularesutilizadossoncoherentesconunaestrategiamásamplia?
7) ¿Setomaronencuentavariasperspectivasparajustificarlasinterpretaciones?
Rubro:discusión.
1) ¿Laspremisasdelestudiosoncoherentesconelenfoque?
2) ¿Se demostró mediante la discusión que el planteamiento fue significativo o
importante?
3) ¿Lasconclusionessonprematurasocuentanconelementossólidosparasudesarrollo?
(Larespuestadebeser:sícuentanconelementossólidos)
4) ¿Lasconclusionesestánfundamentadasenlosdatos?
5) ¿Lasconclusionesestánfundamentadasenlosresultados?
6) ¿Mediantelosresultadosseeliminaronposiblesexplicacionesrivales?
7) ¿Lasinterpretacionessederivarondemaneraanalítica?
8) ¿Sedemostróquesereconstruyócadacasoparaseranalizado?
9) ¿Setuvieronmúltiplesperspectivas?
33
10) ¿Lasconclusionesseencuentranvinculadasalplanteamientoyrevisióndelaliteratura
(marcoteórico)?
11) ¿Sereconocieronlaslimitacionesdelestudio?
Rubro:Reporte.
1) ¿Existeunarelaciónevidenteentrelascategoríasylosdatos?(unidadesofragmentos).
¿Emergieronlascategoríasdelosdatos?
2) ¿Selogróvincularconceptualmentealascategoríasentemas?
3) ¿La teoría producida funciona? (¿La teoría emergente permite un entendimiento del
fenómenoestudiado?)
4) ¿Se requieren más datos o fueron suficientes para generar teoría? (La respuesta
favorablees:sí,fueronsuficienteslosdatos)
5) ¿Sedesarrollóunmodeloparaconceptualizarelplanteamiento?
6) ¿Serespondiósatisfactoriamentealplanteamiento?
(Los siguientes criterios serían propios de cada diseño y se agregarían a los
anteriores).
Rubro:diseñosetnográficos.
1) ¿Seidentificóalgrupoocultura?,¿sedefinióyespecificó?
2) ¿Sedetectaronpatronesdelacultura,grupooeventoanalizada(o)?
3) ¿Secomprendieronlospatronesculturales?
4) ¿Elestudiocontribuyóaconocermásalgrupooculturaanalizado(a)?
5) ¿Elinvestigadorreflejaenelreportesupapelenelestudio?
6) ¿Enlainterpretaciónsedescribenlascategoríasytemas?
7) ¿Seilustraronlascategoríasmásimportantesconsegmentosdelosdatos?
34
Rubro:diseñosnarrativos.
1) ¿Seconcentróelestudioenexperienciasindividuales?
2) ¿Serespetaronlasvocesdelasfuentescreíbles?
3) ¿Setriangularondatos?
4) ¿Seexploróelpasado,presenteyfuturo?
5) ¿Sedescribióelcontextoampliamente?
6) ¿Seilustraronlascategoríasmásimportantesconsegmentosdelosdatos?
Rubro:Diseñosdeinvestigaciónacción.
1) ¿Sedetectóalmenosunaproblemática?
2) ¿Seabordólaproblemáticaenelentornodelosparticipantes?
3) ¿Serealizóundiagnósticocompletodelaproblemática?
4) ¿Seinvolucróentodoelestudioalosparticipantes?(grupo,organizaciónocomunidad).
5) ¿Lainteracciónentreelinvestigadorylosparticipantesfueconstante?
6) ¿Lainteracciónentreelinvestigadorylosparticipantesfuefructífera?
7) ¿Elinvestigadorylosparticipantesinteractuaronconstantementeconlosdatos?
8) ¿Participaron activamente las personas del grupo, organización o comunidad involucradas
enelestudio?
9) ¿Seformulóunplanoprogramapararesolverelproblemaointroducirelcambio?
10) ¿Seimplementóelplanoprograma?
11) ¿Seevaluaronlosresultados?
12) ¿Seobtuvorealimentaciónsobrelosresultadospreliminares?
13) ¿Seobtuvorealimentaciónsobrelosresultadosfinales?
14) ¿Setransformópositivamentelarealidaddelosparticipantes?
15) ¿Seresolvióalmenosunproblemaosemejoróalmenosunapráctica?
35
Rubro:diseñosdeteoríafundamentada(diseñosistemático).
1) ¿Seprodujounateoríafundamentada?
2) ¿Delosdatosobtenidossurgieronhipótesisoproposicionesteóricas?
3) ¿Elmodeloproducidoincluyecondicionescausales?
4) ¿Elmodelogeneradoabarcaaccioneseinteracciones?
5) ¿Elmodeloemergentecontieneconsecuencias?
6) ¿Elmodeloproducidoincluyeestrategias?
7) ¿Elmodelogeneradocontienecondicionescontextuales?
8) ¿Elmodeloemergenteabarcacondicionesintervinientes?
9) ¿Lacategoríacentraleslamásimportante?(¿Todasolamayoríadelasdemáscategoríasse
vinculanaella?)
10) ¿Lascategoríasdelmodelooteoríasonlasqueaparecenconmayorfrecuenciaenlosdatos?
11) ¿Lateoríacaptalaesenciadelplanteamiento?
Investigaciónmixta6
Talcomohemoscomentado,losparámetrosoindicadoresparaevaluarestudiosmixtos
se encuentran en desarrollo. Por lo pronto, Hernández Sampieri y Mendoza (2008)
sugierenlosiguienteparaanalizarlacalidaddeunainvestigaciónmixta:
1. Para laramaoaproximacióncuantitativa,aplicar indicadorescuantitativos
delostresprimeroslistados,oalmenos,elegirunlistado(calificandocada
elemento ya sea mediante dicotomía —satisfactorio/no satisfactorio o
cumple/nocumple—;unaescalaLikertdel1al5;ounaescalanuméricadel
0al10).
6 Antesde leeresteapartado se recomienda revisar los capítulos17del texto impresoy12deesteCD:Ampliaciónyfundamentacióndelosmétodosmixtos
36
2. Para la rama o aproximación cualitativa, instrumentar el cuarto listado,
respondiendo a los indicadores mediante dicotomías: satisfactorio/no
satisfactorioofavorable/desfavorable.
3. Agregar los siguientes rubros y criterios de la tabla 10.5 para lamezcla o
integración (respondiendodicotómicamente: “sí” o “no”, ¿enquémediday
con qué profundidad?, y ¿cómo? o ¿de qué manera?). Más que una
puntuacióndeestosindicadoresoelementos,seharíaunareflexiónentorno
alasfortalezasydebilidadesdelprocesoindagatorio:
Tabla10.5Quintolistadoderubrosyfactores
paraevaluarunestudiomixto
Calidaddeldiseñomixto
1. Consistencia internadeldiseño(que loscomponentesdeldiseñoembonendeunamanera
cohesiva y congruente): ¿los componentes del diseño embonan entre sí de una manera
congruenteatravésdetodaslasetapasdelestudio?
2. Adecuacióndeldiseño(selecciónapropiadademétodosyprocedimientosparacumplircon
losobjetivosyresponderalaspreguntasdeinvestigación):¿losmétodosyprocedimientos
elegidos son apropiados para cumplir con los objetivos y responder a las preguntas de
investigación?
3. Fidelidad del diseño (el grado en que los investigadores se apegaron al diseño y éste se
implementóadecuadamente): ¿losprocedimientos fueron implementadosdeacuerdo con
eldiseñoplanteado?;cuandoserealizaronajustesaldiseñooriginal,¿fueronpertinentesy
adecuados?;¿losmétodosfueroncapacesde“captar”lossignificados,efectosyrelaciones?;
¿los componentes del diseño (procedimientos, muestreo, recolección y análisis) fueron
aplicadoscorrectamente?
4. Adecuación analítica (selección de las técnicas adecuadas y apropiadas de análisis para
responderalplanteamiento):¿lasestrategiasyprocedimientosdeanálisissonadecuadosy
apropiadosparaproveerdeposiblesrespuestasalaspreguntasdeinvestigación?
37
Calidaddelasinferencias
1. Consistenciainternadeldiseño(yacomentadaenelrubroprevio,mismapregunta).
2. Consistenciaconceptual(congruenciadelasinferenciasentresí):¿lasinferenciascualitativas
son congruentes entre sí?, ¿las inferencias cuantitativas son congruentes entre sí?, ¿las
inferenciascuantitativasycualitativasestánestrechamenteconectadasyhansidoderivadas
delosdescubrimientosrelevantesentérminosdetipo,alcanceeintensidad?,¿lasmúltiples
inferencias fueron hechas sobre la base de descubrimientos consistentes entre sí?, ¿se
produjeron metainferencias y éstas son congruentes entre sí?;7 en caso de que las
inferencias cuantitativas y cualitativas no coincidan en cuanto a resultados, ¿se logró una
explicaciónsatisfactoriadelanocoincidencia?
3. Consistenciateórica(conrespectoaestudiosprevios):¿lasinferenciasymetainferenciasson
consistentes con la teoría y el estado del conocimiento en el cual se enmarca el
planteamiento?
4. Acuerdo interpretativo entre investigadores: ¿diversos investigadores llegan a las mismas
conclusiones sobre la basede losmismos resultados?, ¿hay consensoentre colegas?, ¿las
inferenciasdelosinvestigadorescorrespondenconlasconstruccionesdelosparticipantes?,
¿hayacuerdoentrelosparticipantesylosinvestigadores?
5. Interpretación distintiva (grado en el cual las inferencias son diferentes de otras posibles
interpretaciones de los resultados y explicaciones rivales): ¿cada inferencia es
significativamente más plausible o meritoria respecto a otras posibles conclusiones que
pudieronhabersehechosobrelabasedelosmismosresultados?
Rigorinterpretativo
Mismos rubros y preguntas que el rubro anterior (“calidad de las inferencias”),
agregandounomuyvinculadoconla“consistenciaconceptual”,porellolecolocamosel
númeroseis,yaqueconsideraríamosloscincoprevios.
6. Integracióneficaz(gradoenelcualsonintegradasdemaneraefectiva las inferenciashechas
en la aproximación tanto cuantitativa como cualitativa en metainferencias teóricamente
consistentes):¿lasmetainferenciasincorporanadecuadamentelasinferenciasresultantesdelas
aproximacionescuantitativaycualitativa?
7Congruencianoimplicanecesariamentecoincidencia,mismosresultados.
38
Transferenciaderesultados
Lasposiblesrespuestasalassiguientespreguntasseránanalizadasycontestadasporel
grupode investigadores(sutratamientodebeteneruncaráctercolegiado),ademáses
necesarioqueauditoresexternosopares(investigadoresexpertosenelplanteamiento
delproblema)ofrezcansuspuntosdevistaalrespecto.
Transferencia de población (a otros individuos, grupos o entidades): ¿es posible transferir los
resultadosaotrosindividuos,gruposoentidades?,¿porqué?
Transferenciaecológica (aotrosambientesocontextos):¿esposible transferir los resultadosa
otrosambientesocontextos?,¿porqué?
Transferenciatemporal(aotrosperiodosdetiempo):¿esposibletransferirlosresultadosaotros
tiemposoépocas?,¿porqué?
Transferencia operacional (utilizando otrosmétodos de recolección de los datos): ¿es posible
transferir los resultados si se hubieran seleccionado otros métodos o instrumentos para
recolectarlosdatos?,¿porqué?
Legitimidad8
Respondiendo dicotómicamente a estos indicadores: “sí” o “no”, así como: ¿de qué
manera?
Legitimidad de la integración de la muestra: ¿la vinculación entre el muestreo cuantitativo y
cualitativoproducemetainferencias?
Legitimidadinterna‐externa:¿sepresentanconexactitudyprofundidadtantolavisióninternadelos
participantescomolavisiónexternadelinvestigadorparafinesdedescripciónyexplicación?
Legitimidaddirigidaaminimizarlasdebilidadespotenciales:¿selogrademostrarquelasdebilidades
deunmétodosoncompensadasporlasfortalezasdelotro?
Legitimidad de secuencia (diseños secuenciales): si se hubiera invertido la secuencia de las fases
cuantitativaycualitativa,¿sehubieranobtenidoresultadossimilares?
Legitimidaddeconversión(diseñosdeconversión):¿lacuantificacióny/ocualificaciónproducen
8Seconsideraronlostiposdelegitimidadquenosonredundantesconcriteriospreviosparalosestudiosmixtos.
39
metainferenciasclarasycoherentes?
Legitimidad de la mezcla paradigmática: ¿las creencias epistemológicas, ontológicas, axiológicas y
metodológicasdelinvestigadorquesederivandelasaproximacionescuantitativasycualitativasson
combinadasexitosamenteylasdiferenciasseexplicanysustentan?
Legitimidadde lacompatibilidadentrevisiones:¿lasmetainferenciasresultantesreflejanunavisión
del mundo mixta basada en procesos cognitivos holísticos y de la gestalt que implican cambio e
integración?
Legitimidad por múltiples validaciones: ¿las diversas técnicas utilizadas para validar los
procedimientos, análisis e inferencias tanto cuantitativas como cualitativas son pertinentes y
rigurosas?
Legitimidad“política”:¿colegas,paresoauditoresexternosestándeacuerdoconlasmetainferencias
emanadasdeloscomponentescuantitativoycualitativodelestudio?
Insistimos en que Roberto Hernández Sampieri seguirá profundizando en los
criterios,queestaránejemplificadosensupróximolibrosobremétodosmixtos.