Upload
others
View
4
Download
0
Embed Size (px)
Citation preview
PERSPECTIVAS METODOLÓGICAS : ¿EVALUACIÓN CUANTITATIVA O CUALITATIVA?
RichardJ.ShavelsonSKPartners&UniversidaddeStanford
1
Overview
¨ “Cuidadoconlasdicotomíasfalsas”:Losmétodosdeevaluacióndebenserimpulsadosporpreguntasdeevaluación,noviceversa
¨ Tiposdepreguntasdeevaluación¤ Descriptivas¤ Causales¤ Mecanismos
¨ Buscar“loqueimporta”quesubyaceenlasevaluacionesdeescuelasydelaenseñanza¤ Políticasypolítica¤ Métodosdeevaluación¤ Diseñoestadístico
2
Diseño de investigación/evaluación impulsado por preguntas
¨ ¿Quéestápasando?
¨ ¿Existeunefectosistemático(causal)?
¨ ¿Cómooporqué(mecanismo)estápasando?
¨ Investigacióndescriptivayevaluaciónformativa
¨ Investigaciónimpulsadaporlateoríaolaprácticayevaluaciónsumativa
¨ Investigaciónimpulsadaporlateoríaolaprácticayevaluaciónformativaosumativa
Fuente:Shavelson&Towne(2002).ScientificResearchinEducation.NationalAcademyPress
Preguntas y métodos Pregunta/Método
“¿Quéestápasando?”Descriptivo
”¿Existeunefectosistemático?”
Causal
“¿Cómooporquéestápasando?”Mecanismos
Cualitativo • Estudiodecaso• Etnografía• Observación• Entrevista• Etc.
Ejemplo:Holland&Eisenhart
• Etnografía• Múltiplesestudiosdecasos• Etc.(?)
Ejemplo:Holland&Eisenhart
• Estudiodecaso• Etnografía• Observación• Entrevista• Etc.
Ejemplo:SeguimientoaExperimentoTN
Cuantitativo • Encuestadeprobabilidad(oresumenestadísticobasadoencualitativo)
• Estadísticasdescriptivas• Comparacionesde
estadísticas• Correlaciones• Regresiones• Etc.
Ejemplo:NAEP
• Experimentosaleatorios• Cuasi-experimentos• Diseñocausaldedatos
longitudinales• Discontinuidadderegresión• Intentoportratar• Etc.
Ejemplo:Experimentode
reduccióndetamañodegrupodeTennessee
• Encuesta• Experimentosaleatorios• Cuasi-experiments• Etc.
Ejemplo:SeguimientoaExperimentoTN
Susceptibilidaddegeneralización
¡Un tema enorme!
4
¿Qué está pasando? “Si quieres saber qué está pasando, tienes que salir y ver qué está pasando” – Yogi Berra
¨ Amenudocaracterísticodelaevaluaciónformativa¨ Invitavariostiposdedescripción:
¤ Caracterizaraunapoblación¤ Describirelalcanceylagravedaddeunproblemadesdevarios
puntosdevista¤ Desarrollarunateoríaoconjetura¤ Identificarcambiosalpasodeltiempo
¨ Tambiénpuedeincluirasociacionesentrevariables,comolascaracterísticasdelasescuelas(e.g.,tamaño,ubicación,baseseconómicas)queserelacionancon(digamos)elofrecimientodeinstrucciónmusicalyartística.
Fuente:Shavelson&Towne(2002).ScientificResearchinEducation.NationalAcademyPress
¿Por qué tan pocas mujeres que empiezan carreras en CTIM terminan trabajando en esos campos? ¨ Ensumomento,variasexplicacionesdiferentes:
¤ Lasmujeresnoestabanbienpreparadasantesdellegaralauniversidad;¤ Selesdiscriminabaenlauniversidad;¤ Noqueríancompetirconloshombresporlosempleos.
¨ Primerosestudiosdecasosetnográficosdeunpequeñogrupodemujeresdeprimerañoendosuniversidadespúblicasresidenciales:lamitadencadacampusplaneabacarrerastradicionalesparamujeres
¨ Conbaseenunanálisisdelosdatosetnográficosobtenidosdeunañodeobservaciónyentrevistasabiertasconlasparticipantes,sedesarrollaronmodelosparadescribircómoparticiparonlas23mujeresenlavidauniversitaria
¨ Compromisoconeltrabajoacadémicoeralaprincipalrazónparapersistirypredijoelcomportamientorealdetodoslos23casos.
Fuente:Shavelson&Towne(2002).ScientificResearchinEducation.NationalAcademyPress
Evaluación Nacional del Progreso Educativo (NAEP)
• Lasimplerecoleccióndedatosnoesporsímismacientífica.Eslaorganizaciónyanálisisrigurososdelosdatospararesponderapreguntasclaramenteespecificadasqueformanlabasedeladescripcióncientífica,nolosdatosmismos.
• NAEPencuestaydescribeeldesempeñodealumnosde4o,8o,12ogradosenunavariedaddemateriasacadémicas,incluyendomatemáticasylectoescritura,asícomoinformaciónsobreantecedentes.
• Existenmétodosestadísticosypsicométricosmodernospararesumirestaseriecomplejadedatoseninformessobreelaprovechamientoacadémicoysurelaciónconotrosfactores.Estacombinaciónderigurosarecoleccióndedatos,análisiseinformesesloquedistingueladescripcióncientíficadelaobservacióninformal.Fuente:Shavelson&Towne(2002).ScientificResearchinEducation.NationalAcademyPress
¿Existe un efecto sistemático?
¨ Losdiseñosdeevaluacionesqueintentanidentificarefectossistemáticostienenensuorigenunaintencióndeestablecerunarelacióndecausayefecto
¨ Lalaborcausalseconstruyetantosobrelateoríacomosobrelosestudiosdescriptivos
¨ Labúsquedadeefectoscausalesnosepuedellevaracaboenunvacío:idealmente,unafuertebaseteórica,asícomoextensainformacióndescriptivaexistenparaproporcionarelfundamentoparaentenderlasrelacionescausales
¨ Paralaevaluaciónsumativa,porende,unprogramadebedehaberpasadoporunperiododedesarrolloyestarenunasituaciónconsistentedeoperación(porejemplo,>=3años)antesdehacerpruebasdeefectoscausales
Fuente:Shavelson&Towne(2002).ScientificResearchinEducation.NationalAcademyPress
¿Reducir el tamaño del grupo mejora el aprovechamiento?
¨ EstudiodeTamañodeGrupodeTennessee—Experimentoaleatorio
¨ Losmaestrosdeprimariadetodoelestadosedividieronenformaaleatoriaen3condiciones(enescuelasdetamañoadecuado)1. Unmaestroenungruponormal(22-26alumnos)2. Unmaestroyunayudantedemaestroenungrupo
normal(22-26alumnos/2)3. Unmaestroenungrupopequeño(13-17alumnos)
¨ Seidentificóunefectocausalfavorablesóloenlacondición3,especialmenteparaalumnospertenecientesaminorías
¨ Fuelabaseparaunreformaescolar,pero¡TNnolallevóacabo!Fuente:Shavelson&Towne(2002).ScientificResearchinEducation.NationalAcademyPress.
10
¿Cómo o por qué está pasando?
¨ Búsquedademecanismoscausales¨ Múltiplesmétodosaplicables¨ TamañodegrupodeTennessee
¤ Comprendieronquehabíaunefecto¤ Nopudieronprecisarlosmecanismosqueledieronorigen
¤ Siguieronmúltiplesañosdeinvestigación
Lo que importa: la política, la medición & el diseño ¨ Lapolíticaimporta:Cualquieraqueseaelobjetode
evaluación:¤ Estáintegradaenmúltiplescontextos
¤ Ycuandounapolíticaagranescalaestáenjuego,lapolíticaimportamuchísimo
¤ Ignoralapolíticaatucuentayriesgo
¨ Lamediciónimporta:Cualquieraqueseaelobjetivo(constructo)queinteresa,distintasformasdemediciónpuedenproducirresultadosdiferentes:hayquealinearconfiabilidad,validezyutilidadconelpropósitoplaneado
¨ Eldiseñoimporta:Lasdiferentesformascomosediseñanlasmedicionesparaabordareltemadeevaluación—ysuspremisassubyacentes—puedenproducirresultadosmuydistintos
11
La política & la evaluación importan: Sistema de Evaluación del Aprendizaje de California (CLAS)
¨ Enfoquesobreevaluaciónexperimedntaleinnovadoraparaevaluaciónsumativa
¨ MuestramatrizderesultadosdepruebadeopcionesmúltiplesenanterioresCAPenmientras
¨ Recabarinformaciónadicionalsobreevaluaciónformativaintegradaenlossalonesdeclase
¨ Conmoderacióncombinarinformación
¨ Enúltimainstancia(10años)usarlaevaluaciónexternacomouna“auditoría”delainformaciónrecabadaeintegradaenelplandeestudios
¨ Promesadecampaña:Elestadorecabaráyproporcionaráresultadosindividualesdelaspreubasdelosalumnoseinformaráalospadresdefamilia(votantes)
¨ Deseabaunapruebacomúndeopcionesmútliplesparacadaalumno,sinmuestreomatriz
¨ Deseabaexperimentoconevaluaciónalternativa,siemprequelopermitieraeltiempoyeldinero
¨ Semolestóporlasprotestasdefaccionespolíticas(e.g.,laderechareligiosa)
¨ AfirmóqueCLASseequivocó;despidodeljefedelaunidaddeevaluació;elEstadovolvióaunsistemadeevaluaciónempleadodosgeneracionesantes
Unidaddeevaluación Gobernador
Reformasistémicaquealinearesultadosdeaprendizajedelosalumnosconplandeestudios(indagatorio)conevaluacionesalternativas(desempeño)
Lo que importa: premisas subyacentes del diseño: valor agregado
¨ Alusarelvaloragregadoparaevaluaramaestros,colegiosyuniversidades¤ Lapolíticaimporta:¡exigenciaderesponsabilidad!¤ Laevaluaciónimporta:vs.”¡cualquiernúmerosirve!”¤ Laspremisassubyacentesdeldiseñodevaloragregadoimportan:¡dudosasafirmacionescausales!
¨ Medicionesdevaloragregado(MVA)¤ Uninstrumentodepolíticamuydelicado¤ Cuandoseejercedemanerainadecuada,probablementehagamásmalquebien
13
Algunas premisas clave en la medición del valor agregado
¨ Lasmedicionesdevaloragregadopretendenproporcionarestimadoscausalesdelosefectosdelauniversidadenelaprendizajedelosalumnos;sequedancortas
¨ Seconocenmuybienlaspremisasparahacerinferenciascausalesdelosdatosobservados(e.g.,Holland,1986;Reardon&Raudenbush,2009)
¨ Susceptibilidaddemanipulación:Enteoría,losestudiantespodríanquedarexpuestosacualquiertratamiento(i.e.,asistiracualquieruniversidad).
¨ Nointerferenciaentreunidades:Elresultadodeunestudiantedependesólodesuasignaciónauntratamientodado(e.g.,noexistenefectosdepares).
¨ Lapremisamétrica:Losresultadosdelaspruebasestánenunaescaladeintervalos.
¨ Homogeneidad:Elefectocausalnovaríacomofuncióndealgunacaracterísticadelosestudiantes.
¨ Tratamientosumamenteignorable:Laasignaciónauntratamientoesesencialmentealeatoriadespuésdecondicionarsobrevariablesdecontrol.
¨ Formafuncional:Laformafuncional(típicamentelineal)empleadacomocontroldelascaracterísticasdelestudianteeslacorrecta.
14
Algunas decisiones clave en la medición del valor agregado
¨ ¿Cuáleseltratamiento&comparadoconqué?¤ SilauniversidadAeseltratamiento,¿cuáleselcontrolola
comparación?¤ ¿Cuántoduraeltratamiento(e.g.,3,4,5,6,+años)?¤ ¿Quétratamientonosinteresa?
n ¿Enseñanza-aprendizajeajustandoporefectosdecontexto?n ¿Enseñanza-aprendizajeconcontextodepares?
¨ ¿Cuáleslaunidaddecomparación?¤ ¿Instituciónouniversidadocarrera(asumirmismotratamiento
paratodos)?¤ Elecciónprácticaentreprecisióndedefinicióndetratamientoy
tamañosuficientedemuestraparaestimación¤ Losestudiantescambiandecarrera/universidad:¿Aqué
tratamientoseatribuyenlosefectos?
15
Algunas decisiones claves en la medicición de valor agregado (Continúa)
¨ ¿Quésedebemedircomoresultados?¤ ¿Habilidadesgenéricas(e.g.,pensamientocrítico,resolucióndeproblemas)
engeneralodeunacarrera?¿Conocimientosespécificosdeunamateriayresolucióndeproblemas?
¤ ¿Comodebemedirse?n Respuestaelegida(opciónmúltiple)n Respuestaelaborada(ensayodeargumentaciónconjustificación)n Etc.
¤ ¿Quétanválidassonlasmedicionescuandosetraducenparaevaluacionesentrepaíses?
¨ ¿Quécovariantesdebenusarseparahacerajustesconelfindedarcuentadelsesgodeselección?¤ Covariantesindividuales:resultadosparalelosanterioresalapruebacon
resultadosdelaprueba¤ Múltiplescovariantes:cognitivos,afectivos,biográficos(e.g.,SES)¤ Efectosdecontextoinstitucional:puntuaciónpromedioanterioralaprueba,
SESpromedio¨ ¿Cómolidiarcon“clasificacion”deestudiantes(porhabilidadyotros
elementos)?¡Laeleccióndeasistiraunauniversidad“noescasual!”
16
¿Todas estas preocupaciones importan?: ¡Datos de Colombia! ¨ ¡Sí!¨ Datos(>64,000estudiantes,168IHE(institucionesde
educaciónsuperior)y19GruposdeReferencia,comoingeniería,derechoyeducación)delsingularsistemadeevaluacióndeuniversidadesdeColombia¤ Todoslosalumnosdelúltimoañodepreparatoriatomanelexamendeingresoalauniversidad:SABER11:lengua,matemáticas,química,ycienciassociales)
¤ Todoslosgraduadosdelauniversidadhacenunexamendeegreso:SABERPRO:razonamientocuantitativo(RC),lecturacrítica(LC),redacción,einglés,ademásdeexámenessobremateriasespecíficas
¨ EnfoquesobrehabilidadesgenéricasdeRCyLC
17
Estimadción de modelos de valor agregado ¨ Modelojerárquicode2
nivelesdeefectosmixtos¤ 1.Estudiantedentrode
grupodereferencia¤ 2.Grupodereferencia
¨ Covariantes:¤ Nivelindividual
n VectorSABER11de4calificacionesdebidoatemasdeconfiabilidad
n SES(INES)¤ Niveldegrupode
referencian MediaSABER11on MediaINSE
¨ Modelo1:Ningúnefectodecontexto:i.e.,ningunamediaSABER11niINSE
¨ Modelo2:ContextoconmediaINSE
¨ Modelo3:ContextoconmediaSABER11
18
Mediciones VA: ¡Instrumentos Delicados!
¨ Impactoenescuelasdeingeniería¤ Puntonegro:Escuelade“matrículadealtacalidad”
¤ Puntogris:Escuelade“matrículadecalidadpromedio”
19
Generalizaciones de los hallazgos
¨ ExámenesdemateriasSABERPROenderechoyeducación¤ EstimadosVAnosonsensiblesavariaciónenmediciónderesultadosgenéricosv.materiasespecíficas
¤ Mayoresdiferenciasentreuniversidades(ICCs)conresultadosdemateriasespecíficasqueconresultadosgenéricos
¨ EvaluaciónAHELOdeHabilidadesGenéricas¤ EstimadosVAconequivalenteAHELOalosencontradosconexámenesSABERPRO
¤ Menoresdiferenciasentreuniversidades(ICCs)enresultadosdehabilidadesgenéricasAHELOqueenresultadosSABERPRO
20
MVA y evaluación de maestros
Comomedicionúnicaocomomedicióndecisivade“calidaddocente”o“efectividaddocente”,noconvienelaMVA
¨ LosestimadosMVAhanresultadoserinestablesentremodelosestadísticos,años,ygruposqueunmaestroenseña
¨ Múltiplesfactoresimpactanlosresultadosdelosavancesdeaprendizajedelosestudiantesdentrodelasescuelas,ynopuedendesentrañarseadecuadamente¤ Maestroactual+maestrosanteriores+maestrosqueenseñan
materiasdistintas¤ Condicionesescolares(e.g.,pares,liderazgo,apoyodocente,calidad
curricular,tutoríasyotrosapoyosestudiantiles,tamañodegrupo)¤ Condicionesextraescolares(e.g.,barrios,capitalsocial)
¨ Múltiplesfactoresimpactaninclusomáslosavancesdeaprendizajedelosestudiantesentreescuelas
21
Gracias