Embed Size (px)
Citation preview
1
INFORME FINAL DE TESIS
UNIVERSIDAD DE LOS ANDES
CENTRO DE INVESTIGACIÓN Y FORMACIÓN EN EDUCACIÓN-
CIFE
USO DE PRUEBAS DE OPCIÓN MÚLTIPLE Y PRUEBAS DE
DESEMPEÑO PARA EVALUAR LOS DIFERENTES TIPOS DE
CONOCIMIENTOS Y HABILIDADES EN CIRCUITOS
ELÉCTRICOS EN ESTUDIANTES DE QUINTO NIVEL DE
COLEGIOS PÚBLICOS DE BOGOTÁ QUE USAN LA
ESTRATEGIA DE ENSEÑANZA DE CIENCIAS POR
INDAGACIÓN.
PRESENTADO POR
RAFAEL ÁNGEL MONTENEGRO MONTERO
DIRIGIDA POR
ALEXIS LÓPEZ, PH.D.
BOGOTÁ D.C., NOVIEMBRE DE 2010
2
DEDICATORIA
Dedico este proyecto a los seres
que son lo más hermoso en mi vida:
A Dios por guiar mis pasos
A mi esposa Leyda por ser incondicional
A mi hija Nicolle, la luz de mis ojos
A mis padres por su apoyo.
3
AGRADECIMIENTOS
Expreso sinceramente mi gratitud a todos los amigos colombianos que
me apoyaron y me acompañaron en estos dos años de formación
profesional.
A mi tutora María Figueroa, por sus enseñanzas y por todo el apoyo
que me dio para la realización de este proyecto investigativo.
Al director del proyecto Alexis López, por su dedicación y por atender
mis inquietudes durante todo el proceso.
A los amigos del programa Pequeños Científicos, por permitirme
hacerme participe en el proyecto.
4
TABLA DE CONTENIDO
RESUMEN .......................................................................................... 9
1. INTRODUCCIÓN ............................................................................10
1.1 PROBLEMA DE INVESTIGACIÓN.................................................................... 11
1.2 IMPORTANCIA DEL ESTUDIO ......................................................................... 12
1.3 OBJETIVOS DEL ESTUDIO .............................................................................. 12
1.3.1 Objetivo General ..................................................................................... 12
1.3.2 Objetivos Específicos ............................................................................ 12
1.4 PREGUNTAS DE INVESTIGACIÓN ................................................................. 13
1.5 HIPÓTESIS ......................................................................................................... 13
1.6 LIMITACIONES DEL ESTUDIO ......................................................................... 14
2.1 EVALUACIÓN EN LA ENSEÑANZA DE LAS CIENCIAS POR INDAGACIÓN
................................................................................................................................... 15
2.2 PRUEBAS DE OPCIÓN MÚLTIPLE .................................................................. 15
2.3 DEFINICIÓN DE PRUEBAS DE DESEMPEÑO................................................ 17
2.4 CARACTERÍSTICAS DE LAS PRUEBAS DE DESEMPEÑO ......................... 18
2.5 BENEFICIOS DE LAS PRUEBAS DE DESEMPEÑO ...................................... 19
2.6 ESTUDIOS SOBRE PRUEBAS DE DESEMPEÑO .......................................... 20
2.7 VALIDEZ Y CONFIABILIDAD DE LAS PRUEBAS DE DESEMPEÑO ........... 21
2.8 PRUEBAS DE DESEMPEÑO MEDIANTE SIMULACIÓN EN COMPUTADOR
................................................................................................................................... 24
2.9 USO DE VARIOS MÉTODOS PARA LA EVALUACIÓN EN CIENCIAS ........ 25
5
3. METODOLOGÍA ............................................................................27
3.1 DISEÑO DE ESTUDIO ....................................................................................... 27
3.1.1 Tipo de Estudio ....................................................................................... 27
3.1.2 Variables .................................................................................................. 27
3.1.2.1 Variable Independiente ....................................................................... 27
3.1.2.2 Variable dependiente ......................................................................... 28
3.2 CONTEXTO Y PARTICIPANTES ...................................................................... 28
3.2.1 Contexto................................................................................................... 28
3.2.2 Participantes ........................................................................................... 29
3.3 ESTRATEGIAS DE RECOLECCIÓN DE DATOS ............................................ 30
3.3.1 Instrumentos Utilizados ......................................................................... 30
3.3.1.1 Pruebas de Opción Múltiple y Preguntas Abiertas ........................ 30
3.3.1.2 Prueba de desempeño con elementos reales ................................. 31
3.3.1.3 Prueba de desempeño mediante simulación en computador ....... 32
3.4 PROCEDIMIENTO .............................................................................................. 34
3.5 ANÁLISIS DE DATOS ........................................................................................ 35
3.5.1 Datos Cuantitativos ............................................................................... 35
3.5.2 Datos Cualitativos .................................................................................. 36
3.6 ESTRATEGIAS DE VALIDEZ Y CREDIBILIDAD ............................................. 37
3.7 ÉTICA .................................................................................................................. 38
3.8 CRONOGRAMA DE ACTIVIDADES ................................................................. 39
4. RESULTADOS ...............................................................................40
4.1 DESEMPEÑO DE LOS ESTUDIANTES EN PRUEBAS DE CIRCUITOS
ELÉCTRICOS ........................................................................................................... 40
4.1.1 Pruebas de Opción Múltiple .................................................................. 40
6
4.1.2 Pruebas de Desempeño con Elementos Reales ................................ 45
4.1.3 Pruebas de Desempeño Mediante Simulación en Computador ...... 47
4.2 CORRELACIONES ENTRE PRUEBAS DE OPCIÓN MÚLTIPLE Y PRUEBAS
DE DESEMPEÑO .................................................................................................... 50
4.3 EQUIVALENCIA ENTRE PRUEBAS DE DESEMPEÑO.................................. 53
4.4 VALIDEZ Y CONFIABILIDAD DE LOS INSTRUMENTOS UTILIZADOS ...... 58
5. DISCUSIÓN....................................................................................61
6. CONCLUSIONES ...........................................................................64
7. IMPLICACIONES ...........................................................................65
8. ANEXOS ........................................................................................67
8.1 ANEXO 1 EJEMPLOS DE ÍTEMS UTILIZADOS EN LA PRUEBA DE OPCIÓN
MÚLTIPLE ................................................................................................................. 67
8.2 ANEXO 2 CUADERNILLO DE PRUEBA DE DESEMPEÑO CON
ELEMENTOS REALES ........................................................................................... 72
8.3 ANEXO 3 INSTRUCCIONES Y MATRIZ DE CALIFICACIÓN DE PRUEBAS
DE DESEMPEÑO CON ELEMENTOS REALES .................................................... 82
BIBLIOGRAFÍA..................................................................................84
7
ÍNDICE DE TABLAS
Tabla 1 Interpretación de los Coeficientes de Correlación ...................................... 36
Tabla 2 Cronograma de Actividades ....................................................................... 39
Tabla 3 Medidas de Tendencia Central y Medidas de Dispersión En Pruebas de
Opción Múltiple .......................................................................................................... 40
Tabla 4 Medidas de Tendencia Central y Medidas de Dispersión de Preguntas
Según Tipo de Conocimiento.................................................................................... 42
Tabla 5 Medidas de Tendencia Central y Medidas de Dispersión Prueba de
Desempeño con Elementos Reales ......................................................................... 45
Tabla 6 Porcentaje de Respuestas Correctas por Tarea en Prueba de Desempeño
con Elementos Reales .............................................................................................. 47
Tabla 7 Medidas de Tendencia Central y Medidas de Dispersión Prueba de
Desempeño por Simulación en Computador ........................................................... 48
Tabla 8 Porcentaje de Respuestas Correctas por Tarea en Prueba de Desempeño
con Elementos Reales .............................................................................................. 49
Tabla 9 Coeficiente de Correlación entre Instrumentos ......................................... 50
Tabla 10 Coeficiente de Correlación Entre Pruebas de Desempeño y Preguntas
por Tipo de Conocimiento ......................................................................................... 51
Tabla 11 Coeficiente de Correlación Entre Pruebas de Desempeño y Proximidad
de preguntas .............................................................................................................. 52
Tabla 12 Medidas de Tendencia Central y Medidas de Dispersión por Intento y
Tipo de Prueba .......................................................................................................... 54
Tabla 13 Coeficiente de Correlación por Intento y por Tipo de Prueba ................. 55
Tabla 14 Coeficiente de Correlación Entre Intento (ER1SC2) y Preguntas por Tipo
de Conocimiento........................................................................................................ 57
Tabla 15 Coeficiente de Correlación Entre Intento (SC1ER2) y Preguntas por Tipo
de Conocimiento........................................................................................................ 58
Tabla 16 Coeficientes de Confiabilidad Según Tipo de Instrumento ...................... 58
8
ÍNDICE DE GRÁFICAS
Gráfica 1 Distribución de Frecuencias de los Puntajes en Pruebas de Opción
Múltiple....................................................................................................................... 41
Gráfica 2 Distribución de Frecuencias de los Puntajes en Preguntas Declarativas
................................................................................................................................... 43
Gráfica 3 Distribución de Frecuencias de los Puntajes en Preguntas Esquemáticas
................................................................................................................................... 43
Gráfica 4 Distribución de Frecuencias de los Puntajes en Preguntas
Procedimentales ........................................................................................................ 44
Gráfica 5 Distribución de Frecuencias de los Puntajes en Prueba de Desempeño
con Elementos Reales .............................................................................................. 46
Gráfica 6 Distribución de Frecuencias de los Puntajes en Prueba de Desempeño
por Simulación con Computador .............................................................................. 49
Gráfica 7 Distribución de frecuencias ER1 Gráfica 8 Distribución de
frecuencias SC2 ......................................................................................................... 54
Gráfica 9 Distribución de frecuencias SC1 Gráfica 10 Distribución
de frecuencias ER2 .................................................................................................... 55
ÍNDICE DE ILUSTRACIONES
Ilustración 1 Vista de la Pantalla de la Simulación en Computador ........................ 33
Ilustración 2 Diseño de Implementación de Pruebas y Correlaciones .................... 34
9
RESUMEN
En la enseñanza de las ciencias basada en indagación, la evaluación difiere de
formas más tradicionales de evaluación, principalmente por la naturaleza misma
de la indagación y por las metas que tiene este tipo de instrucción, por este motivo
se ha realizado mucho desarrollo e investigación sobre cómo medir los resultados
del aprendizaje en la enseñanza de las ciencias donde se utiliza esta estrategia.
La evaluación en ciencias requiere instrumentos y técnicas que estén alineadas
con las metodologías utilizadas y que estas puedan medir lo que los alumnos
entienden y pueden hacer en esta disciplina. Por lo tanto esta evaluación necesita
incluir diferentes tipos de pruebas, formatos e instrumentos. Este estudio compara
los resultados obtenidos por alumnos de quinto grado de colegios públicos de la
ciudad de Bogotá, utilizando tres tipos diferentes de instrumentos después de
haber terminado una unidad en circuitos eléctricos, en estos estudiantes se utilizó
la estrategia de enseñanza de las ciencias por indagación, adicionalmente se
realizó el análisis de los resultados obtenidos en dos tipos de prueba de
desempeño, para comprobar si estas pruebas se pueden utilizar indistintamente.
Los resultados de este estudio muestran una correlación significativa entre los tres
tipos de instrumentos, una vinculación de las pruebas de opción múltiple con el
conocimiento declarativo y de las pruebas de desempeño con el conocimiento
esquemático, por esto se puede establecer que utilizar diversos instrumentos para
la evaluación en circuitos eléctricos puede ayudar a obtener una visión más amplia
del conocimiento y las habilidades de los estudiantes. La información recogida en
este estudio nos da datos preliminares sobre si es posible intercambiar la
aplicación de diferentes pruebas de desempeño. La comparación de estos tres
instrumentos da información útil sobre si es viable, factible y practico usar
diferentes instrumentos de evaluación para medir el desempeño y las habilidades
de los estudiantes en circuitos eléctricos.
10
1. INTRODUCCIÓN
En Colombia programa Pequeños Científicos tiene por misión
Promover y contribuir al mejoramiento de la enseñanza-aprendizaje de la
ciencia y la tecnología entre los niños, niñas y jóvenes colombianos, a través de
actividades de indagación realizadas por los estudiantes con la orientación del
maestro, en un marco de aprendizaje cooperativo y de estándares de calidad
internacionales(Duque, 2009, p. 2).
Una de las áreas del conocimiento en las que trabaja este programa son los
circuitos eléctricos. Las guías de trabajo y los módulos de circuitos eléctricos son
utilizados en la educación primaria en varias regiones de Colombia. En la ciudad
de Bogotá, en diciembre de 2008, 44 colegios y 27,400 estudiantes utilizan estos
módulos (Presentación del Programa Pequeños Científicos).
El desarrollo de un sistema de evaluación que brinde constante retroalimentación
al aprendizaje de los estudiantes ha sido uno de los principios que Pequeños
Científicos ha implementado para que el programa pueda desarrollarse
exitosamente (Duque, 2009). Para evaluar los conocimientos de los estudiantes
en el área de circuitos eléctricos se utilizan pruebas de opción múltiple; dentro del
programa Panamá-Colombia-Denver, se introducen las pruebas de desempeño
en electricidad para medir el conocimiento de los estudiantes (Duque, 2009).Estas
pruebas son conocidas como “Las cajas eléctricas misteriosas” (“Electric Mystery
Boxes”), desarrolladas por el Stanford Education Assessment Laboratory (SEAL)
de la Universidad de Stanford. En estas pruebas el estudiante tiene que descubrir
el contenido de la caja armando circuitos eléctricos y registrando el procedimiento.
De esta prueba se han desarrollado versiones con elementos reales y en un
proyecto de la Universidad de los Andes y el ICFES se desarrolló la versión de
simulación en computador de esta prueba. En este estudio se aplicaron ambas
versiones de la prueba de desempeño a estudiantes de quinto nivel de colegios
públicos de Bogotá.
11
1.1 PROBLEMA DE INVESTIGACIÓN
Actualmente se evidencia un gran interés hacia el área de evaluación en ciencias.
Se han propuesto múltiples formatos y procedimientos como test, investigaciones,
proyectos, portafolios y pruebas de desempeño para poder evaluar los
conocimientos y habilidades de los estudiantes. Escoger el formato apropiado de
evaluación es un reto que tienen todos los educadores en el área de ciencias y
este es el motivo que impulso este trabajo de investigación.
Se han realizado pilotajes de ambos tipos de pruebas de desempeño en circuitos
eléctricos, pero hasta el momento estas no son utilizadas en instituciones
educativas del país; es por esto que los resultados de esta investigación me
ayudaran a despejar interrogantes sobre la implementación de las pruebas de
desempeño en el aula, como su validez y confiabilidad, si es practico aplicarlas,
como es la relación de estas pruebas con otros instrumentos de evaluación, si es
posible utilizar indistintamente pruebas de desempeño con elementos reales y
simulaciones en computador para medir el mismo tipo de habilidad y
conocimiento, todo esto con el propósito de en un futuro implementar estas
pruebas en gran escala.
Este trabajo de investigación está relacionado con las actividades que desarrollé
en el programa Pequeños Científicos y en el Centro de Evaluación del CIFE. La
estrategia de indagación es utilizada en Colombia y Panamá para impartir
ciencias, pero en el área de evaluación he observado que se han realizado pocos
trabajos y la experiencia que puedo adquirir en esta investigación es importante
para el programa. El trabajo con Pequeños Científicos me permitió tener acceso a
las instituciones educativas donde se realizó el trabajo de investigación y de la
base conceptual de la indagación en las ciencias.
12
1.2 IMPORTANCIA DEL ESTUDIO
Como investigador este tema es importante porque soy profesor del área técnica,
en electricidad; por eso es importante investigar cómo se puede evaluar los
conocimientos y habilidades de los estudiantes mediante utilizando diferentes tipos
de instrumentos como pruebas de desempeño y pruebas de opción múltiple.
Para los participantes es importante este estudio ya en las observaciones de clase
de electricidad que realice en el programa Pequeños Científicos en Colombia y
Hagamos Ciencias en Panamá, he visto algunas dificultades que tienen los
educadores en el campo de la evaluación, y los estudiantes principalmente en el
dominio conceptual del tema y en la realización de experiencias que involucren
electricidad. Los resultados de este trabajo de investigación serían de utilidad
para las instituciones que impulsan la enseñanza de las ciencias por indagación
tanto en Colombia como en Panamá.
1.3 OBJETIVOS DEL ESTUDIO
1.3.1 Objetivo General
El objetivo general de este trabajo de investigación es: Utilizando pruebas de
opción múltiple y pruebas de desempeño medir los diferentes tipos de
conocimientos y habilidades en circuitos eléctricos de estudiantes de quinto nivel
de colegios públicos administrados por el sistema de concesión del área de
Bogotá que utilizan la estrategia de enseñanza de las ciencias por indagación.
1.3.2 Objetivos Específicos
Como objetivos específicos de este estudio tenemos:
1. Evaluar el desempeño de los estudiantes en circuitos eléctricos con las
pruebas de desempeño “Cajas misteriosas”.
13
2. Establecer las correlaciones entre las pruebas de opción múltiple y las
pruebas de desempeño.
3. Establecer que grado de equivalencia tienen los resultados de las pruebas
de desempeño con elementos reales y pruebas mediante simulación en
computador.
1.4 PREGUNTAS DE INVESTIGACIÓN
A través del análisis y presentación de resultados se contestaré las siguientes
preguntas de investigación:
1. ¿Cómo se pueden usar las pruebas de opción múltiple y las pruebas de
desempeño para medir de manera efectiva los diferentes tipos de
conocimientos y habilidades en circuitos eléctricos en estudiantes de quinto
nivel de colegios públicos de Bogotá que usan la estrategia de enseñanza
de ciencias por indagación?
2. ¿Qué correlación se encuentra entre los resultados en la prueba de opción
múltiple de circuitos eléctricos y una prueba de desempeño, en el caso de
estudiantes de quinto grado de colegios públicos de Bogotá?
3. ¿Qué grado de equivalencia en los resultados existe entre las pruebas de
desempeño con elementos reales y la simulación en computador?
1.5 HIPÓTESIS
Hipótesis nula
1. No hay correlación entre la prueba de opción múltiple y las pruebas de
desempeño en circuitos eléctricos, en el caso de estudiantes de quinto
grado en colegios públicos de Bogotá.
14
2. Las pruebas de desempeño con elementos reales y por simulación en
computadora no son equivalentes.
1.6 LIMITACIONES DEL ESTUDIO
Las principales limitaciones que encontré en este estudio son:
1. Este estudio solo se aplicó en colegios públicos que utilizan el sistema de
administración por concesión, ya que la entidad que administra estos
colegios permitió que se realizara la investigación en sus colegios. No se
aplicó a otro tipo de colegios.
2. Las pruebas de desempeño en computador es un instrumento nuevo que
se utilizó, observé la necesidad de realizar ajustes en la implementación de
esta prueba a los estudiantes.
3. La cantidad de pruebas de desempeño con elementos reales era limitada,
por lo que se debió tomar una muestra representativa para realizar el
estudio. La cantidad de computadores disponibles en los colegios también
era limitada.
15
2. MARCO CONCEPTUAL
2.1 EVALUACIÓN EN LA ENSEÑANZA DE LAS CIENCIAS POR INDAGACIÓN
En el contexto de la indagación, la evaluación necesita medir el progreso de los
estudiantes en el logro de los tres principales resultados de aprendizaje de la
enseñanza de las ciencias basada en indagación: la comprensión conceptual de
las ciencias, las habilidades para llevar a cabo la investigación científica y la
comprensión acerca de la investigación (Olson & Loucks-Horsley, 2000).Como
estos objetivos difieren a los de otras aproximaciones usadas en la enseñanza de
las ciencias, el método de evaluación utilizado en la enseñanza de las ciencias por
indagación también difiere.
Entre los procedimientos y formatos de evaluación utilizados en la enseñanza de
la ciencia por indagación tenemos las pruebas de opción múltiple, preguntas
abiertas, ensayos, investigaciones, reportes, proyectos, cuadernos de ciencias,
simulaciones por computadora y pruebas de desempeño. Uno de los métodos más
comunes de evaluación es el test, esta palabra usualmente se usa para describir
un proceso sistemático de obtener una muestra de los conocimientos del
estudiante. Los resultados de estas pruebas, ya se escritas o por computadora
pueden ser usadas de diversas maneras.
2.2 PRUEBAS DE OPCIÓN MÚLTIPLE
Los test o pruebas, principalmente las de opción múltiple son utilizadas para la
evaluación de conocimientos en ciencias, tienen ventajas evidentes como
eficiencia, economía en el desarrollo, facilidad en administrar y calificar;
típicamente estas preguntas son utilizadas para que los estudiantes identifiquen
hechos, conceptos o vocabulario (Olson & Loucks-Horsley, 2000). Hay mucha
16
discusión sobre la efectividad de las pruebas de opción múltiple para evaluar los
logros de los estudiantes en ciencias, principalmente en los niveles más altos del
dominio cognitivo.
Burton, Sudweeks, Merrill y Wood (1991) afirman que las preguntas de opción
múltiple son frecuentemente usadas para medir objetivos de bajo nivel cognitivo,
se pueden aplicar para medir objetivos de alto nivel cognitivo, como los basados
en comprensión, aplicación y análisis. Clegg y Cashin (1986) sostienen que las
preguntas de opción múltiple bien diseñadas pueden medir los niveles más altos
del aprendizaje del estudiante, incluyendo los niveles más altos de la taxonomía
de los objetivos cognitivos. Cheung y Bucat (2002) sostienen que las preguntas
de opción múltiple pueden ser construidas para medir una variedad de resultados
de aprendizaje, desde recordar hechos hasta los más altos niveles de las
habilidades cognitivas. Muller (2010) afirma que se pueden diseñar preguntas de
opción múltiple que evalúen objetivos de aprendizaje más elevados.
En cambio autores como Brown y Shavelson (1996), afirman que las preguntas de
opción múltiple tienden a hacer énfasis en solo recordar conceptos y hechos.
Pellegrino, Chudowsky y Glaser (2001) sostienen que es difícil evaluar las
estrategias utilizadas para resolver problemas por los estudiantes, utilizando
preguntas de opción múltiple, ya que estas tienen limitaciones que restringen el
rango de desempeño que puede ser observado, así como los tipos de procesos
cognitivos y estructuras de conocimiento de las cuales se pueden obtener
inferencias. Haertel (1999) alega que las pruebas de opción múltiple son
claramente inadecuadas como indicador único del desempeño de los estudiantes.
Muller (2010) sostiene que aunque una pregunta de opción múltiple pida al
estudiante analizar o aplicar conceptos a una nueva situación en vez de solo
recordar hechos, la evidencia que se recopila es solo indirecta y solo se puede
tener cierta inferencia sobre que el estudiante puede saber y que es capaz de
hacer con ese conocimiento.
17
2.3 DEFINICIÓN DE PRUEBAS DE DESEMPEÑO
En los años noventa, se comenzaron a utilizar otros métodos para evaluación en
el marco de las reformas nacionales de la educación en los Estados Unidos de
Norteamérica, una de las piezas centrales fueron las pruebas de desempeño
(Heartel, 1999). El termino pruebas de desempeño estaba en la mayoría de los
casos relacionado con pruebas prácticas que no requerían habilidades escritas
(Palm, 2008). En educación, la idea era medir la eficiencia del individuo en ciertas
tareas de interés. Estas pruebas se utilizaban típicamente en el área vocacional y
eran aplicadas en ingeniería, mecanografía y música. En la práctica estas pruebas
eran un ejemplo de las situaciones que el individuo encontraría en ambiente
laboral.
En los años 80 hubo un aumento en las investigaciones sobre las pruebas de
desempeño, impulsada por la insatisfacción creada por el uso extensivo de
pruebas de opción múltiple en los Estados Unidos, ya que se afirmaba que estas
pruebas no podían medir competencias importantes que el estudiante necesitaba
para la vida más allá de la escuela (Palm, 2008).
El término pruebas de desempeño es recurrente en la literatura y en la
investigación sobre educación, pero existen múltiples definiciones sobre este
concepto. Entre estas definiciones tenemos:
“Un método de prueba que requiere que los estudiantes desarrollen un producto o
una respuesta que demuestre sus conocimientos y habilidades” (Office of
Technology Assessment (OTA), 1992, p. 19).
“Una forma de evaluación en la cual los estudiantes se les pide que realicen
tareas del mundo real en que demuestren aplicaciones validas de conocimientos
y habilidades básicas” (Muller, 2010, p. 2)
“…. Involucrarse en problemas o preguntas dignos de importancia, en la cual los
estudiantes deben usar conocimientos para modelar desempeños de manera
18
efectiva y creativa. Las tareas pueden ser replicas o analogías de la clase de
problemas que enfrentan los ciudadanos, consumidores o profesionales en el
campo” (Wiggins ,1993, p. 229).
“Las pruebas de desempeño llevan a los estudiantes a demostrar habilidades y
competencias específicas, esto es, aplicar habilidades y conocimientos que hayan
dominado” (Stiggins ,1987, p. 34).
Analizando las definiciones presentadas se observa que estas comparten
propiedades importantes, además estas definiciones se pueden dividir en
centradas en respuesta y centradas en simulación. Las definiciones centradas en
respuestas, como la dada por la OTA (1992), se enfoca en el formato de respuesta
de la evaluación, en cambio las definiciones centradas en simulación se enfocan
en el desempeño observado del estudiante, se requiere que este sea similar al tipo
de desempeño que es de interés (Palm, 2008). Otro aspecto importante que hay
que notar en las definiciones es que las tareas y simulaciones deben ser tomadas
de situaciones reales o de experiencias de la vida real, también es claro en todas
las definiciones que se espera una respuesta construida por el estudiante, más
allá de una respuesta seleccionada de una lista.
2.4 CARACTERÍSTICAS DE LAS PRUEBAS DE DESEMPEÑO
Las características que deben tener las pruebas de desempeño han sido
abordadas por diversos autores, Ruiz-Primo y Shavelson (1996), Brown y
Shavelson (1996) describen las pruebas de desempeño formadas por tres
elementos: una tarea, un formato de respuesta y un sistema de calificación.
La tarea invita al estudiante a resolver un problema o conducir una investigación,
requiere el uso de materiales concretos que le den retroalimentación a los
estudiantes sobre el proceso, reaccionando a sus acciones, esta tarea debe estar
contextualizada al problema o a la investigación y puede haber diferentes
19
soluciones para resolver la tarea. Brown y Shavelson (1996) sostienen que este
punto es muy importante porque es muy parecido a la indagación científica.
El formato de respuesta pide a los estudiantes que comuniquen los resultados de
una manera particular, permite a los estudiantes mostrar los resultados de
diversas maneras (gráficos, tablas, esquemas, dibujos), además debe pedir al
estudiante que justifique sus respuestas.
El sistema de calificación debe captar la respuesta correcta y la evidencia del
proceso que se llevó a cabo para resolver la tarea. Debe proveer al profesor de
información útil de que el estudiante conoce y de que pude hacer, además los
resultados deben ser confiables. Para Brown y Shavelson (1996), el sistema de
calificación es una parte muy importante de las pruebas de desempeño, ya que sin
esta solo sería una actividad.
Muller (2010), presenta una visión más simple de los elementos que forman las
pruebas de desempeño: una tarea que los estudiantes tienen que realizar y una
rúbrica en la que el desempeño en la tarea va a ser evaluado. Muller sostiene que
la tarea debe ser una actividad con cierto grado de complejidad, diseñadas para
que el estudiante analicé, sintetice y aplique lo que ha aprendido. Estas
actividades deben estar relacionadas con lo que el estudiante ve en el mundo real.
2.5 BENEFICIOS DE LAS PRUEBAS DE DESEMPEÑO
Los beneficios de las pruebas de desempeño están bien documentados: Ayala,
Shavelson, Yi y Schulzt (2002), sostiene que las pruebas de desempeño pueden
medir otros aspectos de las ciencias así como los conocimientos declarativos,
procedimentales y esquemáticos. Ruiz-Primo y Shavelson (1996), asumen que las
pruebas de desempeño producen procesos de razonamiento de alto nivel, que
estas pruebas están muy relacionadas con lo que los estudiantes hacen en los
laboratorios y con lo que los científicos actualmente realizan. Heartel (1999)
20
sostiene que con estas pruebas se puede demostrar que se ha aprendido, además
que se obtiene un compromiso del estudiante en el aprendizaje. Elliot (1995) ve en
las pruebas de desempeño una alternativa para la evaluación en ciencias, con
esta se puede obtener una visión completa de que los estudiantes saben y son
capaces de hacer. Quellmatz (1999), sostiene que las pruebas de desempeño
permite hacer visible el pensamiento de los estudiantes, también mediante estas
pruebas se presenta a los estudiantes problemas auténticos del mundo real, por lo
que los estudiantes pueden mostrar cómo pueden aplicar conocimientos
académicos a situaciones prácticas. Por los motivos mencionados anteriormente
las pruebas de desempeño son una alternativa para evaluar los conocimientos de
los estudiantes en ciencias.
2.6 ESTUDIOS SOBRE PRUEBAS DE DESEMPEÑO
La prueba de desempeño escogida para este estudio es: “Electric Mystery Boxes”
(Cajas Eléctricas Misteriosas) en sus versiones de elementos reales y por
computadora, esta prueba fue desarrollada por Richard Shavelson del Laboratorio
de Evaluación de la Universidad de Stanford (SEAL). En esta prueba los
estudiantes tienen la tarea de descubrir que componente eléctrico hay en el
interior de seis cajas selladas, utilizando circuitos eléctricos. Mediante esta prueba
se quiere evaluar el conocimiento básico en circuitos y el razonamiento, mediante
una tarea de investigación de identificación de componentes (Ayala et al., 2002).
El método de calificación de la prueba se basa en la evidencia mostrada por el
estudiante y las conclusiones a las que el estudiante llega utilizando esa
evidencia. Este tipo de tarea apunta principalmente al conocimiento y
razonamiento básico, ya que los estudiantes necesitan conocer el flujo de
electricidad en un circuito en serie y deben razonar, confirmando o refutando la
evidencia, para desarrollar la actividad en forma satisfactoria (Shavelson, Baxter &
Pine, 1991).
21
Hasta el momento no se han encontrado estudios realizados en Colombia sobre la
aplicación de pruebas de desempeño en niños de primaria en el área de circuitos
eléctricos. En los Estados Unidos de Norteamérica se han realizado estudios
sobre la realidad de la efectividad de este método de evaluación (Shavelson et al.,
1992; Ruiz-Primo & Shavelson, 1996), también comparaciones entre pruebas
nacionales de opción múltiple correlacionándolas con pruebas de desempeño
(Ayala et al., 2002; Rosenquist, Shavelson, & Ruiz-Primo, 2000). En los resultados
de estos estudios la efectividad de este método de evaluación está bien
documentada, pero es necesario centrarse en ciertos problemas encontrados
como la validez, confiabilidad, equivalencia, utilidad y factibilidad de las pruebas
de desempeño, que pueden ser de importancia para este trabajo de investigación.
2.7 VALIDEZ Y CONFIABILIDAD DE LAS PRUEBAS DE DESEMPEÑO
Las pruebas de desempeño, como cualquier otra prueba debe ser verificada para
comprobar su integridad. Una de las cualidades que debe tener las pruebas de
desempeño es la validez, en donde hay que ver si las tareas y procedimientos
utilizados en la evaluación están alineados con lo que actualmente se enseña
(Ruiz-Primo & Shavelson, 1996). Hay que estar particularmente pendiente de la
validez de contenido (Brown & Shavelson, 1996), que se fundamenta en el criterio
profesional del profesor con respecto a si los estudiantes tienen la oportunidad de
aprender los conceptos y procedimientos que son evaluados en la prueba de
desempeño. Se ha encontrado que una prueba de desempeño tiende a tener
validez de contenido si ha sido creada específicamente para un currículo de
ciencias basado en actividades hands-on y si las tareas son tomadas de
actividades contenidas en las unidades (Brown & Shavelson, 1996).
De acuerdo a Elliot (1995), debe haber 5 características internas que una prueba
de desempeño valida debe exhibir:
22
1. Tener significado para el estudiante y profesor y motivar un alto
desempeño.
2. Requiere que se demuestre una cognición compleja, aplicable a problemas
en aéreas importantes.
3. Ejemplificar los estándares actuales de contenido.
4. Minimizar los efectos de las competencias complementarias que son
irrelevantes para el enfoque de la evaluación.
5. Que tenga estándares explícitos para calificar o juzgar.
Para que los resultados de las pruebas de desempeño tengan confiabilidad, hay
que tener en cuenta muchos aspectos, las pruebas de desempeño son muy
sensitivas y necesitan de un cuidadoso desarrollo para medir las habilidades en
ciencias (Shavelson et al., 1992). La validez se relaciona mucho con el término
consistencia, ya que la calificación obtenida por los estudiantes debe ser
relativamente consistente sin importar quien califico la prueba, esto se conoce
como validez entre evaluadores (Brown & Shavelson, 1996). La calificación de
estas pruebas es otro de los aspectos importantes que hay que tener en cuenta.
En esta prueba se usó el “Enfoque de escala de valoración” (Brualdi, 1998), se
usó una escala numérica basada en criterios contenidos en una rúbrica. La
calificación de las pruebas de desempeño es compleja, por lo que las personas
que califiquen estas pruebas deben ser entrenadas y tienen que tener criterios de
evaluación claros.
La equivalencia se refiere al grado en la cual dos formas similares de pruebas
producen similares resultados (Gay, Mills, & Airasian, 2006). Las pruebas deben
tener aspectos en común como variable que se mide, número de ítems, nivel de
dificultad. Si existe equivalencia, las pruebas pueden intercambiarse y puede
haber seguridad de que la calificación de una persona no se verá afectada por el
tipo de prueba que se utilizó.
La utilidad de las pruebas de desempeño está relacionada con el uso que se le da
a los resultados obtenidos, estos deben proveer al profesor con una información
clara y específica sobre las debilidades y fortalezas en conocimientos
23
conceptuales y procedimentales (Brown & Shavelson, 1996). La utilidad de una
prueba de desempeño tiene que tener las siguientes consideraciones:
1. Dar información útil para evaluar el desempeño de los estudiantes.
2. Dar información útil para monitorear la instrucción.
3. Dar información útil al estudiante para juzgar la calidad de su propio trabajo.
La factibilidad de aplicar las pruebas de desempeño es un aspecto importante que
hay que tomar en cuenta, si la evaluación no es práctica, fácil de administrar,
eficiente en términos de tiempo y dinero, es difícil que esta sea administrada. La
implementación de las pruebas de desempeño en el salón de clases es un
aspecto crítico para la evaluación del desempeño del estudiante (Brualdi, 1998),
el propósito, conceptos, habilidades, tipo de conocimientos, tienen que estar
claramente definidos. Ayala et al. (2002), recomiendan que el personal que sea
utilizado para implementar la prueba tenga la suficiente capacitación y experiencia
en el área.
En materia de costo y de tiempo las pruebas de desempeño tienen desventajas
sobre las pruebas de opción múltiple (Ruiz-Primo & Shavelson, 1996), las pruebas
de desempeño son costosas en términos de materiales utilizados, desarrollo y
pilotaje. Esta es una de las limitantes que se ha encontrado, por la cantidad de
materiales y personal disponible se tiene que restringir el alcance de los estudios.
En el estudio realizado por Ayala et al. (2002), reconoce esta situación, aunque se
tenía una muestra representativa de estudiantes que realizaron pruebas de opción
múltiple, se tuvo que tomar una sub-muestra de estudiantes para realizar las
pruebas de desempeño por los costos de la recolección de datos y la calificación.
24
2.8 PRUEBAS DE DESEMPEÑO MEDIANTE SIMULACIÓN EN COMPUTADOR
Una de las desventajas de las pruebas de desempeño son su costo y la
imposibilidad de aplicarlas en forma masiva, en los últimos años se han realizado
esfuerzos para introducir la tecnología en la aplicación de estas pruebas. La
tecnología ofrece una estrategia para facilitar a los educadores el acceso y la
aplicación de estas pruebas (Quellmalz, 1999), además la tecnología hace posible
diseñar y presentar tareas que apuntan a formas complejas de razonamiento y
conocimiento (Pellegrino, Chudowsky & Glaser, 2001), esos aspectos de la
cognición serían muy difíciles de evaluar usando métodos tradicionales. Las
aplicaciones para evaluación utilizando computadores se pueden dividir en dos
categorías: “tradicionales” y contemporáneas (Kumar, 1995). Las aplicaciones
tradicionales tienen una estructura rígida, incluyen pruebas de opción múltiple y
pruebas con respuesta forzada. En las aplicaciones contemporáneas su estructura
no es lineal, como ejemplo de estas aplicaciones tenemos pruebas adaptativas,
simulaciones y programas de análisis de soluciones.
Actualmente se están utilizando simulaciones en computador para aplicar pruebas
de desempeño como una experiencia interactiva para los estudiantes, utilizando
diversos dispositivos para interactuar con la aplicación. Como ejemplo de estas
pruebas tenemos “Electric Mystery Boxes” versión para computador y “Bugs”,
desarrolladas por el Laboratorio de Evaluación de la Universidad de Stanford.
Debido al progreso en la tecnología informática se ha aumentado el realismo de
las simulaciones de las actividades hands-on, lo que ha sido muy útil para diseñar
pruebas de desempeño basadas en computador con una interfaz más amigable
para el estudiante y con mayor sentido de realismo (Kumar, 1995). Otro de los
aspectos en que la tecnología ha mejorado estas aplicaciones, es la posibilidad
que tienen de almacenar resultados, calificar e interpretar aspectos del
desempeño del estudiante en las tareas propuestas (Kumar, 1995; Pellegrino et
al., 2001), la ventaja que tiene este sistema es que permite capturar información
25
sobre el desempeño del estudiante que solo podría ser obtenida utilizando
protocolos de pensamiento en voz alta o usando transcripciones extensas de
datos. En este estudio se utilizó una versión mejorada de las “Cajas Eléctricas
Misteriosas”, desarrollada por el programa Pequeños Científicos y el ICFES
(Duque, 2009), en esta prueba se han introducido mejoras como una simulación
más real, el análisis de soluciones lo que facilita la calificación y guarda una
bitácora del proceso que realizo el estudiante en el desarrollo de la prueba, por lo
que nos puede dar una visión más amplia del pensamiento del estudiante.
Kumar (1995), menciona algunos aspectos que pueden incidir en la evaluación
utilizando aplicaciones de pruebas de desempeño en computador, como su
validez, utilidad de las pruebas al aplicarlas en forma masiva, equidad en el
género e impacto de diversos tipos de interfaces sobre el resultado de las pruebas
de desempeño.
Autores como Kumar, 1995; Quellmalz, 1999; Pellegrino et al., 2001, coinciden
que es viable el uso de aplicaciones por computador para la evaluación en
ciencias, recomiendan continuar la investigación y desarrollo para convertir el
computador en una herramienta efectiva de evaluación en la educación de la
ciencia. Igual es la posición del National Research Council (1996) sobre las
oportunidades que brinda la tecnología en el avance de la evaluación en la
educación, ya que cree que los avances tecnológicos tienen un enorme potencial
para el avance de la ciencia, el diseño y el uso de la evaluación en la educación y
recomienda aumentar los estudios para determinar la efectividad de estos
programas.
2.9 USO DE VARIOS MÉTODOS PARA LA EVALUACIÓN EN CIENCIAS
Sobre como escoger el formato apropiado para evaluación en ciencias, muchas
veces los profesores y autoridades educativas dependen solo de un formato único
de evaluación, casi siempre de pruebas de opción múltiple. Autores como Ayala et
26
al. (2002); Heartel (1999); Ruiz-Primo y Shavelson (1996) coinciden que para
evaluar el desempeño de los estudiantes en conocimientos en ciencias es
necesario utilizar varios métodos como pruebas de opción múltiple, pruebas de
desempeño, simulaciones por computadora, portafolios, observaciones. Igual
posición tiene la National Academy of Sciences (1996), que recomienda un
sistema de evaluación que utilice múltiples formatos, y da como ejemplo el
implementado en California. Wiggins (1998) recomienda que se utilicen variados
formatos para evaluación en ciencias, ya que se obtendrán muestras suficientes y
además se podrá observar que los estudiantes han aprendido de diferentes
maneras y de otras perspectivas. Muller (2010) sostiene que las pruebas de
desempeño complementan formatos de evaluación más tradicionales. Aunque
utilizar varios métodos le de validez a los resultados de la evaluación (Ruiz-Primo
& Shavelson, 1996), La puntuación de las pruebas que logren los estudiantes
depende mucho de la tarea y el método que se utilice para evaluar su desempeño,
cada método da una visión diferente de que los estudiantes saben y pueden
hacer. En el estudio que se realizó se utilizaron tres instrumentos: pruebas de
opción múltiple, pruebas de desempeño con elementos reales y pruebas de
desempeño en computador para evaluar el desempeño de los estudiantes de
quinto nivel en circuitos eléctricos, esto le dará validez al estudio, además de
responder interrogantes sobre la equivalencia de los instrumentos.
27
3. METODOLOGÍA
3.1 DISEÑO DE ESTUDIO
3.1.1 Tipo de Estudio
Este estudio se llevó a cabo mediante la utilización de un diseño correlativo, ya
que se recogieron datos para determinar el grado de relación que existía entre
varias variables cuantificables. El tratamiento recibido por los estudiantes fue la
enseñanza de circuitos eléctricos utilizando la estrategia de enseñanza de las
ciencias mediante indagación En este estudio se quería investigar el grado de
correlación existente entre los puntajes obtenidos por los estudiantes, utilizando
tres instrumentos diferentes para evaluar su desempeño . Se escogió este tipo de
diseño, ya que con el tamaño del coeficiente de correlación se puede encontrar el
grado de equivalencia entre instrumentos, además se puede utilizar como un
índice para la validez y confiabilidad de los instrumentos utilizados.
En este estudio se utilizó un método de investigación mixto, ya que se utilizaron
datos cuantitativos y cualitativos. Los datos cuantitativos en este estudio tienen
predominio sobre los datos cualitativos, por esto el modelo es QUAN-Qual. Los
datos cuantitativos se utilizaron principalmente para validar los instrumentos
utilizados.
3.1.2 Variables
3.1.2.1 Variable Independiente
La variable independiente fue la enseñanza de circuitos eléctricos utilizando la
estrategia de indagación. Este fue el tratamiento aplicado a los estudiantes de
quinto grado de los colegios que participaron en el estudio. Mediante el uso de la
estrategia de enseñanza de la ciencia por indagación, se desea promover el
mejoramiento de la enseñanza-aprendizaje de la ciencia y la tecnología en los
niños.
28
3.1.2.2 Variable dependiente
La variable dependiente en este estudio es el desempeño de los estudiantes en
circuitos eléctricos. Con los datos obtenidos en el estudio obtuvo indicadores del
desempeño general en circuitos eléctricos de los estudiantes que participaron en
este estudio.
3.2 CONTEXTO Y PARTICIPANTES
3.2.1 Contexto
Este estudio se realizó en cuatro colegios ubicados en las localidades de Bosa
Centro, Bosa la Libertad, Kennedy y Las Cruces. Estos colegios públicos forman
parte de la Alianza Educativa, entidad sin fines de lucro que se encarga de la
administración por concesión de estos centros educativos. Las instituciones
gestoras de esta concesión son la Universidad de los Andes, Colegio los Nogales,
Colegio Nueva Granada y el Colegio San Carlos. Estos centros escolares atienden
estudiantes de estratos 1 y 2, la Asociación se encarga del acompañamiento
pedagógico de estos colegios.
Cada colegio tiene aproximadamente 1200 estudiantes hasta grado once, con un
promedio de 40 estudiantes por salón. Escogí estos colegios ya que al ser la
Universidad de los Andes parte de la Alianza Educativa, me permitió realizar la
investigación en sus colegios. En el Plan Educativo Institucional (PEI) de la
Alianza Educativa, consta que estos colegios utilizan la estrategia de enseñanza
de ciencias por indagación:
Para la enseñanza de las ciencias naturales en primaria se está siguiendo el
programa “Pequeños Científicos”, el cual se inició en Francia y luego llegó a
Colombia a través de la Universidad de Los Andes, el Liceo Francés y Maloka.
Pequeños Científicos es una práctica pedagógica que se centra en la relación
del niño, los fenómenos naturales y los objetos técnicos. Tiene la guía del
maestro alrededor de una práctica continua, progresiva y estructurada. El
29
trabajo se centra en la aplicación del método científico: observación,
experimentación, argumentación y escritura y busca que el niño comprenda
poco a poco el mundo y se sitúe en él. (PEI Alianza Educativa, 2008, p. 36).
3.2.2 Participantes
Los participantes en este estudio fueron estudiantes de quinto grado de colegios
de la Alianza Educativa que utilizan la estrategia de enseñanza de las ciencias
por indagación. Las edades de los estudiantes que participaron en este estudio
oscilan entre los 10 y 12 años. Se trabajó con estos estudiantes ya que habían
terminado los módulos de circuitos eléctricos. El tema de circuitos eléctricos está
presente en los estándares básicos de competencias de ciencias naturales para
quinto grado.
Se escogieron dos grupos de cada colegio, cada grupo tenía aproximadamente
40 estudiantes, la muestra total era de 302 estudiantes (143 niñas y 159 niños), a
estos estudiantes se le aplicó la prueba de opción múltiple. Por la cantidad de de
pruebas de desempeño disponibles, la capacidad de aulas de computadores y por
el personal necesario para aplicarlas, se escogió una muestra aleatoria
estratificada, cada grupo se dividió en estratos según sus calificaciones en la
prueba de opción múltiple, en promedio alto y bajo. Dependiendo de la proporción
de cada grupo se seleccionó al azar los estudiantes que participaron de la prueba
de cada salón, teniendo en cuenta que se necesitaba una cuota de 20 estudiantes
por colegio. Otra de las consideraciones que se tuvo que tener en cuenta es el
porcentaje de varones y niñas, para que este fuera balanceado.
Durante las pruebas de desempeño con elementos reales se escogieron al azar a
dos estudiantes por grupo para aplicarles un Think Aloud Protocol (TAP). Al
terminar la prueba de desempeño mediante simulación en computador se
escogieron al azar dos estudiantes para realizar una entrevista retrospectiva. Solo
se pudo realizar el TAP y la entrevista retrospectiva a estos estudiantes porque
generalmente 3 personas administraban la prueba, por falta de recurso humano
era limitado el número de estudiantes a los que se les podía administrar el TAP y
la entrevista. Entre los estudiantes que realizaron entrevistas tenemos a Jenny
30
(nombre ficticio) estudiante de 10 años, de quinto grado del colegio A y a Carlos
(nombre ficticio), estudiante de 11 años , de quinto grado del colegio C.
Para poder participar en este estudio los estudiantes tenían que realizar las tres
pruebas, pero en algunos casos no lo pudieron hacer, el total de participantes por
colegio fue el siguiente: Colegio A 16 estudiantes, Colegio B 19 estudiantes,
Colegio C 18 estudiantes y Colegio D 17 estudiantes, por lo que el número total de
participantes en este estudio fue de 70 estudiantes (33 niñas y 37 niños).
3.3 ESTRATEGIAS DE RECOLECCIÓN DE DATOS
3.3.1 Instrumentos Utilizados
3.3.1.1 Pruebas de Opción Múltiple y Preguntas Abiertas
Estas preguntas fueron diseñadas por el programa Pequeños Científicos, apuntan
a tres tipos de conocimientos: declarativo, procedimental y esquemático. Estas
preguntas pueden ser de dos tipos: cercanas al módulo de circuitos eléctricos
(proximales) y otras alineadas con los estándares nacionales de educación de
Colombia (distales). Las preguntas distales fueron tomadas de las pruebas del
ICFES. La prueba estaba formada por 27 preguntas proximales y 6 preguntas
distales (ver anexo 1).
El instrumento final estuvo formado por 31 preguntas de opción múltiple y 2
preguntas abiertas, de las cuales 17 eran de tipo declarativo, 12 de tipo
esquemático y 4 de tipo procedimental. Se crearon 3 versiones del cuadernillo
donde se intercambió el orden de las preguntas para minimizar el efecto del orden
de las preguntas. El puntaje máximo que se podía obtener era de 33 puntos, se
contaba con una rúbrica para calificar las preguntas abiertas.
Cuatro estudiantes de maestría en educación, que trabajaban en el Centro de
Evaluación, que forma parte del Centro de Investigación y Formación en
Educación (CIFE) de la Universidad de Los Andes, fueron entrenadas para la
aplicación de las pruebas de opción múltiple y las pruebas de desempeño. Se creó
31
un manual de aplicación de pruebas para estandarizar la administración de la
prueba y unificar instrucciones y protocolos.
Basados en el desempeño de la prueba, se escogieron 10 estudiantes de alto
desempeño y 10 estudiantes de bajo desempeño por colegio, esto se hizo para
evaluar como los estudiantes con diferencias extremas en el nivel de desempeño
en las pruebas de opción múltiple se desenvolvían en las pruebas de desempeño.
Las pruebas fueron aplicadas en septiembre y octubre de 2009
3.3.1.2 Prueba de desempeño con elementos reales
La prueba de desempeño de circuitos eléctricos con elementos reales fue tomada
de una prueba diseñada por el Laboratorio de Evaluación de la Universidad de
Stanford. Esta prueba fue traducida al español y adaptada al contexto por el
programa Pequeños Científicos. Las pruebas fueron piloteadas en estudiantes de
sexto grado, los resultados sirvieron para hacer ajustes en la redacción y en la
claridad de las instrucciones en la prueba.
Esta prueba incluye una tarea, un cuadernillo de respuestas y una rúbrica de
calificación y está enfocada principalmente en los aspectos de procedimiento y
destreza (ver anexo 2). En esta prueba la tarea requiere que el estudiante
identifique los componentes dentro de seis cajas selladas, construyendo circuitos
externos con materiales proporcionados como cables, bombillos y baterías. No
hay especificaciones de los pasos que tiene que tomar el estudiante para
encontrar las respuestas. Las respuestas fueron registradas en un cuadernillo y el
tiempo que cada estudiante tomo para realizar la prueba fue registrado.
El sistema de calificación era bastante sencillo: se asignaba 1 punto si el
estudiante respondía en forma correcta que hay en la caja y además dibujaba el
posible circuito que utilizo para resolver el problema, si no cumple con estas
condiciones obtiene 0 puntos. El puntaje que se podía obtener variaba de 0 a 6
puntos. Este sistema de calificación fue originalmente utilizado por Shavelson,
Baxter y Pine (1991). La calificación de las pruebas puede ser una de las
principales fuentes de error en la evaluación, como las pruebas de desempeño
32
con elementos reales contaban con una matriz de calificación clara, se
garantizaba la confiabilidad en la calificación (ver anexo 3).
Como se mencionó anteriormente, los estudiantes fueron seleccionados por su
desempeño en las pruebas de opción múltiple, en las pruebas de desempeño
participaron 20 estudiantes por cada colegio, 10 de desempeño alto y 10 de
desempeño bajo.
La recolección de datos se realizó en dos intentos diferentes para cada colegio
separados por 15 días. Durante el transcurso de la prueba dos estudiantes fueron
seleccionados al azar para realizar un think aloud protocol (TAP). Los estudiantes
expresaron sus pensamientos, el por qué realizaron las diferentes conexiones y
como llegaron a las respuestas de los problemas planteados. Con el TAP se
pretendió tener un instrumento para validar lo que el estudiante hizo en la prueba
de desempeño y ver que dificultades que tuvo al realizar esta. El TAP fue filmado y
se llevó un registro escrito de los puntos más importantes.
Cuatro estudiantes de maestría en educación entrenados previamente fueron
utilizados para la implementación de estas pruebas. Se creó un manual de
implementación de pruebas para estandarizar la administración de la prueba y
unificar instrucciones y protocolos. Estas pruebas fueron aplicadas entre el 12 y 25
de Noviembre de 2009
3.3.1.3 Prueba de desempeño mediante simulación en computador
Las pruebas de desempeño mediante simulación en computador fueron diseñadas
por el ICFES y el programa Pequeños Científicos, esta simulación fue basada en
la prueba de desempeño con elementos reales. El desarrollo tomó
aproximadamente cuatro meses y los programadores trabajaron bajo supervisión
directa de asesores en evaluación y en la parte disciplinar, para que replicaran con
el mayor realismo la prueba de desempeño de circuitos con elementos reales (ver
figura 1). Esta simulación incluye mejoras como instrucciones en audio, un sistema
de calificación automático de la prueba, y un registro de los resultados y del
procedimiento que los estudiantes realizaron durante la prueba. La única
33
diferencia que existió entre la simulación y la prueba con elementos reales fue el
orden de las cajas (por ejemplo la caja D en la simulación por computador
equivalía a la caja A en la prueba con elementos reales). Esta prueba fue
piloteada con estudiantes de sexto grado, con el propósito de realizar los ajustes
requeridos.
El sistema de calificación era el mismo utilizado en las pruebas con elementos
reales, el puntaje que se podía obtener era de 0 a 6 puntos. El programa
automáticamente calificaba las pruebas, con esto se garantizaba la confiabilidad
en la calificación.
Ilustración 1 Vista de la Pantalla de la Simulación en Computador
La prueba mediante simulación en computador fue administrada paralelamente
con la prueba de elementos reales, en las salas de informática existentes en los
colegios, se realizó con personal entrenado en la aplicación de la prueba.
Al finalizar la prueba mediante simulación en computador se realizaron entrevistas
retrospectivas a una muestra de dos estudiantes por grupo que realizaron las
simulaciones, esta entrevista se realizó mediante preguntas semi-estructuradas
34
con el propósito de ver la opinión de los estudiantes de la prueba y las
dificultades que tuvieron con respecto a la simulación. Se llevó un registro escrito y
se grabó el audio de la entrevista.
3.4 PROCEDIMIENTO
Las pruebas de desempeño se administraron en un diseño cruzado. Los
estudiantes se dividieron en dos grupos, a cada grupo se le aplicó un tipo de
prueba de desempeño. Quince días después se volvieron a aplicar las pruebas.
En el primer intento 32 estudiantes realizaron la prueba con elementos reales
(ER1) y 38 estudiantes la simulación en computador (SC1). En el segundo intento
se invirtió la aplicación de las pruebas, 32 estudiantes realizaron la simulación en
computador (SC2) y 38 estudiantes realizaron la prueba con elementos reales
(ER2). En la figura 2 se muestra como se implementaron las pruebas y como se
realizó el análisis de los datos.
Ilustración 2 Diseño de Implementación de Pruebas y Correlaciones
ER1 I1
SC1
I1
I2 ER2
SC2 I2
rSC1 ER2
rER1SC2
ER= Elementos reales
SC=Simulación por
computador
I= Intento
r= Índice de correlación
35
Se escogió este diseño de administración de pruebas para minimizar el efecto en
los resultados que puede tener un instrumento sobre el otro y de esta manera
fortalecer la validez interna del estudio.
3.5 ANÁLISIS DE DATOS
Este estudio tiene un diseño mixto, ya que se recogió información cuantitativa y
cualitativa. Para contestar las preguntas de investigación sobre el desempeño de
los estudiantes en circuitos eléctricos y sobre las correlaciones entre los
instrumentos utilizados se necesitó análisis de datos cuantitativos,
complementados con protocolos de pensamiento en voz alta, lo que requirió un
análisis cualitativo.
3.5.1 Datos Cuantitativos
Los datos cuantitativos los recogí utilizando 3 instrumentos: test de opción
múltiple, pruebas de desempeño con elementos reales y pruebas de desempeño
en computador. Después de calificar las pruebas, tabulé los datos en hojas de
cálculo. Este estudio tiene un diseño correlacional, con grupos independientes,
para tener información sobre el desempeño de los grupos analice los datos
utilizando estadística descriptiva, con distribución de frecuencias y medidas de
tendencia central.
Realice un análisis estadístico de las medias de los grupos, también encontré el
valor de la significancia. En las preguntas sobre correlaciones utilice el coeficiente
de correlación de Pearson (r) para encontrar la dirección y la magnitud de las
relaciones. Utilice este método ya que es el más apropiado cuando las variables
que van a ser correlacionadas son expresadas como intervalos. Para interpretar
los coeficientes de correlación utilice la escala propuesta por Gay et al. (2006)
(tabla 1). También se tuvo en cuenta el nivel de significancia (p), que refleja que el
36
coeficiente de correlación obtenido es diferente de 0, además que la relación entre
variables es real y esta no se debe al azar. El nivel escogido es de 0.05 o 0.01, lo
que indica que se puede estar 95% o 99% seguro que se tiene una relación real y
significativa entre variables.
Coeficiente Relación entre variables
Más bajo que +.35 o -.35 Baja o ninguna
Entre +.35 y +.65 o -.35 y -.65 Moderada
Más alta que +.65 o -.65 Alta
Tabla 1 Interpretación de los Coeficientes de Correlación
Para cuantificar la consistencia interna de los instrumentos se utilizó el alpha de
Cronbach (α), llamado también coeficiente de confiabilidad. Este coeficiente puede
ser menor o igual que 1, puede tener valores negativos. El coeficiente de
confiabilidad nos puede dar una evidencia de que los ítems realmente miden un
constructo subyacente en la prueba. Para que una prueba sea confiable, se
requiere que el alpha (α) sea mayor que 0.70, si el alpha (α) es menor que 0.35, el
instrumento debe ser revisado (Urdan, 2005).
Para realizar los análisis estadísticos utilice los programas ITEMAN (Assessment
Systems) y SPSS (IBM). Para que el manejo de la información sea más fácil
utilice tablas y graficas con los datos.
3.5.2 Datos Cualitativos
Los datos cualitativos se recogieron paralelamente a los datos cuantitativos,
obtenidos en las entrevistas y los protocolos de pensamiento en voz alta. Para
analizar estos datos y establecer las categorías, observé los videos, escuché las
grabaciones de audio, analicé las transcripciones hechas a las grabaciones y me
apoyé en las notas que tomé. Estructuré estos datos en tablas y llevé fichas donde
sistemáticamente anotaba las conclusiones a las que llegaba. Los datos
37
cualitativos recolectados de los participantes fueron utilizados principalmente para
validar los instrumentos que se utilizaron en esta investigación. Como parte de
este estudio es correlativo, es muy importante tener instrumentos válidos y
confiables, mediante los datos recolectados en las entrevistas y los protocolos de
pensamiento en voz alta (TAP), permitió ver el grado de validez de contenido, para
calcular esto no hay formula estadística, ni manera de expresarla en forma
cuantitativa, esta debe ser determinada por expertos o por los mismos usuarios de
la prueba, las categorías en que estaba interesado eran la opinión que tenían los
estudiantes de las pruebas de desempeño, la claridad de las instrucciones de las
pruebas, dificultades que habían tenido al realizarlas y errores que podían incidir
en los resultados de las pruebas. Para triangular los datos cualitativos y
cuantitativos, los datos cualitativos fueron codificados, a los códigos les fueron
asignados valores numéricos, y el número de veces que los códigos aparecían fue
registrado como datos, luego se comparaban ambos grupos de datos.
3.6 ESTRATEGIAS DE VALIDEZ Y CREDIBILIDAD
Para garantizar la validez de este estudio utilicé la triangulación entre métodos, ya
que utilicé 3 instrumentos diferentes para medir conocimientos, esto lo
complemente con los datos cualitativos obtenidos mediante entrevistas y TAP.
Como se ha mencionado anteriormente las pruebas utilizadas son pruebas que
han sido piloteadas y probadas tanto en Colombia como en el exterior. Para
garantizar la confiabilidad de la prueba esta fue impartida por personal capacitado
y con experiencia en el tema de circuitos eléctricos, al igual que para la calificación
de las pruebas. En la validez externa este estudio solo se aplicó a colegios
públicos en Bogotá que utilizan el sistema de administración por concesión; este
estudio no se aplica a otros contextos.
38
3.7 ÉTICA
Ya que los colegios de la Alianza educativa tienen una relación con la Universidad
de los Andes, se consiguió el consentimiento de las instituciones para realizar este
estudio. Con respecto a los profesores, mediante una carta se consiguió su
consentimiento para participar en el estudio.
Mediante cartas que se dirigieron a los tutores de los estudiantes, se consiguió la
participación de estos, cabe destacar que en la totalidad de los estudiantes, los
tutores dieron su consentimiento para participar. La participación en este estudio
fue totalmente voluntaria y se dejó claro que no tendría ninguna incidencia en las
calificaciones de los estudiantes.
Para este estudio garanticé guardar la confidencialidad y el anonimato de los
profesores y estudiantes mediante el uso de seudónimos y códigos numéricos.
Como se estratifiqué las muestras mediante promedios tuve cuidado de no
divulgar esta información. El uso de los datos y conclusiones de esta investigación
solo podrán ser utilizados en la presentación de esta tesis y para uso educativo
por la Alianza Educativa y por el programa Pequeños Científicos.
39
3.8 CRONOGRAMA DE ACTIVIDADES
Fecha Actividad
Julio/Octubre 2009 Desarrollo de pruebas de desempeño en
computador
Pilotaje de prueba de desempeño en
computador
Octubre 2009 Recolección de datos cuantitativos
( Pruebas de lápiz y papel)
Noviembre de 2009 Recolección de datos cuantitativos
( Pruebas de desempeño con elementos
reales y pruebas de desempeño mediante
simulación en computador)
Recolección de datos cualitativos
(entrevistas retrospectivas y TAP)
Mayo/Agosto 2010 Análisis de datos cuantitativos y
cualitativos
Agosto/Noviembre 2010 Redacción de informe de la investigación
Tabla 2 Cronograma de Actividades
40
4. RESULTADOS
El análisis de los datos da una visión del desempeño de los estudiantes de quinto
grado seleccionados en este estudio en el área de conceptos y habilidades en
circuitos eléctricos. A continuación organizó la presentación de estos resultados
según las preguntas de investigación.
4.1 DESEMPEÑO DE LOS ESTUDIANTES EN PRUEBAS DE CIRCUITOS
ELÉCTRICOS
Para contestar la primera pregunta de investigación sobre el desempeño de los
estudiantes de quinto grado en circuitos eléctricos según tipos de conocimientos y
habilidades, se realizó un análisis de los datos obtenidos utilizando estadística
descriptiva. Se utilizó tablas de frecuencia, medidas de tendencia central y
medidas de dispersión. A continuación se presentan los resultados según
instrumento utilizado:
4.1.1 Pruebas de Opción Múltiple
Esta prueba se aplicó a una muestra (n) de 302 estudiantes de 5 grado (143 niñas
y 159 niños).El puntaje máximo que se podía obtener era 33 puntos. La tabla 3,
ilustra los resultados obtenidos en esta prueba.
Tamaño de la muestra (n) 302
Media 21.76
Desviación típica 4.51
Rango 23
Tabla 3 Medidas de Tendencia Central y Medidas de Dispersión En Pruebas de Opción Múltiple
41
Se puede observar en la tabla 2 el valor de la media (21.76 con un máximo posible
de 33), este valor es relativamente alto. La gráfica 1 muestra la distribución de
frecuencias de las respuestas. Se observa en esta gráfica que el puntaje mínimo
fue de 9 puntos y el puntaje máximo fue de 32 puntos. Es notable la ausencia de
puntaje en la parte baja de la escala de respuestas (de 0 a 8 puntos).
La gráfica 1 también nos da información sobre la distribución de los puntajes.
Aunque estos se distribuyeron por todo el rango se observa que la mayoría de los
resultados (62.9%) se concentraron en la parte media y alta de la escala de
respuestas, con una curva con un sesgo moderadamente negativo. La desviación
típica de 4.51, es baja ya que un alto porcentaje de resultados se concentraron en
un sector de la escala de respuestas.
Gráfica 1 Distribución de Frecuencias de los Puntajes en Pruebas de Opción
Múltiple
42
A continuación se hace un análisis de las medidas de tendencia central y
variabilidad por preguntas según tipos de conocimiento. El puntaje máximo en las
preguntas declarativas era 17 puntos, en las estratégicas 12 puntos y en las
procedimentales 4 puntos. La tabla 4 ilustra los resultados obtenidos por los
estudiantes según tipo de pregunta.
Preguntas
Declarativas
Preguntas
Estratégicas
Preguntas
Procedimentales
Tamaño de la muestra (n) 302 302 302
Media 12.11 7.41 2.24
Desviación típica 2.519 2.108 0.941
Rango 12 10 4
Tabla 4 Medidas de Tendencia Central y Medidas de Dispersión de Preguntas
Según Tipo de Conocimiento
La media obtenida por los estudiantes en las preguntas declarativas (12.11 con un
máximo posible de 17) es alta. La obtenida en las preguntas esquemáticas (7.41
con un máximo posible de 12) nos indica que para ese tipo de preguntas los
puntajes obtenidos se concentraron en la parte media de la escala de respuestas.
La media obtenida en las preguntas procedimentales (2.24 con un máximo posible
de 4) indica que la mayoría de las respuestas se concentraron en el rango medio
de la escala de respuestas. Las gráficas 2, 3 y 4 ilustran como se distribuyeron las
respuestas de los estudiantes según el tipo de pregunta.
43
Gráfica 2 Distribución de Frecuencias de los Puntajes en Preguntas Declarativas
Gráfica 3 Distribución de Frecuencias de los Puntajes en Preguntas Esquemáticas
44
Gráfica 4 Distribución de Frecuencias de los Puntajes en Preguntas
Procedimentales
Al observar cómo se distribuyeron de los puntajes, en el caso de las preguntas
declarativas tiene un sesgo moderadamente negativo, en las preguntas
esquemáticas la distribución es más simétrica con los puntajes concentrados en la
parte media de la escala de puntajes y en las preguntas procedimentales tiene un
sesgo moderadamente negativo, con la mayoría de los resultados estuvieron
concentrados en los puntajes 2 y3.
Después de realizar el análisis estadístico de los resultados de las pruebas de
opción múltiple, puedo determinar que (a) los puntajes en la prueba de opción
múltiple están en la parte media y superior de la escala (con una media de 21.76
de un máximo posible de 32), (b) en los resultados por tipo de conocimiento, en
las preguntas declarativas los puntajes estuvieron distribuidos en la parte superior
de la escala, en las preguntas esquemáticas y procedimentales los puntajes
estuvieron distribuidos en el rango medio de la escala, (c) es notable que no hubo
puntajes en el extremo inferior de la escala ( de 0 a 8 puntos), por tipo de
preguntas en declarativas ocurrió lo mismo, no hubo puntajes en el extremo
45
inferior ( de 0 a 5 puntos), en las preguntas esquemáticas y procedimentales si se
observo resultados en el extremo inferior de la escala.
Con estos resultados se puede determinar que en general en las pruebas de
opción múltiple en circuitos eléctricos de quinto grado, los estudiantes tuvieron un
desempeño bueno; por preguntas según tipo de conocimiento, en las declarativas
el desempeño fue bueno, en las esquemáticas y procedimentales el desempeño
se puede considerar normal.
4.1.2 Pruebas de Desempeño con Elementos Reales
Se realizó un análisis estadístico de los datos de 70 estudiantes de 5 grado (33
niñas y 37 niños). El puntaje máximo que se podía obtener era de 6 puntos. La
tabla 5 ilustra las medidas de tendencia central y de dispersión obtenidas en esta
prueba.
Tamaño de la muestra (N) 70
Media 2.51
Desviación típica 1.648
Rango 6
Tabla 5 Medidas de Tendencia Central y Medidas de Dispersión Prueba de Desempeño con Elementos Reales
La media (2.51 con un máximo posible de 6) indica que los puntajes tendían a
estar en la parte media y baja de la escala de respuestas. En la gráfica 5 se
observa la distribución de frecuencia de los puntajes obtenidos por los estudiantes,
se observa que aunque los resultados se distribuyeron por todo el rango, un gran
porcentaje de las respuestas (64.3 %) se concentran en los puntajes 1,2 y 3.
46
Gráfica 5 Distribución de Frecuencias de los Puntajes en Prueba de Desempeño
con Elementos Reales
La desviación típica también fue moderada (1.648) lo que indica que los
resultados se concentraron en el rango de puntajes medio y bajo. Se observa que
dos respuestas correctas fue la calificación que más frecuencia obtuvieron los
estudiantes (27%). Con estos resultados se evidencia que el desempeño de los
estudiantes en esta prueba fue regular, ya que un gran porcentaje (74,3%) de los
puntajes tendieron a estar en la parte media e inferior de la escala de respuestas.
La tabla 6 muestra los resultados obtenidos por los estudiantes por tarea
realizada:
47
Tarea Respuesta Correcta Porcentaje de Respuestas
Correctas
A Dos pilas 65.7%
B Pila y Bombillo 40.0%
C Cable 38.6%
D Bombillo 28.6%
E Cable 28.6%
F Nada 47.1%
Tabla 6 Porcentaje de Respuestas Correctas por Tarea en Prueba de Desempeño con Elementos Reales
Los resultados obtenidos indican que los estudiantes obtuvieron un porcentaje alto
de respuestas correctas en la tarea A (identificar 2 pilas) y un bajo porcentaje de
respuestas correctas en las tareas D (identificar bombillo) y E (identificar caja
vacía).
4.1.3 Pruebas de Desempeño Mediante Simulación en Computador
Esta prueba estaba basada en la prueba de desempeño con elementos reales. La
única diferencia era el orden de las cajas. El programa automáticamente
calificaba las respuestas de los estudiantes y guardaba en un archivo los
resultados. El sistema de calificación era el mismo que se utilizó en la prueba con
elementos reales. El puntaje máximo que se podía obtener era de 6 puntos.
Se realizó un análisis estadístico de los datos de 70 estudiantes de 5 grado (33
niñas y 37 niños), los datos se presentan en la tabla 7:
48
Tamaño de la muestra (N) 70
Media 2.64
Desviación típica 1.786
Rango 6
Tabla 7 Medidas de Tendencia Central y Medidas de Dispersión Prueba de Desempeño por Simulación en Computador
Se puede observar en la gráfica 6 que los estudiantes obtuvieron puntajes
significativos en toda la escala de respuestas con excepción en el puntaje 5, el
mayor porcentaje de puntajes (77,1%) se concentra en los puntajes 1, 2, 3 y 4, la
desviación típica (1,786) indica que los puntajes están distribuidos a través del
rango. La media (2.64 con un máximo posible de 6) obtenida indica que los
puntajes estuvieron en la parte media y baja de la escala de respuestas.
El desempeño de los estudiantes fue ligeramente superior en las pruebas de
desempeño por simulación en computador comparadas con las de elementos
reales (media de 2.64 en SC, media de 2.51 en ER). Por el resultado de las
medias y la dispersión de los resultados, considero en general el desempeño de
los estudiantes regular en ambas pruebas.
49
Gráfica 6 Distribución de Frecuencias de los Puntajes en Prueba de Desempeño
por Simulación con Computador
La tabla 8 muestra los resultados obtenidos por los estudiantes por tarea realizada
en la simulación en computador:
Tarea Respuesta Correcta Porcentaje de Respuestas
Correctas
A Pila y Bombillo 34.3%
B Cable 42.9%
C Nada 58.6%
D 2 Pilas 65.7%
E Bombillo 28.6%
F Cable 34.3%
Tabla 8 Porcentaje de Respuestas Correctas por Tarea en Prueba de Desempeño
con Elementos Reales
50
Los resultados obtenidos indican que los estudiantes obtuvieron un porcentaje alto
de respuestas correctas en la tarea D (identificar 2 pilas) y un bajo porcentaje de
respuestas correctas en las tareas E (identificar bombillo). Estos resultados son
similares a los obtenidos en la prueba con elementos reales, lo que evidencia
dificultad en identificar cuando la caja contiene un bombillo.
4.2 CORRELACIONES ENTRE PRUEBAS DE OPCIÓN MÚLTIPLE Y PRUEBAS
DE DESEMPEÑO
Para contestar la segunda pregunta de esta investigación “¿Qué correlación se
encuentra entre los resultados obtenidos en pruebas de opción múltiple de
circuitos eléctricos y una prueba de desempeño?” compraré los puntajes totales de
los tres instrumentos: pruebas de opción múltiple, desempeño con elementos
reales y simulación en computador, con el propósito de ver como las variables se
relacionaban entre ellas.
La tabla 9 ilustra los índices de correlaciones obtenidos por los instrumentos
utilizados:
Opción
Múltiple
Simulación
Computadora
Elementos
Reales
Lápiz y Papel Correlación de Pearson
Sig
N
1
70
.535**
.000
70
.415**
.000
70
Simulación Correlación de Pearson
Computador Sig
N
.535**
.000
70
1
70
.398**
.001
70
Elementos Correlación de Pearson
Reales Sig
N
.415**
.000
70
.398**
.001
70
1
70
**. La correlación es significativa al nivel 0,01 (bilateral).
Tabla 9 Coeficiente de Correlación entre Instrumentos
51
El análisis de los puntajes totales reveló una correlación positiva,
estadísticamente significativa entre las pruebas de lápiz y papel y la simulación en
computador (r=.535, p=.000). Esta es mayor que la correlación positiva,
estadísticamente significativa entre las pruebas de opción múltiple y las de
desempeño con elementos reales (r=.415, p=.000). Se encontró una correlación
positiva, estadísticamente significativa entre las pruebas de desempeño con
elementos reales y las de simulación en computador (r=.398, p=.001). Los valores
obtenidos en estas correlaciones son moderados. En este análisis quedó
demostrado que existe una correlación estadísticamente significativa entre los tres
tipos de instrumentos utilizados.
En orden de ver la relación en el desempeño de los estudiantes de acuerdo a los
tipos de conocimiento realice una comparación entre los puntajes obtenidos en
ambos tipos de prueba de desempeño y los puntajes obtenidos por tipo de
conocimiento (tabla 10).
Declarativo Procedimental Esquemático
P. Elementos
Reales
r=0.455** r=0.330** r=0.406**
Simulación en
Computador
r=0.500** r=0.370** r=0.610**
**. La correlación es significativa al nivel 0,01 (bilateral).
Tabla 10 Coeficiente de Correlación Entre Pruebas de Desempeño y Preguntas por Tipo de Conocimiento
El análisis reveló una correlación positiva, estadísticamente significativa entre la
simulación por computador, las preguntas esquemáticas (r=.610, p=.000),
preguntas declarativas (r=.500, p=.000) y las preguntas procedimentales (r=.370,
p=.004). Se encontró una correlación positiva, estadísticamente significativa entre
52
las pruebas con elementos reales, las preguntas esquemáticas (r=.406, p=.000),
preguntas declarativas (r=.455, p=.001) y las preguntas procedimentales (r=.330,
p=.010).
En este análisis son evidentes los mayores índices de correlación entre las
pruebas de desempeño mediante simulación por computador y los tres tipos de
preguntas con respecto a los resultados obtenidos por las pruebas de desempeño
con elementos reales. En ambos tipos de prueba de desempeño se obtuvo índices
de correlación moderados y altos con las preguntas esquemáticas, a la vez se
encontraron índices de correlación moderados y bajos entre las pruebas de
desempeño y las preguntas procedimentales.
La prueba de opción múltiple estaba formada por 27 preguntas proximales y 6
preguntas distales, para conocer cómo se relacionaban las pruebas de
desempeño con respecto a la proximidad de las preguntas, realicé una
comparación entre los puntajes obtenidos en las pruebas de desempeño y las
preguntas proximales y distales (tabla 11).
Preguntas
Proximales
Preguntas
Distales
Simulación Computador Correlación de Pearson
Sig (bilateral)
N
.523**
.000
70
.454**
.000
70
Hands-on Correlación de Pearson
Sig (bilateral)
N
.400**
.001
70
.385**
.001
70
**. La correlación es significativa al nivel 0,01 (bilateral).
Tabla 11 Coeficiente de Correlación Entre Pruebas de Desempeño y Proximidad de preguntas
Se encontró una correlación positiva, estadísticamente significativa entre la
simulación en computador, las preguntas proximales (r=.523, p=.000) y las
53
preguntas distales (r=.454, p=.000). Se encontró una correlación positiva,
estadísticamente significativa entre las pruebas con elementos reales, las
preguntas proximales (r=.400, p=.001), una correlación moderada con las
preguntas distales (r=.385, p=.001). Con estos resultados son evidentes los
índices moderados de correlación entre las pruebas de desempeño y la
proximidad de las preguntas, este índice es mayor entre la simulación en
computador y las preguntas proximales.
4.3 EQUIVALENCIA ENTRE PRUEBAS DE DESEMPEÑO
Para contestar la pregunta sobre la equivalencia entre las pruebas de desempeño,
utilicé estadística descriptiva y análisis de correlaciones. En la figura 1 se muestra
como se implementaron las pruebas y como se realizó el análisis de los datos.
Se utilizaron abreviaturas para identificar las pruebas con elementos reales
(ER1=elementos reales intento 1 y ER2=elementos reales intento 2), la simulación
en computador (SC1=simulación en computador intento 1 y SC2= simulación en
computador intento 2) y los intentos (I1= intento 1 e I2= intento 2).
Realicé un análisis de las medidas de tendencia central y medidas de dispersión
de los puntajes obtenidos por los estudiantes por prueba y por intento (tabla 12).
Los resultados revelaron un desempeño muy parecido de los estudiantes en el
primer intento en ambas pruebas, (ER1= 2.37, SC1=2.28), en el segundo intento
hubo una ligera mejora en la puntuación en ambas pruebas (ER2= 2.63,
SC2=3.06), esta mejora es más evidente en la simulación por computador.
54
ER1 SC2 ER2 SC1
N 32 32 38 38
Media 2.37 3.06 2.63 2.28
Desv. típ. 1.62 1.84 1.68 1.67
Tabla 12 Medidas de Tendencia Central y Medidas de Dispersión por Intento y
Tipo de Prueba
En las gráficas de distribución de frecuencias (gráficas 7, 8, 9 y 10) se observa
que en el primer intento en ambas pruebas (ER1, SC1) los puntajes se
concentraron en la parte baja y media de la escala de la escala de respuestas;
esta situación cambió en el segundo intento, en la simulación en computador
(SC2), donde los puntajes se concentraron en la parte media y alta de la escala de
respuestas. Esto fue menos evidente en el segundo intento en la prueba con
elementos reales (ER2), aunque disminuyó el número de estudiantes que obtuvo
0 puntos (15.8% en SC1, 7.9% en ER2), los puntajes se mantuvieron en el área
baja y media de la escala de respuestas.
Gráfica 7 Distribución de frecuencias ER1 Gráfica 8 Distribución de frecuencias SC2
55
Gráfica 9 Distribución de frecuencias SC1 Gráfica 10 Distribución de frecuencias ER2
La desviación típica en todos los casos fue parecida (ER1= 1.62, ER2=1.68,
SC1=1.67), excepto SC2, donde fue mayor (SC2= 1.84). Aunque los puntajes
estuvieron representados en todo el rango, estos se concentraban en áreas
específicas de la escala de respuestas.
Tomando en cuenta el diseño de implementación de pruebas propuesto (gráfica
1), realicé una correlación del puntaje de los estudiantes entre métodos (ER, SC) e
intentos (I1, I2). Estas correlaciones quedaron en un diseño cruzado de la siguiente
manera: rER1SC2 y rSC1 ER2 (tabla 13).
rER1SC2 Correlación de Pearson
Sig (bilateral)
N
.541**
.001
32
rSC1 ER2 Correlación de Pearson
Sig (bilateral)
N
.326*
.045
38
**. La correlación es significativa al nivel 0,01 (bilateral).
*. La correlación es significativa al nivel 0,05 (bilateral).
Tabla 13 Coeficiente de Correlación por Intento y por Tipo de Prueba
56
El análisis de estos datos reveló una correlación positiva, estadísticamente
significativa entre los estudiantes que realizaron en el primer intento la prueba con
elementos reales y luego la simulación en computador (ER1SC2) (r=.541, p=.001).
Hubo una correlación, positiva, estadísticamente significativa, entre los estudiantes
que realizaron en el primer intento la simulación en computador y luego la prueba
con elementos reales (SC1 ER2) (r=.326, p=.045). Es notable el índice de
correlación moderado cuando se realizó primero la prueba con elementos reales y
luego la simulación en computador (ER1SC2), en cambio hay un índice de
correlación bajo cuando se realizó la simulación en computador primero y luego la
prueba con elementos reales (SC1 ER2).
Realicé un análisis de la correlación entre los puntajes obtenidos en las pruebas
de desempeño, según el intento y los puntajes obtenidos por preguntas y tipo de
conocimientos en la prueba de opción múltiple. La tabla 14 ilustra los coeficientes
de correlación obtenidos cuando los estudiantes realizaron la prueba de
desempeño con elementos reales en el primer intento (ER1). Se evidenció una
correlación positiva, estadísticamente significativa entre ER1 y los tres tipos de
preguntas (ER1 DEC r= .489, p=.005; ER1 ESQ r=.367 p=.039; ER1 PROC r=.414,
p=.019). El valor de estas correlaciones es moderado. El vínculo es mayor entre
ER1 y las preguntas declarativas y menor con las preguntas procedimentales. Los
mismos estudiantes al realizar la simulación en computador en el segundo intento
(SC2), la correlación fue positiva, estadísticamente significativa con los tres tipos
de preguntas (SC2 DEC r= .646, p=.000; SC2 ESQ r=.607 p=.000; SC2 PROC
r=.412, p=.019). Se observó un aumento en la vinculación entre SC2 y las
preguntas declarativas y esquemáticas, la correlación se mantuvo igual con las
preguntas procedimentales.
57
Declarativas Esquemáticas Procedimentales
ER1 Correlación de Pearson
Sig
N
.489**
.005
32
.367*
.039
32
.414*
.019
32
SC2 Correlación de Pearson
Sig
N
.646**
.000
32
.607**
.000
32
.412*
.019
32
**. La correlación es significativa al nivel 0,01 (bilateral).
*. La correlación es significativa al nivel 0,05 (bilateral).
Tabla 14 Coeficiente de Correlación Entre Intento (ER1SC2) y Preguntas por Tipo
de Conocimiento
La tabla 15 ilustra los coeficientes de correlación obtenidos cuando los estudiantes
realizaron la simulación en computador en el primer intento (SC1). Se evidenció
una correlación positiva, estadísticamente significativa entre SC1 y los tres tipos de
preguntas (SC1 DEC r= .326, p=.046; SC1 ESQ r=.617 p=.000; SC1 PROC r=.320,
p=.050). El vínculo es alto entre SC1 y las preguntas esquemáticas y bajo con las
preguntas declarativas y procedimentales. Al realizar los estudiantes la prueba
con elementos reales (ER2) se observó que los índices de correlación bajaron,
hubo una correlación moderada entre ER2 y las preguntas esquemáticas(r= .434,
p= .007), pero no se encontró una correlación estadísticamente significativa entre
ER2 y las preguntas esquemáticas y procedimentales (ER2 ESQ r= .314, p=.055;
ER2 PROC r=.238, p=.150). Estos resultados sugieren que puede haber un efecto
dependiendo que prueba se aplicó en el primer intento.
58
Declarativas Esquemáticas Procedimentales
SC1 Correlación de Pearson
Sig
N
.326*
.046
38
.617**
.000
38
.320*
.050
38
ER2 Correlación de Pearson
Sig
N
.314
.055
38
.434**
.007
38
.238
.150
38
**. La correlación es significativa al nivel 0,01 (bilateral).
*. La correlación es significativa al nivel 0,05 (bilateral).
Tabla 15 Coeficiente de Correlación Entre Intento (SC1ER2) y Preguntas por Tipo
de Conocimiento
4.4 VALIDEZ Y CONFIABILIDAD DE LOS INSTRUMENTOS UTILIZADOS
En un estudio correlativo, tiene mucha importancia la selección y el desarrollo de
los instrumentos utilizados para medir las variables que son estudiadas. Los
instrumentos deben tener alto grado de validez y confiabilidad, ya que si los datos
usados no representan las variables que son objeto del estudio, los valores de los
índices de correlación resultantes no indicarán con precisión el grado de relación.
Por esto, con el programa SPSS se calculó el alpha (α) de los tres instrumentos
utilizados, los coeficientes se ilustran en la tabla 16:
Opción Múltiple Elementos Reales Simulación en
Computador
Alpha (α) .720 .578 .678
Tabla 16 Coeficientes de Confiabilidad Según Tipo de Instrumento
59
Se observa que en la prueba de opción múltiple y la simulación en computador se
obtuvo un alpha alto (α=.720, α=.678), mientras que en la prueba con elementos
reales el alpha es aceptable (α=.578). Estos resultados evidencian la consistencia
de los instrumentos utilizados, ya que los ítems en las pruebas son similares entre
sí en el contenido.
Para ver el grado de validez de contenido, se realizaron entrevistas a diez (10)
estudiantes después de haber terminado la prueba de desempeño mediante
simulación en computador. En cuanto a la dificultad de la prueba cinco
estudiantes consideraron la prueba fácil y cinco consideraron el grado de dificultad
medio (“ni fácil, ni difícil”). La claridad de las instrucciones para realizar la prueba,
nueve de diez estudiantes declararon que las instrucciones de la prueba eran
claras. Solo un estudiante reportó dificultad en el uso del computador (sensibilidad
del ratón).
Al hacerle la pregunta a los estudiantes ¿Cómo sabias que el circuito estaba bien
hecho? , cinco estudiantes relacionaron la respuesta correcta con la condición de
que el bombillo encendiera, al hacerle esta pregunta a Jenny (nombre ficticio),
estudiante de 10 años, de quinto grado del colegio A, contestó:
Jenny: “Porque me alumbraba el bombillito”
E: “Cuando no te alumbraba el bombillo”
Jenny: “No estaba tan segura de la respuesta”
Esto puede evidenciar cierta confusión de los estudiantes en la tarea, ya que en el
caso del circuito abierto el bombillo no enciende, en versiones futuras de la prueba
se puede incluir alguna advertencia sobre este tema.
En las entrevistas realizadas tres estudiantes utilizaron los términos obvio o lógico
para referirse a la forma en que resolvieron el problema, como en el caso de
Carlos (nombre ficticio), estudiante de 11 años, de quinto grado del colegio C:
60
Carlos: “Porque era como muy obvio. Si? Porque el circuito digamos si uno
escogía un cable entonces uno ponía una pila y entonces alumbraba el bombillo y
entonces, sí era esa, si ya era obvio.”
En general en las entrevistas realizadas a los estudiantes sobre las pruebas de
desempeño mediante simulación en computador se evidenció un alto grado de
satisfacción de los estudiantes con respecto a la prueba, principalmente en
aspectos como claridad en las instrucciones, gráficos y nivel de dificultad.
61
5. DISCUSIÓN
Los resultados del estudio muestran que es posible diseñar y administrar
instrumentos de evaluación en ciencias que reflejen lo que realmente pasa en el
salón de clases. El desempeño en las pruebas de circuitos eléctricos de los
estudiantes de quinto grado que participaron en este estudio en general fue
satisfactorio, esto es evidente en las pruebas de opción múltiple, donde se obtuvo
una media alta y fue notable la ausencia de puntajes en el extremo inferior de la
escala de puntajes. En las pruebas de opción múltiple se observó un desempeño
satisfactorio en las preguntas de tipo declarativo. Los resultados obtenidos en este
tipo de preguntas fueron superiores a los obtenidos en las preguntas declarativas
y procedimentales, lo que sugiere una vinculación entre la prueba de opción
múltiple y el conocimiento declarativo. Los resultados de las pruebas de
desempeño, tanto en su versión con elementos reales, como en su versión
mediante simulación en computador fueron razonables, teniendo en cuenta que
ambos instrumentos no se habían utilizado para evaluar el desempeño de los
estudiantes en Colombia.
Los resultados mostraron que existe una correlación significativa entre los tres
tipos de instrumentos, aunque los valores de los índices de correlación fueron
moderados, los resultados de esta evaluación pueden mostrar indicadores de que
los estudiantes saben y que son capaces de hacer en circuitos eléctricos. Es
ampliamente reconocido que las pruebas de desempeño son mucho más
complejas que las pruebas de opción múltiple y que pueden medir otros aspectos
en los logros en ciencia como el conocimiento declarativo, procedimental y
esquemático (Ayala et al., 2002). Al realizar las comparaciones entre las preguntas
de la prueba de opción múltiple por tipo de conocimiento y las pruebas de
desempeño se encontró una correlación estadísticamente significativa, con valores
moderados y altos entre las preguntas declarativas y esquemáticas y ambos tipos
de pruebas de desempeño. Se esperaba encontrar estas correlaciones, lo que
sorprendió fue encontrar un índice de correlación muy bajo con las preguntas
62
procedimentales, ya que la prueba Cajas Eléctricas Misteriosas apunta a un
conocimiento procedimental. Los resultados sugieren una vinculación entre las
pruebas de desempeño y el conocimiento esquemático, además que utilizar una
variedad de instrumentos da más información acerca del estudiante y de los tipos
de conocimiento que tiene en ciencias.
El uso de las pruebas de desempeño da oportunidades a los estudiantes que no
tuvieron un buen resultado en la prueba de opción múltiple, de demostrar sus
conocimientos y habilidades en circuitos eléctricos. Los diferentes tipos de
evaluaciones permiten observar a los profesores las diferentes dimensiones del
aprendizaje de sus estudiantes, además de obtener una visión más amplia de sus
conocimientos y habilidades.
Cuando se comparó los resultados de las pruebas de desempeño con elementos
reales y las pruebas mediante simulación en computador para encontrar el grado
de equivalencia, teniendo en cuenta el tiempo de aplicación, se encontró una
correlación estadísticamente significativa entre instrumentos y tiempos de
aplicación, se esperaba que ambos coeficientes de correlación fueran semejantes,
pero se observó el fenómeno que al realizar la prueba con elementos reales en el
primer intento la correlación era alta, mientras que al realizar la prueba mediante
simulación en computador en el primer intento la correlación era baja. El mismo
fenómeno se observó con los puntajes registrados, al realizar la prueba con
elementos reales en el primer intento, el puntaje en la simulación en computador
aumentaba.
Ya que los estudiantes participantes en el estudio en su currículo de ciencias
realizaban principalmente actividades tipo hands-on, una de las posibles
explicaciones del fenómeno antes mencionado es que los estudiantes no se
sintieran del todo confortables con la simulación en computador, lo que pudo
afectar su desempeño. Esto también podría explicar la correlación moderada entre
las pruebas de desempeño.
63
Al comparar los resultados de las pruebas de desempeño con respecto a las
preguntas según tipo de conocimiento, el vínculo aumentaba con las preguntas
declarativas y esquemáticas cuando se realizaba la prueba con elementos reales
primero, pero el vínculo disminuía con las preguntas declarativas y esquemáticas
cuando se realizaba la simulación en computador primero. La posible explicación a
esta situación puede estar en el conocimiento que tienen los estudiantes sobre
circuitos eléctricos, al encontrarse con alguno de los métodos, la aproximación que
utilizo para resolver la tarea puede ser diferente, lo que puede provocar ciertas
inconsistencias en el desempeño al utilizar diferentes métodos. Las pruebas de
desempeño pueden proporcionar al estudiante experiencias únicas, que pueden
apuntar a diferentes aspectos en el desempeño en circuitos eléctricos.
La validez y confiabilidad de los instrumentos utilizados en este estudio fue alta,
durante la implementación de las pruebas de desempeño en sus dos versiones,
los estudiantes mencionaron que se sentían más motivados con las pruebas de
desempeño que con las pruebas de opción múltiple.
En la implementación de las pruebas de desempeño se detectaron algunos
problemas, en la prueba con elementos reales, el costo de los implementos
utilizados, el tiempo requerido para realizar y calificar las pruebas, el
entrenamiento de las personas que van a aplicar las pruebas. Muchas de estas
deficiencias son corregidas al implementar las pruebas mediante simulación en
computador, el principal problema que se encontró fue la condición de los
computadores en los centros escolares. El resultado de este estudio puede tener
implicación en la implementación de las pruebas de desempeño mediante
simulación en computador de una manera masiva en los colegios, los resultados
preliminares de este estudio indican que puede haber equivalencia entre las
pruebas de desempeño. Otra de las implicaciones que puede tener este estudio es
que aunque las pruebas de desempeño fueron utilizadas en esta ocasión como
una forma de evaluación sumativa, estas pueden ser utilizadas exitosamente
como una forma de evaluación formativa en las clases de ciencias.
64
6. CONCLUSIONES
Al realizar, esta investigación, se analizó los resultados obtenidos por estudiantes
de quinto grado, en circuitos eléctricos; utilizando tres tipos diferentes de
instrumentos. La correlación estadísticamente significativa; entre los tres tipos de
instrumentos, unida con la correlación estadísticamente significativa; entre las
pruebas de desempeño y las preguntas según tipo de conocimiento, son
indicadores; el cual los estudiantes conocen y que son capaces de hacer en el
tema de circuitos eléctricos; además, sugieren que el uso de una variedad de
instrumentos de evaluación, proporcionan mayor información sobre los tipos de
conocimientos que los estudiantes tienen en el tema.
Los resultados, mostraron una correlación estadísticamente significativa; entre las
pruebas de desempeño con elementos reales y las pruebas de desempeño
mediante simulación en computador. Con estos datos, se tiene evidencia de la
equivalencia entre ambos tipos de prueba. Además, se mostró la posibilidad de
que al hacer primero pruebas con elementos reales, influya en el desempeño de
los estudiantes, al realizar pruebas mediante simulación en computador.
Las evidencias obtenidas durante el desarrollo de esta investigación; indican un
alto grado de satisfacción de los estudiantes; con las pruebas de desempeño,
principalmente con la simulación en computador. Los instrumentos utilizados,
mostraron un alto grado de validez y confiabilidad. Los resultados, de esta
investigación; sugieren que la prueba de desempeño, mediante simulación en
computador “Cajas Eléctricas Misteriosas”, puede ser usada en gran escala para
evaluar, el desempeño de los estudiantes en circuitos eléctricos.
65
7. IMPLICACIONES
En las clases de ciencias, donde se utiliza la estrategia de indagación; la
evaluación debe mostrar al profesor lo que cada estudiante sabe y entiende; en
qué áreas muestra deficiencias y principalmente, lo que los estudiantes pueden
hacer con lo que saben. La evaluación, debe determinar si los estudiantes pueden
desarrollar posibles explicaciones a los fenómenos, diseñar y conducir
investigaciones y usar los datos recopilados como evidencia para respaldar o
rechazar sus explicaciones. Por esto, es recomendable, utilizar diversos
instrumentos para la evaluación en ciencias. Un test, bien diseñado, puede ser
efectivamente complementado con pruebas de desempeño; ambos instrumentos
se pueden convertir en herramientas importantes en el portafolio de evaluación de
los profesores; estos recursos pueden beneficiar el aprendizaje de los estudiantes.
Esta investigación, es una exploración que permite identificar algunas de las
fortalezas y debilidades de los instrumentos utilizados, para evaluar el desempeño
de los estudiantes en circuitos eléctricos; también la información recopilada en
este estudio, principalmente sobre las pruebas de desempeño mediante
simulación en computador, puede servir como datos preliminares para la
implementación de este tipo de instrumento a gran escala. Sugiero, realizar
estudios más amplios, donde participen mayor número de estudiantes en
diferentes Instituciones Educativas; con el fin de identificar factores que puedan
incidir en la implementación de este tipo de instrumentos.
Los resultados obtenidos, en esta investigación muestran el gran potencial que
tienen las pruebas de desempeño; mediante simulación en computador. Se
observó, que mediante estas pruebas los estudiantes eran capaces de ver
aplicaciones directas de lo que habían aprendido realizando tareas auténticas,
como resultado de esto; los estudiantes pueden empezar a construir su propio
conocimiento y con esto desarrollar conceptos y habilidades. Algunas de las
características de la simulación en computador, como el registro de los pasos
realizados por los estudiantes, no se analizaron en esta investigación; por lo que
66
sería interesante en futuros estudios, investigar las aplicaciones que pueden tener
estos registros; para evaluar el conocimiento de los estudiantes en circuitos
eléctricos.
67
8. ANEXOS
8.1 ANEXO 1 EJEMPLOS DE ÍTEMS UTILIZADOS EN LA PRUEBA DE OPCIÓN
MÚLTIPLE
GRADO 5º
CUADERNILLO I
POST-PRUEBA DE CIRCUITOS ELÉCTRICOS
Nombres: __________________________Apellidos:______________________
Nombre del colegio: ___________________________________Curso: ______
Nombre del profesor(a) de ciencias: ___________________________________
Eres: Niño Niña
¿Desde qué grado estás en este colegio?
0 1 2 3 4 5
A continuación vas a encontrar unas preguntas que debes contestar con mucho cuidado. Esta prueba no tiene ningún impacto en tu calificación en ciencias naturales. Esta prueba tiene tres partes, dos de opción múltiple y una en la cual
debes escribir tu respuesta.
Instrucciones:
Para contestar las preguntas de opción múltiple sigue las siguientes instrucciones:
1. Lee cuidadosamente cada pregunta y elige la opción correcta.
2. Encierra con un círculo la respuesta correcta.
68
1. ¿Qué es lo que fluye a través del alambre de un polo de la pila al
otro polo de la pila?
6. ¿En cuál de los siguientes circuitos se enciende el bombillo?
A. B.
A. Calor.
B. Sonido.
C. Electricidad.
D. Luz.
C. D.
69
7. ¿Qué tipo de circuito observas en la siguiente figura?
12. ¿Cuál es la función del interruptor en el siguiente circuito?
A. Abierto.
B. En serie.
C. Mixto (serie y paralelo).
D. En paralelo.
A. Encender y apagar uno de los bombillos.
B. Cambiar el sentido del flujo de electricidad en un solo bombillo.
C. Encender y apagar los dos bombillos.
D. Cambiar el sentido del flujo de electricidad en los dos bombillos.
70
15. ¿Qué pasa en el siguiente circuito si se daña el bombillo 2?
22. ¿Qué tendrías que hacer para que el bombillo 1 brille más?
A. Se apaga el bombillo 3, queda encendido el bombillo 1.
B. Quedan encendidos los bombillos 1 y 3.
C. Se apaga el bombillo 1, queda encendido el bombillo 3.
D. Se apagan los bombillos 1 y 3.
A. Agregar un interruptor.
B. Quitar el bombillo 2.
C. Voltear la pila.
D. Agregar un bombillo.
71
30. Un circuito eléctrico como el del dibujo, se compone de batería, cables,
interruptor y bombillo.
De acuerdo con el dibujo anterior, cuando el interruptor está cerrado el
bombillo enciende porque
A. almacena su propia energía y luz.
B. los cables permiten el transporte de luz.
C. en la corriente hay energía luminosa.
D. transforma la energía de la batería.
72
8.2 ANEXO 2 CUADERNILLO DE PRUEBA DE DESEMPEÑO CON
ELEMENTOS REALES
CIFE-PQC-DA-2009-019-(2009-04-07): Esta prueba fue desarrollada por Richard Shavelson, con una subvención de la U.S. National Science Foundation; para mayor información, consultar el sitio Web de Stanford Education
Assessment Laboratory: http://www.stanford.edu/dept/SUSE/SEAL/
Circuitos Eléctricos
Cajas Eléctricas Misteriosas Prueba de desempeño
INSTRUCCIONES DE ADMINISTRACIÓN DE LA PRUEBA
DESCRIPCIÓN: Los estudiantes deberán identificar el contenido de 6 cajas eléctricas misteriosas.
TIEMPO: Esta evaluación final se administra a los estudiantes una vez TODAS las experiencias de aprendizaje del módulo se hayan completado – otorgue un período de clase completo para su realización.
MATERIALES (por estudiante):
- Un cuadernillo de respuestas - 2 bombillos de linterna - 2 pilas (tamaño D) con los lados “+” y “–” claramente marcados - 1 set de Cajas Misteriosas. Cada caja contiene lo siguiente:
o Etiqueta X: contiene una pila o Etiqueta A: contiene una pila y un bombillo o Etiqueta B: contiene un cable o Etiqueta C: está vacía o Etiqueta D: contiene 2 pilas o Etiqueta E: contiene un bombillo o Etiqueta F: contiene un cable
73
Circuitos Eléctricos
Cajas Eléctricas Misteriosas Prueba de desempeño
CUADERNILLO DEL ESTUDIANTE
Nombre ______________________ Hora inicio: ______ Hora fin: ______
Tienes pilas, bombillos y cables para hacer algunos experimentos. Todos los cables son del mismo material, aunque tengan diferente color. Los cables tienen
caimanes en los extremos que sirven para conectarlos a diferentes elementos.
PARTE I
1. Conecta una pila, un bombillo y los cables de tal manera que el bombillo prenda.
Dentro del rectángulo, dibuja una imagen que ilustre lo que hiciste. Si quieres, usa
símbolos como éstos:
Símbolo de pila:
Símbolo de bombillo:
Cable:
74
1. Averigua qué hay dentro de la caja misteriosa marcada con el signo “X”.
La caja puede contener una pila o un cable:
o
Para averiguar si la caja contiene una pila o si contiene un cable, conéctala en un circuito con un bombillo:
Escribe la respuesta:
La caja “X” contiene __________________________.
X
75
PARTE II
Averigua qué hay adentro de las cajas misteriosas A, B, C, D, E y F. Cada una
contiene 0, 1 o 2 elementos, tal como se ilustra a continuación. Además, dos de las cajas contienen lo mismo, mientras que las demás cajas contienen algo diferente.
Dos pilas:
Un cable:
Un bombillo:
Una pila y un bombillo:
Nada:
Conecta cada caja en un circuito para ayudarte a averiguar qué tiene adentro. Puedes usar tus bombillos, pilas y cables en la forma que quieras.
Cuando sepas lo que hay en cada una de las cajas, anota tus hallazgos en los
espacios correspondientes para cada caso.
76
Caja A: Contiene _________________________________.
Utiliza la siguiente imagen para ilustrar el circuito que te indicó el contenido de la
Caja A.
Con base en el circuito que construiste, ¿cómo supiste lo que contenía la Caja A?
77
Caja B: Contiene _________________________________.
Utiliza la siguiente imagen para ilustrar el circuito que te indicó el contenido de la
Caja B.
Con base en el circuito que construiste, ¿cómo supiste lo que contenía la Caja B?
78
Caja C: Contiene _________________________________.
Utiliza la siguiente imagen para ilustrar el circuito que te indicó el contenido de la
Caja C.
Con base en el circuito que construiste, ¿cómo supiste lo que contenía la Caja C?
79
Caja D: Contiene _________________________________.
Utiliza la siguiente imagen para ilustrar el circuito que te indicó el contenido de la
Caja D.
Con base en el circuito que construiste, ¿cómo supiste lo que contenía la Caja D?
80
Caja E: Contiene _________________________________.
Utiliza la siguiente imagen para ilustrar el circuito que te indicó el contenido de la
Caja E.
Con base en el circuito que diseñaste, ¿cómo supiste lo que contenía la Caja E?
81
Caja F: Contiene _________________________________.
Utiliza la siguiente imagen para ilustrar el circuito que te indicó el contenido de la
Caja F.
Con base en el circuito que diseñaste, ¿cómo supiste lo que contenía la Caja?
__________________________________________________________________
__________________________________________________________________
__________________________________________________________________
82
8.3 ANEXO 3 INSTRUCCIONES Y MATRIZ DE CALIFICACIÓN DE PRUEBAS
DE DESEMPEÑO CON ELEMENTOS REALES
Circuitos Eléctricos
Cajas Eléctricas Misteriosas Prueba de desempeño
INSTRUCCIONES DE CALIFICACIÓN
Al calificar la Prueba Final de las Cajas Eléctricas Misteriosas en los cuadernillos
de los estudiantes, debe tener en cuenta dos cosas:
1. La respuesta que da el estudiante respecto al contenido de la caja misteriosa.
2. El circuito dibujado por el estudiante.
Observe la siguiente grilla de respuestas:
Caja misteriosa Respuesta Circuito
A Pila y bombillo Bombillo
B Cable Pila y bombillo
C Nada Pila y bombillo
D Dos pilas Bombillo
E Bombillo Pila y bombillo
F Cable Pila y bombillo
Si el estudiante tiene la respuesta correcta y dibujó el circuito correcto, entonces se le asigna 1 punto. Si la respuesta y/o el dibujo son incorrectos, entonces no se
le asigna ningún punto.
Por ejemplo:
83
En el caso de la Caja A, el estudiante debe haber respondido “una pila y un
bombillo” en el espacio apropiado.
El dibujo del circuito que le indicó lo que contenía la caja debe ser un bombillo conectado de forma apropiada a la Caja Misteriosa.
Si estos dos elementos no están presentes, no se otorga ningún punto.
Circuitos Eléctricos
Cajas Eléctricas Misteriosas
Prueba de desempeño
FORMATO DE CALIFICACIÓN DE LA PRUEBA
Nombre del estudiante: __________________________________________
Nombre de la persona que califica: _________________________________
Caja misteriosa Puntaje
asignado (1 ó 0)
A
B
C
D
E
F
Total
84
BIBLIOGRAFÍA
Alianza Educativa. (2008). Proyecto educativo institucional. Bogotá, Colombia.
Recuperado el 10 de noviembre de 2010, del sitio Web Alianza Educativa:
http://www.alianzaeduca tiva. edu.co/index.php?start=72
Ayala, C. A., Shavelson, R. J., Yin, Y., & Schultz, S. (2002). Reasoning dimensions
underlying science achievement: The case of performance assessment. Educational Assessment, 8, (2), 101-122
Burton, S. J., Sudweeks R. R., Merrill, P. F. Wood, B. (1991) How to prepare better multiple-choice test items: Guidelines for university faculty. Utah: Brigham
Young University
Brown, J. H., & Shavelson, R. J. (1996). Assessing hands-on science. Thousand
Oaks, California: Corwin Press, Inc.
Brualdi, Amy (1998). Implementing performance assessment in the classroom. Practical Assessment, Research & Evaluation, 6, (2). Recuperado el 10 de
noviembre de 2010 de http://PAREonline.net/getvn.asp?v=6&n=2
Cheung, D., & Bucat, R. (2002). How can we connstruct good multiple choice
items?. Investigacion presentada en la Conferencia de Educacion en Ciencia y
Tecnologia. Recuperado el 15 de novienbre de 2010 de http://www3.fed. cuhk.edu.hk/ chemistry/files/constructMC.pdf.
Clegg, V. L., & Cashin, W. L. (1986). Improving multiple-choice tests. Idea Paper , 16, 1-4.
National Research Council (2001). Classroom assessment and the national science education standars. Washington, DC: National Academy Press.
85
Duque, M., & Molan, A. (2009). Programa pequeños científicos: Presentación y alternativas de vinculación. Bogota, Colombia: Pequeños Cientificos-LIDIE-
Uniandes.
Elliott, Stephen (1995). Creating meaningful performance assessments. ERIC
Clearinghouse on Assessment and Evaluation, University of Maryland.
Gay, L. R., Mills, G. E., & Airasian, P. (2006). Educational research competencies for analysis and applications. New Jersey: Pearsons Prentice Hall.
Heartel, Edward (1999). Performance assessment and education reform. Phi
Delta Kappan, 662-666.
Kumar, D. (1995). Computers and assessment in Science education. Journal of
Science Education and Technology, 4, (1) , 29-36.
Mueller, J. (2005). The authentic assessment toolbox: Enharcing student learning throught online faculty development. Journal of Online Assessment and Teaching, 1, (1), 1-7. Recuperado el 5 de noviembre de 2010, de
http://jonathan.mueller.faculty.noctrl.edu/toolbox/tests.htm
Olson, S., & Loucks-Horsley, S. (2000). Inquiry and the national science education standars: A guide to teaching and learning. Washington, DC: National Academy
Press.
Palm, T. (2008). Performance assessment and authentic assessment: A conceptual analysis of the literature. Practical Assessment, Research & Evaluation, 13, (4), 1-11.
Pellegrino, J. W., Chudowsky, N., & Glaser, R. (2001). Knowing what students
know: The science and design of educational assessment. Washington, DC:
National Academy Press.
Portoléz, J., & López, V. (2008). Conocimientos y procesos cognitivos en la resolución de problemas de ciencias: Consecuencias para la enseñanza. Magis, Revista Internacional de Investigación en Educación, 1, 147-162
86
Quellmalz, E., Schank, P., Hinojosa T., & Padilla, C. (1999). Performance assessment links in science. Practical Assessment, Research & Evaluation,
6(10).
Rosenquist, A., Shavelson, R. J., & Ruiz-Primo, M. A. (2000). On the
"exchangeability" of hands-on and computer-simulated science performance assessments. CRESST/Stanford University.
Ruiz-Primo, M. A., & Shavelson, R. (1996). Rethoric and reality in science performance assessment: And update. Journal of Research in Science Teaching, 33, (10), 1045-1063
Shavelson, R., Baxter, G., & Pine, J. (1992). Performance assessment, political
rhetoric and measurement reality. Research News and Comments, 22-27.
Stiggins, R. J. (1987). The design and development of performance assessments. Educational Measurement: Issues and Practice, 6 , 33-42.
U.S. Congress, Office of Technology Assessment. (1992). Testing in American
schools: Asking the right questions. (OTA-SET-519). Washington, DC: U.S.
Government Printing Office.
Urdan, T. C. (2005). Statistics in plain english. Mahwah, New Jersey: Laurence
Erlbaum Associates.
Wiggins, G. P. (1993). Assessing Student Performance. San Francisco: Jossey-
Bass Publishers.
Wiggins, G. P. (1998). Educative assessment: Designing assessments to inform
and improve student performance. San Francisco: Jossey-Bass Publishers
