La autoevaluación como método de autoaprendizaje

Universidad de Oviedo

Daniel Gayo Avello

Hortensia Fernández Cuervo

Fernando Torre Cervigón

2

Situación de partida

Algorítmica y Lenguajes de Programación es una asignatura de 12 créditos: 6 teóricos. 6 prácticos (tablero y laboratorio).

Impartida en primer curso de Licenciatura de Matemáticas de la Universidad de Oviedo.

Aunque la valoración hacia la asignatura y el profesorado por parte de los alumnos era positiva: la encontraban difícil. afirmaban estudiar poco o nada.

3

Planteamiento del problema

¿Podría crearse un sistema de autoevaluación mediante pruebas objetivas en la Web para que los alumnos conozcan su su grado de aprendizaje?

Inconvenientes: Creer erróneamente que la asignatura sería

evaluada mediante pruebas objetivas. Aprendizaje “por respuestas”. Frustración al aprender, por tratarse de pruebas

cerradas.

4

Opción alternativa: Duck

Herramienta desarrollada por el Biology Computer Resource Center de la Univ. de Massachutts Amherst.

Es un sistema de scripts PHP3. Es diferente de una prueba de respuesta múltiple por:

El tipo de preguntas... De respuesta múltiple. De respuesta corta. De respuesta extensa.

El tipo de evaluación... No hay respuestas correctas o incorrectas, sino que se proporciona

un feedback que ayuda a resolver las dudas del alumno. La navegación...

No tiene que ser necesariamente lineal.

5

Antecedentes Evaluación y Aprendizaje

Existen varios estudios sobre la “influencia” de la evaluación en el aprendizaje. Sin embargo, ninguno establece una vinculación clara entre ambas.

Algunos ejemplos: (Serra, 1997) presenta conclusiones sobre una aplicación

informática de autoevaluación con refuerzo, los datos obtenidos son puramente cualitativos.

(Davies, 1999) describe la utilización de herramientas de respuesta múltiple como sistema de evaluación on-line; el objetivo era la evaluación no el aprendizaje.

(Sly y Rennie, 1999) emplean una herramienta de evaluación por ordenador como sistema de evaluación formativa; tampoco vinculan evaluación y aprendizaje.

6

AntecedentesAprendizaje operante vs. significativo

En las herramientas de autoevaluación se dan implícitamente dos tipos de aprendizaje: Operante:

Aquel en el que la conducta se produce en función de sus consecuencias.

Presente en herramientas tradicionales de respuesta múltiple. Al obtener valoración en la respuesta (correcta o incorrecta), se provoca el refuerzo o la extinción del comportamiento (la respuesta del alumno).

Significativo: Se logra al establecerse relaciones entre conocimientos previos y

nuevos conocimientos. Duck estaría inspirado por este tipo de aprendizaje, pues no aporta

“valoración” sino argumentos sobre la pregunta y la respuesta dada que permiten al alumno elaborar asociaciones para construir su propia solución.

7

Formulación de hipótesis

Dos cuestiones clave: El uso de herramientas de autoevaluación on-line

¿mejora el aprendizaje? La aplicación con realimentación ¿es superior a

instrumentos de respuestas múltiples?

Hipótesis: La utilización de herramientas de autoevaluación en la

Web mejora el aprendizaje, por parte de los alumnos, de conceptos teóricos de programación.

La herramienta de autoevaluación Duck resulta más útil para los alumnos que herramientas de respuesta múltiple.

8

MetodologíaIdentificación de variables, población y muestra

Identificación de variables: Variable Independiente (VI): Herramienta de autoevaluación. Variable Dependiente (VD): Rendimiento académico

Población: Alumnos matriculados en ALP en la Licenciatura de Matemáticas de

la Universidad de Oviedo en el curso 2001/2002. 39 alumnos de 18 años y 3 de 19 años. 23 mujeres y 19 hombres. 3 repetidores.

Muestreo aleatorio estratificado. 24 alumnos. Distribuidos en tres grupos de 8 personas. 4 mujeres y 4 hombres en cada grupo. 1 repetidor por grupo.

9

MetodologíaDiseño del experimento

Diseño multivalente pretest-postest. Un grupo de control y un grupo experimental por cada

herramienta. Los tres grupos realizan un pretest y un postest. El grupo de control no recibe tratamiento. Los grupos experimentales recibirían dos niveles de la

VI: Grupo duck: herramienta Duck. Grupo tradicional: herramienta tradicional.Pretest Tratamiento Postest

Asignación Grupo ns1 s1 s2 s3

Azar Control 8 x1 - - x2

Azar Experimental Duck 8 x1 Duck Duck x2

Azar Experimental Tradicional 8 x1 R. múltiple R. múltiple x2

24

10

MetodologíaProcedimiento (i)

Las sesiones tuvieron lugar en una de las salas de ordenadores de la Facultad de Ciencias de la Univ. de Oviedo, durante tres viernes consecutivos en horario de mañana.

Los alumnos fueron informados sobre la forma en que se puntuarían las pruebas (pretest).

No se les informó sobre la naturaleza del experimento; se les hizo creer que participaban en un programa de evaluación de calidad de la enseñanza (efecto Hawthorne, desmoralización, rivalidad).

11

MetodologíaProcedimiento (ii)

09.00 Pretest grupos tradicional y duck.09.40 1º Tratamiento grupos tradicional y duck.

11.00 Cuestionario satisfacción grupos tradicional yduck.

1º Viernes

11.15 Salida grupos tradicional y duck.Pretest grupo control.

2º Viernes

09.00 2º Tratamiento grupos tradicional y duck

10.00 Cuestionario para determinar trabajopersonal grupos duck y tradicional.

10.15 Postest grupos duck y tradicional.

10.45 Cuestionario para determinar trabajopersonal grupo control.

3º Viernes

11.00 Postest grupo control.

12

Pretest para precisar rendimiento académico en la parte teórica de ALP: El pretest era un cuestionario con 20 ítems sobre

“Funciones y subrutinas” y “Recursividad”.Cada ítem presentaba 4 respuestas de las que

sólo 1 era válida.Se penalizaba el azar otorgando 1/2 por acierto y

-1/6 por fallo.

MetodologíaProcedimiento (iii)

Primera Sesión: Cuestionario para determinar la actitud

hacia la asignatura (Escala Likert)

13

MetodologíaProcedimiento (iv)

Los grupos duck y tradicional recibieron tras el pretest la primera sesión de tratamiento.

Grupo tradicional: Una hora con una herramienta de respuesta

múltiple similar a la utilizada en el pretest. Constaba de 40 ítems con 4 respuestas cada uno. Permitía saber al alumno:

Si “acertaba” o “fallaba” en sus respuestas.Cuáles eran las respuestas correctas.La “nota” que obtenía.

14

MetodologíaProcedimiento (v)

15

MetodologíaProcedimiento (vi)

Grupo duck: Una hora con una herramienta con 40

ítems. Mismos ítems y respuestas que en la

herramienta tradicional. El alumno no obtenía una evaluación de

sus respuestas sino una explicación detallada que le permitía deducir su grado de validez.

16

MetodologíaProcedimiento (vii)

17

MetodologíaProcedimiento (viii)

Tras el primer tratamiento: cuestionario para determinar grado de satisfación de cada grupo con su herramienta.

18

MetodologíaProcedimiento (ix)

Segunda Sesión: tratamiento Grupos duck y tradicional.

Tercera Sesión: Cuestionario (Escala Thurstone) a todos los alumnos para

conocer trabajo personal dedicado a la asignatura durante el experimento.

Postest a los tres grupos (igual que el pretest pero alterando el orden de preguntas y respuestas).

19

Discusión de resultados (i)

Se midió: La actitud de los alumnos ante la asignatura (escala Likert). Conocimientos teóricos antes (pretest) y después (postet) del

tratamiento. Esfuerzo personal dedicado a la asignatura (escala de

Thurstone).

¿Existen o no diferencias significativas entre los grupos antes y después del tratamiento?

Si los grupos fueran inicialmente equivalentes y tras el tratamiento existieran diferencias estadísticamente significativas, éstas serían debidas al tratamiento, es decir, la herramienta.

20

Discusión de resultados (ii)

Uso del paquete SPSS. ANOVA de un solo factor para actitud, aptitud

(pretest) y trabajo personal. Determinar si la situación del grupo control en el

postest era equivalente a la original (pretest). Comparar los grupos experimentales con el grupo

control y con la situación original de cada grupo. Uso de la prueba T de Student (contraste de

puntuaciones medias). Comprobar si el grupo duck había obtenido mejores

resultados que el grupo tradicional.

21

Discusión de resultados (iii)

Las puntuaciones de los tres grupos en todas las medidas seguían distribuciones normales y presentaban varianzas homogéneas, por tanto se podía aplicar ANOVA y prueba T de Student.

Los resultados de ANOVA en pretest, prueba de actitud y nivel de trabajo mostraron que los 3 grupos eran equivalentes. Por tanto, las diferencias en el postest (de haberlas) serían debidas al tratamiento.

La prueba T de Student demostró que en el postet los grupos duck y tradicional presentaron una mejoría significativa respecto al grupo de control y frente a su situación original.

El grupo de control empeoró ligeramente pero no de forma significativa. El grupo duck rindió más que el tradicional pero no de forma significativa. Se demuestra la primera hipótesis: “La utilización de herramientas

de autoevaluación en la Web mejora el aprendizaje por parte de los alumnos de conceptos teóricos de programación.”

No se pudo demostrar la superioridad de Duck frente a herramientas tradicionales de respuesta múltiple.

22

Discusión de resultados (iv)

Distribución de las puntuaciones en el pretest

00,050,1

0,150,2

0,250,3

0,35

0,0 1,0 2,0 3,0 4,0 5,0 6,0 7,0 8,0 9,0 10,0

Nota

Pro

babili

dad

Grupo control Grupo duck Grupo tradicional

23

Conclusiones

Se ha demostrado que la utilización de herramientas de autoevaluación en la Web facilita el aprendizaje de conceptos teóricos de asignaturas de programación.

Los resultados en el postest fueron equivalentes para los grupos duck y tradicional pero el grado de satisfacción fue mayor en el grupo duck.

Cuestiones abiertas: ¿Con qué tipo de herramientas (respuesta múltiple o con

feedback) se aprende más y mejor? Este tipo de iniciativas suele ser aprovechada por los alumnos

más destacados. ¿Qué hacer para fomentar el uso de las herramientas por parte de todos los alumnos?

La autoevaluación como método de autoaprendizaje

Universidad de Oviedo

Daniel Gayo Avello

Hortensia Fernández Cuervo

Fernando Torre Cervigón