Diseño e implementación de problemas con e-status

José A. GonzálezDpto. EIO UPC

15 de junio de 2010

E.U. de Estadística

Universidad Complutense de Madrid

Contenido

• Introducción

• A modo de ejemplo

• El editor de problemas

• El ingRediente secReto

• Los problemas de precisión

• Uso de e-status

• Manos a la obra

Presentación

• e-status es una herramienta basada en web (http://ka.upc.es/).

• Trata de ayudar a los estudiantes con ejercicios que se corrigen automáticamente.

• R es el motor oculto:– para cálculos,– para gráficos,– para algún tratamiento.

Arquitectura actual

Linux + Apache + Cake-PHP

MySQL

navegador

Qué no es e-status

• una colección estática de problemas;– Los problemas pueden (deberían) ser dinámicos.

• un curso de estadística o un libro de texto online;– Los materiales adicionales se pueden enlazar desde los

problemas, pero no son componentes estructurales.

• una herramienta para demostraciones (tipo colección de applets);– La atención se centra en el estudiante, que es quien

posee el papel activo.

Por supuesto…

…que los estudiantes han de seguir resolviendo ejercicios como siempre.

De hecho, ellos reconocen que hacer problemas es una de las formas más eficaces de aprender.

Un inconveniente: ¿cómo valorar que el ejercicio ha sido bien resuelto, sin acudir al profesor?

¿Qué es un problema en e-status?

Enunciado Preguntas Respuestas

y además…

Metadatos―autor, dificultad, …―descripción, palabras clave.

Modelos―del problema didáctico;―del propio problema.

Criterios de correcciónRealimentaciónHistorial

Cons & Pros

• Hay que especificar los elementos del problema en R.

• No basta con poner unos datos, hay que diseñar una máquina de producir datos.

• La respuesta no es única, hay que detallar el proceso de solución.

• e-status puntúa los ejercicios, deben utilizarse criterios precisos pero flexibles.

• Es deseable incorporar ayudas (y eso supone un esfuerzo).

• Un ejercicio clásico puede incluir preguntas de análisis.

• Un alumno puede resolver varias veces el mismo problema.

• No pueden copiarse las respuestas (en un examen, p. ej.).

• Se habitúa a usar software dedicado.

• La evaluación es instantánea y sistemática.

• Se almacena todo el trabajo del alumno, facilitando el seguimiento personal y el del profesor.

• El alumno puede compararse con el resto del grupo.

• (de acuerdo; pero tampoco sabe si su análisis es el correcto)

¿Qué aspecto tiene un problema en e-status?

El alumno hace una primera tentativa. En este problema cuenta con dos oportunidades por pregunta. La 3ª está perfecta, la 2ª bastante bien, y las otras dos necesita mejorar. Por suerte, hay unas indicaciones de

ayuda.

¿3.5?

¿2.8?

¿2.6?

Retroalimentación: el toque final

La retroalimentación cataliza el aprendizaje.

• inmediatamente: el estudiante verifica si sus respuestas han sido correctas

– Algunas veces, el sistema facilita una pista.

• a la larga: todo se guarda. Con estos registros se pueden detectar puntos fuertes y débiles

– no sólo el estudiante, …

– el profesor tiene el punto de vista local y el global.

Ejemplo: historialBLOQUES

PROBLEMAS

El editor

El editor es el componente de e-status

que asiste al profesor

en la creación de los problemas.

Gestión de preguntas

• Crear• Modificar• Reordenar• Eliminar

Texto de las preguntas

Símbolo de la respuesta

Ponderación

Resumen del editor

• En los enunciados pueden aparecer elementos variables (datos, tablas, textos, figuras, …).

• Las preguntas cuentan con filtros elementales (entero, real, vector, …).

• Se evalúan con criterios predefinidos, o modificados a conveniencia.

• Se permite la repetición en caso de error (hasta un máximo).

• Puede incorporar ayudas (como enlaces a la web).• Posibilidad de mostrar la solución correcta al final.• Tres campos preestablecidos para incluir comentarios

según el resultado (correcto, regular, incorrecto).

R: lenguaje y plataforma

• “Statistical computing”, rápido y robusto.

• Variedad de tipos de datos (escalares, vectores, matrices, tablas, …, objetos en general).

• Potente generación de gráficos.

• Programación sencilla (secuencia de instrucciones); incluye bucles y condiciones (if…else…, switch…).

• Disponibilidad de librerías de funciones para todo.

• Software libre, en rápida expansión; gran comunidad de usuarios en la web.

• Se puede comunicar con aplicaciones PHP y Java (Rserve).

Algunas características de R

El motor del problema

Dos preguntas diferentes para el creador:• ¿Cuál es el objetivo docente?

– Conocer los procedimientos del modelo lineal simple • Implementaré las estimaciones sobre la recta, la desviación

residual, R2, predicción, …

• ¿Cómo genero la información para el alumno?– Quiero un ejercicio sobre el efecto de un abono en la cosecha.

¿Qué modelo aplico para generar la muestra supuestamente observada?

• Implementaré algún procedimiento de simulación robusto y verosímil.

El código (R) del problema recoge los dos puntos de vista.

Ejemplo 1: para obtener “una distribución de forma diversa (asimétrica por la derecha, por la izquierda, concentrada, dispersa, …)”

utilizamos valores aleatorios de una distribución Beta con parámetros generados al azar.sh = exp(rnorm(2, me=0, sd=0.7))

y = 10*rbeta(50, sh[1], sh[2])

grf = ini_imagen(600,200)

boxplot(y,ylim=c(0,10),horizontal=TRUE ,axes=FALSE)

axis(1,at=0:10)

rug(y,tick=0.08)

fin_imagen()

0.0 0.2 0.4 0.6 0.8 1.0

0.0

0.5

1.0

1.5

2.0

x

db

eta

(x, sh

ap

e1

= 0

.5, sh

ap

e2

= 0

.5)

Ejemplo 2: cómo obtener una muestra de pares de zapatos con dos materiales diferentes en la suela:

n = sample(8:14,1)D = round(rnorm(n,m=0.8,sd=1),1)xA = round(rnorm(n,m=10,sd=2.2),1)xB = xA - DApie = sample(c("Drcho","Izqdo"),n,repl=TRUE)pieA = as.numeric(Apie=="Drcho")drcho = pieA*xA + (1-pieA)*xBizqdo = pieA*xB + (1-pieA)*xA

Ejemplo 3: simular los efectivos derivados de tres variables dicotómicas:

– Depresión– Adicción al chocolate– Género

En este caso, se trata también de reproducir las relaciones especiales que pueden existir entre las variables:

• Mayor presencia de un sexo,• Asociación entre factor y respuesta,• Interacción del género en la relación anterior,• Confusión…

Un modelo loglineal con parámetros específicos sirve para generar las subtablas controladamente.

Las soluciones a las preguntas se obtienen aplicando el método a los datos iniciales.

R dispone de funciones eficientes para las principales técnicas de modelado estadístico, y otras no estadísticas (la comunidad aporta continuamente nuevas librerías).

Ejemplo: cuestiones acerca de un problema ANOVA.

fit = lm(precio ~ proveedor)z = anova(fit)VarP = z$Mean[2] # Estimación variancia residualSS = z$Sumcof=sample(1:2,1)SS_ok = round(SS[cof]) # Suma de Cuadrados

(explicados o residuales, al azar)

F = round(z$F[1],3) # Estadístico F de la prueba

Los problemas de precisión

Decidir cuándo una respuesta es correcta o no es una de las decisiones más complicadas.

Criterios posibles:– Exacto: Y = y– Error absoluto: |Y – y | < Δ– Error relativo: |Y – y | / |Y| < Δ– # decimales correctos– …

Elegir un criterio no es una decisión sencilla.

Ejemplo

Probabilidad Y = 0.2876– Núm. decimales mínimo (usualmente, k>2)

• Si k = 3: 0.287 incorrecto; 0.288 correcto• Para redondear correctamente, observe el decimal k+1

– Error relativo.

• Con 1%, correcto si 0.284724 < y < 0.290476 ¿Es aceptable este rango de respuestas?

• La simetría y la amplitud del intervalo parecen razonables, permiten contemplar pequeños errores de cálculo.

– ¿El criterio del error relativo se puede extender a una probabilidad cualquiera?

Ejemplo (cont.)

• Probabilidad Y = 0.9876 (≈ 1–1/80)– Error relativo

• Con 1%, correcto si 0.977724 < y < 0.997476 ¿Es aceptable este rango de respuestas?

• Equivale a [≈ 1–1/45, ≈ 1–1/396] (¡@!)

• Una probabilidad próxima a 0 o 1 debería emplear una precisión asimétrica.

– Núm. decimales mínimo

• Si k = 3: 0.987 incorrecto; 0.988 correcto

Respuesta parcialmente correcta

Si la respuesta procede de un cálculo largo, puede incluir imprecisión arrastrada.

Puntuar en función del error cometido.function(y) { err=(Y-y)/e; round(dnorm(err) /dnorm(0),1) }

La tolerancia e depende de cada caso.

2.66 2.68 2.70 2.72 2.74 2.76 2.78

0.0

0.2

0.4

0.6

0.8

1.0

x

gss

s(x)

Curso Primavera 2010121 alumnos matriculados Estadística (tercer semestre carrera)

113 activos (mediana: 25 problemas; Q3: 44; máximo: ¡401!)

37 problemas publicados; 3847 resoluciones.

Prim 2010

+36%, +52%

Otoño 2009

Valoración de los alumnos

Los alumnos pueden dar una valoración a los problemas (entre 1 y 5),

• de los que han recibido al menos 10 opiniones:• 9 entre 4 y 5• 20 entre 3 y 4• 1 con 2.92, 1 con 2.44

• con menos de 10 opiniones:• 6 problemas, de los que 2 tenían menos de 3

Globalmente, e-status es una herramienta muy bien valorada, y se ha convertido en un recurso docente imprescindible.

EjerciciosA continuación vamos a trabajar con unos problemas propuestos:

– problema 1: datos apareados,– problema 2: Odds-Ratio.

http://www-eio.upc.es/~josean/UCM/problemas.pdf

Edite los problemas en e-status con un rol de profesor.

Está invitado a hacer todas las modificaciones que desee. Piense en lo que puede ser útil para sus alumnos.

¡Suerte!

Muchas gracias por su atención

Puede encontrar esta presentación en:

http://www-eio.upc.es/~josean/UCM/constr.pps

e-status:http://ka.upc.es/