Upload
others
View
0
Download
0
Embed Size (px)
Citation preview
Informe sobre la promoción, consolidación y resultados del
Módulo de Análisis Económico del Examen Saber‐Pro
Alexander Tobón Profesor Universidad de Antioquia
2014
Contenido
1. Síntesis de logros del proceso2. Construcción, revisión y validación de preguntas3. Orientaciones y simulacros4. Resultados nacionales 2012 y 20135. Retos para 2014
1. Síntesis de los logros del proceso
‐ Se logra insertar exitosamente los pregrados de Economía en la dinámica nacional de la evaluación por competencias.
‐ El Icfes reconoce los pregrados de Economía como un Grupo de Referencia independiente y a Afadeco como un interlocutor serio (desde 2010).
‐ Se obtiene un Marco de Referencia que concilia los intereses de los diferentes pregrado de Economía.
‐ El proceso ha sido participativo. Se consultaron los Decanos, Jefes de Departamento y Directores de Programas. Se logra reunir 60 profesores de Economía del país para legitimar el proceso y grupos de profesores para la construcción, revisión y validación de preguntas.
‐ Se tienen resultado cuantitativos por programa y nacionales del desempeño de nuestros estudiantes para la política curricular.
‐ En 2013 Afadeco firma un contrato con el Icfes para la construcción, revisión y validación de 130 preguntas, las cuales entran al banco de preguntas.
‐ Participaron como constructores de preguntas aprobadas (junio):
Angélica Quiroga (Javeriana), Laura Giraldo (Autónoma de Colombia), Sara Atehortúa, Danny García y Hernán Botero (Antioquia), Alejandra Molina (Autónoma de Manizalez), Jarvi Salazar y Frank Huerta (Libre de Pereira), Jhon Mauro Perdomo (UnalBogotá), José Vicente Cadavid (Eafit), Pedro Delgado (Autónoma Bucaramanga), Camilo Gómez (EAN), Henry Laverde y José Elías Mendivelso (Sto Tomás), Luis Eduardo Girón (Javeriana, Cali) y Ramón Rosales (Andes).
2. Construcción, revisión y validación de preguntas
‐ Participaron como revisores (julio‐agosto):
Ramiro Rodríguez (Libertadores), Luz Karime Abadía y Martha Misas (Javeriana), Hernán Vallejo (Andes), Alexander Tobón (Antioquia)
‐ Participaron como validadores (septiembre): profesores de Andes, Nacional, Javeriana y Libertadores.
¿Cómo ocurrió el proceso?
‐ Capacitación inicial para constructores y revisores: 25‐26 abril (Andes) para orientar sobre las Especificaciones de la Prueba.
‐ Los profesores realizaron en promedio 10 preguntas sobre su área de desempeño docente: micro, macro, pensamiento económico/historia económica y econometría.
‐ Revisión: aceptación, aceptación con modificaciones y rechazo.‐ Validación: aceptación o rechazo.
¿Qué experiencias se pueden destacar?
‐ Positivas: la diversidad temática y los diferentes niveles de complejidad, así como la creatividad de algunos profesores.
‐ Negativas: la aplicación de las Especificaciones de la Prueba, la redacción de la pregunta (que tenga la información suficiente y que tenga única respuesta), la elección de temáticas (que sean de pregrado) y los conocimientos de los profesores.
3. Orientaciones y simulacros
En 2013 se llevaron a cabo 6 actividades de orientación paraprofesores y estudiantes, así como un simulacro de la pruebaexclusivamente para estudiantes.
Autónoma de Bucaramanga: orientación solo a profesores.Universidad de Antioquia: orientación a estudiantes (40) y simulacro.Universidad del Magdalena (17), Norte (28), Sabana (15) y UPBMontería (19): orientación a profesores, a estudiantes y simulacro.
Han manifestado interés: Sucre, Eafit y Surcolombiana.
¿Qué hacemos?
‐ Orientación a Profesores: elementos del Marco de Referencia: qué se entiende por competencias, qué es la competencia en análisis económico y cómo se evalúa dicha competencia (Especificaciones de la Prueba: conceptos, teorías y herramientas). Taller de elaboración de preguntas. 4 horas.
‐ Orientación a Estudiantes: Especificaciones de la Prueba. 1 hora.
‐ Simulacro individual a estudiantes: 45 preguntas clasificadas según las Especificaciones de la Prueba (evidencias y afirmaciones). Hay diversidad temática y diferentes niveles de complejidad. 2 horas. Se entregan las respuestas.
0
10
20
30
40
50
60
70
80
90
U de A U del Norte U de la Sabana UPB ‐ Monteria U del Magdalena
Resultados Simulacro Modulo Análisis Económico
NOTA MAXIMA
NOTA MINIMA
PROMEDIO UNIVERSIDAD
Módulo Análisis Económico
Número de estudiantes en el Grupo de Referencia
4. Resultados nacionales 2012 y 2013
Semestre Estudiantesde Economía
Estudiantesde pregrados
afines
Total
2012‐2 1513 5140 6653
2013‐1 1265 2565 3830
2013‐2 2444 4480 6924
Total 5222 12185 17407
Módulo Análisis Económico
Nivel de confiabilidad de la prueba
La prueba mide en un 84% lo que tiene que medir, es decir, la adquisición, en cierto grado, de la competencia en análisis económico. Lo verdaderamente importante es la estabilidad en el tiempo de la
medida.
Semestre % de confiabilidad
2012‐2 0,71
2013‐1 0,78
2013‐2 0,84
Clasificación de los puntajes y comparativo de estudiantes de Economía con estudiantes de pregrados afines
1. Puntajes mínimos
Módulo Análisis Económico
Semestre Economía Afines
2012‐2 7,0 5,4
2013‐1 7,9 6,3
2013‐2 7,3 0,0
2. Clasificación de los puntajes promedio en quintiles y comparativo de estudiantes de Economía con estudiantes de pregrados afines
Módulo Análisis Económico
Quintil 1 Quintil 2 Quintil 3 Quintil 4 Quintil 5
E A E A E A E A E A
2012‐2 10,1 9,3 10,6 9,7 11,2 10,1 11,7 10,8 14,3 14,3
2013‐1 10,0 9,2 10,6 9,7 11,1 10,2 11,5 10,7 15,3 15,3
2013‐2 10,1 9,1 10,6 9,6 11,0 10,1 11,6 10,7 14,4 14,4
Dos reflexiones
‐ Los puntajes promedio son, en general, más altos en Economía que en los programas afines, con la excepción del quintil 5. Esto se verifica también para los módulos genéricos.
‐ Los estudiantes de Economía tuvieron el mejor desempeño en la prueba del semestre 2013‐1 pues el puntaje más alto del período de estudio se clasificó en el quintil 5. Igualmente, para ese mismo semestre el puntaje mínimo fue el más alto. Sin embargo, el nivel de confiabilidad para ese semestre fue menor respecto al semestre siguiente.
Módulo Análisis Económico
Módulos genéricos: razonamiento cuantitativo
Quintil 1 Quintil 2 Quintil 3 Quintil 4 Quintil 5
E A E A E A E A E A
2012‐2 9,9 9,2 10,3 9,7 10,9 10,1 11,6 10,8 15,2 16,8
2013‐1 9,8 9,2 10,4 9,6 11,0 10,1 11,7 10,8 15,9 16,3
2013‐2 9,9 9,3 10,4 9,7 10,9 10,2 11,7 10,8 16,0 16,2
Mejor desempeño para pregrados afines en quintil 5.
Mejor desempeño para pregrados afines en quintil 5.
Módulos genéricos: Lectura crítica
Quintil 1 Quintil 2 Quintil 3 Quintil 4 Quintil 5
E A E A E A E A E A
2012‐2 9,7 9,2 10,3 9,8 10,7 10,3 11,2 10,9 13,1 14,9
2013‐1 9,9 9,3 10,5 9,8 11,0 10,4
11,6 11,0 14,3 15,8
2013‐2 9,9 9,2 10,4 9,9 10,8 10,3 11,6 10,9 14,3 16,2
Resultados negativos para todos. El puntaje del quintil 5 no llega a 14.
Módulos genéricos: comunicación escrita
Quintil 1 Quintil 2 Quintil 3 Quintil 4 Quintil 5
E A E A E A E A E A
2012‐2 9,7 8,8 10,5 9,7 11,3 10,4 11,9 11,2 13,1 13,1
2013‐1 9,6 9,0 10,3 9,5 10,8 10,1 11,2 10,8 12,5 12,8
2013‐2 9,8 9,3 10,4 9,9 11,0 10,4 11,5 11,0 12,9 13,0
Módulos genéricos: competencias ciudadanas
Quintil 1 Quintil 2 Quintil 3 Quintil 4 Quintil 5
E A E A E A E A E A
2012‐2 9,6 9,1 10,3 9,7 10,7 10,3 11,3 10,9 13,3 15,4
2013‐1 9,7 9,0 10,3 9,7 10,8 10,2 11,5 10,8 13.7 13,7
2013‐2 9,7 9,0 10,2 9,7 10,8 10,2 11,3 10,8 14,0 14,0
Los puntajes son bajos para casi todos los quintiles respecto a los otros módulos. El puntaje 11 solo aparece en el quintil 4.
Módulos genéricos: Inglés
Quintil 1 Quintil 2 Quintil 3 Quintil 4 Quintil 5
E A E A E A E A E A
2012‐2 9,6 9,4 10,1 9,6 11,0 9,9 12,3 10,6 15,0 15,0
2013‐1 9,7 9,4 10,2 9,6 11,2 10,0 12,3 10,8 14,9 14,9
2013‐2 9,6 9,2 10,2 9,6 11,0 10,0 12,3 10,8 15,0 15,0
Se evidencia mucho más el buen desempeño de Economía. Quintil 5 empate.
1. Participar del concurso público del Icfes para la construcción, revisión y validación de otras 80 preguntas.
2. Reorientar el Marco de Referencia exclusivamente a Economía, validándolo con los profesores que han participado en el proceso.
3. Publicar y fomentar la lectura del Marco de Referencia.4. Continuar con las charlas de orientación a profesores y
estudiantes para favorecer el mantenimiento de los niveles de confiabilidad de la prueba.
5. Retos para 2014