EVALUACIÓN DOCENTE ON-LINE Manuel Peralbo Uzquiano VICERRECTOR DE CALIDAD Y ARMONIZACIÓN EUROPEA

EVALUACIÓN DOCENTEEVALUACIÓN DOCENTEON-LINEON-LINE

Manuel Peralbo UzquianoManuel Peralbo UzquianoVICERRECTOR DE CALIDADVICERRECTOR DE CALIDADY ARMONIZACIÓN EUROPEAY ARMONIZACIÓN EUROPEA

AntecedentesAntecedentes Evaluación: encuestas en papel Evaluación: encuestas en papel

realizadas en clase, anónimas, sin realizadas en clase, anónimas, sin “visualización del profesor”“visualización del profesor”

Programas de formación independientes Programas de formación independientes de la evaluación y sin que dispusieran de de la evaluación y sin que dispusieran de una evaluación de los efectos del una evaluación de los efectos del programa.programa.

Evaluación y formación centrada en el Evaluación y formación centrada en el profesorado, sin inclusión de profesorado, sin inclusión de estudiantes, centros y PASestudiantes, centros y PAS

Sólo se evaluaba satisfacción, no Sólo se evaluaba satisfacción, no competencias paracompetencias para

Razones para un cambioRazones para un cambio El EEES que introduce un sesgo hacia el aprendizaje (y El EEES que introduce un sesgo hacia el aprendizaje (y

por tanto hacia el aprendiz) y que promueve el análisis por tanto hacia el aprendiz) y que promueve el análisis de las competencias implicadas en cada actividadde las competencias implicadas en cada actividad

La necesidad de romper con una evaluación que se La necesidad de romper con una evaluación que se acaba convirtiendo en un fin en sí mismo para incluirla acaba convirtiendo en un fin en sí mismo para incluirla en un proceso de evaluación para la mejora (formación) en un proceso de evaluación para la mejora (formación) en sintonía con lo establecido por la ENQA (en sintonía con lo establecido por la ENQA (Asociación Asociación Europea para la Garantía de la Calidad en la Educación Europea para la Garantía de la Calidad en la Educación SuperiorSuperior

Informe sobre Criterios y directrices para la garantía de Informe sobre Criterios y directrices para la garantía de la calidad en el EEES: Las instituciones deben disponer la calidad en el EEES: Las instituciones deben disponer de medios que garanticen que el personal docente está de medios que garanticen que el personal docente está capacitado y sea competente para su trabajocapacitado y sea competente para su trabajo

La necesidad de poner los recursos en la formación y no La necesidad de poner los recursos en la formación y no en los procedimientos evaluativos y de poder modificar en los procedimientos evaluativos y de poder modificar la oferta en función de los resultados conseguidos.la oferta en función de los resultados conseguidos.

Evaluación on- line en la Evaluación on- line en la UDCUDC

Plan DirectorPlan Director DocenteDocente

Programa de Programa de EvaluaciónEvaluación

docentedocente

Programas de Programas de Formación Formación

Plan de Apoyo a laPlan de Apoyo a laEnseñanza (PAE)Enseñanza (PAE)

Plan de Apoyo al Plan de Apoyo al Aprendizaje (PAA)Aprendizaje (PAA)

Evaluación docente Evaluación docente (características)(características)

• Se introduce a la evaluación dentro del proceso de formación continua del profesorado y dentro del proceso formativo de los estudiantes

• Se evalua la docencia, no al profesorado• El objetivo es la mejora, no el control para otros fines

(habilitación, acreditación, quinquenios)• No se evalúa sólo al que enseña, también al que

aprende y al que da soporte desde la gestión, al proceso de enseñanza-aprendizaje.

• Se evalúa satisfacción con la docencia, pero también las competencias de los profesores para enseñar y de los estudiantes para aprender.

• La evaluación es recíproca (profesor-estudiante) y conduce a la elaboración de perfiles formativos que enlazan con el programa de formación de la Universidad.

Evaluación docente (cont.)Evaluación docente (cont.)

• Se persigue evitar el anonimato en la evaluación sustituyéndolo por la confidencialidad.

• Se evitan los costes derivados de la evaluación en papel para invertir en formación

• La evaluación on-line permite evaluar los efectos del programa formativo tanto a nivel individual, como Institucional.

Evaluación docente: fases de Evaluación docente: fases de implantaciónimplantación

• Diseño y desarrollo de las aplicaciones y de información web

• Realización de encuestas y generación de los informes personales y generales

• Análisis psicométricos de las escalas y modificación de los cuestionarios.

• Prueba de la segunda versión y comienzo del archivo histórico.

• Posibilidad de que los centros y títulos propios incluyan cuestionarios específicos.

• Introducción de encuestas de evaluación de centros y personal de administración y servicios (a lo que se añade un programa de apoyo al PAS (complementaría la actual evaluación de servicios on-line (dirigida a la evaluación EFQM, ISO y cartas de servicio)

PROCEDIMIENTOPROCEDIMIENTO

www.udc.es/avaliemos www.udc.es/avaliemos

Pantalla dePantalla deentrada a laentrada a laevaluaciónevaluación

Profesorado: encuestas generalesProfesorado: encuestas generales

Profesorado: encuestas por asignaturasProfesorado: encuestas por asignaturasdetalle de la página para quien impartiera dos asignaturasdetalle de la página para quien impartiera dos asignaturas

Asignatura conAsignatura contres profesores/astres profesores/as

Alumnado: encuestas por asignaturasAlumnado: encuestas por asignaturas

Asignatura conAsignatura conun/a profesor/aun/a profesor/a

Asignatura conAsignatura condos profesores/asdos profesores/as

RespuestaRespuestaúnicaúnica

RespuestaRespuestamúltiplemúltiple

Respuesta abiertaRespuesta abierta

Ejemplos de tipos de preguntasEjemplos de tipos de preguntas

PARTICIPACIÓNPARTICIPACIÓN

21

17

14

9

33

31

33

13

9 8

23

31

10

4

1 12 2 1

00

50

23

29

25

7 7

25

31

26

21

1311

13

4

13

5

15

0

10

20

30

40

50

60

24 25 26 27 28 29 30 31 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30

MAYO JUNIO

Nú

me

ro d

e p

art

icip

an

tes

Participación diaria

Participación mediaRecordatorios

ParticipaParticiparon 557 docentes (44,4%)ron 557 docentes (44,4%) cubriendo 3510 encuestascubriendo 3510 encuestasParticipación del profesoradoParticipación del profesorado

131

45

7264

52 5665

80

6674

6755

105114

95

72

61

172

46

57

28

38

2726

25

3850

53

0

63

198

54

90

286

12

20

56 5670

0

50

100

150

200

250

300

24 25 26 27 28 29 30 31 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30

MAYO JUNiO

Nú

me

ro d

e p

art

icip

an

tes

Participación diaria

Participación media

Recordatorios

Vídeo

ParticipaParticiparon 2670 estudiantes (11,6%)ron 2670 estudiantes (11,6%) cubriendo 50135 encuestascubriendo 50135 encuestasParticipación del alumnadoParticipación del alumnado

142861513985994770329248Total

122085020500EU Politécnica

26211217EU de Turismo

2802704960EU de Relaciones Laborales (F)

27361800EU de Relaciones Laborales (C)

9361942361225EU de Fisioterapia

3819601925741430EU de Estudios Empresariales

3804001250EU de Enfermería e Podología

29173417379442EU de Diseño Industrial

261858281741186EU de Arquitectura Técnica

44614428174845ETS de Náutica y Máquinas

6764766025495254ETS de Camin., Canales y Puertos

513011754119671440ETS de Arquitectura

141087033580Escuela Politécnica Superior

3604403810Fac. de Sociología

1491021148996146149Fac. de Informática

6604403010Fac. de Humanidades

936177312841270Fac. de Filología

1404701130Fac. de Derecho

91361155637742631Fac. de CC Económicas y Empres.

21204030343732Fac. de CC de la Salud

255581314234911923Fac. de CC de la Educación

121268Fac. de CC de la Comunicación

98401274654521704Fac. de Ciencias

2003-042000-01

Asignaturas evaluadasDocentes evaluados/asEncuestas válidas

2000-01 2003-04 2000-01 2003-04

Comparación lápiz y papel / en líneaComparación lápiz y papel / en líneaNúmero de estudiantes 2000-01: 25.733 / 2003-04: 24.973 Número de estudiantes 2000-01: 25.733 / 2003-04: 24.973

CATEGORÍA %

Eméritos 33,3

Catedráticos de Universidad 40,4

Titulares de Universidad 59,4

Catedráticos de Escuela Universitaria

59,4

Titulares de Escuela Universitaria

42,2

Profesores de Marina Civil 36,4

Asociados a Tiempo Completo

43,4

Asociados a Tiempo Parcial 14,7

Ayudantes Doctores 45,5

Ayudantes no Doctores 80,0

Otras Categorías 35,3 Total 44,4

SEXO %

Hombre

40,1

Mujer 54,3 Total 44,4

DOCTOR/A %

No 31,8

Sí 54,1 Total 44,4

EDAD (años)

%

25 0,0

De 26-35 55,4

De 36-45 54,1

De 46-55 39,9

De 56-65 25,6

≥ 66 17,9 Total 44,4

Variables significativamente relacionadasVariables significativamente relacionadascon la tasa de participación (profesorado)con la tasa de participación (profesorado)

RESULTADOSRESULTADOS

Evaluación de la docencia por el Evaluación de la docencia por el alumnadoalumnado::

propiedades de la escalapropiedades de la escalaFIABILIDADFIABILIDAD

Alfa de Alfa de CronbachCronbach

N de N de elementoselementos

0,960,96 1919

VALIDEZ PREDICTIVA (ítem 21)VALIDEZ PREDICTIVA (ítem 21)

ModeloModelo RR RR22 RR22

corregidacorregida

Error Error típicotípico

dedeestimacióestimació

nn

11 0,9080,908 0,8250,825 0,8250,825 0,5060,506VALIDEZ DE CONSTRUCTO: ANÁLISIS FACTORIALVALIDEZ DE CONSTRUCTO: ANÁLISIS FACTORIAL

Medida de adecuación muestral de Kaiser-Medida de adecuación muestral de Kaiser-Meyer OlkinMeyer Olkin 0,9700,970

Prueba de esfericidad de Prueba de esfericidad de BartlettBartlett

Ji cuadrado Ji cuadrado aproximadaaproximada

148570,7148570,76262

glgl 171171

Signif.Signif. 0,0000,000

Método de extracción: Mínimos cuadrados generalizadosMétodo de extracción: Mínimos cuadrados generalizados

Método de rotación: ecuamaxMétodo de rotación: ecuamax

VARIANZA EXPLICADA: VARIANZA EXPLICADA:

76,37%76,37%

CASOS VÁLIDOS: 6921CASOS VÁLIDOS: 6921

Evaluación de la docencia por el Evaluación de la docencia por el profesoradoprofesorado::

propiedades de la escalapropiedades de la escala

FIABILIDADFIABILIDAD



0,840,84 1616

VALIDEZ DE CONSTRUCTO: ANÁLISIS FACTORIALVALIDEZ DE CONSTRUCTO: ANÁLISIS FACTORIAL

Medida de adecuación muestral de Kaiser-Meyer Medida de adecuación muestral de Kaiser-Meyer OlkinOlkin 0,8990,899

Prueba de esfericidad de BartlettPrueba de esfericidad de Bartlett Ji cuadrado Ji cuadrado aproximadaaproximada

4485,674485,6744

glgl 120120





61,7%61,7%


Evaluación de las competencias Evaluación de las competencias del del alumnadoalumnado::





Contestada por el Contestada por el alumnadoalumnado 0,800,80 1616

Contestada por el Contestada por el profesoradoprofesorado 0,900,90 1616VALIDEZ DE CONSTRUCTO: ANÁLISIS FACTORIALVALIDEZ DE CONSTRUCTO: ANÁLISIS FACTORIAL

Contestada Contestada porpor

el alumnadoel alumnado

Contestada Contestada porpor

el el profesoradoprofesorado

Medida de adecuación muestral de Kaiser-Medida de adecuación muestral de Kaiser-Meyer OlkinMeyer Olkin 0,8570,857 0,9350,935

Prueba de esfericidad Prueba de esfericidad de Bartlettde Bartlett

Ji cuadrado Ji cuadrado aproximadaaproximada 6029.8016029.801 3850,4613850,461

glgl 120120 120120

Signif.Signif. 0,0000,000 0,0000,000



VARIANZA VARIANZA EXPLICADA: EXPLICADA: 43,8043,80 59,6059,60

CASOS VÁLIDOSCASOS VÁLIDOSAlumnado: 1978 / Profesorado: 523Alumnado: 1978 / Profesorado: 523

Evaluación de las competencias del Evaluación de las competencias del profesoradoprofesorado::





0,940,94 3434

VALIDEZ DE CONSTRUCTO: ANÁLISIS FACTORIALVALIDEZ DE CONSTRUCTO: ANÁLISIS FACTORIAL

Medida de adecuación muestral de Kaiser-Meyer Medida de adecuación muestral de Kaiser-Meyer OlkinOlkin 0,9280,928

Prueba de esfericidad de Prueba de esfericidad de BartlettBartlett

Ji cuadrado Ji cuadrado aproximadaaproximada

7062,07062,00202

glgl 561561





62,27%62,27%


RESULTADORESULTADOSS

EN LA WEBEN LA WEB

Ejemplo de resultados generales Ejemplo de resultados generales (públicos):(públicos):

todas las preguntas de todos los todas las preguntas de todos los cuestionarios porcuestionarios por

Centros y Titulaciones (alum.) o Centros y Titulaciones (alum.) o Departamentos (prof.)Departamentos (prof.)Habitualmente asisto a las clases de este/a profesor/a

3,22

3,42

4,05

3,60

3,30

3,24

4,29

4,06

4,19

3,19

3,46

3,53

4,75

3,27

4,22

3,57

3,47

3,43

3,61

2,76

3,30

1 2 3 4 5

Facultad de Sociología

Facultad de Informática

Facultad de Humanidades

Facultad de Filología

Facultad de Derecho

Facultad de Ciencias Económicas y Empresariales

Facultad de Ciencias de la Salud

Facultad de Ciencias de la Educación

Facultad de Ciencias de la Comunicación

Facultad de Ciencias

Escuela Universitaria Politécnica

Escuela Universitaria de Relaciones Laborales (F)

Escuela Universitaria de Fisioterapia

Escuela Universitaria de Estudios Empresariales

Escuela Universitaria de Enfermería y Podología

Escuela Universitaria de Diseño Industrial

Escuela Universitaria de Arquitectura Técnica

Escuela Técnica Superior de Náutica y Máquinas

Escuela Técnica Superior de Caminos, Canales y Puertos

Escuela Técnica Superior de Arquitectura

Escuela Politécnica Superior

COMPLETAMENTEDE ACUERDO

COMPLETAMENTEEN DESACUERDO

EvaluaciónEvaluaciónde la docenciade la docencia

(una encuesta(una encuestapor asignatura)por asignatura)

Ejemplo de resultados personales (privados)Ejemplo de resultados personales (privados)Alumnado: resultados de las evaluaciones Alumnado: resultados de las evaluaciones REALIZADASREALIZADAS

AutoevaluaciónAutoevaluaciónde competenciasde competencias

para el aprendizajepara el aprendizaje(una única encuesta)(una única encuesta)

Ejemplo de resultados personales (privados)Ejemplo de resultados personales (privados)Alumnado: resultados de las evaluaciones Alumnado: resultados de las evaluaciones REALIZADASREALIZADAS

Evaluación deEvaluación delas competenciaslas competencias

del alumnadodel alumnadohecha por elhecha por elprofesoradoprofesorado(una encuesta(una encuesta

por asignatura)por asignatura)

Ejemplo de resultados personales (privados)Ejemplo de resultados personales (privados)Alumnado: resultados de las evaluaciones Alumnado: resultados de las evaluaciones RECIBIDASRECIBIDAS

EvaluaciónEvaluaciónde la docenciade la docenciahecha por elhecha por el

alumnadoalumnado(una encuesta(una encuesta

por asignatura)por asignatura)

Ejemplo de resultados personales (privados)Ejemplo de resultados personales (privados)Profesorado: resultados de las evaluaciones Profesorado: resultados de las evaluaciones RECIBIDASRECIBIDAS

AutoevaluaciónAutoevaluaciónde la docenciade la docencia


Ejemplo de resultados personales (privados)Ejemplo de resultados personales (privados)Profesorado: resultados de las evaluaciones Profesorado: resultados de las evaluaciones REALIZADASREALIZADAS

AutoevaluaciónAutoevaluaciónde competenciasde competencias1: Metodología1: Metodología

didácticadidáctica


AutoevaluaciónAutoevaluaciónde competenciasde competencias

2: Tecnología2: Tecnologíaeducativa y educativa y EEESEEES


AutoevaluaciónAutoevaluaciónde competenciasde competencias3: Competencias3: Competencias

lingüísticaslingüísticas


Evaluación de lasEvaluación de lascompetenciascompetenciasdel alumnadodel alumnado



PROFESORADO:PROFESORADO:PERFIL DE PERFIL DE

COMPETENCIASCOMPETENCIAS

Con enlaceCon enlaceautomáticoautomáticoa los cursosa los cursos

de formaciónde formaciónsi si PP P25P25

Plan de Apoyo a la EnseñanPlan de Apoyo a la Enseñanza (PAE)za (PAE)

Plan de Apoyo al AprendizajPlan de Apoyo al Aprendizaje (PAA)e (PAA)

FIFINN

MUCHAS GRACIASMUCHAS GRACIASPOR SU ATENCIÓNPOR SU ATENCIÓN

Documents

EVALUACIÓN DOCENTE ON-LINE Manuel Peralbo Uzquiano VICERRECTOR DE CALIDAD Y ARMONIZACIÓN EUROPEA