Upload
buianh
View
216
Download
0
Embed Size (px)
Citation preview
ADVERTIMENT. Laccs als continguts daquesta tesi doctoral i la seva utilitzaci ha de respectar els drets de lapersona autora. Pot ser utilitzada per a consulta o estudi personal, aix com en activitats o materials dinvestigaci idocncia en els termes establerts a lart. 32 del Text Refs de la Llei de Propietat Intellectual (RDL 1/1996). Per altresutilitzacions es requereix lautoritzaci prvia i expressa de la persona autora. En qualsevol cas, en la utilitzaci delsseus continguts caldr indicar de forma clara el nom i cognoms de la persona autora i el ttol de la tesi doctoral. Nosautoritza la seva reproducci o altres formes dexplotaci efectuades amb finalitats de lucre ni la seva comunicacipblica des dun lloc ali al servei TDX. Tampoc sautoritza la presentaci del seu contingut en una finestra o marc alia TDX (framing). Aquesta reserva de drets afecta tant als continguts de la tesi com als seus resums i ndexs.
ADVERTENCIA. El acceso a los contenidos de esta tesis doctoral y su utilizacin debe respetar los derechos de lapersona autora. Puede ser utilizada para consulta o estudio personal, as como en actividades o materiales deinvestigacin y docencia en los trminos establecidos en el art. 32 del Texto Refundido de la Ley de PropiedadIntelectual (RDL 1/1996). Para otros usos se requiere la autorizacin previa y expresa de la persona autora. Encualquier caso, en la utilizacin de sus contenidos se deber indicar de forma clara el nombre y apellidos de la personaautora y el ttulo de la tesis doctoral. No se autoriza su reproduccin u otras formas de explotacin efectuadas con fineslucrativos ni su comunicacin pblica desde un sitio ajeno al servicio TDR. Tampoco se autoriza la presentacin desu contenido en una ventana o marco ajeno a TDR (framing). Esta reserva de derechos afecta tanto al contenido dela tesis como a sus resmenes e ndices.
WARNING. The access to the contents of this doctoral thesis and its use must respect the rights of the author. It canbe used for reference or private study, as well as research and learning activities or materials in the terms establishedby the 32nd article of the Spanish Consolidated Copyright Act (RDL 1/1996). Express and previous authorization of theauthor is required for any other uses. In any case, when using its content, full name of the author and title of the thesismust be clearly indicated. Reproduction or other forms of for profit use or public communication from outside TDXservice is not allowed. Presentation of its content in a window or frame external to TDX (framing) is not authorized either.These rights affect both the content of the thesis and its abstracts and indexes.
Tesis doctoral
AUTOEVALUACIN DE PROGRAMAS DE EDUCACIN
UNIVERSITARIA VIRTUAL
Renata Marciniak
Director: Dr. Joaqun Gairn Salln
Departamento de Pedagoga Aplicada Facultad de Ciencias de la Educacin
Doctorado en Educacin
Bellaterra-Cerdanyola del Valls, septiembre 2016
Tesis doctoral
AUTOEVALUACIN DE
PROGRAMAS DE EDUCACIN UNIVERSITARIA VIRTUAL
SELFASSESSMENT OF HIGHER VIRTUAL EDUCATION
PROGRAMMES
Renata Marciniak
Director: Dr. Joaqun Gairn Salln
Departamento de Pedagoga Aplicada Facultad de Ciencias de la Educacin
Doctorado en Educacin
Bellaterra-Cerdanyola del Valls, septiembre 2016
AGRADECIMIENTOS
A lo largo de todo este recorrido que he dado como doctoranda siempre ha habido personas que me han apoyado de distintas formas para lograr esta tesis doctoral. Si tuviera que enumerar a todas estas personas, no encontrara las palabras adecuadas para expresar mi enorme reconocimiento y agradecimiento por apoyarme. Por eso, no enumerar, de forma interminable, a todas las personas que han contribuido de alguna forma a finalizar este trabajo y con l una etapa de mi vida, sino dir GRACIAS a todos y todas por estar conmigo y apoyarme en lo que habis podido.
Sin embargo, deseo destacar, por encima de todo, el apoyo firme, constante e ilimitado de los dos pilares fundamentales en este trabajo:
En primer lugar, quiero agradecer a travs de estas lneas, el apoyo que he recibido de mi familia ms cercana. Principalmente a mi querido marido Edward que siempre ha credo en m y me ha apoyado firmemente de todas las formas posibles y ms en los momentos difciles. Gracias por tu paciencia y por todo lo que me has dado y el apoyo incondicional no slo durante la redaccin de la presente tesis, sino en toda mi vida. Agradezco de toda mi corazn a mi hija Dagmara por su apoyo continuo, sobre todo por sus innumerables lecciones y correcciones de mi espaol que, sin duda, hicieron esta tesis ms comprensible para el lector. Tambin doy las gracias a mi hijo Mariusz por darme nimos, horas de conversacin sobre la innovacin digital y el apoyo tecnolgico que fue de gran ayuda a la hora de elaborar herramientas en lnea para esta tesis. Otra persona a la que quiero dar las gracias es mi querida madre Sabina que, aunque vive a miles de kilmetros de mi, estaba siempre conmigo en su pensamiento rezando por m cada da para que no me rinda y aguante en este camino tan difcil para m, sobre todo por la lengua espaola que no es mi lengua materna. Gracias mam por todo lo que hiciste por m durante toda mi vida (Dzikuj Ci mamo za wszystko co dla mnie zrobia!).
Y otra mencin, especialmente fundamental, va destinada desde el ms profundo respeto y admiracin por su conocimiento, estrategias de tutorias, capacidad de trabajo y ganas de ayudar a sus estudiantes, y que por encima de cualquier otra cabe acentuar ahora. Esta es para mi director, Dr. Joaqun Gairn Salln, experto profesional de fama mundial, que durante tres aos de la redaccin del presente trabajo fue para m no slo el director de mi tesis, sino Inspirador, Motivador, Mentor, Asesor y Entrenador de mi Investigacin. Las palabras se quedan cortas para expresar la magnitud de su persona, por eso slo dir GRACIAS!. Gracias Estimado Doctor por tus aportaciones, sugerencias, consejos, exigencia y orientaciones durante todas las etapas del presente trabajo. Gracias por darme la oportunidad de ser tu discpula y ensearme hacer investigacin cientfica de calidad. Gracias por todo!
Para terminar, mi ms sentido agradecimiento a todas esas personas e instituciones que contribuyeron a que se culmine este trabajo.
Renata Marciniak Tesis doctoral
7
NDICE DE CONTENIDOS
INTRODUCCIN. .............................................................................................. 25 INTRODUCTION .......29
BLOQUE 1: FUNDAMENTACIN Y DISEO GENERAL DE LA INVESTIGACIN
Captulo 1. PLANTEAMIENTO GENERAL DE LA INVESTIGACIN ............................... 37 1.1. Situacin problemtica y preguntas de investigacin .................................................... 37 1.2. Justificacin de la importancia de la investigacin.41 1.3. Objetivos de la investigacin ........................................................................................ 41
1.4. Etapas de la investigacin y cronograma ..................................................................... 42
Chapter 1. GENERAL APPROACH OF THE RESEARCH ................................................ 47 1.1. Problematic situation and research questions ............................................................... 47 1.2. Justification of the relevance of the research .50 1.3. Research objectives ..................................................................................................... 51
1.4. Research stages and schedule..................................................................................... 51
BLOQUE 2: MARCO TERICO
Captulo 2. CONCEPTO DE PROGRAMA DE EDUCACIN UNIVERSITARIA VIRTUAL ........................................................................................................ 61
2.1. Definicin, caractersticas y elementos bsicos de educacin virtual ........................... 61
2.2. Concepto de programa de educacin universitaria virtual............................................. 64
2.2.1. La nocin del programa formativo ......................................................................... 64
2.2.1.1. Programa como accin ............................................................................... 67 2.2.1.2. Programa como plan ................................................................................... 67 2.2.1.3. Programa como contenido .......................................................................... 68
2.2.2. Qu se entiende por programa de educacin universitaria virtual? ..................... 69
2.3. Elementos del programa de educacin universitaria virtual .......................................... 71
2.3.1. Justificacin del programa virtual (Por qu el programa virtual?) ........................ 75
2.3.2. Objetivos formativos y competencias del programa virtual (Para qu el programa virtual?).................................................................................................. 75
2.3.3. Perfil de ingreso y egreso (A quin va dirigido el programa?) ............................. 79
2.3.4. Contenidos temticos/temario (Qu se va a ensear?) ....................................... 82
2.3.5. Actividades del programa virtual (Cmo se va a realizar el programa virtual?) ... 84
2.3.6. Perfil del docente en lnea (Quines lo van a realizar?) ...................................... 87
Renata Marciniak Tesis doctoral
8
2.3.7. Materiales y recursos didcticos (Con qu se va a realizar el programa
virtual?) .................................................................................................................. 89
2.3.8. Estrategias de evaluacin del aprendizaje (Cmo se va a valorar lo que el estudiante ha aprendido?) ..................................................................................... 95
2.3.9. Estrategias didcticas (Cmo se va a ensear?) ................................................ 98
2.3.10. Tutora (Cmo se va a apoyar al estudiante a realizar el programa virtual?) ... 103
2.3.11. Aula virtual (Cmo ser el entorno virtual del programa?) ............................... 106
2.4. A modo de sntesis ..................................................................................................... 109
Captulo 3. EVALUACIN DE LA CALIDAD DE PROGRAMAS DE EDUCACIN UNIVERSITARIA VIRTUAL .......................................................................... 113
3.1. Concepto de calidad de programas de educacin universitaria virtual ........................ 113
3.1.1. Definiciones y ncleo de la calidad de educacin superior .................................. 113
3.1.2. Calidad de programas de educacin universitaria virtual .................................... 118
3.2. Evaluacin de la calidad de programas de educacin universitaria virtual .................. 121
3.2.1. Definicin de evaluacin de programas formativos realizados en la modalidad virtual ................................................................................................................... 121
3.2.2. Evaluacin continua del programa ...................................................................... 123
3.2.3. Autoevaluacin como forma de evaluacin de la calidad de programas de educacin universitaria virtual .............................................................................. 129
3.2.3.1. Concepto de autoevaluacin ..................................................................... 129 3.2.3.2. Concepto de autoevaluacin aplicado a los programas de educacin
universitaria virtual ........................................................................................ 132 3.2.3.3. Propuesta de metodologa de autoevaluacin de programas de educacin
universitaria virtual ......................................................................................................................... 136 3.2.4. Acreditacin de programas de educacin universitaria virtual ............................. 144
3.3. Debate conceptual sobre la autoevaluacin y trminos similares a sta ..................... 146
3.4. Algunas controversias sobre la calidad y la evaluacin de programas de educacin universitaria virtual......151
3.5. A modo de sntesis ..................................................................................................... 156
BLOQUE 3: MARCO TERICO ESPECFICO SOBRE LOS ESTNDARES, MODELOS Y HERRAMIENTAS DESARROLLADOS PARA EVALUAR LA CALIDAD DE EDUCACIN VIRTUAL
Captulo 4. METODOLOGA DEL ESTUDIO DOCUMENTAL ......................................... 163 4.1. Tipo de la investigacin .............................................................................................. 163
4.2. Diseo del estudio documental ................................................................................... 163
4.3. Procedimiento del estudio documental ....................................................................... 163
4.3.1. Procedimiento y criterios para analizar estndares de la calidad de educacin virtual ................................................................................................................... 164
4.3.2. Procedimiento y variables para analizar modelos diseados para la evaluacin de programas de educacin universitaria virtual .................................................. 165
Renata Marciniak Tesis doctoral
9
4.3.3. Procedimiento y variables para analizar herramientas diseadas para la
autoevaluacin de programas de educacin universitaria virtual ......................... 166
4.4. Poblacin y muestra del estudio documental .............................................................. 168
4.5. Tcnicas e instrumentos de recoleccin de la informacin ......................................... 171
4.6. Validez y confiabilidad de los instrumentos de recoleccin de la informacin ............. 171
Captulo 5. ESTNDARES DE REFERENCIA DE AUTOEVALUACIN DE PROGRAMAS DE EDUCACIN UNIVERSITARIA VIRTUAL ............................................. 173
5.1. Estndares y su importancia para la educacin virtual ............................................... 173
5.2. Tipos de estndares de la educacin virtual ............................................................... 177
5.2.1. Estndares tecnolgicos. Panorama de organizaciones de estandarizacin ....... 180
5.2.2. Estndares relacionados con la gestin y aseguramiento de calidad en educacin virtual .................................................................................................. 189
5.3. Anlisis del alcance de los estndares analizados para la autoevaluacin de programas de educacin universitaria virtual............................................................ 201
5.4. A modo de sntesis ..................................................................................................... 208
Captulo 6. MODELOS DE REFERENCIA DE AUTOEVALUACIN DE PROGRAMAS DE EDUCACIN VIRTUAL ................................................................................ 209
6.1. Introduccin al anlisis de modelos de evaluacin de programas virtuales ................ 209
6.2. Modelos clsicos de evaluacin de programas formativos....210 6.3. Modelos para evaluar la calidad de educacin virtual ................................................. 214
6.3.1. Modelos con enfoque parcial ............................................................................... 214
6.3.1.1. Modelos de evaluacin de actividad formativa .......................................... 214 6.3.1.2. Modelos de evaluacin de materiales y recursos didcticos ...................... 230 6.3.1.3. Modelos de evaluacin de la plataforma virtual ......................................... 238 6.3.1.4. Modelos de evaluacin financiera ..................................................................................... 244
6.3.2. Modelos con enfoque global ............................................................................... 245
6.3.2.1. Modelos de evaluacin centrados en modelos y/o estndares de calidad total ............................................................................................................... 245
6.3.2.2. Modelos basados en la prctica del benchmarking ................................... 249 6.4. A modo de sntesis ..................................................................................................... 252
Captulo 7. HERRAMIENTAS DE REFERENCIA DE AUTOEVALUACIN DE PROGRAMAS DE EDUCACIN UNIVERSITARIA VIRTUAL ..................... 255
7.1. Herramientas de autoevaluacin de programas de educacin universitaria virtual existentes en el mbito internacional ........................................................................ 255
7.1.1. EFMD CEL Guide to Self Assessment ................................................................ 256
7.1.2. Proyecto Alfa Rueda. Evaluacin de los Programas de Educacin a Distancia. Gua metodolgica............................................................................................... 258
7.1.3. Evaluating E-learning. A Guide to the Evaluation of E-learning de E-VAL ........... 260
7.1.4. E-learning Maturity Model (eMM). Process Assessment Workbook .................... 262
Renata Marciniak Tesis doctoral
10
7.1.5. Gua de autoevaluacin para programas de pregrado a distancia del CALED .... 263
7.1.6. SEVAQ+. Self-Evaluation Tool for eLearning ...................................................... 265
7.1.7. Metodologa General para la Evaluacin de Programas de Educacin Superior a Distancia del CIEES. Gua de autoevaluacin. ................................................. 267
7.1.8. Interregional Guidelines for the Evaluation of Distance Education Programmes (Online Learning) ................................................................................................. 269
7.1.9. Manual on Quality Assessment for E-learning de la EADTU ............................... 270
7.1.10. Guide to Evaluating Distance Education and Correspondence Education ......... 272
7.1.11. A modo de sntesis............................................................................................ 273
7.2. Herramientas de autoevaluacin de programas de educacin universitaria virtual desarrollados en Espaa .......................................................................................... 277
7.2.1. Gua para la evaluacin de acciones formativas basadas en Tecnologas de la Informacin y la Comunicacin (Gua @FORTIC)...277
7.2.2. Manual para la evaluacin de la calidad de acciones de formacin a travs de e-learning del proyecto QUALITAS ...................................................................... 280
7.2.3. Guia dAvaluaci Interna dels Ensenyaments de Formaci Virtual. Guia dAvaluaci de les Titulacions.....281
7.2.4. Instrumento Anlisis didctico de las estrategias de enseanza de cursos universitarios en red (ADECUR) ......................................................................... 283
7.2.5. Gua de autoevaluacin (con adaptaciones especficas para la UNED) .............. 284
7.3. A modo de sntesis ..................................................................................................... 286
Bloque 4: MARCO APLICADO
Captulo 8.METODOLOGA ............................................................................................. 293 8.1. Tipo de la investigacin .............................................................................................. 293
8.2. Procedimiento de la investigacin .............................................................................. 294
Captulo 9. RESULTADOS............................................................................................... 299 9.1. FASE I. Anlisis bibliogrfico y documental ................................................................ 299
9.2. FASE II. Diseo del Modelo de Autoevaluacin de Programas de Educacin Universitaria Virtual provisional I .............................................................................. 301
9.2.1. Subfase 1: Establecimiento de la estructura del modelo provisional I ................. 301
9.2.2. Subfase 2. Establecimiento de un sistema de indicadores para el modelo provisional I ......................................................................................................... 306
9.3. FASE III. Validacin del modelo provisional I...311 9.3.1. Validacin del modelo provisional I mediante su pilotaje en cuatro programas
formativos de la Universidad Abierta y a Distancia de Mxico ............................. 312
9.3.1.1. Muestra de programas evaluados ............................................................. 312 9.3.1.2. Tcnicas de recoleccin de la informacin ................................................ 313 9.3.1.3. Instrumentos de recogida de informacin .................................................. 314 9.3.1.4. Recopilacin de datos ............................................................................... 314
Renata Marciniak Tesis doctoral
11
9.3.1.5. Conclusiones y sugerencias derivadas de la aplicacin del modelo
provisional I en cuatro casos ......................................................................... 317 9.3.2. Validacin del modelo provisional I por parte de los expertos ............................. 320
9.3.2.1. Paso 1: Seleccin de expertos .................................................................. 320 9.3.2.2. Paso 2: Invitacin a los expertos ............................................................... 322 9.3.2.3. Paso 3: Propuesta de los criterios de validacin ....................................... 323 9.3.2.4. Paso 4: Elaboracin del formulario de validacin ...................................... 324 9.3.2.5. Estrategias de anlisis de los resultados de validacin ............................. 327 9.3.2.6. Resultados de la validacin del modelo provisional I por parte de los
expertos ........................................................................................................ 328 9.3.2.6.1. Resultados cuantitativos de la validacin ........................................ 328 9.3.2.6.2. Resultados cualitativos de la validacin del modelo provisional I ..... 340
9.4. Fase IV: Diseo del Modelo de Autoevaluacin de Programas de Educacin Universitaria Virtual provisional II ............................................................................. 361
9.4.1. Triangulacin de los datos obtenidos del proceso de validacin de las dimensiones del modelo provisional I con la teora .............................................. 362
9.4.2. Triangulacin de los datos obtenidos del proceso de validacin de los indicadores con la teora ...................................................................................... 364
9.4.3. Resultados de la triangulacin de los datos: Modelo de Autoevaluacin de Programas de Educacin Universitaria Virtual provisional II ................................ 378
9.5. Fase V: Validacin del modelo provisional II............................................................... 381
9.5.1. Validacin del modelo provisional II por el primer grupo de discusin ................. 381
9.5.1.1. Contexto .................................................................................................... 381 9.5.1.2. Participantes ............................................................................................. 382 9.5.1.3. Procedimiento ........................................................................................... 382 9.5.1.4. Desarrollo .................................................................................................. 383 9.5.1.5. Resultados ................................................................................................ 384
9.5.2. Validacin del modelo provisional II por el segundo grupo de discusin ............. 388
9.5.2.1. Muestreo y participantes ........................................................................... 388 9.5.2.2. Procedimiento ........................................................................................... 388 9.5.2.3. Desarrollo .................................................................................................. 389 9.2.5.4. Resultados ................................................................................................ 389
9.5.3. A modo de sntesis ............................................................................................. 393
9.6. Fase VI. Diseo del modelo definitivo y propuestas para facilitar su implementacin y seguimiento ........................................................................................................... 393
9.6.1. Subfase 1: Triangulacin de los resultados del proceso de validacin del modelo provisional II ............................................................................................ 393
9.6.2. Subfase 2: Modelo definitivo de autoevaluacin de programa de educacin universitaria virtual ............................................................................................... 398
9.6.3. Subfase 3: Elaboracin de propuestas para facilitar la implementacin y el seguimiento del modelo ....................................................................................... 429
Renata Marciniak Tesis doctoral
12
9.6.3.1. Propuesta de estrategias para implementar el modelo .............................. 429 9.6.3.2. Propuesta de estrategias para superar las resistencias a la implementacin
del modelo .................................................................................................... 430 9.6.3.3. Propuesta de acciones para seguir el modelo ........................................... 431 9.6.3.4. Propuesta de una herramienta interactiva para elaborar un protocolo en
lnea de autoevaluacin de programas de educacin universitaria virtual ..... 432 9.6.3.5. Propuesta de un cuestionario de opinin de los estudiantes sobre el
programa virtual en la fase de su desarrollo ................................................. 436 9.6.3.6. Propuesta de conferencia magistral sobre el Modelo de Autoevaluacin de
Programas de Educacin Universitaria Virtual diseado ............................... 439 9.6.4. A modo de sntesis ............................................................................................. 440
BLOQUE 5: MARCO CONCLUSIVO Captulo 10. DISCUSIN, CONCLUSIONES, LIMITACIONES Y PERSPECTIVAS DE
INVESTIGACIN.......................................................................................... 447 10.1. Discusin .................................................................................................................. 447
10.2. Conclusiones en relacin con los objetivos de la investigacin ................................. 451
10.2.1. Objetivo especfico 1 ......................................................................................... 451
10.2.2. Objetivo especfico 2 ......................................................................................... 453
10.2.3. Objetivo especfico 3 ......................................................................................... 455
10.2.4. Objetivo especfico 4 ......................................................................................... 457
10.2.5. Objetivo especfico 5 ......................................................................................... 458
10.2.6. Objetivo especfico 6 ......................................................................................... 459
10.3. Otras conclusiones ................................................................................................... 459
10.3.1. Sobre el modelo ................................................................................................ 459
10.3.2. Sobre la aplicacin del modelo ......................................................................... 460
10.3.3. Sobre la utilidad del modelo .............................................................................. 460
10.4. Limitaciones de la investigacin ............................................................................... 461
10.5. Futuras lneas de investigacin ................................................................................ 462
Chapter 10. DISCUSSION, CONCLUSIONS, RESEARCH LIMITATIONS AND PERSPECTIVES .......................................................................................... 465
10.1. Discussion465 10.2. Conclusions regarding research objective ................................................................ 469
10.2.1. Specific objective 1 ........................................................................................... 469
10.2.2. Specific objective 2 ........................................................................................... 471
10.2.3. Specific objective 3 ........................................................................................... 472
10.2.4. Specific objective 4 ...439 10.2.5. Specific objective: 5 .......................................................................................... 475
10.2.6. Specific objective: 6 .......................................................................................... 476
Renata Marciniak Tesis doctoral
13
10.3. Other conclusions ..................................................................................................... 477
10.3.1. Regarding the model ......................................................................................... 477
10.3.2. Regarding the implementation of the model ...................................................... 477
10.3.3. Regarding the utility of the model ...................................................................... 477
10.4. Limits of the research ............................................................................................... 478
10.5. Future research lines ................................................................................................ 479
REFERENCIAS BIBLIOGRFICAS ................................................................................. 481
ANEXOS ELECTRNICOS ........ en CD adjunto
ANEXO 1. Fichas descriptivas de los indicadores del Modelo de Autoevaluacin de Programas de Educacin Universitaria Virtual provisional I.
ANEXO 2a. Protocolo de autoevaluacin del programa virtual Sistemas de Calidad ofrecido por la UnADM.
ANEXO 2b. Protocolo de autoevaluacin del programa virtual Consultora y Gestin Financiamento ofrecido por la UnADM.
ANEXO 2c. Protocolo de autoevaluacin del programa virtual Comunicacin Efectiva en Salud ofrecido por la UnADM.
ANEXO 2d. Protocolo de autoevaluacin del programa virtual Gestin y Administracin de PYME ofrecido por la UnADM.
ANEXO 3. Anexo 1 adjunto a los correos electrnicos enviados a los expertos. ANEXO 4. Anexo 2 adjunto a los correos electrnicos enviados a los expertos. ANEXO 5. Triangulacin de los datos obtenidos del proceso de validacin de las
dimensiones del modelo provisional I con la teora.
ANEXO 6. Triangulacin de los datos obtenidos del proceso de validacin de los indicadores del modelo provisional I con la teora.
ANEXO 7. Fichas descriptivas de los indicadores de Modelo de Autoevaluacin de Programas de Educacin Universitaria Virtual provisional II.
ANEXO 8. Glosario
Renata Marciniak Tesis doctoral
15
NDICE DE TABLAS, FIGURAS, IMGENES Y ABREVIATURAS
NDICE DE TABLAS
Tabla 1.1. Cronograma de la investigacin ........................................................................................... 44
Tabla 2.1. Componentes y subcomponentes de una competencia ...................................................... 78
Tabla 2.2. Tipos de actividades de aprendizaje utilizados en la educacin virtual universitaria .......... 85
Tabla 2.3. Clasificacin de materiales y recursos didcticos ms comunes en educacin virtual. ...... 91
Tabla 2.4. Cuadro sinptico de tipos textuales usados en la educacin virtual .................................... 91
Tabla 2.5. Criterios para seleccionar la bibliografa bsica y complementaria. .................................... 94
Tabla 2.6. Definiciones de evaluacin segn diferentes autores .......................................................... 95
Tabla 2.7. Diferencias entre evaluacin para el aprendizaje y evaluacin del aprendizaje ................. 95
Tabla 2.9. Los roles y las funciones a desempear por el docente en lnea ...................................... 104
Tabla 2.10. Funcionalidades esenciales de un aula virtual ................................................................. 108
Tabla 3.1. Definicin de Calidad ......................................................................................................... 113
Tabla 3.2. Principios de la calidad educativa segn la Ley Orgnica de Calidad de la Educacin .... 115
Tabla 3.3. Modelo de evaluacin continua del programa ................................................................... 124
Tabla 3.4. Evaluacin continua del programa. .................................................................................... 125
Tabla 3.5. Definicin de Autoevaluacin y sus elementos compositivos ............................................ 130
Tabla 3.6. Diferencias entre ................................................................................................................ 131
Tabla 3.7. Algunas definiciones de autoevaluacin aplicadas a los programas de educacin universitaria ....................................................................................................................... 133
Tabla 3.8. Algunas funciones del Comit de Autoevaluacin ............................................................. 137
Tabla 3.9. Lista de los elementos a comprobar por el observador en el proceso de autoevaluacin de programas virtuales ...................................................................................................... 138
Tabla 3.10. Propuestas de estructuras del plan de mejora de la calidad segn diferentes autores .. 142
Tabla 3.11. Propuesta para elaborar un plan de mejora de programa virtual .................................... 142
Tabla 3.12. Programas de acreditacin realizados por la ANECA ..................................................... 144
Tabla 3.13. Diferencias entre Autoevaluacin, Acreditacin, Evaluacin interna y Evaluacin externa de programas virtuales ...................................................................................................... 149
Tabla 3.14. Ventajas e Inconvenientes de la formacin en red .......................................................... 151
Tabla 3.15. Comparacin entre programas de Fundamentos de Marketing de la UCM y la UOC .... 153
Tabla 4.1. Muestra de estndares ....................................................................................................... 168
Tabla 4.2. Muestra de modelos ........................................................................................................... 169
Tabla 4.3. Muestra de herramientas ................................................................................................... 170
Tabla 5.1. Relacin organizaciones - nmero de estndares publicados .......................................... 174
Tabla 5.2. Caracterizacin de estndares sobre educacin virtual. ................................................... 178
Renata Marciniak Tesis doctoral
16
Tabla 5.3. Categoras y elementos de metadatos del estndar LOM. ................................................ 184
a 5.4. Estndares principales de la IMS GLC. ................................................................................... 185
Tabla 5.5. Algunos estndares tecnolgicos creados por el Comit ISO/IEC JTC1 SC36 en el campo de la educacin virtual. ...................................................................................................... 186
Tabla 5.6. Caractersticas y subcaractersticas del Modelo de Calidad Interna y Externa segn la ISO/IEC 9126-1. ................................................................................................................ 188
Tabla 5.7. Definicin de las caractersticas del Modelo de Calidad en Uso prescriptas en la ISO/IEC 9126-1................................................................................................................................ 189
Tabla 5.8. Principales estndares de calidad en la educacin virtual ................................................ 190
Tabla 5.9. Modelo de proceso de ISO/IEC 19796-1:2005. ................................................................. 191
Tabla 5.11. Relacin de estndares analizados con la evaluacin de programa virtual .................... 200
Tabla 5.12. Cuadro comparativo. Resultados del anlisis del alcance de los estndares tecnolgicos ....................................................................................................................... 201
Tabla 5.13. Cuadro comparativo. Resultados del anlisis del alcance de los estndares de calidad ............................................................................................................................... 202
Tabla 5.14. Estndares para evaluar los elementos de programa de educacin universitaria virtual ................................................................................................................................. 205
Tabla 6.2. Anlisis comparativo de diferentes modelos clsicos de evaluacin de educacin utilizados en la evaluacin de programas de educacin virtual ........................................ 211
Tabla 6.4. Cuadro comparativo. Elementos de programa que evalan los modelos de evaluacin de una accin formativa analizados ....................................................................................... 227
Tabla 6.5. Sntesis de las dimensiones de los modelos de evaluacin de una accin formativa de educacin virtual analizadas ............................................................................................. 228
Tabla 6.6. Modelos desarrollados para evaluar materiales y recursos didcticos de educacin virtual. ................................................................................................................................ 231
Tabla 6.7. Sntesis de las dimensiones de los modelos de evaluacin de materiales y recursos didcticos analizados ........................................................................................................ 237
Tabla 6.9. Sntesis de las dimensiones de los modelos de evaluacin de plataformas virtuales analizados.......................................................................................................................... 243
Tabla 6.10. Acciones y posibles instrumentos de evaluacin de una accin formativa ..................... 244
Tabla 6.11. Algunos proyectos de benchmarking realizados en el campo de la educacin superior virtual ................................................................................................................................. 250
Tabla 7.1. Estructura y operativa de la EFMD CEL Guide to Self-Assessment. ................................ 257
Tabla 7.2. Aspectos sobresalientes y de mejora de la EFMD CEL Guide to Self-Assessment ........ 258
Tabla 7.3. Estructura y operativa de la gua de la RED ALFA. ........................................................... 259
Tabla 7.4. Aspectos sobresalientes y de mejora de la gua de la RED ALFA .................................... 260
Tabla 7.5. Estructura y operativa de la Guide to the Evaluation of E-learning de E-VAL ................... 261
Tabla 7.6. Aspectos sobresalientes y de mejora de la Guide to the Evaluation of E-learning de E-VAL ................................................................................................................................ 261
Tabla 7.7. Estructura y operativa del Process Assessment Workbook. ............................................. 262
Tabla 7.8. Aspectos sobresalientes y de mejora del Process Assessment Workbook ...................... 263
Tabla 7.9. Estructura y operativa de la gua de autoevaluacin del CALED. ..................................... 264
Tabla 7.10. Aspectos sobresalientes y de mejora de la gua de autoevaluacin del CALED ............ 265
Tabla 7.11. Estructura y operativa de SEVAQ+. ................................................................................. 266
Tabla 7.12. Aspectos sobresalientes y de mejora de SEVAQ+ .......................................................... 267
Renata Marciniak Tesis doctoral
17
Tabla 7.13. Estructura y operativa de la gua de autoevaluacin de los CIEES................................. 268
Tabla 7.14. Aspectos sobresalientes y de mejora de la gua de autoevaluacin de los CIEES ......... 268
Tabla 7.15. Estructura y operativa de las Interregional Guidelines for the Evaluation of Distance Education Programmes. .................................................................................................... 269
Tabla 7.16. Aspectos sobresalientes y de mejora de las Interregional Guidelines for the Evaluation of Distance Education Programmes ................................................................ 270
Tabla 7.17. Estructura y operativa de la gua del Manual de la EADTU. ............................................ 271
Tabla 7.18. Aspectos sobresalientes y de mejora del Manual de la EADTU ...................................... 271
Tabla 7.19. Estructura y operativa de la Guide to Evaluating Distance Education and Correspondence Education. .............................................................................................. 272
Tabla 7.20. Aspectos sobresalientes y de mejora de la Guide to Evaluating Distance Education and Correspondence Education. ....................................................................................... 273
Tabla 7.21. Anlisis comparativo entre herramientas de autoevaluacin de programas de educacin virtual existentes en diferentes pases ............................................................. 275
Tabla 7.22. Elementos del programa de educacin universitaria virtual evaluados por las herramientas desarrolladas en el mbito internacional ..................................................... 276
Tabla 7.23. Caractersticas de la gua @FORTIC. ............................................................................. 278
Tabla 7.24. Aspectos sobresalientes y de mejora de la gua @FORTIC ........................................... 279
Tabla 7.25. Caractersticas de las dimensiones y otros aspectos del Manual del proyecto QUALITAS. ........................................................................................................................ 280
Tabla 7.26. Aspectos sobresalientes y mejorables del Manual del proyecto QUALITAS. ................. 281
Tabla 7.27. Caractersticas de la Guia dAvaluaci Interna dels Ensenyaments de Formaci Virtual de la AQU. .............................................................................................................. 282
Tabla 7.28. Aspectos sobresalientes y mejorables de la Guia dAvaluaci Interna dels Ensenyaments de Formaci Virtual de la AQU ................................................................. 283
Tabla 7.29. Caractersticas del Instrumento ADECUR. ...................................................................... 284
Tabla 7.30. Aspectos sobresalientes y mejorables del Instrumento ADECUR ................................... 284
Tabla 7.31. Caractersticas de la gua de autoevaluacin (con adaptaciones especficas para la UNED) de la ANECA. ........................................................................................................ 285
Tabla 7.32. Aspectos sobresalientes y mejorables de la Gua de Autoevaluacin (con adaptaciones especficas para la UNED) de la ANECA .......................................................................... 286
Tabla 7.33. Anlisis comparativo entre herramientas de autoevaluacin de programas de educacin virtual existentes en Espaa ............................................................................ 287
Tabla 7.34. Elementos de programa de educacin universitaria virtual evaluados por las herramientas desarrolladas en Espaa ............................................................................. 288
Tabla 9.1. Operacionalizacin de las variables ................................................................................... 302
Tabla 9.2. Distribucin de indicadores segn las dimensiones propuestas ....................................... 306
Tabla 9.3. Sistema de indicadores para el modelo de autoevaluacin de programas ....................... 307
Tabla 9.4. Elementos de la ficha descriptiva del indicador ................................................................. 310
Tabla 9.5. Ficha descriptiva del indicador APEV-1 ............................................................................ 310
Tabla 9.6. Ficha descriptiva del indicador APEV-2 ............................................................................ 310
Tabla 9.7. Ficha descriptiva del indicador APEV-3 ............................................................................ 311
Tabla 9.8. Protocolo de autoevaluacin del programa virtual Sistemas de Calidad ofrecido por la UnADM .......................................................................................................................... 315
Renata Marciniak Tesis doctoral
18
Tabla 9.9. Integracin de los resultados obtenidos en las autoevaluaciones de cuatro programas de la UnAdm ...................................................................................................................... 317
Tabla 9.10. Estructura y caractersticas del grupo de expertos .......................................................... 321
Tabla 9.12. Escalas para validar los criterios de validacin ................................................................ 323
Tabla 9.13. ndices de aceptabilidad para cada dimensin e indicador y validez facial emitida por expertos ............................................................................................................................. 329
Tabla 9.14. Razn de Validez de Contenido para cada indicador segn el Modelo Lawshe modificado por Tristn (CVR) ........................................................................................... 332
Tabla 9.15. Fiabilidad de las dimensiones del modelo provisional I segn el ndice Kappa de Fleiss ................................................................................................................................. 335
Tabla 9.16. Fiabilidad del sistema de indicadores del modelo provisional I segn el ndice Kappa de Fleiss ............................................................................................................................ 336
Tabla 9.17. Resultados de la validacin cualitativa de las dimensiones del modelo .......................... 341
Tabla 9.18. Comentarios realizados por los expertos respecto de las dimensiones del modelo provisional I ....................................................................................................................... 341
Tabla 9.19. Resultados de la validacin de los indicadores de la dimensin 1 .................................. 342
Tabla 9.20. Comentarios realizados por los expertos respecto de los indicadores de la dimensin 1 ........................................................................................................................................... 343
Tabla 9.21. Resultados de la validacin de los indicadores de la dimensin 2 .................................. 343
Tabla 9.22. Comentarios realizados por los expertos respecto de los indicadores de la dimensin 2 ....................................................................................................................... 344
Tabla 9.23. Resultados de la validacin de los indicadores de la dimensin 3 .................................. 344
Tabla 9.24. Comentarios realizados por los expertos respecto de los indicadores de la dimensin 3 ....................................................................................................................... 345
Tabla 9.25. Resultados de la validacin de los indicadores de la dimensin 4 .................................. 346
Tabla 9.26. Comentarios realizados por los expertos respecto de los indicadores de la dimensin 4 ....................................................................................................................... 346
Tabla 9.27. Los resultados de la validacin de los indicadores de la dimensin 5............................. 347
Tabla 9.28. Comentarios realizados por los expertos respecto de los indicadores de la dimensin 5 ....................................................................................................................... 347
Tabla 9.29. Resultados de la validacin cualitativa de los indicadores la dimensin 6 ...................... 348
Tabla 9.30. Comentarios realizados por los expertos respecto de los indicadores de la dimensin 6 ....................................................................................................................... 348
Tabla 9.31. Resultados de la validacin cualitativa de la subdimensin 7.1 ...................................... 349
Tabla 9.32. Comentarios realizados por los expertos respecto de los indicadores de la subdimensin 7.1 .............................................................................................................. 350
Tabla 9.33. Los resultados de la validacin cualitativa de la subdimensin 7.2 ................................ 352
Tabla 9.34. Comentarios realizados por los expertos respecto de los indicadores de la subdimensin 7.2 .............................................................................................................. 352
Tabla 9.35. Resultados de la validacin cualitativa de la subdimensin 7.3 ...................................... 353
Tabla 9.36. Comentarios realizados por los expertos respecto de los indicadores de la subdimensin 7.3 .............................................................................................................. 354
Tabla 9.37. Resultados de la validacin cualitativa de la dimensin 8 ............................................... 354
Tabla 9.38. Comentario realizado por los expertos respecto de los indicadores de la dimensin 8 ....................................................................................................................... 355
Renata Marciniak Tesis doctoral
19
Tabla 9.39. Los resultados de la validacin cualitativa de la dimensin Tutora ................................ 355
Tabla 9.40. Comentarios realizados por los expertos respecto de los indicadores de la dimensin 9 ....................................................................................................................... 356
Tabla 9.41. Los resultados de la validacin cualitativa de la dimensin 10 ........................................ 356
Tabla 9.42. Comentarios realizados por los expertos respecto de los indicadores de la dimensin 10 ..................................................................................................................... 356
Tabla 9.43. Los resultados de la validacin cualitativa de la dimensin 11 ........................................ 357
Tabla 9.44. Comentarios realizados por los expertos respecto de los indicadores de la dimensin 11 ..................................................................................................................... 357
Tabla 9.45. Los resultados de la validacin cualitativa de la dimensin 12 ........................................ 358
Tabla 9.46. Comentarios realizados por los expertos respecto de los indicadores de la dimensin 12 ..................................................................................................................... 358
Tabla 9.47. Resultados de la validacin cualitativa de la dimensin 13 ............................................. 359
Tabla 9.48. Comentarios realizados por los expertos respecto de los indicadores de la dimensin 13 ..................................................................................................................... 359
Tabla 9.49. Resultados de la validacin cualitativa de la dimensin 14 ............................................. 360
Tabla 9.50. Comentarios realizados por los expertos respecto de los indicadores de la dimensin 14 ..................................................................................................................... 360
Tabla 9.51. Triangulacin de los datos obtenidos para la dimensin 1 .............................................. 362
Tabla 9.52. Triangulacin de los datos obtenidos para la dimensin 2 .............................................. 362
Tabla 9.53. Triangulacin de los datos obtenidos para la dimensin 3 .............................................. 363
Tabla 9.54. Modificaciones en las dimensiones del modelo provisional II .......................................... 364
Tabla 9.55. Triangulacin de los datos obtenidos para el indicador APEV-1 ..................................... 365
Tabla 9.56. Triangulacin de los datos obtenidos para el indicador APEV-2 ..................................... 365
Tabla 9.57. Triangulacin de los datos obtenidos para el indicador APEV-3 ..................................... 366
Tabla 9.58. Modificaciones en el modelo provisional II. Dimensin "Justificacin del programa virtual" ................................................................................................................................ 367
Tabla 9.59. Modificaciones en el modelo provisional II. Dimensin "Objetivos formativos del programa virtual\ ................................................................................................................ 367
Tabla 9.60. Modificaciones en el modelo provisional II. Dimensin "Perfil de ingreso y egreso ........ 368
Tabla 9.61. Modificaciones en el modelo provisional II. Dimensin "Contenido temtico/temario del programa virtual".......................................................................................................... 369
Tabla 9.62. Modificaciones en el modelo provisional II. Dimensin "Actividades de aprendizaje" ..... 369
Tabla 9.63. Modificaciones en el modelo provisional II. Dimensin "Perfil del docente en lnea" ...... 370
Tabla 9.64. Modificaciones en el modelo provisional II. Dimensin "Materiales y recursos didcticos". Subdimensin "Unidad Didctica" ................................................................. 370
Tabla 9.65. Modificaciones en el modelo provisional II. Dimensin "Materiales y recursos didcticos". Subdimensin "Gua Didctica ...................................................................... 372
Tabla 9.66. Modificaciones en el modelo provisional II. Dimensin "Materiales y recursos didcticos". Subdimensin: "Otros materiales y recursos didcticos" .............................. 372
Tabla 9.67. Modificaciones en el modelo provisional II. Dimensin "Estrategias didcticas". ............ 373
Tabla 9.68. Modificaciones en el modelo provisional II. Dimensin "Tutora" .................................... 373
Tabla 9.69. Modificaciones en el modelo provisional II. ...................................................................... 374
Tabla 9.70. Modificaciones en el modelo provisional II. Dimensin "Aula virtual" .............................. 375
Renata Marciniak Tesis doctoral
20
Tabla 9.71. Modificaciones en el modelo provisional II. Dimensin "Evaluacin de la fase inicial del programa virtual".......................................................................................................... 376
Tabla 9.72. Modificaciones en el modelo provisional II. Dimensin "Evaluacin de la fase de desarrollo del programa virtual\ ......................................................................................... 376
Tabla 9.73. Modificaciones en el modelo provisional II. Dimensin "Evaluacin de la fase final del programa virtual".......................................................................................................... 377
Tabla 9.74. Evolucin del modelo autoevaluacin de programas de educacin universitaria virtual desde el modelo provisional I hasta el modelo provisional II ............................................ 378
Tabla 9.75. Sistema de indicadores del Modelo de Autoevaluacin de Programas de Educacin Universitaria Virtual provisional II ...................................................................................... 379
Tabla 9.76. Composicin del primer grupo de discusin .................................................................... 382
Tabla 9.77. Ejemplo de ficha elaborada para los grupos de discusin ............................................... 383
Tabla 9.78. Los resultados de las validacin del modelo provisional II por el primer grupo de discusin ............................................................................................................................ 385
Tabla 9.79. Composicin del segundo grupo de discusin ................................................................. 388
Tabla 9.80. Los resultados de la validacin del modelo provisional II por el segundo grupo de discusin ............................................................................................................................ 390
Tabla 9.81. Triangulacin de los resultados del proceso de validacin del modelo provisional II por los dos grupos de discusin ........................................................................................ 394
Tabla 9.82. Estructura del Modelo Definitivo de Autoevaluacin de Programa de Educacin Universitaria Virtual ........................................................................................................... 398
Tabla 9.83. Sistema de indicadores del modelo definitivo de autoevaluacin de programa de educacin universitaria virtual ........................................................................................... 400
Tabla 9.84. Propuestas de actividades para superar las resistencias a la implementacin del modelo ............................................................................................................................... 431
Tabla 9.85. Propuesta del cuestionario para evaluar el programa virtual en la fase de desarrollo .... 437
Tabla 9.86. Propuesta del programa de la conferencia mgistral sobre el Modelo de autoevaluacin de Programas de Educacin Universitaria Virtual ............................................................. 439
NDICE DE FIGURAS Figura 1.1. Desarrollo de la investigacin ............................................................................................. 42
Figura 2.2. Taxonoma de Bloom original y revisada. ........................................................................... 76
Figura 2.3. Taxonoma de Bloom para la Era Digital ............................................................................ 77
Figura 3.1. Modelo integrador de evaluacin de programas ............................................................... 127
Figura 3.2. Metodologa de autoevaluacin de programas de educacin universitaria virtual
propuesta ........................................................................................................................... 137
Figura 3.3. Criterios de evaluacin de un programa utilizados por la ANECA ................................... 145
Figura 5.1. Clasificacin de los estndares de educacin virtual y estndares asociados ................ 177
Figura 5.2. Proceso de acreditacin de la EFMD CEL. ...................................................................... 196
Figura 5.3. Mapa conceptual del anlisis del alcance de los estndares tecnolgicos y de la calidad
relacionados con educacin virtual.179
Renata Marciniak Tesis doctoral
21
Figura 6.1. Modelo EFQM. .................................................................................................................. 246
Figura 6.2. Propuesta del Cuadro de Mando Integral para una universidad virtual............................ 248
Figura 8.1. Procedimiento de diseo y validacin del Modelo de Autoevaluacin de Programas de
Educacin Universitaria Virtual.......................................................................................... 294
Figura 9.1. Estructura del Modelo de Autoevaluacin de Programas de Educacin Universitaria
Virtual provisional I ............................................................................................................ 302
NDICE DE IMGENES
Imagen 9.1. Captura de pantalla del formulario de validacin en lnea. Apartado 1 .......................... 325 Imagen 9.2. Captura de pantalla del formulario de validacin en lnea. Validacin de
dimensiones .................................................................................................................... 325 Imagen 9.3. Captura de pantalla del formulario de validacin en lnea. Descripcin de las
dimensiones .................................................................................................................... 326 Imagen 9.4. Captura de pantalla del formulario de validacin en lnea. Cambio de color de la
fila. ............................................................................................................................... 326 Imagen 9.5. Captura de pantalla del formulario de validacin en lnea. Seleccin de indicadores ... 326 Imagen 9.6. Captura de pantalla del formulario de validacin en lnea .............................................. 327 Imagen 9.7. Captura de pantalla de resultados de validacin obtenidos a travs de la pgina web
HTML5 .......................................................................................................................... 328 Imagen 9.8. Imagen de un momento de la sesin del grupo de discusin de los expertos .............. 384 Imagen 9.9. Imagen de un momento de la sesin del grupo de discusin de los usuarios de la
educacin virtual........................................................................................................... 389 Imagen 9.10. Captura de pantalla del protocolo de autoevaluacin en lnea propuesto.
Apartado 1 .................................................................................................................... 433 Imagen 9.11. Captura de pantalla del protocolo de autoevaluacin en lnea propuesto.
Apartado 2 .................................................................................................................... 433 Imagen 9.12. Captura de pantalla del protocolo de autoevaluacin en lnea propuesto.
Apartado 3 .................................................................................................................... 434 Imagen 9.13. Captura de pantalla del protocolo de autoevaluacin en lnea propuesto. Modo de
rellenar el protocolo ...................................................................................................... 434 Imagen 9.14. Captura de pantalla del protocolo de autoevaluacin en lnea propuesto. Modo de
inicio de autoevaluacin ............................................................................................... 435 Imagen 9.15. Captura de pantalla del protocolo de autoevaluacin en lnea propuesto. Ficha
descriptiva del indicador ............................................................................................... 435 Imagen 9.20. Captura de pantalla del protocolo de autoevaluacin en lnea propuesto. Seleccin
de la escala de evaluacin ........................................................................................... 436
Renata Marciniak Tesis doctoral
23
NDICE DE ABREVIATURAS ACODE Australasian Council on Open, Distance and E-Learning ACCJC Accrediting Commission for Community and Junior Colleges ACSUG Axencia para a Calidade do Sistema Universitario de Galicia ADL Advanced Distributed Learning AENOR Asociacin Espaola de Normalizacin y Certificacin AFNOR Association Franaise de Normalisation AGRs AICC Guidelines and Recommendations AICC Aviation Industry CBT Comittee ANCED Asociacin Nacional de Centros de e-Learning y Distancia ANECA Agencia Nacional de Evaluacin de la Calidad y Acreditacin AQU Agncia per a la Qualitat del Sistema Universitari de Catalunya BCTD British Centre for Training and Development BENVIC Benchmarking of Virtual Campuses CALED Instituto Latinoamericano y del Caribe de Calidad en Educacin Superior a
Distancia CBT Computer Based-Training CEN European Committee for Standardization CIEES Comits Interinstitucionales para la Evaluacin de la Educacin Superior CINCE Centro Nacional de Informacin y Comunicacin Educativa de Espaa CMI Cuadro de Mando Integral CONEAU Comisin Nacional de Evaluacin y Acreditacin Universitaria (Argentina) CWA CEN Workshop Agreements DIN Deutsches Institut fr Normung EADL European Association for Distance Learning EATDU European Association of Distance Teaching Universities EdNA Education Network Australia EFMD European Foundation for Management Development EFMD European Foundation for Management Development EFQUEL European Foundation for Quality in eLearning EFQM European Foundation for Quality Management eMM E-learning maturity model ENQA European Association for Quality Assurance in Higher Education IEC International Electrotechnical Commission IEEE/ LTSC Institute of Electrical and Electronics Engineers/Learning Technologies
Standards Committee ISO International Standards Organisation LCMS Learning Content Management System LMS Learning Management Systems LO Learning Object LOM Learning Object Metadata LORM Learning Object Repositories Network MASSIVE Nombre propio de la herramienta NAACE National Association of Advisors for Computers in Education NADE Norwegian Association for Distance Education
Renata Marciniak Tesis doctoral
24
OAI Open Archives Initiative ODRL Open Digital Rights Language ODL QC Open and Distance Learning Quality Council PAS Publicitly Available Specification RFDQ Reference Framework for the Description of Quality Approaches RUEDA Red de Universidades de Educacin a Distancia SCORM Shareable Content Object Reference Model QAA Quality Assurance Agency for Higher Education UNE Una Norma Espaola UNIQUe European University Quality in eLeaning TIC Tecnologas de Informacin y Comunicacin W3C World Wide Web Consortium
Renata Marciniak Tesis doctoral
25
INTRODUCCIN
Para mejorar la calidad de los programas de educacin virtual, las personas responsables de su ejecucin necesitan, adems del punto de vista que les ofrecen las evaluaciones externas realizadas por los profesionales externos o ajenos a la universidad, disponer de una visin propia sobre el estado del programa, sus fortalezas, debilidades y oportunidades de mejora. Este enfoque hace posible la autoevaluacin que es el primer paso en el proceso de mejora continua.
Llevar a cabo la autoevaluacin de un programa de educacin universitaria virtual implica contar con un modelo de autoevaluacin particular que tenga en cuenta las peculiaridades de estos programas. Por ello, se propone un conjunto de variables, dimensiones e indicadores de calidad adecuados al objeto y al contexto en el que se produce y desarrolla dicho programa.
Cabe mencionar que, actualmente, existen muchos modelos que indican qu dimensiones se deben medir durante el proceso de evaluacin de la calidad de educacin virtual y, a la vez, proponen un conjunto de indicadores para valorar las mismas. No obstante, la mayora de dichos modelos suelen orientarse a la evaluacin institucional sin hacer el debido nfasis en la evaluacin de programas formativos a partir de los que se desarrolla la educacin virtual. S que existen algunos modelos desarrollados con el fin de evaluar los mencionados programas, pero el problema es que son pocos y, adems, no permiten evaluar tanto la calidad del propio programa como la calidad de su planificacin, desarrollo y resultados, tal como postula Martnez (2013):
La evaluacin de programas debe recoger la informacin sistemtica acerca de un programa elaborado para atender a unas necesidades, centrada en 1) la calidad del propio programa, en sus fundamentos, estructura y coherencia; 2) la planificacin de su puesta en accin, considerando los recursos personales, materiales y organizativos; 3) el programa en su desarrollo, en la accin, y 4) sus resultados, en el inmediato, medio y largo plazo, con el objetivo de comprobar y valorar el grado y calidad con el que ha conseguido atender las necesidades y resolver los problemas que eran la razn del ser del programa (Martnez, 2013, p. 197).
Para suplir dicho vaco, el objetivo del presente trabajo est orientado al diseo de un modelo aplicativo para la autoevaluacin de programas de educacin universitaria virtual que integre la evaluacin de la calidad de propio programa virtual y la evaluacin continua del mismo. De esta manera, se espera que el modelo se convierta en una herramienta til para evaluar y mejorar todos los elementos que constituyen un programa virtual y cada una de las tres fases por las que el programa pasa durante su existencia; es decir, la fase inicial, la fase de desarrollo y la fase final.
El punto de partida del diseo del modelo fue el anlisis bibliogrfico-documental sobre los elementos de programa de educacin universitaria impartido bajo la modalidad virtual e indicaciones sobre el mtodo de evaluacin de ste, as como el estudio documental sobre los estndares, modelos y herramientas desarrollados para evaluar la calidad de educacin virtual que actan a modo de aliados para la autoevaluacin del programa mencionado anteriormente.
A partir de los resultados de dicho anlisis se construy el Modelo de Autoevaluacin de Programas de Educacin Universitaria Virtual compuesto de dos variables, catorce dimensiones y ciento once indicadores. Para facilitar la aplicacin y precisar la utilidad de los indicadores propuestos se elabor una ficha descriptiva para cada uno de los indicadores
Renata Marciniak Tesis doctoral
26
que contiene elementos indicados por la norma UNE 66175, es decir, el cdigo del indicador, su objetivo, su descripcin, frmula de clculo del indicador y evidencias solicitadas para que se pueda evaluar el grado de cumplimiento del indicador.
Antes de construir el modelo definitivo, se elaboraron dos borradores del mismo que se sometieron al proceso de validacin por expertos internacionales en la educacin virtual, aplicacin piloto en la autoevaluacin de cuatro programas virtuales ofrecidos por la Universidad Abierta y a Distancia de Mxico y dos grupos de discusin, uno entre los profesionales del Sistema de Universidad Virtual de la Universidad de Guadalajara (Mxico) y el otro entre cinco usuarios (estudiantes) de la educacin universitaria virtual.
Aunque para comprobar la total utilidad del modelo diseado se debe aplicar el mismo en la autoevaluacin de un conjunto de programas virtuales, su aplicacin piloto en la autoevaluacin de cuatro programas de educacin universitaria virtual permiti comprobar su gran potencial a la hora de evaluar la calidad de dichos programas mediante la deteccin de sus puntos fuertes y dbiles y la obtencin de datos relevantes que sirven de base para elaborar un plan de accin de sus mejora. Permiti, a su vez, proponer diferentes propuestas para facilitar la implementacin del modelo en la realidad universitaria. Entre dichas propuestas se encuentran, estrategias para implementar y seguir el modelo, estrategias para superar las resistencias a la implementacin del modelo, un protocolo en lnea de autoevaluacin de programas de educacin universitaria virtual, un cuestionario de opinin de los estudiantes sobre el programa virtual en la fase de su desarrollo y la propuesta de la conferencia magistral sobre el Modelo de Autoevaluacin de Programas de Educacin Universitaria Virtual propuesto.
Toda la investigacin realizada se describe en el presente documento, a travs de 10 captulos agrupados en cinco bloques.
BLOQUE 1: FUNDAMENTACIN Y DISEO GENERAL DE LA INVESTIGACIN
El primer bloque est dedicado al diseo general de la investigacin. Consta de un captulo (captulo 1) en el que se explica el problema de la investigacin y se expone la justificacin de la misma. A continuacin, se describen las etapas de desarrollo de la investigacin realizada y se presenta el cronograma de la misma. El captulo termina con la presentacin de la estructura de la investigacin.
BLOQUE 2: MARCO TERICO GENERAL
El segundo bloque est dedicado al estudio de los fundamentos tericos de la autoevaluacin de programas de educacin universitaria virtual. Consta de dos captulos:
En el captulo 2, se define la educacin virtual, sus caractersticas generales y elementos de la misma. Adems, se muestran numerosas definiciones de programa formativo que se dividen en tres grupos: 1) Programa como plan; 2) Programa como accin, y 3) Programa como contenido. Asimismo se define el programa de educacin universitaria virtual y se describen los elementos bsicos del mismo, prestando especial atencin a su importancia en la calidad de los antemencionados programas. Estos elementos son: justificacin del programa, objetivos del mismo, perfil del estudiante, contenido temtico del programa, materiales y recursos didcticos, perfil del docente en lnea, actividades de aprendizaje, tutora, estrategias didcticas, estrategias de evaluacin de aprendizaje del estudiante, y el aula virtual a partir de la cual se desarrollo el programa. El captulo 3 trata en profundidad el tema de calidad de programas de educacin universitaria virtual y mtodos de evaluacin de dicha calidad. La autoevaluacin es un mtodo bsico para evaluar los programas mencionados y esencial para mejorarlos, por lo tanto consideramos necesario su detenido estudio para conocer las principales teoras y
Renata Marciniak Tesis doctoral
27
procedimiento de su realizacin. En el marco de educacin universitaria, con frecuencia, la autoevaluacin de programas constituye el paso inicial hacia su acreditacin, por lo cual, describimos tambin este tipo de evaluacin. Ya que la autoevaluacin de un programa se debe llevar a cabo en tres momentos de su realizacin (inicial, desarrollo y final), por eso, dicho captulo aborda tambin el tema de evaluacin continua de programas de educacin universitaria virtual. El captulo termina con un debate conceptual sobre la autoevaluacin y conceptos similares a la misma que no se deberan confundir (acreditacin, evaluacin interna y evaluacin externa).
BLOQUE 3: MARCO TERICO ESPECFICO SOBRE LOS ESTNDARES, MODELOS Y HERRAMIENTAS DE EVALUACIN DE CALIDAD DE EDUCACIN VIRTUAL
El tercer bloque de la investigacin, que consta de cuatro captulos, es un estudio documental sobre diferentes estndares, modelos y herramientas diseados para la evaluacin de educacin virtual que actan a modo de aliados para las universidades en su camino hacia la autoevaluacin de programas de educacin virtual.
En el captulo 4 se presenta la metodologa utilizada para desarrollar este estudio documental. Se muestran aspectos como el tipo de investigacin, diseo y procedimientos de seleccin de estndares, modelos y herramientas, variables, tcnicas e instrumentos de recopilacin de informacin que fueron utilizados para llevar a cabo dicha investigacin.
El captulo 5 tiene como objetivo presentar un acercamiento a los estndares asociados al mbito de educacin virtual y conocer cules son los ms adecuados para la autoevaluacin de programas de educacin universitaria virtual. Por ello, se explica el concepto de estndares y se presentan las ventajas de su uso para la educacin virtual. Tambin se muestran dos tipos de estndares desarrollados para evaluar la educacin virtual: 1) estndares tecnolgicos y 2) estndares relacionados con la gestin y aseguramiento de la calidad de educacin virtual. Los estndares de calidad tambin se presentan en dos grupos: los estndares reconocidos en toda Europa y los estndares nacionales desarrollados y utilizados solamente en algunos pases europeos, entre ellos, en Espaa. Finalmente, para saber cules de los estndares analizados pueden servirnos de referente para llevar a cabo la autoevaluacin de programas de educacin universitaria virtual, en el ltimo subapartado del captulo se hace un anlisis del alcance de los estndares revisados en este captulo. El captulo termina con las conclusiones extradas del anlisis de estndares realizados, junto con un mapa conceptual que constituye el resumen de la investigacin realizada sobre los estndares desarrollados para la educacin virtual.
El objetivo del captulo 6 es identificar y realizar un anlisis comparativo de los modelos tericos de evaluacin de programas de educacin virtual ms representativos, incidiendo en sus caractersticas ms significativas, fortalezas y debilidades, dimensiones, reas y criterios que proponen para evaluar la calidad de dichos programas. El anlisis incluye modelos clsicos que han sido desarrollados para la evaluacin de programas de educacin presencial y son adaptados o recomendados para evaluar los que se realizan en la modalidad virtual. Asimismo, se analiza una buena parte de los modelos desarrollados con el propsito de evaluar la calidad de programas de educacin virtual. Estos modelos se analizan desde dos enfoques: parcial y global. El primer enfoque aborda el anlisis de tres tipos de modelos: 1) modelos diseados para evaluar alguna accin formativa, 2) modelos diseados para evaluar la calidad de materiales didcticos, y 3) modelos diseados para evaluar la calidad del aula virtual. Dentro del segundo enfoque se analizan los modelos de evaluacin centrados en estndares de calidad total (TQM) y en benchmarking. El captulo termina con las conclusiones extradas del anlisis descriptivo-comparativo de los modelos analizadas a lo largo del captulo.
En el ltimo captulo del tercer bloque de la investigacin (captulo 7) se describen
Renata Marciniak Tesis doctoral
28
diferentes herramientas de gran relevancia en el contexto espaol e internacional que deben ser tomadas en cuenta por las universidades que pretendan atender a los lineamientos generales y especficos en cuanto a la autoevaluacin de programas de educacin universitaria virtual. La mayor parte de estas herramientas constituyen guas de autoevaluacin que han sido diseadas por las instituciones responsables de la evaluacin y acreditacin de educacin superior, con el fin de ayudar a las universidades a realizar la evaluacin interna, que es el primer paso en el proceso de acreditacin. Adems de dichas guas, en este captulo se describen tambin algunas herramientas on-line diseadas con el propsito de llevar a cabo la antemencionada evaluacin. El captulo termina con las conclusiones extradas del anlisis descriptivo-comparativo de las herramientas analizadas a lo largo del captulo.
BLOQUE 4: MARCO APLICADO El cuarto bloque de este trabajo, que resume la investigacin emprica desarrollada, se divide a su vez en dos captulos:
En el captulo 8 se presenta la metodologa empleada para la elaboracin del modelo de autoevaluacin de programas de educacin virtual. Se muestran aspectos como el tipo de investigacin y el procedimiento de diseo y validacin de dicho modelo.
En el captulo 9 se presentan los principales resultados de la investigacin. Se presenta el proceso de diseo del modelo provisional I (primer borrador) para llevar a cabo la autoevaluacin de programas de educacin universitaria virtual. Tambin se presenta el proceso de validacin de dicho modelo que se llev a cabo por parte de un grupo de expertos, as como aplicndolo en la autoevaluacin de cuatro programas ofrecidos por la Universidad Abierta y a Distancia de Mxico. Adems, se presenta el proceso de diseo y validacin del modelo provisional II (segundo borrador). Dicha validacin se llev a cabo mediante dos grupos de discusin: uno entre los expertos del Sistema Virtual de la Universidad de Guadalajara (Mxico) y otro entre los usuarios (estudiantes) de la educacin universitaria virtual. El captulo termina con el modelo definitivo elaborado a partir de los resultados de la antemencionada validacin, as como con algunas propuestas para facilitar su implementacin en las universidades.
BLOQUE 5: MARCO CONCLUSIVO
Finalmente, el quinto bloque contiene el captulo 10 en el que se ofrecen algunas conclusiones de especial relevancia e implicaciones para futuras investigaciones sobre la autoevaluacin de programas virtuales a partir de los hallazgos obtenidos en esta investigacin. Tambin se exponen las limitaciones encontradas durante la investigacin.
Todos los captulos contienen una introduccin general que focaliza y sit a el tema que se presenta en los mismos y una sntesis final que resume lo significativo de las distintas aportaciones en relacin al tema del captulo y contenido de la tesis.
La presente tesis opta a la acreditacin de Mencin de Doctor Internacional, por lo que la introduccin, el Captulo 1 y el Captulo 10 se presentan tambin traducidos al ingls.
Renata Marciniak Tesis doctoral
29
INTRODUCTION
In order to improve the quality of virtual education programmes, the persons in charge of the said programmes require, apart from their own point of view, external assessments carried out by professionals not belonging to the university in order for them to provide their own vision of the programme, its strengths, weaknesses and improvement opportunities. This focus makes it possible to self-assess the programmes as the first step of the process of its continuous improvement. Carrying out the self-assessment of a virtual education programme implies applying an assessment model specific to this type of programmes. For this reason a set of quality variables, dimensions and indicators is proposed suitable to the purpose and context of the said programmes. It is worth mentioning that currently there are many models that indicate what dimensions should be measured during the assessment of virtual education and, at the same time, propose a set of indicators in order to evaluate the said dimensions. Nevertheless, most of the said models are focused on institutional assessment without duly emphasizing the assessment of educational programmes upon which it is based. There are some models developed in order to assess the said programmes, nevertheless there are only few of them and they do not allow evaluating both the quality of the programme, as wells as the quality of its planning, development and results, as postulated by Martnez (2013):
Program evaluation is the systematic collection of information regarding a program in order to meet specific needs, that is focused on 1) the quality of the program itself, its basic elements, structure and coherence; 2) the planning of its putting into action, taking into consideration human, material and organizational resources, 3) the development of the program and 4) the program results in the immediate, medium and long term in order to verify and assess the degree and quality with which the needs have been met and the problems have been solved (Martnez, 2013, p. 197).
In order to fill this void, the purpose of this thesis is to design a model to be applied in the assessment of virtual education programmes, which includes assessment of the quality of the program itself, as well as its continuous assessment. This way the model is expected to become an useful tool in order to evaluate and improve all the elements of virtual education programmes in all the three phases of their existence, that is, the initial phase, the development phase and the final phase.
The starting point of the design was a bibliographical-docum