Universidad de Guadalajara Maestría en Tecnologías para el Aprendizaje

Evaluación de Usabilidad de Sistemas Gestores de Ap rendizaje: El caso de la Plataforma Metacampus del Sistema de Uni versidad Virtual

de la Universidad de Guadalajara

Tesis de maestría

Ruth Medina Flores

Preguntas de Investigación � ¿Cuáles son las prácticas, recomendaciones y estándares

internacionales sobre usabilidad de sistemas?

� ¿Qué diferencias hay entre evaluar la usabilidad de un sistema de cómputo en general, y la de evaluar un sistema gestor del aprendizaje?

� ¿Cuáles de los indicadores estándares de usabilidad de sistemas web son pertinentes para evaluar la usabilidad de sistemas de aprendizaje en línea?

� ¿Qué tanto satisface la plataforma Metacampus del Sistema Universidad Virtual de la Universidad de Guadalajara las buenas prácticas, recomendaciones y estándares internacionales sobre usabilidad de sistemas?

Objetivo

Evaluar la usabilidad de la plataforma Metacampus,

del Sistema Universidad Virtual de la Universidad de Guadalajara.

Usabilidad

Usabilidad (Esfuerzo cognitivo)

Ergonomía del software

Ergonomía

(Esfuerzo físico

Adaptación hombre-máquina)

Interacción Humano-

Computadora (Multidisciplinar) Atributo de

calidad para medir la facilidad de uso a través de la experiencia del Usuario (Nielsen)

Metodología de diseño y

evaluación de sistemas digitales

(Nielsen)

Ingeniería de software

Usabilidad (ISO-9241)

Persona Tarea

Contexto

U S A B I L I D A D (Anglicismo de origen latino

que significa “facilidad de uso”)

Usabilidad (ISO -9241 )

Efectividad

(Cumple con la tarea)

Satisfacción

(Aceptabilidad)

Eficiencia (Tiempos de ejecución)

Usabilidad (ISO 9126)

Comprensible

Operable Aprendible

Evaluación heurística de Usabilidad, por J. Nielsen (1993)

� Diseño simple y natural

� Diseño gráfico y color (consistencia visual)

� Menos es más.

� Utilizar el lenguaje del usuario

� Iconografía metafórica adecuada

� Reducir la memorización

� Retroalimentación

� Tolerancia a fallas en el sistema

� Tiempos adecuados de reacción

� Salidas marcadas

� Atajos (hipertexto)

� Mensajes de error adecuados

� Prevenir errores

� Ayuda y manual (documentación)

Clasificación de los métodos de evaluación de usabilidad

Lugar de realización

Laboratorio de

usabilidad

Entorno natural

Tipo de técnica

Inspección

Por expertos

Listas de verificación

Evaluación heurística

Listas de verificación

Cuestionarios

Indagación

Por usuarios

Entrevistas Grupos de

enfoque Encuestas

Participantes

Con usuarios implicados

Sin usuarios implicados

Metodología de evaluación de usabilidad

Especificaciones y guías de usabilidad (Nielsen, 1993; ISO 9241-11; ISO 9126)

Resultados

Teoría Diseño del instrumento Resultados

Cuestionario

(Preguntas e indicadores)

Aplicación a expertos

Marco metodológico

� Posición del investigador: Participante.

� El universo de estudio son seis expertos en diseño de sistemas computacionales del Sistema Universidad Virtual de la Universidad de Guadalajara.

� Tipo de estudio � El tipo de estudio es cuantitativo y de tipo descriptivo.

� Procedimiento � El instrumento de evaluación fue autoadministrado vía correo

electrónico.

Sistema de aprendizaje en línea

� Es un programa o aplicación de software, también llamado plataforma virtual de aprendizaje, plataforma tecnológica o sistema gestores del aprendizaje cuya función es la de facilitar la educación, ya sea presencial o a distancia, a través de las nuevas tecnologías de la información y la comunicación (TIC).

� Al decir “nuevas tecnologías” nos referimos propiamente a la utilización de los recursos y herramientas propias de Internet, que de alguna manera se han visto aplicadas a la educación, y han generado no sólo el favorecimiento de la administración y control de un conjunto de cursos, sino la facilitación de la interacción y la comunicación educativa entre los participantes para el desarrollo de entornos virtuales de aprendizaje.

Perfiles LMS

ALUMNO PROFESOR ADMINISTRADOR

CURSOS

Sistema de

comunicación

(Estudiante y profesor)

Sistema de

administración

(Profesor y

administrador)

Sistema de información

(Estudiante y Profesor)

Sistema de colaboración

(Estudiante y profesor)

•El sistema puede ser visto desde cualquier sistema operativo. •Utilizan un navegador web. •Estructura cliente-servidor. •Permiten trabajar con documentos en diferentes formatos: texto (html) archivos en pdf (Adobe Acrobat), dibujos e imágenes (.gif, .jpg), audio (.wav. .wma .mp3), video (.mov, .avi, .wmv, .mpeg) animaciones, Java, etc., así como los de paquetería de oficina (.doc, .docx, .ppt, .pptx, .xls, .xlsx), etc. •Acceso restringido. •Interfaz gráfica. •Permite guardar, consultar y volver a modificar los archivos de manera sencilla. •Facilitan la interacción y la comunicación a través de diferentes herramientas pedagógicas, las cuales pueden ser síncronas (chat, pizarra compartida, videoconferencia, audioconferencia) o asíncronas (correo electrónico, foros, wiki, etc.). (De Benito, 2000).

Características de un sistema gestor del aprendizaje

Breve comparativa de las plataformas de aprendizaje más destacadas (de información – exhibición)

Plataformas Claroline 1.4

Moodle 1.5.2

Dokeos 1.8

Sakai 2.0 A tutor 1.5

Blackboard Academic Suite

WebCT Campus Edition 6.0

Metacampus

Herramientas

De Información – exhibición

Guía de estudio � � � � � � � �

Buzón de Tareas � � � � � � � �

Página de datos personales � � � � � � � �

Documentos y enlaces � � � � � � � �

Caminos de aprendizaje � � � � �

Anuncios � � � � � � �

Base de datos � �

Paquetes SCORM � � � �

Cuestionarios � � � � � � �

(De comunicación) Plataformas Claroline

1.4 Moodle 1.5.2

Dokeos 1.8

Sakai 2.0 A tutor 1.5

Blackboard Academic Suite

WebCT Campus Edition 6.0

Metacampus Herramientas

De Comunicación y Colaboración

Wiki � � � � �

Chat � � � � � � � �

Foros � � � � � � � �

Correo electrónico � � Externo

� � Externo

� � � � Externo

Lista de Participantes � � � � � � � �

Grupos de trabajo � � � � � R4 � � �

Votaciones � �

Videoconferencia � DimDim

� Kaltura � � Kaltura

� Elluminate y BigBlue Button,

Blog � � � � �

Glosarios � � � � �

Agenda � � � � � � � �

Pizarra compartida � � �

Comunidad social � � �

Tablón de dudas � � � � � � �

Tablón de avisos � � � � � � �

De administración

Plataformas Claroline 1.4

Moodle 1.5.2

Dokeos 1.8

Sakai 2.0 A tutor 1.5

Blackboard Academic Suite

WebCT Campus Edition 6.0

Metacampus

Herramientas

De Administración

Estadísticas � � � �

Administración del Portal � � � � � � � �

Evaluación � � � � � � � �

Workoffline � �

Diseño del instrumento para evaluar un sistema gestor del aprendizaje

� Se diseñó un cuestionario con veinte cuatro preguntas, agrupadas en seis categorías.

� Las respuestas posibles para cada pregunta se organizaron en una escala de Likert con cinco elementos: Insatisfactorio (1), Poco satisfactorio (2), Neutral (3), Aceptablemente satisfactorio (4) y Totalmente satisfactorio (5).

� El cuestionario fue aplicado por correo electrónico a seis expertos en LMS que han usado Metacampus como docentes (algunos también como estudiantes en cursos de formación docente).

Atributos de usabilidad requeridos para evaluar los sistemas gestores del aprendizaje

Diseño Navegación Confiabilidad

Operatividad según tipo de PC Navegación Velocidad de descarga

Regresar o avanzar Velocidad de trabajo

Operatividad según navegador Entrada. Calidad del funcionamiento

Hipertextos Salida. Retroalimentación

Tipo de letra Navegación alterna

Tamaño de letra Entendibilidad

Color de fondo De cada uno de los espacios y herramientas de información, exhibición, administración y comunicación del sistema gestor del aprendizaje

Organización de la Estructura Facilidad de uso De cada uno de los espacios y herramientas de información, exhibición,

administración y comunicación del sistema gestor del aprendizaje Diseño visual de la Interfaz Configuración Consistencia visual De cada uno de los espacios y herramientas de información, exhibición,

administración y comunicación del sistema gestor del aprendizaje Multimedia Comunicación

Comunicación De cada uno de los espacios y herramientas de comunicación del sistema gestor del aprendizaje

Buscabilidad De cada uno de los espacios y herramientas de comunicación del

sistema gestor del aprendizaje

Resultados

Atributos Experto 1 Experto 2 Experto 3 Experto

4 Experto

5 Experto

6 Promedio

Diseño 3.3 3.9 1.8 4.2 3.8 3.9 3.48

Navegación 4.2 4.0 2.8 3.6 4.2 3.0 3.63

Confiabilidad 3.5 3.5 1.3 3.8 2.3 2.8 2.83

Entendibilidad 5.0 3.4 1.2 4.5 3.9 4.9 3.81

Facilidad 3.1 4.0 1.3 4.0 3.2 4.3 3.32

Configuración 1.0 3.6 1.2 4.0 2.8 2.9 2.58

Comunicación 2.3 3.7 1.0 4.8 3.0 3.7 3.07

Buscabilidad 1.0 3.0 1.0 3.0 3.0 5.0 2.67

Promedio 2.93 3.63 1.45 3.97 3.27 3.80 3.18

2.93

3.63

1.45

3.97

3.27

3.8

0

0.5

1

1.5

2

2.5

3

3.5

4

4.5

Experto 1 Experto 2 Experto 3 Experto 4 Experto 5 Experto 6

Promedio general por experto

Diseño

Navegación

Confiabilidad

Entendibilidad

Facilidad

Configuración

Comunicación

Buscabilidad

Promedios generales por cada criterio

Experto 1

Experto 2

Experto 3

Experto 4

Experto 5

Experto 6

Breve interpretación de los resultados

� Se observan tres grupos de expertos: pesimista (Experto 3), mixto (Experto 1) y optimista (Expertos 2, 4, 5 y 6).

� En una escala de 1 a 5, la evaluación general de la plataforma Metacampus por los expertos osciló entre 1.45 y 3.97.

� Su promedio general de usabilidad es de 3.18.

� El promedio entre el grupo optimista fue de 3.67.

� El promedio del grupo mixto fue de 2.93.

� El promedio del grupo pesimista fue de 1.45.

� Calificaciones que pueden ser interpretadas como apenas satisfactoria.

Breve interpretación de los resultados

� Un problema grave de usabilidad que presenta la plataforma Metacampus es la confiabilidad. El grupo optimista otorga a este atributo de usabilidad su calificación más baja (3.1) y el promedio global es de 2.83.

� Los dos atributos con calificaciones globales más bajas fueron Configuración (2.58) y Buscabilidad (2.67), lo cual sugiere una cierta rigidez en la plataforma para adaptarse a los requerimientos específicos de sus usuarios.

Breve interpretación de los resultados

� El atributo Comunicación se evaluó también con promedio global por apenas arriba de los tres puntos (3.07), debido a algunas deficiencias de facilidad, accesibilidad y eficiencia en las principales herramientas de comunicación en Metacampus.

� El atributo de usabilidad mejor evaluado fue Entendibilidad, con promedio global de 3.82 y una calificación optimista de 4.2, lo cual lo sitúa como aceptablemente satisfactorio.

�

Breve interpretación de los resultados

� El grupo optimista califica con 4.0 el diseño visual del sistema (promedio global de 3.48). Esto habla de una cierta simplicidad en el diseño de Metacampus que facilita su comprensión y uso por el tipo de usuarios para el cual fue diseñado originalmente.

Herramientas de comunicación (Foros)

� Resultado: Promedio general en facilidad de (2.7) en configuración de (2.2) y en comunicación de (2.5). Entendibilidad (3.7)

� Es una calificación considerada poco satisfactoria, con problemas graves de usabilidad.

Experto 1

Experto 2

Experto 3

Experto 4

Experto 5

Experto 6

Foros

Entendibilidad

Facilidad

Configuración

Comunicación

Herramientas de comunicación (Chat)

� Facilidad, comunicación y configuración de (2.6).

� Entendibilidad de (3.6).

� Su uso depende de previos acuerdos entre los participantes.

� La herramienta es muy limitada en aspectos de configuración y comunicación.

� Un experto no evaluó este espacio pues dijo no conocerlo.

Experto 1

Experto 2

Experto 3

Experto 5

Experto 6

Chat

Entendibilidad

Facilidad

Configuración

Comunicación

Herrameintas de comunicación (Portafolio)

� Aceptablemente satisfactorio, tanto en facilidad (3.7), entendibilidad (3.8) y comunicación (4.0); únicamente en el aspecto de su configuración, se evaluó como poco satisfactorio (2.2).

Experto1

Experto2

Experto3

Experto4

Experto5

Experto6

Portafolio

Entendibilidad

Facilidad

Configuración

Comunicación

Herramientas de comunicación (Dudas)

� Aceptablemente satisfactorio, tanto en facilidad (3.3), entendibilidad (3.8) y comunicación (3.7); únicamente en el aspecto de su configuración, se evaluó como poco satisfactorio (2.7).

Experto1

Experto2

Experto3

Experto4

Experto5

Experto6

Dudas

Entendibilidad

Facilidad

Configuración

Comunicación

Herramientas de comunicación (correo electrónico)

� Es aceptablemente satisfactorio en entendibilidad (3.8) y facilidad (3.4); pero poco satisfactorio en configuración (2.4) y comunicación (2.5).

Experto 1

Experto 2

Experto 3Experto 4

Experto 6

Correo electrónico (Externo)

Entendibilidad

Facilidad

Configuración

Comunicación

Conclusiones

� Se propuso un instrumento de evaluación de usabilidad para sistemas gestores del aprendizaje, el cual se construyó con base en criterios generales de estándares internacionales (ISO 9241) (ISO 9126) y la evaluación heurística o por experto (Nielsen) para medir la calidad del diseño del software.

� La propuesta del instrumento como tal, obedece a una construcción muy genérica sobre evaluación de sistemas digitales, pues técnicamente abarca aspectos básicos de eficacia, eficiencia y satisfacción.

Conclusiones

� Los resultados de la aplicación del cuestionario sugieren que Metacampus necesita mejorar en algunos aspectos esenciales, resaltando su confiabilidad y su flexibilidad en la configuración para atender las demandas variables de los usuarios.

� La comunicación, incluyendo las herramientas de colaboración, también se sugieren mejorar, pues muestran demasiada rigidez en la configuración y con problemas en la eficiencia.

Líneas de investigación a futuro

� Establecer un instrumento de evaluación suficientemente genérico que permita la evaluación de cualquier sistema gestor del aprendizaje y su comparación con otros.

� Explorar la evaluación de usabilidad por usuarios de los sistemas gestores del aprendizaje y observar las diferencias con la evaluación por expertos.

RUTH MEDINA FLORES

Gracias