PONTIFICIA UNIVERSIDAD CATÓLICA DE VALPARAÍSO FACULTAD DE INGENIERÍA

ESCUELA DE INGENIERÍA INFORMÁTICA

PROPUESTA METODOLÓGICA PARA LA

EVALUACIÓN DE EXPERIENCIA DE USUARIO

EN DISPOSITIVOS MÓVILES TIPO

SMARTPHONE

MARIA CONSUELO FIGUEROA SALAZAR

OSVALDO GONZÁLEZ VENEGAS

DICIEMBRE 2015

INFORME FINAL DEL PROYECTO PARA OPTAR AL TÍTULO PROFESIONAL DE INGENIERO CIVIL EN INFORMÁTICA

PONTIFICIA UNIVERSIDAD CATÓLICA DE VALPARAÍSO FACULTAD DE INGENIERÍA

ESCUELA DE INGENIERÍA INFORMÁTICA

PROPUESTA METODOLÓGICA PARA LA

EVALUACIÓN DE EXPERIENCIA DE USUARIO

EN DISPOSITIVOS MÓVILES TIPO

SMARTPHONE

MARIA CONSUELO FIGUEROA SALAZAR OSVALDO GONZÁLEZ VENEGAS

Profesor Guía: Cristian Alexandru Rusu Profesor Co-referente: Silvana Roncagliolo De La

Horra

Carrera: Ingeniería Civil Informática

DICIEMBRE 2015

i

A Dios por darme a mi familia, sin duda son el regalo más bello que me pudo dar. Mi familia, en especial mis padres y mi hermano son los pilares de mi vida, su apoyo incondicional, su confianza y esfuerzo han hecho de mí la persona que soy. Todos los sueños y metas son posibles de lograr, si uno lo cree posible.

M. Figueroa

ii

A mis padres y familia quienes me han entregado todo, y son lo más importante para mí. A mí amada María Elizabeth quien me apoyó y acompaño durante este proceso. A mis profesores, amigos y compañeros que me ayudaron a culminar esta etapa fundamental de mi vida.

O. González

iii

Índice Resumen ................................................................................................................. vi Abstract .................................................................................................................. vi Lista de Figuras ..................................................................................................... vii Lista de Tablas ..................................................................................................... viii 1 Introducción ......................................................................................................... 1

2 Definición del Problema ...................................................................................... 2

2.1 Planteamiento del problema .......................................................................... 2

2.2 Objetivos ....................................................................................................... 3

2.2.1 Objetivo General .................................................................................... 3

2.2.2 Objetivos Específicos ............................................................................. 3

2.3 Metodología de Investigación ....................................................................... 3

2.4 Plan de Trabajo ............................................................................................. 4

3 Marco Referencial ................................................................................................ 6

3.1 Experiencia del Usuario ................................................................................ 6

3.1.1 Factores que influyen en UX.................................................................. 6

3.1.2 Métodos de evaluación de la UX ........................................................... 7

3.2 Usabilidad ..................................................................................................... 8

3.2.1 Atributos de la Usabilidad ...................................................................... 8

3.3 Dispositivos móviles ..................................................................................... 9

3.3.1 Tipos de dispositivos móviles ................................................................ 9

3.3.2 Aplicaciones para Smartphone ............................................................. 10

4 Metodología de Trabajo ..................................................................................... 11

5 Métodos de Evaluación de la Experiencia del Usuario ...................................... 14

5.1 Estudio de métodos aplicables para Smartphone ........................................ 15

5.2 Métodos de Evaluación Preseleccionados .................................................. 18

5.2.1 Evaluación Heurística .......................................................................... 19

5.2.2 Interacción Constructiva (Co-discovery) ............................................. 20

5.2.3 Experimentos Formales ........................................................................ 20

5.2.4 Técnicas de interrogación .................................................................... 21

5.2.5 Emocards .............................................................................................. 21

5.2.6 Listas de verificación de propiedades (Property Checklist) ................. 23

5.2.7 Método de Valencia ............................................................................. 23

5.2.8 Observación Controlada ....................................................................... 24

5.3 Análisis Comparativo de los Métodos de Evaluación Preseleccionados .... 25

6 Experimentos Piloto ........................................................................................... 28

iv

7 Evaluando la Experiencia del Usuario ............................................................... 31

8 Formulación de la Propuesta Metodológica ....................................................... 33

8.1 Primera propuesta preliminar: ..................................................................... 34

8.2 Segunda propuesta preliminar: .................................................................... 35

9 Validación de la Propuesta Preliminar ............................................................... 38

9.1 Caso Estudio: Aplicación Gmail para móviles ........................................... 38

9.2 Evaluaciones Realizadas ............................................................................. 39

9.3 Análisis de Resultados ................................................................................ 39

9.3.1 Método de Inspección .......................................................................... 39

9.3.2 Métodos de Prueba ............................................................................... 44

9.4 Conclusiones generales de validación parcial ............................................. 51

10 Evaluación de propuesta con expertos ............................................................. 52

11 Refinación de propuesta metodológica ............................................................ 53

11.1 Metodología propuesta .............................................................................. 54

12 Validación de la Propuesta Refinada ............................................................... 55

12.1 Caso Estudio: Spotify App ........................................................................ 55

12.2 Evaluaciones Realizadas ........................................................................... 56

12.3 Análisis de Resultados .............................................................................. 56

12.3.1 Método de inspección ........................................................................ 56

12.3.2 Métodos de Prueba ............................................................................. 59

13 Conclusiones .................................................................................................... 67

13.1 Trabajo Futuro ........................................................................................... 68

14 Bibliografía ...................................................................................................... 69

Anexos ...................................................................................................................... A: Experimentos Pilotos .......................................................................................

A.1: Método interacción constructiva (co-discovery) ....................................... A.2: Metodo emocards ...................................................................................... A.3: Método experimentos formales ................................................................. A.4: Método property checklist......................................................................... A.5: Método de valencia ...................................................................................

B: Evaluación heurística “gmail” .......................................................................... B.1: Problemas Encontrados ............................................................................. B.2: Principios Incumplidos .............................................................................. B.3: Notas Asignadas por Evaluadores ............................................................ B.4: Ranking de Problemas Según Criticidad .................................................. B.5: Ranking de Problemas Según Severidad .................................................. B.6: Comentarios Sobre las Tablas de Resultados ...........................................

v

B.7: Soluciones Propuestas ............................................................................... C: Experimentos Formales “Gmail” .....................................................................

C.1: Análisis de resultados ................................................................................ C.2: Conclusiones ............................................................................................. C.3: Plantilla de Prueba .....................................................................................

D: Método emocards ............................................................................................. D.1: Producto a Evaluar .................................................................................... D.2: Diseño de la Prueba ................................................................................... D.3: Selección de participantes, Entornos y Ejecución de la Prueba ................ D.4: Análisis de Resultados .............................................................................. D.5: Plantilla de Prueba .....................................................................................

E: Método de valencia “gmail” ............................................................................. E.1: Registro de Valencias y Percepciones de los usuarios .............................. E.2: Plantilla de Prueba .....................................................................................

F: Evaluación heurística “spotify” ........................................................................ F.1: Problemas Encontrados .............................................................................. F.2: Principios Incumplidos .............................................................................. F.3: Notas Asignadas por Evaluadores ............................................................. F.4: Ranking de Problemas Según Criticidad ................................................... F.5: Ranking de Problemas Según Severidad ................................................... F.6: Comentarios Sobre las Tablas de Resultados ............................................ F.7: Soluciones Propuestas ................................................................................ F.8: Elementos Positivos ...................................................................................

G: Método de valencia “spotify app” .................................................................... G.1: Análisis de Resultados .............................................................................. G.2 Planilla de prueba .......................................................................................

H: Experimentos Formales “Spotify” ................................................................... H.1: Análisis de Resultados .............................................................................. H.2: Plantilla de Prueba.....................................................................................

I: Técnicas de Interrogación PSUQ “Spotify” ...................................................... I.1: Análisis de resultados ................................................................................. I.2: Cifras Estadísticas ....................................................................................... I.3: Plantilla de Prueba ......................................................................................

vi

Resumen

El estudio de la Experiencia del Usuario y la Usabilidad de un sistema software permite generar valor agregado a un producto, el cual afecta directamente en la aceptación del mismo. Para medir la Experiencia del Usuario, se deben utilizar métodos de evaluación, pero ¿cuál de los métodos son apropiados para evaluar la Experiencia del Usuario en aplicaciones móviles de Smartphone? y ¿cómo deben ser combinados?, de tal manera que se logre obtener mayor información relevante para esta investigación.

En esta investigación se propone una metodología conformada por cuatro métodos de evaluación de Experiencia del Usuario y Usabilidad, los cuales abarcan todo el proceso de desarrollo. La propuesta fue validada a través de experimentos en aplicaciones diseñadas para Smartphone, en dos casos de estudio.

Palabras claves: Usabilidad, Experiencia del Usuario, Dispositivos móviles, Metodología de Evaluación de la Experiencia del Usuario.

Abstract

The User Experience study and the Usability of a software allows to generate a plus value to the product, which directly affects on the acceptance of it. to measure the user experience, one must use evaluation methods, but, which of all the methods are the best to evaluate user experience on smartphone mobile applications? And, how they should be mixed? so as to achieve further information relevant to this research.

In this research methodology it consists of four methods of evaluating User Experience and Usability, which span the entire development process is proposed. The proposal was validated through experiments designed to Smartphone applications in two case studies.

Keywords: Usability, User Experience, Mobile Devices, Assessment Methodology User Experience.

vii

Lista de Figuras

Figura 1 HoneyComb de la Experiencia del Usuario ............................................. 7 Figura 2 Modelo del proceso para diseño de metodología ................................... 11 Figura 3 Recuadro de áreas emocionales para Emocards. .................................... 22 Figura 4 Escala de emociones faciales para Emocards ......................................... 23 Figura 5 Esquema secuencial para la evaluación de la Experiencia del Usuario.. 31 Figura 6 Primera propuesta preliminar de metodología de evaluación................. 34 Figura 7 Segunda propuesta preliminar de metodología de evaluación ............... 36 Figura 8 Modelo explicativo del proceso para la validación de la propuesta ...... 38 Figura 9 Dispositivo de registro emocional para método de Valencia ................. 45 Figura 10 Valencias registradas caso de estudio Gmail ........................................ 47 Figura 11 Laboratorio de Usabilidad PUCV ......................................................... 50 Figura 12 Modelo explicativo para el proceso de refinación de la propuesta ....... 53 Figura 13 Diseño aplicación Spotify App ............................................................. 56 Figura 14 Valencias registradas caso de estudio Spotify ...................................... 61

viii

Lista de Tablas

Tabla 1: Esquema de distribución de trabajo .......................................................... 5 Tabla 2: Características de los dispositivos móviles. .............................................. 9 Tabla 3: Tipos de dispositivos móviles ................................................................. 10 Tabla 4: Características de los métodos aplicables ............................................... 16 Tabla 5: Escala de severidad y frecuencia ............................................................ 19 Tabla 6: Métodos preseleccionados ...................................................................... 25 Tabla 7: Métodos preseleccionados 2ª parte ......................................................... 26 Tabla 8: Tiempos estimados para las evaluaciones............................................... 26 Tabla 9: Resumen de experimentos pilotos .......................................................... 28 Tabla 10: Resumen de propuesta preliminar 1 ...................................................... 35 Tabla 11: Resumen de propuesta preliminar 2 ...................................................... 36 Tabla 12: Heurísticas específicas para dispositivos móviles ................................ 40 Tabla 13: Perfil y experiencia de los evaluadores Evaluación Heurística Gmail . 42 Tabla 14: Elementos positivos Evaluación Heurística Gmail ............................... 43 Tabla 15: Tabla para evaluador del método de Valencia ...................................... 45 Tabla 16: Características de participantes de Experimentos Formales en Gmail . 49 Tabla 17: Perfil y experiencia de los evaluadores Evaluación Heurística Spotify 58 Tabla 18: Características de participantes Experimentos Formales en Spotify .... 62 Tabla 19: Respuestas encuesta post prueba de Experimentos Formales .............. 65

1

1 Introducción

El incremento y diversificación del uso de dispositivos móviles se ha visto envuelto en un gran apogeo durante la última década. No existe prácticamente ninguna actividad cotidiana realizable en computadores, que no pueda ser realizada en un dispositivo móvil de última tecnología. Se puede observar de forma cada vez más rutinaria, como la población hace uso de Smartphone, Tablet, agendas electrónicas, u otros dispositivos, convirtiendo a estos terminales en elementos vitales de su diario vivir.

Se deduce que este fenómeno es principalmente debido a las múltiples tareas que se pueden realizar mediante las variadas aplicaciones que poseen estos dispositivos, las cuales son cada vez más centradas en las necesidades individuales de los usuarios, logrando así, facilitar la ejecución de actividades cotidianas, obteniendo por ende un alto grado de satisfacción por parte de los mismos. Este grado de satisfacción incide directamente en la determinación de la Experiencia del Usuario, dicho concepto, es un factor clave para la aceptación y éxito de un producto en el mercado, y se debe enfatizar en satisfacer de manera óptima las necesidades del usuario. Es primordial que los usuarios puedan tener una grata experiencia con las aplicaciones móviles y utilizarlas de forma fácil y exenta de problemas, por lo que se debe estudiar y evaluar dicha experiencia en estas aplicaciones, pero ¿Cómo se evalúa la experiencia de uso en las diversas aplicaciones de dispositivos móviles? ¿Cómo se determina el grado de satisfacción de los usuarios?

Los métodos de evaluación que permiten medir la experiencia de uso de las aplicaciones móviles, son bastante diversos, y obedecen a una serie de criterios de ejecución. Su realización depende de variables limitantes tales como los costos, la disponibilidad de tiempo y de la experiencia del evaluador para la posterior interpretación de los resultados. Fundamentado en lo anterior se evidencia que la elección de cuál método de evaluación a llevar a cabo es un proceso arduo y complejo.

El objetivo de esta investigación es definir una propuesta metodológica basada en el estudio de un conjunto de métodos de evaluación de Experiencia del Usuario en diferentes tipos de aplicaciones móviles. De esta manera la propuesta metodológica podrá obtener información relevante que permita inferir respecto la Experiencia del Usuario ante el uso de aplicaciones móviles, específicamente en un contexto de uso de Smartphone.

Se presenta en este documento diversas secciones que dan estructura a esta investigación, las cual son: definición del problema, planteamiento de objetivos, metodología de investigación, y plan de trabajo. Seguidamente se desarrolla el marco referencial; que engloba los conceptos de Experiencia del Usuario, Usabilidad y Dispositivos móviles, todos estos conceptos extraídos de fuentes bibliográficas. A continuación se exponen los métodos de evaluación de la Experiencia del Usuario, la forma de aplicación y sus ventajas y desventajas. Finalmente se plantea la propuesta metodológica de evaluación de UX y se presenta el proceso de composición y validación de la misma.

2

2 Definición del Problema

A continuación se define el problema que aborda la presente investigación, detallando las problemáticas de la investigación, los objetivos y la justificación del estudio.

2.1 Planteamiento del problema La Experiencia del Usuario (UX), es el conjunto de múltiples factores y elementos

relativos, que inciden en el uso de un producto o servicio, cuyo resultado genera una percepción y respuesta por parte del usuario [1]. Según Lewis en este concepto se deben incluir principios de ingeniería, diseño y Usabilidad; ocupando la Usabilidad un rol fundamental en la entrega de una grata experiencia de uso. Uno de los problemas centrales al abordar la experiencia de usuario es su subjetividad, no posee una definición exacta y su concepto sigue en constante debate, por lo que es necesaria medirla y comprobarla.

Para poder medir la Experiencia del Usuario se deben utilizar métodos de evaluación, estos métodos nos entregan ciertas características acotadas o específicas dependiendo del área de estudio. Los métodos de evaluación a utilizar corresponden a métodos de Experiencia del Usuario y métodos de Usabilidad, de los cuales se deben establecer ciertos criterios de evaluación para su posterior selección. Los criterios a considerar en esta investigación son de aplicabilidad, costos, tipo de estudio, definir el perfil del usuario, la factibilidad entre otros.

En consideración a todos estos criterios estableceremos un límite que demarque esta investigación, ya que no se pueden abarcar todos los métodos de evaluación, por las siguientes limitantes: tiempo acotado, recursos limitados, inaccesibilidad a determinados tipos de aplicaciones, limitaciones de hardware y la experiencia previa de los evaluadores. Además se deben considerar la disponibilidad de usuarios que se pueden tener para realizar las pruebas, las cuales también están limitadas y dependen de factores económicos, de tiempo y cantidad de personas por perfil de usuario dispuestos a realizar la evaluación.

Es fundamental señalar que los métodos tienen fortalezas y debilidades, y están enfocados en evaluar las percepciones y respuestas del usuario ante el uso de una aplicación, las cuales pueden ser positivas o negativas. Los expertos recomiendan la integración de las evaluaciones cuantitativas y cualitativas, que con frecuencia pueden ser la mejor alternativa para satisfacer las necesidades de un proyecto [2]. Varios de estos métodos pueden utilizarse en aplicaciones de dispositivos móviles, pero existe la interrogante de cuanta información resulta relevante tras la aplicación de dichos métodos; es en base a esto que nace la siguiente pregunta de investigación ¿Cuál de los métodos de evaluación son apropiados para evaluar la UX en aplicaciones móviles de Smartphone?

Posterior a la recolección y selección de los métodos de evaluación apropiados para los dispositivos móviles, se deben realizar filtros apropiados con los criterios de evaluación correspondientes al caso de estudio. Estos criterios están sujetos a limitantes tanto económicas, de tiempo y propias de los evaluadores. Surge una nueva interrogante ¿Cómo combinar e integrar estos métodos, para que la información obtenida mediante la evaluación conjunta de dichos métodos sea relevante?

3

Se entiende por metodología, como el conjunto de métodos por los cuales se regirá una investigación, lo que hace previamente la metodología es estudiar los métodos para luego determinar cuáles son más adecuados para aplicar o sistematizar en una investigación o trabajo. La investigación se ve más enriquecida con la combinación de los métodos de evaluación de forma conjunta, por lo que la metodología a utilizar surgirá de la combinación de métodos tanto cuantitativos como cualitativos. Finalmente, teniendo seleccionados los métodos apropiados de evaluación y habiendo combinado de forma adecuada, se origina una nueva problemática en base a la propuesta metodológica ¿Cómo validar esta metodología de evaluación de experiencia de usuarios para aplicaciones de dispositivos móviles del tipo Smartphone?

2.2 Objetivos A continuación se plantean el conjunto de objetivos que se persiguen en esta

investigación

2.2.1 Objetivo General Proponer una metodología de evaluación de la Experiencia del Usuario en

Smartphone.

2.2.2 Objetivos Específicos Analizar los conceptos de Experiencia del Usuario, Usabilidad, dispositivos

móviles y Smartphone Formalizar una propuesta de metodología de evaluación de la Experiencia del

Usuario en Smartphone Validar la propuesta formulada mediante casos de estudio

2.3 Metodología de Investigación En la presente investigación se pretende establecer una propuesta metodológica

que permita evaluar la experiencia del usuario en las diversas etapas del desarrollo de una aplicación móvil. Esta investigación se rige por una metodología de investigación basada en un enfoque cualitativo dominante; este tipo de modelo dominante, según Hernández [2], se desarrolla en base a la perspectiva de un enfoque, en este caso, el enfoque cualitativo es el predominante, y se pueden conservar algunos componentes del enfoque cuantitativo. Aplicando este enfoque se pueden desarrollar preguntas e hipótesis antes, durante o después de la recolección y el análisis de los datos.

Los estudios que se efectúan durante este proceso de investigación, en primera instancia están ligados a una etapa de trabajo exploratoria, en la cual se realiza la recolección de material bibliográfico, desde distintas fuentes y procedencias, ya sea en libros, revistas, publicaciones académicas, sitios web o apuntes académicos que contengan información concerniente al caso de estudio. Se analizarán conceptos relacionados con la ingeniería, aplicaciones móviles, Experiencia del Usuario, Usabilidad y métodos de evaluación, todo esto en base al material bibliográfico recopilado. Esto permitirá abordar los tópicos más importantes asociados a la presente investigación.

4

Posteriormente se continuará con una etapa descriptiva, en esta etapa se busca especificar las características más relevantes para esta investigación. Los estudios descriptivos inicialmente pretenden recoger información de manera independiente o conjunta sobre los métodos de evaluación, estudiando métodos de experiencia del usuario, como también métodos de Usabilidad. Esto con el fin de formalizar las bases en que se sostiene la presente investigación, y establecer cierta solidez teórica para ir acercándose a los resultados que se esperan.

Luego se llevará a cabo una etapa correlacional, que contemplará la identificación de características y relaciones de los métodos de evaluación de aplicaciones móviles, que guarden relación con la obtención de resultados, que permitan medir la Experiencia de Usuario de forma más completa posible. Se analizarán las características comunes y propias de cada uno de los métodos, para luego postular las combinaciones adecuadas de estos, con su correspondiente análisis.

Finalmente, se realizará una etapa explicativa, con el fin de presentar resultados de la investigación y explicando los resultados. La relevancia de esta investigación es poder fundamentar una validez científica, de manera de visualizar de mejor forma todo el proceso, ejecutando una serie de actividades y coordinarlas para aseverar que el proyecto está encaminado de forma correcta. Para dar término a esta investigación se realizarán conclusiones y trabajo futuro que ha dejado el desarrollo de este proyecto.

Todo lo mencionado anteriormente en esta sección permite definir el alcance de este estudio, un alcance descriptivo, ya que expondrá información detallada respecto un fenómeno determinado y pretende describir sus principales variables con precisión.

2.4 Plan de Trabajo Para el desarrollo de esta investigación, se prevén las siguientes etapas:

1) Formulación del tema. 2) Estudio y establecimiento del marco referencial. 3) Selección, comparación y medición de los métodos de evaluación de

experiencia de usuario. 4) Propuesta de la metodología de evaluación de la experiencia de usuario. 5) Validación de la propuesta y conclusiones.

La distribución de las estas tareas se proyectan según en la Tabla 1: Esquema de distribución de trabajo

5

Tabla 1: Esquema de distribución de trabajo

Período Mes/Año (2015) Mar Abr May Jun Jul Ago Sep Oct Nov Dic

Actividad

Formulación del tema X X

Análisis y estudio conceptual del tema de investigación

X X X

Definición planteamiento del problema

X X

Definición de objetivos X X

Elaboración del marco referencial

X X X

Planificación de casos de estudio

X

Aplicación de los métodos de evaluación de UX sobre el caso de estudio planteado

X X

Formulación de la propuesta preliminar

X X

Evaluación de propuesta con expertos

X X

Pruebas con usuarios X

Análisis de resultados X X

Validación de la propuesta preliminar

X X

Refinación de la propuesta X X

Formalización de la propuesta

X X

Validación de la propuesta formal

X X+

Análisis de resultados X X+

Conclusiones X

En donde, X+: se indica como trabajo actual y futuro, pues puede seguir replicándose esta tarea a futuro, lo que lo hace ser iterativo.

6

3 Marco Referencial

Esta investigación se basa en un conjunto de elementos teóricos basados en la literatura los cuales se detallan a continuación.

3.1 Experiencia del Usuario La Experiencia del Usuario (User eXperience, abreviada en UX) es un término que

no posee una definición exacta, dado que está sujeta a percepciones distintas, la definición formal aún es cuestionada y sigue en un constante debate, por lo que se considera la opinión de expertos en el área, las que se describen a continuación:

Según Lauralee Alben corresponde a: “Todos los aspectos de cómo la gente usa un producto interactivo: la forma en que se siente en sus manos, lo bien que entienden cómo funciona, cómo se sienten al respecto, mientras que lo están utilizando, lo bien que cumple con sus propósitos, y lo bien que encaja en todo el contexto en el que se están utilizando” [3].

Otra definición es la que entrega el académico Yusef Hassan, de la Universidad de Granada, al indicar que "la Usabilidad es la disciplina que estudia la forma de diseñar Sitios Web para que los usuarios puedan interactuar con ellos de la forma más fácil, cómoda e intuitiva posible" y agregar que "la mejor forma de crear un Sitio Web usable es realizando un diseño centrado en el usuario, diseñando para y por el usuario, en contraposición a lo que podrá ser un diseño centrado en la tecnología o uno centrado en la creatividad u originalidad" [4].

De acuerdo con los expertos del sitio allaboutux.org, la experiencia de usuario depende no sólo de los factores relativos al diseño, sino que también de aspectos relativos a las emociones, sentimientos, construcción y transmisión de la marca, confiabilidad del producto. Los profesionales de la industria dicen que el término puede ser “subjetivo” y “difícil de describir”, ya que tiene varios significados asociados.

La norma ISO 9241-210 la establece como: percepciones de una persona y las respuestas que resulten del uso o el uso previsto de un producto, sistema o servicio. Algunos autores consideran UX como una extensión del concepto de Usabilidad. Otros utilizan los términos de Usabilidad y UX indistintamente. Junto con la facilidad de uso, el concepto UX sigue siendo objeto de prueba [5].

El campo de estudio de la UX se centra principalmente en el diseño y la evaluación de las experiencias que tienen las personas a través del uso (o uso anticipado) de un sistema, producto o servicio. Este uso se lleva a cabo en un contexto específico, que tiene un impacto en la Experiencia del Usuario.

3.1.1 Factores que influyen en UX El principal objetivo del estudio de la UX, es asegurar que los usuarios encuentren un

valor en lo que se les va a entregar. Peter Morville representa esto a través de un esquema que denominó “User eXperience HoneyComb” [6], el cual señala que para tener una

7

experiencia de usuario satisfactoria, la información debe considerar las siguientes características

Útil: El contenido debe ser presentado de forma original y satisfacer una necesidad.

Utilizable: El producto debe ser fácil de usar. Deseable: Imagen, identidad, marca y otros elementos de diseño se utilizan para

evocar emoción y agradecimiento. Encontrable: El contenido tiene que ser navegable y localizable interna y

externamente. Accesible: El contenido tiene que ser accesible a diversos tipos de personas,

inclusive aquellas con discapacidad. Creíble: Los usuarios deben confiar y creer lo que se les dice

Figura 1 HoneyComb de la Experiencia del Usuario

Dentro de los 7 factores que componen este HoneyComb, el factor “Utilizable” es fundamental a la hora de desarrollar la propuesta metodológica de evaluación de Experiencia del Usuario en dispositivos móviles, dado que se persigue comprobar la entrega del valor agregado a los productos o servicios que se encuentran en el mercado.

3.1.2 Métodos de evaluación de la UX Los métodos de evaluación de Experiencia del Usuario se centran en averiguar las

percepciones de cómo el usuario se siente respecto al sistema que se quiere evaluar. Estos pueden clasificarse de muchas maneras y se aplican a diversos casos de estudio. Para esta investigación, los autores se rigen en base a criterios que serán explicados en la sección 4.

8

3.2 Usabilidad El concepto de Usabilidad, al igual que el de experiencia del usuario, posee múltiples

definiciones, pero para este caso de investigación, se utilizan las definiciones entregadas por la Organización Internacional para la Estandarización (ISO), las cuales son:

ISO/IEC 9126: "La Usabilidad se refiere a la capacidad de un software de ser comprendido, aprendido, usado y ser atractivo para el usuario, en condiciones específicas de uso" [7]. Esta definición hace énfasis en los atributos internos y externos del producto, los cuales contribuyen a su funcionalidad y eficiencia. La Usabilidad depende no sólo del producto sino también del usuario, es por ello que un producto no es en ningún caso intrínsecamente usable, sólo tendrá la capacidad de ser usado en un contexto particular y por usuarios particulares.

ISO/IEC 9241: "Usabilidad es la eficacia, eficiencia y satisfacción con la que un producto permite alcanzar objetivos específicos a usuarios específicos en un contexto de uso específico" [8]. Es una definición centrada en el concepto de calidad en el uso, es decir, se refiere a cómo el usuario realiza tareas específicas en escenarios específicos con efectividad.

De las dos definiciones anteriores se fundamenta la base de la nueva definición de la ISO en la que se plantea lo siguiente: ISO/IEC 25010: “Usabilidad es la capacidad del producto software para ser entendido, aprendido, usado y resultar atractivo para el usuario, cuando se usa bajo determinadas condiciones” [9]. El concepto de Usabilidad en esta última norma está refinado, refiriéndose a esta misma como una característica de calidad del producto intrínseco y un subconjunto de calidad en el uso (que comprende efectividad, eficiencia y satisfacción).

3.2.1 Atributos de la Usabilidad La Usabilidad es una cualidad demasiado abstracta como para ser medida

directamente. Para poder estudiarla se descompone habitualmente en los siguientes cinco atributos básicos [10]:

Facilidad de aprendizaje: Cuán fácil es aprender la funcionalidad básica del sistema, como para ser capaz de realizar correctamente la tarea que desea realizar el usuario. Se mide normalmente por el tiempo empleado con el sistema hasta ser capaz de realizar ciertas tareas en menos de un tiempo dado (el tiempo empleado habitualmente por los usuarios expertos).

Eficiencia: El número de transacciones por unidad de tiempo que el usuario puede realizar usando el sistema. Lo que se busca es la máxima velocidad de realización de tareas del usuario. Cuanto mayor es la Usabilidad de un sistema, más rápido es el usuario al utilizarlo, y el trabajo se realiza con mayor rapidez.

Recuerdo en el tiempo: Para usuarios intermitentes (que no utilizan el sistema regularmente) es vital ser capaces de usar el sistema sin tener que aprender cómo funciona partiendo de cero cada vez. Este atributo refleja el recuerdo acerca de

9

cómo funciona el sistema que mantiene el usuario, cuando vuelve a utilizarlo tras un periodo de no utilización.

Tasa de errores: Este atributo contribuye de forma negativa a la Usabilidad de un sistema. Se refiere al número de errores cometidos por el usuario mientras realiza una determinada tarea. Un buen nivel de Usabilidad implica una tasa de errores baja. Los errores reducen la eficiencia y satisfacción del usuario, y pueden verse como un fracaso en la transmisión al usuario del modo de hacer las cosas con el sistema.

Satisfacción Subjetiva: Éste es el atributo más subjetivo. Muestra la impresión subjetiva que el usuario obtiene del sistema. Algunos de estos atributos no contribuyen a la Usabilidad del sistema en la misma dirección, pudiendo ocurrir que el aumento de uno de ellos tenga como efecto la disminución de otro.

3.3 Dispositivos móviles Los dispositivos móviles son aparatos de tamaño pequeño, que cuentan con

una capacidad especial de procesamiento, conexión permanente o intermitente de red, memoria limitada, diseñados específicamente para una función, pero tienen la versatilidad de desarrollar otras funciones más genéricas [11].

En la mayoría de los casos, un dispositivo móvil puede definirse con cuatro características que lo diferencian de otros dispositivos que, aunque pudieran parecer similares, carecen de algunas de las características de los verdaderos dispositivos móviles [12]. Estas cuatro características las cuales se muestran en la Tabla 2: Características de los dispositivos móviles.

Tabla 2: Características de los dispositivos móviles.

Característica Descripción Movilidad Se entiende por movilidad la cualidad de un dispositivo para ser transportado o

movido con frecuencia y facilidad. Por lo que los dispositivos móviles poseen esta característica básica, pues son lo suficientemente pequeños como para ser transportados y utilizados durante su transporte.

Tamaño Reducido Se entiende por tamaño reducido la cualidad de un dispositivo móvil de ser fácilmente usado con una o dos manos sin necesidad de ninguna ayuda o soporte externo.

Comunicación Inalámbrica

Se entiende como la capacidad que tiene un dispositivo de enviar o recibir datos sin la necesidad de un enlace cableado.

Interacción con Usuarios

Se entiende por interacción el proceso de uso que establece un usuario con un dispositivo.

3.3.1 Tipos de dispositivos móviles El término dispositivo móvil cubre un amplio espectro de dispositivos

electrónicos de consumo. Normalmente, por dispositivo móvil se entiende un dispositivo que puede ser transportado de forma fácil y cómoda y que posee capacidad propia de conexión a Internet. No obstante lo anterior, se enmarcan dentro de

10

esta clasificación cámaras digitales, reproductores MP3 o MP4, relojes inteligentes y muchos otros más.

Se definen a continuación los dispositivos más utilizados en la Tabla 3: Tipos de dispositivos móviles:

Tabla 3: Tipos de dispositivos móviles

Tipo Ventajas Desventaja Observación Teléfonos móviles

Ligero y transportable, económico, con prestaciones de comunicación innatas.

Poca potencia de proceso, poca memoria, capacidades de visualización limitada interacción avanzada difícil.

Fundamentan a los teléfonos actualmente utilizados (Smartphone), por lo que ya son obsoletos con el paso del tiempo.

PDA’s (Asistentes Personales Digitales)

Las pantallas son más grandes y la visualización se mejora, la interacción con el usuario es más fácil y poseen más capacidad de procesamiento.

Necesitan accesorios para comunicarse, y el precio es mayor que el del teléfono móvil tradicional

Los PDA’s puros están obsoletos, ya que sus funcionalidades fueron absorbidas por los Tablet o Smartphone.

Tablet Mayor tamaño que un teléfono inteligente o un PDA, integra una pantalla táctil, sin necesidad de teclado físico ni ratón.

Poco comercializados en el marcado, debido a que los usuarios prefieren la comodidad de utilizar los Smartphone.

Tablet son mucho menos comercializados y están pronto a ser obsoletos.

Smartphone Permiten guardar información e instalar aplicaciones, además de ser usado como teléfono móvil al mismo tiempo.

Requieren constante conexión a internet o datos móviles para maximizar su utilidad. La batería por lo general dura poco.

Utilizado en la vida cotidiana por múltiples usuarios, por lo que es seleccionado para este caso de estudio, como herramienta de prueba.

Debido a que la presente investigación, se centra en utilizar como caso de estudio los Smartphone, se presenta a continuación el siguiente subtema asociado a dicho dispositivo:

3.3.2 Aplicaciones para Smartphone Las aplicaciones para Smartphone son una herramienta informática diseñada para

Smartphone, tabletas y otros dispositivos móviles. Generalmente se encuentran disponibles a través de plataformas de distribución, manejadas por las compañías propietarias de los sistemas operativos móviles más predominantes del mercado, como Android, iOS, Windows Phone, entre otros.

El desarrollo de aplicaciones para Smartphone requiere tener en cuenta las limitaciones de estos dispositivos, ya que los dispositivos móviles funcionan con baterías de duración acotada y tienen procesadores menos poderosos que los ordenadores personales. Los desarrollos de estas aplicaciones también tienen que considerar una gran variedad de tamaños de pantalla, datos específicos de software y configuraciones. Las aplicaciones móviles suelen ser probadas primero usando emuladores y más tarde se ponen en el mercado en un periodo de prueba y posteriormente se masifican a través de plataformas de distribución.

11

4 Metodología de Trabajo

En la siguiente sección se detalla en profundidad el modelo de procesos para la formulación de la propuesta metodológica. Este modelo representa los que se desarrollaran para la obtención y definición de una metodología que permita medir la experiencia del usuario en Smartphone. A partir de la identificación de tareas y actividades, que se realizaran de forma recurrente durante cada etapa de desarrollo.

Figura 2 Modelo del proceso para diseño de metodología

Como se puede ver en Figura 2, el modelo se compone de 8 etapas, las cuales siguen un orden secuencial, pero pueden ser desarrolladas de forma iterativa:

Etapa 1 - Exploratoria: recolección de material bibliográfico, desde distintas fuentes y procedencias. Se analizan conceptos relacionados con la ingeniería, aplicaciones móviles, Experiencia del Usuario, Usabilidad y métodos de evaluación, todo esto en base al material bibliográfico recopilado.

Etapa 1: Exploratoria

Etapa 2: Descriptiva

Etapa 3: Diagnóstico de métodos

Etapa 4: Descomposición de técnica

Etapa 5: Formulación de Propuesta

Etapa 6: Documentación

Etapa 7: Validación

Etapa 8: Refinacion de la Propuesta

12

Etapa 2 - Descriptiva: se recoge información de manera independiente o conjunta sobre los métodos de evaluación, estudiando métodos de experiencia del usuario, como también métodos de Usabilidad. Se adjunta esta información en un archivo Excel, donde se detalla información del método, con su respectiva definición, ventajas/ desventajas, criterios de categorización del sitio www.allaboutux.org, entre otros. Arrojando un listado de 84 métodos de evaluación de Experiencia del Usuario y 12 métodos de evaluación de Usabilidad.

Etapa 3 - Diagnóstico de métodos: se utilizan criterios de categorización y de evaluación para acotar listado de métodos de evaluación que se apliquen Smartphone. Este listado se ve reducido a 24 métodos de evaluación los cuales se detallan en la sección 5.1, con sus respectivas ventajas/ desventajas y observación de aplicabilidad en el caso de estudio.

Posteriormente se realiza una descripción detallada de los métodos de evaluación preseleccionados que formaran parte de la propuesta metodológica. Esta descripción incluye información como: definición, proceso general, participantes y demás características relevantes del método.

Etapa 4 - Descomposición de técnica: para los métodos de evaluación seleccionados que forman parte de la propuesta metodológica, se debe identificar las actividades generales que los componen y determinar la secuencia entre ellas. Para determinar el orden lógico y secuencial que deben tener estos métodos se utilizan postulados de Renato Otaiza y Sousa & Mottus; los cuales se detallan en la sección 7.

Etapa 5 - Formulación de Propuesta Metodológica: Se analizan las dos propuestas preliminares en términos de factibilidad y cantidad de información relevante arrojada durante etapa experimental. Resultado de lo anterior, surge una única propuesta que debe seguir con procesos de refinación y validación con experto en el área.

Etapa 6 - Documentación: se documentan los experimentos realizados, los análisis y resultados de los métodos de evaluación que forman parte de la propuesta metodológica pueden ser apreciados con mayor detalle en los anexos.

Etapa 7 – Validación: en esta etapa se validan los métodos de evaluación a partir de las siguientes formas de validación propuestas:

Experimentos piloto: se ejecutan los métodos de evaluación preseleccionados; como resultado de esta ejecución debe evaluarse la efectividad del proceso. El objetivo es verificar si la ejecución del método puede llevarse a cabo con los recursos definidos, si corresponden estos métodos a herramientas de manera de ser descartados.

Fase retrospectiva: algunos de los participantes luego de la ejecución del método, fueron entrevistados respecto a la aplicación del método, se identificaron falencias y dificultades durante la ejecución. Las respuestas generadas en esta forma de validación servirán de referente para realizar las mejoras respectivas.

Revisión con Expertos: se genera discusión respecto a la propuesta metodológica planteada por los investigadores, con expertos de la rama, sobre

13

el diseño realizado. Esta discusión permite obtener diferentes perspectivas, de esta forma se da cuenta de potenciales errores y se puede refinar la propuesta hasta lograr el objetivo deseado.

Etapa 8 - Refinación de la Propuesta: se plantean mejoras a los métodos de evaluación involucrados en la propuesta metodológica, considerando además las acotaciones realizadas por expertos. Esta refinación se valida con un nuevo caso de estudio, de manera de demostrar que la metodología es genérica y aplicable para cualquier aplicación móvil.

14

5 Métodos de Evaluación de la Experiencia del Usuario

La experiencia de usuario puede ser evaluada con diferentes métodos que permiten una apreciación emocional del usuario frente al producto. En esta investigación se considera el estudio de 84 métodos de evaluación de UX (recolectados por expertos del sitio allaboutux.org), y 12 métodos de evaluación de Usabilidad [13]. Los métodos de Usabilidad son considerados, dado que según Lewis: “La Usabilidad es parte de la Experiencia del Usuario y por lo tanto cualquier método que mide el grado de Usabilidad, evalúa a la vez la UX” [14]. Los criterios de categorización de cada método de evaluación de UX, están definidos por expertos del sitio allaboutux.org, los cuales se ordenan según: tipo de estudio, fase de desarrollo, periodo estudiado de la experiencia y las capacidades de los evaluadores. Estos criterios se describen a continuación, en base a la información contenida en el sitio:

Tipo de estudio

Estudios de campo: Los estudios de campo se llevan a cabo en ambientes naturales, los contextos reales de uso. Los estudios de campo pueden ser a corto plazo (por ejemplo, sombras investigador participante durante una hora) o largo plazo (por ejemplo, los participantes utilizan un sistema en su vida diaria por 2 semanas).Estudios de laboratorio: los estudios se llevan a cabo en lugares fijos, por lo general en los locales de los investigadores, a diferencia de contextos auténticos de uso.

Estudios Online: Estudios en línea se realizan a través de Internet. Los participantes pueden ser personas anónimas de todo el mundo, o por invitación solamente.

Cuestionarios / Escalas: Cuestionarios y escalas que incluyen principalmente aspectos experienciales

Fase de desarrollo

Conceptual: En esta fase no es posible dejar que los participantes realmente interactúan con el sistema, pero el material puede incluir guiones gráficos, escenarios, o bocetos de diseño.

Primeros prototipos: Los primeros prototipos pueden ser bocetos flujo interacción en papel, prototipos Flash en una computadora, o una versión anterior del sistema actual con la funcionalidad básica.

Prototipos funcionales: Prototipos funcionales proporcionan la mayor parte de la funcionalidad prevista y se pueden dar para que los participantes ponen a prueba libremente.

Productos en el mercado: Esto puede ser visto como la mejor configuración para la evaluación de la Experiencia del Usuario, ya que los participantes han tenido una verdadera motivación para utilizar un sistema funcional y competitivo en el mercado.

15

Periodo estudiado de la experiencia

Antes de uso: Los métodos de esta categoría evalúan la percepción del sistema de los participantes antes de que hayan interactuado con él. Evaluación por instantes de uso (Snapshots). Los métodos de esta categoría evalúan experiencias momentáneas mientras que el participante está interactuando con el sistema.

Una experiencia: Los métodos de esta categoría investigan una experiencia con un determinado inicio y un final. Estos métodos se pueden utilizar para averiguar cómo los participantes se sientan sobre el sistema después de ejecutar una tarea o después de usar el sistema para concretar alguna actividad.

UX a largo plazo: Los métodos de esta categoría se realizan después de una larga sesión de pruebas.

Evaluador / proveedor de información UX

Expertos: utilizan el conocimiento de los profesionales de la Experiencia del Usuario en la evaluación UX del sistema

Un usuario a la vez: es más común para investigar la experiencia de un solo usuario mediante el uso de, por ejemplo, entrevista, cuestionario, o métodos de medición psicofisiológicos.

Grupos de usuarios: Cuando es el foco de estudio la Experiencia del Usuario en los aspectos sociales, es interesante para los participantes en el estudio como un grupo en lugar de los participantes individuales.

Pares de usuarios: Se invitan a pares de usuarios a la evaluación, en lugar de los usuarios individuales.

5.1 Estudio de métodos aplicables para Smartphone Dada la gran cantidad de métodos, a los evaluadores se les dificulta la

implementación de todos los métodos posibles, por lo que se ha reducido a una selección de métodos aplicando diversos filtros. Primeramente se seleccionan solo los métodos que poseen aplicabilidad en dispositivos móviles y de esta manera se redujo la cantidad de métodos de evaluación a investigar; descartando por ende los métodos de evaluación que no aplican para este caso de estudio.

Para la recolección, investigación y categorización de los métodos, fue necesario referenciar cada uno de estos. Se evidenció que algunos métodos de evaluación de UX del sitio correspondían a herramientas, por lo que estos métodos no fueron considerados por los investigadores, quedando reducido el listado de métodos de evaluación a solo 24 métodos. Es necesario aclarar que en sitio www.allaboutux.org, los expertos incluyeron dichas herramientas como métodos de evaluación, dado que poseen un concepto de Experiencia del Usuario creado por académicos y por la industria, lo que resulta ser muy subjetivo.

16

Tabla 4: Características de los métodos aplicables

Método Ventaja Desventaja Observación AXE (Evaluación de Experiencia Anticipada)

-Permite a los usuarios definir libremente sus valoraciones y puntos de interés. -No requiere formación específica o habilidades de entrevista.

-No existen datos de evaluación complejos. -Exige alfabetización visual de los participantes

- Este método es descartado, pues requiere de mucho tiempo (consta de tres etapas). Es para etapas tempranas y esa investigación requiere trabajar en etapas finales.

ESM -Método de muestreo arroja información específica, como el tiempo, ubicación y contexto especifico.

-Requiere de equipamiento especializado. -Costos elevados para los evaluadores

-Este método resulta ser demasiado engorroso para su posterior aplicación, requiere de expertos en UX por lo que será descartado.

Observación Controlada

- Los datos pueden recogerse de diferentes maneras, por ejemplo, grabar en vídeo las expresiones faciales de usuarios.

- Requiere de equipamiento y espacio destinado para la observación de los participantes

-Este método es seleccionado, pues se utiliza para recopilar la información.

Emocards

-Método interactivo. -Se aplica para etapas finales. -El usuario se identifica con una emoción facial.

-Método subjetivó -La identificación con una emoción fácil puede confundirse

-Este método es seleccionado pues es rápido, fácil y barato

PAD -Se enfoca en la emoción de los consumidores a raves de escalas emocionales. -Aplicada en etapas finales.

-Las emociones son diversas -No se logra capturar del todo bien la emoción relacionada al usuario -Las escalas poseen emociones diferentes

-En la aplicación de este método nos percatamos de las diferentes escalas de satisfacción emocional que posee el método, son poco claras por lo que a nuestro juicio se descarta el método.

PrEmo -Método interactivo. -Se aplica para etapas finales. -El usuario se identifica con una emoción facial.

-Método subjetivó -La identificación con una emoción fácil puede confundirse

-Se descarta porque la cantidad de emociones a identificar es mayor y tiene alta subjetividad al identificar las expresiones del usuario.

Conversación con cámara privada

-Se aplica en etapas tempranas.

-Muchas veces la conversación puede alejarse de las finalidades u objetivo a alcanzar -Requiere situarse en un ambiente apropiado

-Este método es descartado, pues no garantiza que el participante hable cosas relevantes para la investigación.

Análisis semántico del producto (PSA)

-Se aplica en etapas tempranas de diseño -Permite diseñar productos con cualidades semánticas específicas deseadas.

-Requiere de conocimiento en la aplicación a realizar.

-Este método es descartado, porque no contribuye a etapas en las que se basa esta investigación.

Property checklists (Listas de Verificación de Propiedades)

-No requiere usuarios -Ayuda a verificar propiedades del producto -Se usa en etapas intermedias.

-Requiere de Especialistas en UX

-Este método es preseleccionado, pues permite verificar una lista de objetivos de diseño

Reaction checklists

-Método ligero -Se realiza de forma remota

-No contesta el porqué de cada pregunta solo entrega datos numéricos.

-Es descartado, pues su enfoque está orientado más a productos que a software.

Entrevista de experiencia Semi-

-Adquiere alta cantidad de datos significativos -Pequeñas muestras son

-Se desvía rápidamente de los temas relevantes para la investigación.

-Se descarta por los siguientes motivos: -Se desvía fácilmente.

17

estructurada suficientes -Requiere de experiencia por parte del entrevistador.

-Experiencia necesaria para el entrevistador. -Tiempo necesario para el análisis.

Evaluación de Experto en UX

-Barato -Rápido -No requiere usuarios

-Requiere de Especialistas en UX.

-Al ser un método nuevo, del sitio allaboutux.org, no se posee mayor información por parte de los investigadores y de otros sitios indagados en la web, por lo que se descarta.

Método de Valencia

-Método muy completo posee dos fases, una exploratoria y otra retrospectiva. -Usado en etapas finales (prototipos y productos finales)

-Sujeto a opiniones de los usuarios. -Muy subjetivo en la elección del tipo de valencia. -Requiere conocimiento del método.

-Método preseleccionado para pruebas pilotos, pues aplica para caso de estudio. Y posee etapas que incluyen métodos conocidos por los evaluadores, por lo que resulta fácil de aplicar.

Evaluación Heurística

-Fácil de conducir. -Rápida y económica. -Permite la identificación de muchos problemas (mayores y menores). -Puede ser usado tempranamente en el período de desarrollo de software. -No se consume tiempo de los usuarios

-Se pueden pasar por alto problemas específicos del dominio de la aplicación.

-Este método es preseleccionado, pues logra identificar problemas, utilizando heurísticas específicas para cada tipo de aplicación.

Recorrido Pluralista

-Aplica en etapas tempranas -Logra trabajar en un diseño centrado en el usuario

-Requiere de un grupo de personas -Requiere de mucho tiempo

-Se descarta por la necesidad de muchos participantes de prueba, y tiempo para aplicar la misma.

Inspección de Características

-Se analizan sólo las características que debe cumplir un Web site en función de las especificaciones establecidas. -Se aplica en las fases intermedias del desarrollo.

-Dificultad del usuario en alcanzar las características del sitio en cada momento.

-Se descarta esta técnica dado que se utiliza mejor en las etapas intermedias y primarias de desarrollo.

Inspección Consiente

-Se analizan las características de elementos comunes que afectan a distintas partes del sitio. -Se aplica en las primeras fases del desarrollo.

-La interacción de los usuarios no representa el uso del sistema en condiciones normales.

-Se descarta este método, pues es aplicado para etapas tempranas y para la captura de requerimientos, en productos que muchas veces no se han desarrollado por completo. Para esta investigación utilizaremos un producto de software terminado.

Inspección Estándar

-Verifica el cumplimiento de estándares del sitio. -Se aplica en las fases intermedias del desarrollo. -No requiere uso de usuarios.

-Los expertos deben poseer un conocimiento exhaustivo de la Red.

-Se descarta método, pues los expertos deben poseer un conocimiento exhaustivo de la Red.

Ordenamiento de Tarjetas

-Simple, económico y rápido -No considera tareas y funcionalidad.

-Se descarta este método, pues es aplicado para etapas tempranas y para la captura de requerimientos, en productos que muchas veces no se han desarrollado por completo.

Test en papel - Relativamente Rápido. -Económico.

-No representa de forma completa y real el diseño y la interacción con el sistema, no

-Se descarta este método, pues es aplicado para etapas tempranas y para la captura de requerimientos,

18

permitiendo evaluar transacciones ni escenarios de navegación. -Altamente subjetivo.

en productos que muchas veces no se han desarrollado por completo. --Para esta investigación utilizaremos un producto de software terminado.

Pensamiento en voz alta

-Se encuentran muchos problemas de usabilidad. -Se encuentran las razones por las que ocurren los problemas. -Puede ser usado tempranamente en el período de desarrollo de software. -Necesidad de pocos usuarios

-Puede interferir la conducta normal del usuario. -No se obtiene información cuantitativa.

-Se descarta método, pues se considera que Co- Discovery logra captar una mayor cantidad de información por medio de la interacción entre sus pares.

Interacción Constructiva (Co-Discovery)

-Se encuentran muchos problemas de usabilidad. -Se encuentran las razones por las que ocurren los problemas. -Puede ser usado tempranamente en el período de desarrollo de software. -Necesidad de pocos usuarios.

-La interacción de los usuarios no representa el uso del sistema en condiciones normales. -No se obtiene información cuantitativa.

-Método preseleccionado para pruebas pilotos, pues al participar dos usuarios se rescata más información relevante para la investigación.

Experimentos Formales

-Permite la comparación de alternativas de diseño. -Recolección de información cuantitativa.

-Se necesita un número significativo de usuarios. -Puede ser realizado solo en etapas finales del desarrollo de software. -No entrega información sobre las razones de los problemas.

-Método preseleccionado para pruebas pilotos, pues otorga más objetividad respecto a las tareas realizadas por los usuarios.

Técnicas de Interrogación

-Entrega información subjetiva sobre las impresiones del usuario. -Entrega información cuantitativa y cualitativa. -Simples y económicas.

-Fiabilidad de la información subjetiva.

-Método preseleccionado para pruebas pilotos, pues se requiere para la mayoría de las pruebas a realizar.

El análisis de la Tabla 4: Características de los métodos aplicables, permite captar las diferencias existentes entre los métodos de evaluación, así como también algunas de sus características comunes, exponiendo además las principales ventajas y desventajas. Este análisis permite a los investigadores preseleccionar los métodos idóneos para alcanzar el objetivo de esta investigación. Dichos métodos preseleccionados se deben analizar con mayor nivel de detalle, por lo que se aplican nuevos criterios de evaluación, basados en los criterios postulados por Renato Otaiza Fuentes en su estudio Métodos de Evaluación de Usabilidad [15].

5.2 Métodos de Evaluación Preseleccionados A raíz del estudio de los distintos métodos de evaluación que permiten medir la UX,

y posterior al análisis de sus principales características, se evalúan que métodos son aplicables para esta propuesta de metodología y se seleccionan los métodos en base a sus potenciales de evaluación, conformando un nuevo subconjunto acotado de métodos preseleccionados. Estos métodos se presentan a continuación haciendo una breve descripción de los mismos y detallando los principales elementos de cada uno de estos.

19

5.2.1 Evaluación Heurística Método de evaluación de Usabilidad por inspección. Esta inspección debe ser llevada a

cabo por evaluadores expertos a partir de principios “heurísticos” previamente establecidos. Esta metodología consiste en analizar la conformidad de la interfaz con unos principios reconocidos de usabilidad mediante la inspección de varios evaluadores, en general se evalúa utilizando las 10 heurísticas de Jakob Nielsen. Las heurísticas pueden se específicas para cada categoría especifica de aplicación.

Este método de evaluación de usabilidad es el más popular de los métodos de inspección, básicamente por su facilidad y rapidez de realización. Puede ser realizado en distintas etapas del desarrollo de software, incluso muy tempranamente, por lo que no es necesaria la disponibilidad de una versión terminada del sistema. La potencialidad de detección de problemas de usabilidad de cualquier sistema depende en estricta relación con las heurísticas predefinidas para efectuar la inspección de dicho sistema.

5.2.1.1 Proceso General del Método Para llevar a cabo la ejecución de este método, es necesario primeramente la selección

de los evaluadores participantes, idealmente entre tres y cinco expertos, y que posean cierta familiaridad con el sistema. Luego, se debe preparar los materiales necesarios para el evaluador, como son la visión del proyecto, y la lista de los principios heurísticos. Posteriormente se realiza una reunión con los evaluadores para instruirlos en la evaluación y resolver las dudas que puedan surgir, para dar comienzo la evaluación sin ningún tipo de problemas.

Inicialmente se debe realizar un trabajo individual, donde cada evaluador evalúa el sitio de forma individual, de forma en general y luego en detalle. Cada evaluador prepara un listado individual de potenciales problemas de usabilidad y un listado de aspectos positivos. La experiencia de los evaluadores influye el número de problemas encontrados.

Luego se realiza un trabajo conjunto, donde un evaluador actúa como moderador, de manera que pueda coordinar y realizar la recopilación de los problemas encontrados en un único listado asociado a una heurística correspondiente. Cada evaluador califica de forma independiente la severidad y frecuencia del listado común de problemas. Para ello debe considerar la siguiente escala presentada en la Tabla 5: Escala de severidad y frecuencia:

Tabla 5: Escala de severidad y frecuencia

Severidad Frecuencia (4) Catastrófico (4) >90% (3) Mayor (3) 51-90% (2) Menor (2) 11-50% (1) Cosmético (1)1-10% (0) No es un

problema (0)<1%

Donde los evaluadores deben considerar, para poder calificar en el listado común, considerando además la siguiente formula:

20

CRITICIDAD= Frecuencia + Severidad

Finalmente se realiza un trabajo grupal, coordinado por un evaluador supervisor, en la cual se procede a realizar los cálculos de promedios de severidad, frecuencia y criticidad para cada problema. Como última actividad, queda el ordenamiento en rankings (rankings de severidad y frecuencia) de problemas, donde se analizan los resultados y se sugieren soluciones y conclusiones.

5.2.2 Interacción Constructiva (Co-discovery) La interacción constructiva es un método de prueba de Usabilidad en que dos

usuarios interactúan conjuntamente, descubriendo las características del sistema en evaluación, mientras verbalizan sus impresiones mutuamente. De esta manera los usuarios establecen una comunicación e interacción natural mientras descubren el sistema, sin limitarse a una lista de tareas específica. Es fundamental que los usuarios se ayuden de la igual forma como si estuvieran trabajando de forma individual para lograr un objetivo al utilizar el producto.

Como principal ventaja del método permite la obtención de mayor información relevante para la investigación, por medio de las respuestas de los pares de usuarios con el sistema de software, puede ser usada en etapas tempranas. La desventaja principal de método es que la interacción de los usuarios no representa el uso del sistema en condiciones normales.

5.2.2.1 Proceso General del Método Inicialmente se deben seleccionar los usuarios participantes en la realización de la

prueba, y generar perfiles de usuario correspondiente al caso de estudio, por lo que una prueba se debe realizarse sobre un mínimo de 4 usuarios. Se debe estimular a los usuarios que expliquen lo que están pensando mientras llevan a cabo las tareas, robusteciendo el proceso de descubrir problemas de usabilidad y las razones por las que ocurren dichos inconvenientes. Este tipo de prueba también posee desventajas, los usuarios no poseen las mismas estrategias de resolución de tareas y los sistemas evaluados no son comúnmente usados por dos personas a la vez, lo que haría perder el grado de representatividad de la realidad.

5.2.3 Experimentos Formales Es un método de evaluación de Usabilidad, corresponde a un experimento controlado

y medible con usuarios de prueba, donde los usuarios realizan las tareas solicitadas sobre el sistema mientras los analistas observan la interacción. Se almacena toda la información necesaria para su posterior estudio, como lo son las grabaciones de video con las acciones que realiza el usuario en la interfaz y las reacciones del mismo durante la interacción. Posteriormente se realizar un análisis estadístico de las acciones del usuario, considerando los tiempos involucrados, tasa de errores, entre otros aspectos relevantes que puedan afectar la interacción del usuario con el sistema.

El propósito de este método de prueba de usabilidad es la evaluación aditiva, ya que se evalúa la usabilidad íntegra del sistema en cuestión y es posible realizar comparaciones entre alternativas de diseño si se dispone de ellas, además de la característica ya nombrada

21

de recolección de datos cuantitativos como las cantidades involucradas con los tiempos y errores. Este tipo de evaluación es bastante ocupado y reconocido como método de medición de la usabilidad. Es bastante común percibir mediciones de la usabilidad en ciertos sistemas realizando el método de inspección de usabilidad conocido como la evaluación heurística, analizado anteriormente, y este método de prueba de usabilidad.

Las ventajas de este método están en la capacidad de poder evaluar distintas alternativas de diseño y de poder recolectar y analizar datos cuantitativos de distintos niveles de complejidad. Sus desventajas se enmarcan en torno al número de usuarios (entre dieciséis y veinte participantes) necesario para hacer un análisis estadístico y la posibilidad de realizar el método sólo en etapas finales del proceso de desarrollo de software.

5.2.4 Técnicas de interrogación Técnicas de interrogación corresponden a preguntas a los participantes de pruebas de

Usabilidad antes del uso o después de haber utilizado el sistema de software, por medio de entrevistas o cuestionarios. Su objetivo principal es la recopilación de las opiniones de los usuarios, sobre el sistema que se está evaluando, captando información relevante que no obtenida con las pruebas mismas.

Las entrevistas, permiten al usuario expresar primeramente sus pensamientos. Comienzan con aspectos de alto nivel, y luego con otro de mayor detalle. Su principal ventaja es que es flexible, dado que el administrador puede preguntar por cualquier aspecto de interés. Como principal desventaja es el tiempo, es difícil de analizar y comprobar.

Los cuestionarios, son formularios escritos, estructurados que deben ser completados por el usuario. Estos arrojan datos cuantitativos y cualitativos, y pueden ser ejecutados de manera presencial u online (cuestionarios electrónicos). La ventaja de esta técnica es que puede alcanzar a muchos participantes (por correo, mail, Web), es fácil de repetir y consume menos tiempo de análisis. Como principal desventaja se encuentra la escasa flexibilidad, dado que resultan ser más estructurados que las entrevistas.

5.2.4.1 Proceso General de Método Las técnicas de interrogación se aplican al finalizar la prueba de usabilidad, el usuario

se somete a una entrevista o cuestionario, donde la primera técnica intentará rescatar información sobre la experiencia con el sistema, sus perspectivas, impresiones, consejos, entre otras observaciones referentes al sistema mismo. La segunda correspondiente a los cuestionarios escritos busca obtener información cualitativa y cuantitativa sobre la experiencia del usuario. Al ser cuestionarios en papel que el participante debe rellenar, es más fácil su almacenamiento y posterior análisis, pero se pierde la relación directa con el éste.

5.2.5 Emocards El método Emocards consta de 16 representaciones sentimentales a través de dibujos

animados, las cuales representan ocho respuestas predeterminadas distintas. Se basa en la suposición de que las emociones se pueden clasificar o asociarse con una determinada expresión facial reconocible. El usuario selecciona una imagen de las ocho caras donde cada una representa una emoción distinta. Este método se utiliza generalmente para dar a

22

conocer al grupo de experiencia de usuario las emociones presentadas por los usuarios hacia un producto antes o después de su uso. Al utilizar Emocards se puede apreciar que es un método fácil, se requiere un equipo simple, el análisis de los resultados es práctico y fácil de obtener; sin embargo las imágenes son a veces difíciles de interpretar para el sujeto y se requiere la recolección de datos adicionales mediante una encuesta, ya que las imágenes pueden prestarse para confusiones y en este sentido la encuesta puede aclarar la idea del usuario participante

Emocards permitirá al experto evaluador la recolección de datos con cada usuario, estas tarjetas contienen una imagen de las emociones principales estas emociones se agrupan de la siguiente manera (véase en Figura 3): Calma agradable, calma desagradable, intensa agradable e intensa desagradable.

Figura 3 Recuadro de áreas emocionales para Emocards.

Estas tarjetas se deben entregar a cada usuario durante cada actividad, las cuales el usuario no debe saber necesariamente el significado de cada una por lo que solo tendrá el número y la emoción facial correspondiente en la tarjeta. Para los evaluadores poder inferir en el análisis de mejor manera el significado de estas emociones se cuenta con la siguiente escala de emoción (véase en Figura 4).

23

Figura 4 Escala de emociones faciales para Emocards

5.2.5.1 Proceso General del Método Se debe comenzar la prueba en un ambiente controlado, es decir en un laboratorio de

Usabilidad, o en el ambiente natural donde el producto se encuentre funcionando, dependiendo del tipo de producto a evaluar. Al terminar cada sesión se le debe presentar al usuario una serie de tarjetas con dibujos que representan emociones específicas, el usuario debe elegir una de las tarjetas para que el evaluador recolecte los datos emocionales de cada usuario después de su interacción

5.2.6 Listas de verificación de propiedades (Property Checklist) Property Checklist, es una forma estructurada para realizar una evaluación de

expertos en relación a un sistema software, el experto debe revisar una lista de objetivos de diseño para las diferentes propiedades del producto (forma, color, materiales, gráficos, sonidos, funcionalidad, diseño de interacción).

La principal ventaja de este método, es que al ser una evaluación realizada por expertos no hay necesidad de reclutar participantes, solo se requiere la participación de 3 a 5 evaluadores los que entregaran sus apreciaciones. La principal desventaja a su vez es que las experiencias reales no deberían ser gatilladas por un recorrido de propiedades, como sucede en el orden de cada ítem de la lista.

5.2.7 Método de Valencia El método de Valencia, es propio de los métodos de evaluación de la Experiencia del

Usuario (UX), consta de dos fases: En la primera de ellas se realiza una fase de exploración, en donde los usuarios experimentan sentimientos positivos o negativos durante el uso de un producto. Estos sentimientos son monitoreados por el usuario mediante el

24

establecimiento de marcadores de valencia, los cuales pueden ser positivos o negativos, dependiendo del sentimiento que experimente el participante. La segunda fase los evaluadores realizan una entrevista retrospectiva a los usuarios, donde cada marcador de valencia se discute con el fin de identificar problemas respecto del diseño del producto haciendo énfasis en la experiencia de uso, el significado para el usuario, y las necesidades subyacentes.

5.2.7.1 Proceso General del Método Para la ejecución el método de Valencia, es necesario considerar dos fases de

desarrollo, las cuales se definen los siguientes procesos:

Primera Fase o Fase Exploratoria: En esta fase se realiza la exploración de los sentimientos de los usuarios, los cuales reciben una instrucción abierta para explorar el producto, de la forma que estimen conveniente. No se establece la realización de tareas concretas, pues el método en si busca que los usuarios se encuentren en un modo de actividad, donde siguen sus necesidades y desarrollar sus propias metas intrínsecas. Como la instrucción secundaria, se les pide a los usuarios que preste atención a sus sentimientos durante la exploración de manera que monitoreen por medio de un dispositivo físico externo, todas las instancias en las que se sientan bien y el mal, pulsando un botón para el sentimiento positivo (botón verde) y para el sentimiento negativo (botón rojo); en la instrucción, se hace hincapié en el seguimiento hasta los más mínimos cambios de sentimiento.

Las pulsaciones de botón se registran como marcadores de valencia con marcas de tiempo en una grabación en vídeo de la fase de exploración. La fase de exploración debe ser breve, porque de lo contrario la memoria disminuirá en la fase retrospectiva.

Segunda Fase o Fase retrospectiva: En esta fase se realiza una entrevista por parte de los evaluadores a los usuarios, con preguntas establecidas, estas preguntas buscan encontrar dos aspectos relevantes para cada marcador de valencia: ¿Qué aspecto de diseño del producto causó la generación del marcador de valencia? ¿Cuáles son las necesidades relacionadas? Para ello los usuarios deben ver la grabación en video de la exploración, en la cual se aprecia las acciones realizas al momento de establecer el marcador de valencia.

Como primera instancia el evaluador pregunta sobre los aspectos de diseño del producto que causaron la generación del marcador de valencia, de manera de poder captar todos los aspectos de diseño relevantes, que pueden afectar a la experiencia del usuario. Una vez especificado los aspectos de diseño se establece la pregunta central de escalamiento es: ¿Por qué este atributo es positivo o negativo? Este tipo de preguntas tiene por objetivo identificar las necesidades del usuario. Tan pronto como se identifique esta necesidad, se realizan las mismas preguntas para el próximo marcador de valencia.

5.2.8 Observación Controlada La observación controlada es un instrumento básico en donde usuarios individuales

están invitados a un ambiente controlado (contexto no real) para probar características de un producto software. El objetivo es obtener una visión de los usuarios frente a los diversos detalles de diseño que serían difícil de probar en contextos reales.

25

La observación controlada se considera una técnica esencial dado que:

• Es planificada sistemáticamente, permitiendo prever lo que se espera observar, la forma en que se llevara a cabo, y cuándo se realizara.

• Es controlada, monitoreada y almacenada digitalmente para posterior estudio.

• Está sujeta a comprobaciones de validez y fiabilidad.

5.3 Análisis Comparativo de los Métodos de Evaluación Preseleccionados Resulta evidente que cada uno de los métodos de evaluación de Experiencia del

Usuario tiene sus propias características, sus propias ventajas y desventajas que lo diferencian de los otros, lo que permite captar las fortalezas y debilidades que determinarán cuándo y bajo qué parámetros es conveniente realizar uno de los métodos sobre otro, ya sea para los métodos de inspección como para los métodos de prueba. Algunos de estos ya se nombraron en las secciones anteriores al analizar cada uno de los métodos por separado, por lo que ahora se deben analizar con mayor nivel de detalle, por lo que se aplican nuevos criterios de evaluación, basados en los criterios postulados por Renato Otaiza Fuentes en su estudio Métodos de Evaluación de Usabilidad. Esto permitirá, finalmente, realizar un análisis comparativo de las características de cada uno de los métodos.

Tabla 6: Métodos preseleccionados

Criterios de Evaluación

Métodos de Inspección Métodos de Prueba Ev. Heurística

Property Checklist

Experimentos Formales

Método de Valencia

Co-Discovery

Emocards

Etapas de Desarrollo

Todas Diseño Finales Todas Diseño Finales

Objetividad Subjetivo Objetivo Objetivo Subjetivo Subjetivo Subjetivo

Tipo Datos Cualitativo Cuantitativo Cuantitativo Cualitativo Cualitativo Cualitativo

Tiempo Alto Medio Medio Medio Medio Bajo

Experiencia necesaria (Nivel de Expertos)

Media Baja/media Media/Alta Baja/media Baja/media Baja

Eval. Expertos

3 a 5 3 a 5 1 a 2 1 a 2 1 a 2 1 a 2

Usuarios de prueba

0 0 15 a 20 3 a 5 3 a 5 3 a 5

Equipamiento Bajo Bajo Medio/Alto Medio/Alto Bajo/Medio Bajo

Intrusivo No No Si Si Si Si

26

Tabla 7: Métodos preseleccionados 2 ª parte

Criterios de Evaluación

Métodos de Prueba Técnicas de Interrogación Observación Controlada

Etapas de Desarrollo Todas Todas Objetividad Subjetivo Subjetivo Tipo Datos Cuantitativo/Cualitativo Cuantitativo/Cualitativo Tiempo Bajo Medio Experiencia necesaria (Nivel de Expertos) Bajo Medio Eval. Expertos 1 a 2 1 a 2 Usuarios de prueba Mayor a 5 Mayor a 5 Equipamiento Bajo Medio/Alto Intrusivo No No

En la Tabla 6: Métodos preseleccionados y Tabla 7: Métodos preseleccionados 2 ª parte, se muestran los métodos preseleccionados, con sus respectivos criterios de evaluación, los cuales se definen de la siguiente manera:

Etapa de Desarrollo: similar a los criterios utilizados por los expertos del sitio, engloba las etapas de diseño, etapas intermedias y etapas finales.

Objetividad: Corresponde a la información que se obtiene a partir de la aplicación del método, estos pueden ser: objetivo o subjetivo.

Tipo: corresponde al tipo de datos que entrega el método, estos pueden ser: cuantitativo o cualitativo.

Cuantitativo: son aquellos que pueden medirse o cuantificarse (que pueden ser contados).

Cualitativo: Son aquellos que no se pueden expresar numéricamente. Representan una cualidad o atributo que clasifica a cada sujeto en una de varias categorías.

Tiempo: este atributo corresponde al tiempo promedio de la ejecución completa del método. Para comprender de mejor forma como fueron asignados estos tiempos, se tiene la siguiente tabla de distribución del tiempo de evaluación:

Tabla 8: Tiempos estimados para las evaluaciones

Método de Evaluación

Etapa de Preparación

Etapa de Procesamiento

Etapa de Análisis

Total

Evaluación Heurística

30 min 1 día 1 hora 25:30 horas

Property Checklist

30 min 5 horas 1 hora 6:30 horas

Experimentos Formales

2,5 horas 2 horas 4 horas 8:30 horas

Método de Valencia

40 min 2 horas 6 horas 8:40 horas

Co-Discovery 30 min 2 horas 3 horas 5:30 horas

27

Emocards 30 min 1,5 horas 3 horas 5 horas Técnicas de Interrogación

1,5 horas 20 min 1 hora 2:50 horas

Observación Controlada

30 min 6 horas 6 horas 12:30 horas

Bajo: 1:00 a 5:00 horas. Medio: 5:01 a 15:00 horas. Alto: más de 15:00 horas.

Experiencia Necesaria o Nivel de Experto: Se refiere al nivel de experiencia que

deben tener los evaluadores, al momento de llevar a cabo el método, la cuales pueden ser:

Baja: No posee experiencia previa del método. Media: Conocimiento previo del método, ha participado en más de una

ocasión. Alta: Conocimiento exhaustivo del método.

Evaluación de Expertos: Corresponde al número de expertos involucrados en la ejecución del método.

Usuarios de test: Corresponde a la cantidad de usuarios involucrados en la prueba. Equipamiento: Se refiere al equipamiento de software, hardware y herramientas en

general que son necesarias para la realización del método. Se distribuye en una escala de alta, media y baja.

Intrusión: se refiere a la interrogación a los usuarios, mediante la realización del método. En procesos no intrusivos, no se observa la actividad misma, pero si los acontecimientos que ocurren tras su ejecución.

28

6 Experimentos Piloto

Antes de realizar cualquier prueba formal, es necesario para toda investigación, la ejecución de diversos experimentos piloto, de manera de tener conocimiento práctico respecto de la ejecución de los métodos a utilizar en la metodología de evaluación a postular. Este proceso es fundamental ya que de esta forma se respalda el correcto uso de los métodos y se logra estimar la duración de las tareas, los procesos y los análisis correspondientes de cada método ejecutado. Las evaluaciones realizadas por los investigadores en esta etapa, corresponden a experimentos pilotos de los métodos de evaluación preseleccionados que forman parte de la propuesta metodológica de evaluación de UX (ver en Anexo C. “Experimentos Pilotos”).

Posterior a la ejecución de los experimentos pilotos, se logró identificar que ciertos métodos de evaluación corresponden a herramientas de evaluación y no métodos por si solos, por lo que en las no participarán en la propuesta metodológica. A continuación se detallan en la Tabla 9: Resumen de experimentos pilotos, las conclusiones y observaciones referentes a la ejecución de algunos de los métodos de evaluación preseleccionados.

Tabla 9: Resumen de experimentos pilotos

Método de Evaluación

Observaciones Conclusiones

Evaluación Heurística

-Inspección realizada al sitio TripAdvisor, fue desarrollada por 6 evaluadores con experiencia media en este tipo de evaluaciones. -Uso de heurísticas de Nielsen. -En la evaluación realizada, los evaluadores lograron destacar 32 problemas relacionados con el diseño del sitio, basada en los datos obtenidos se realizó un análisis de impacto y posteriormente se desarrollaron soluciones, para cada uno de los errores encontrados.

-El método de evaluación heurística es uno de los métodos más conocidas y utilizadas por los evaluadores a la hora de identificar problemas asociados al sitio evaluado. Se pueden utilizar heurísticas específicas para cada aplicación específica, por lo que es de vital importancia realizar reuniones para dar las instrucciones y heurísticas involucradas en la evaluación.

Property Checklist

Realizado por 3 evaluadores, los cuales no contaban con experiencia previa en este tipo de evaluación. La inspección se realizó sobre la aplicación móvil “Cinemark Chile”, en donde a cada experto se le indicaron las instrucciones correspondientes para posteriormente realizar la inspección a la aplicación. Se proporcionó una plantilla en la que se selecciona los checklist que aplican al sistema y se indican observaciones de diseño, accesibilidad, contenido y

-Permite verificar en etapas tempranas los objetivos de diseño involucrados en el producto a evaluar. -Depende en gran medida del evaluador que diseña el listado de propiedades a verificar lo que aumenta la subjetividad de esta evaluación.

29

experiencia de uso Emocards

-Realizado a 3 usuarios de prueba cuyo rango de edad es de 23 a 25. -La aplicación móvil escogida para la prueba, corresponde a “Cinemark Chile”. Esta aplicación permite ver ubicación de cines, cartelera, próximos estrenos, promociones y comprar entradas. -El análisis y resultados de la prueba se realizaron en base a las escalas de emociones faciales señaladas por los participantes y el uso posterior del material audiovisual almacenado en video y las grabaciones correspondientes a cada sesión de prueba.

-El objetivo primordial de este método es que los participantes expresen sus emociones y las representen por medio de representaciones en tarjetas, de esta manera los evaluadores podrán inferir la emoción positiva o negativa que les cause ante el uso de la aplicación. -Faculta la aplicación de una entrevista breve para rescatar aspectos relevantes para la investigación, por lo que claramente este método se ve complementado con técnicas de interrogación

Método de Valencia

-Realizada a 3 estudiantes Universitarios, se ejecutaron sobre la aplicación móvil “Cinemark Chile”. -Los participantes en una primera instancia realizaron la exploración de la aplicación sin la necesidad un listado de tareas, solo con la instrucción de que monitoreen sus sentimientos tanto positivos y negativos que les genere la acción que realizan, por medio de un dispositivo externo donde los usuarios registran el sentimiento positivo en botón verde y el negativo en botón rojo. -La segunda fase se procede a una encuesta realizada por los evaluadores a los usuarios por cada valencia registrada.

-Es un método complejo, que requiere tiempo, equipamiento y usuarios de participación activa, ya que su interacción es intrínseca. -Entrega información relevante y cualitativa, para la investigación. -Este método se compone de dos fases, una exploratoria y otra retrospectiva, esto permite a los evaluadores estudiar dos etapas de interacción, durante y después del uso, por lo que resulta ser un candidato aventajado para la propuesta metodológica a postular.

Experimentos Formales

-Se realizaron las pruebas de Usabilidad a 8 alumnos de la Pontificia Universidad Católica de Valparaíso, sobre una aplicación móvil llamada “40 Grados”, esta aplicación es un prototipo desarrollado por alumnos de Ingeniería en Ejecución de Informática, por lo que esta investigación ayudara a identificar y mejorar problemas de usabilidad, a través del análisis de los resultados obtenidos y observaciones de los

-Los experimentos formales permiten encontrar problemas, a raíz del incumplimiento de las metas objetivas que se le da a un usuario, a través de un listado de tareas a realizar, lo que lo hace un método con mediciones objetivas de varias características. Su principal inconveniente, es que requiere de muchos usuarios de prueba

30

participantes. (15 a 20). Interacción Constructiva

-Las pruebas empíricas realizadas a estos usuarios reales, son de interacción constructiva (Co-Discovery) que corresponde a la interacción de dos usuarios de prueba con un perfil de usuario similar que exploran el sistema en conjunto y se comunican de forma natural. Este proceso permite una visión real que no se distorsiona de la realidad. -Las pruebas realizadas se ejecutaron sobre la aplicación 365Scores en un dispositivo móvil Motorola Moto X, teniendo como finalidad de la prueba el detectar errores de la aplicación o dificultades que pudiesen tener los usuarios con la misma.

-Los problemas encontrados tras la aplicación de este método, se aprecian y se acercan a la realidad de mejor manera, puesto que los usuarios que interactúan y dan a conocer sus opiniones lo hacen de forma más natural, que cuando se ésta solo. Como inconveniente del método es que requiere de un mínimo de 8 usuarios participantes de la evaluación.

Finalmente y en base a los experimentos realizados en esta etapa, se pueden seleccionar dentro de los métodos de inspección a la evaluación heurística como un método seleccionado, dado que abarca una mayor cantidad de problemas en comparación a Property Checklist. Adicionalmente, los métodos de prueba seleccionados corresponden a experimentos formales, método de valencia y Emocards, además del uso de técnicas de interrogación para participar de la propuesta metodológica.

31

7 Evaluando la Experiencia del Usuario

Para esta investigación es importante la realización de evaluaciones, centrada en el foco de estudio, el cual contempla las aplicaciones móviles en dispositivos móviles de tipo Smartphone. Sousa & Mottus plantean que toda evaluación debe ser planificada, estructurada y ordenada con anticipación [16], por lo que para la realización de estas, se contemplan las siguientes etapas:

1. Definir los roles de forma organizada: Establecer los roles y responsabilidades de evaluadores, expertos (para inspecciones), y usuarios de prueba.

2. Definir los objetivos de la evaluación: Planteamiento global de la evaluación y las metas asociadas a la realización de la misma.

3. Definir la prueba y los procedimientos: Definir qué es lo que se necesita evaluar (tareas, contenido, diseño, entre otros), y definir qué es lo que se logra como evaluador al realizar dicho proceso.

4. Identificar los participantes: Establecer claramente quienes van a participar en el estudio.

5. Seleccionar el método: Detallar que método será utilizado y cuando será ejecutado. 6. Escribir en detalle el procedimiento de la evaluación: Formular instructivos,

esquemas o diagramas para explicar el procedimiento.

Con la finalidad de asegurar el éxito de una evaluación, se deben considerar las siguientes interrogantes involucradas en todo el proceso de evaluación:

¿Cómo evaluar la Experiencia del Usuario? Para evaluar la Experiencia del Usuario se deben utilizar métodos de

evaluación de Usabilidad y de UX, estos métodos nos entregan ciertas características acotadas o específicas dependiendo del área de estudio.

Las evaluaciones pueden ser formativas o aditivas, en las formativas se detectan problemas, mientras que en las aditivas se hace uso de mediciones mediante métricas.

¿Cuándo evaluar?

Figura 5 Esquema secuencial para la evaluación de la Experiencia del Usuario

32

Se debe evaluar antes, durante después de la interacción, considerando los siguientes procesos involucrados:

Antes de la interacción: Se debe inspeccionar las cualidades del producto, ya que son estas las que generan las percepciones previas al uso.

Durante la interacción: Se consideran las opiniones del usuario, las que junto con sus intenciones determinan sus percepciones de valor emocional.

Después del uso: Corresponden a las actitudes del usuario y el estado de ánimo generado por del uso del producto.

¿Qué evaluar?

Se debe evaluar las primeras impresiones, las percepciones, las emociones y los estados de ánimo relacionados a los factores que influyen en la Experiencia del Usuario. Para este caso de estudio los factores involucrados más relevantes son los siguientes:

Utilizable: La aplicación móvil a evaluar debe ser fácil de usar. Accesible: la aplicación debe permitir el acceso desde cualquier dispositivo móvil. Encontrable: La aplicación debe estar disponible en los canales de distribución

formal de aplicaciones. Deseable: La aplicación debe ser atractiva a ojos del usuario, teniendo un grado de

aceptación elevado.

33

8 Formulación de la Propuesta Metodológica

Para formular la propuesta metodológica, preliminarmente se debe considerar fundamental estructurar un orden lógico y secuencial, que estudie todo el proceso de interacción centrado en las percepciones y respuestas del usuario. Dicho orden lógico es la clave para definir la propuesta metodológica que abarca el estudio de toda la experiencia de uso, comprendiendo los procesos de antes, durante y después de uso. Esta lógica secuencial se logra construir mediante la asociación de los métodos de evaluación de UX a cada uno de los procesos ya mencionados.

Adicionalmente, y en base a los postulados del autor Renato Otaiza en su memoria de tesis, “Metodología de Evaluación de Métodos de Usabilidad para Web Transaccionales”, en donde sugiere especificar un orden al definir una propuesta, cimentado por tres instancias secuenciales. En primera instancia recomienda utilizar métodos de inspección, seguido de un análisis mediante métodos de prueba de Usabilidad, y finalmente técnicas de interrogación. Este orden planteado, permite definir la secuencialidad de los métodos de evaluación y estructurar la propuesta.

Se estiman ambas lógicas secuenciales como apropiadas y en base a éstas premisas se postulan dos propuestas metodológicas de evaluación de UX en dispositivos móviles de tipo Smartphone preliminares. Estas propuestas, son muy similares en su estructura, diferenciándose netamente en el orden temporal que se asigna a los métodos seleccionados, resultado de la combinación secuencial de los mismos. Se tiene por objetivo que esta combinación logre estudiar cabalmente la Experiencia del Usuario entregando a los investigadores información de valor significativo para la investigación.

Como punto de partida, ambas propuestas metodológicas preliminares deben considerar para la etapa de “antes de la interacción”, realizar una inspección de las cualidades del producto, utilizando para ello, la Evaluación Heurística. Esta evaluación consiste en una inspección minuciosa que persigue comprobar diferentes aspectos de diseño, navegación, operación y utilidad, con el fin de determinar si cada uno de sus elementos se adhiere o no a los principios heurísticos. Se recomienda realizar dicha evaluación con las heurísticas específicas para dispositivos móviles propuestas por los investigadores Inostroza, C. Rusu, Roncagliolo y V. Rusu (Smartphone Usability Heuristic), ya que permiten centrar aún más el estudio en esos dispositivos.

Posteriormente, para el estudio de la etapa “durante la interacción”, se deben analizar los métodos que evalúen la UX en aplicaciones móviles de tipo Smartphone, siendo los mejores candidatos Emocards, Método de Valencia, Experimento Formal y Co-Discovery. De estos cuatro métodos de evaluación, se atenderán primordialmente los que a juicio de los investigadores, se adecúan a las necesidades de la investigación, descartando de paso el método Co- Discovery. El motivo de descarte de este método es debido a que al ser pares de usuarios los involucrados, la interacción de los usuarios con el sistema es poco equitativa debido al tamaño de los dispositivos que se sitúan dentro de esta categoría, los que van en promedio de 3 a 5 pulgadas.

Una vez finalizada la interacción, es preciso captar las actitudes del usuario y estado de ánimo generados por el uso del producto, por lo que las técnicas de interrogación,

34

resultan ser el método más adecuado en esta etapa final. Las Técnicas de interrogación corresponden a preguntas realizadas a los participantes de los experimentos de prueba por medio de entrevistas o cuestionarios. Su objetivo principal es la recopilación de las opiniones de los usuarios, sobre el sistema que se está evaluando, captando información relevante que no obtenida con las pruebas mismas.

Se definen y esquematizan a continuación las propuestas metodológicas preliminares antes descritas.

8.1 Primera propuesta preliminar: Esta propuesta esta definida según las tres etapas de la interacción y se describen de

acuerdo a los siguentes pasos.

1. Paso 1: Se evalúa primeramente las cualidades del producto mediante una inspeccion de expertos realizada antes de la interacion del usuario con el sistema, ésta inspeccion se consigue a través de una evaluacion heurística, utilizando heurísticas especificas aplicadas a dispositivos moviles.

2. Paso 2: “Durante la interaccion”, se continua con el estudio por medio de dos metodos, Emocards y Experimentos Formales. Por un lado, Emocards, apunta al reconocimiento emocional por medio de la identificacion de tarjetas, y por el otro, Experimentos Formales, aporta objetividad a la metodologia, debido a que al ser altamente controlado y medible entrega resultados objetivos basados en datos cuantitativos. Ambos metodos se aplican por separados no importando el orden que tome uno respecto del otro.

3. Paso 3: Finalmente, se debe realizar tecnicas de interrogacion, especificamente cuestionarios “post test” facultando cubrir las percepciones de la fase “despues de la interacción”.

Figura 6 Primera propuesta preliminar de metodología de evaluación

Mediante la ejecución de esta combinación de los métodos de evaluación de UX, se obtendrá información precisa sobre la Experiencia del Usuario posterior a la ejecución de un conjunto de tareas específicas, debido a que serán realizadas inspecciones por parte de evaluadores expertos. Adicionalmente, podrán realizarse análisis estadísticos con base en

35

las acciones de los usuarios mediante los experimentos formales y de las expresiones faciales que el método Emocards permite identificar en las escalas emocionales. Para finalmente, obtener información sobre las percepciones subjetivas (cualitativas y cuantitativas) de los usuarios representativos.

La Tabla 10: Resumen de propuesta preliminar 1, presenta un resumen general de la primera propuesta preliminar:

Tabla 10: Resumen de propuesta preliminar 1

Objetivo de la evaluación Obtener mayor representatividad emocional de los usuarios, tras la ejecución de tareas definidas en una aplicación móvil

Métodos de evaluación involucrados

Evaluación Heurística, Experimentos Formales, Emocards y Técnicas de Interrogación

Ventajas Faculta la representación de un estado anímico final en base a las emociones capturadas. Permite la ejecución de tareas específicas en base a criterios del evaluador y la información que desea capturar.

Etapas del proceso de desarrollo

Los métodos de evaluación participantes de la metodología propuesta interactúan durante todo proceso de desarrollo. Se muestra que los elementos más básicos en el modelo de Ingeniería de Usabilidad son pruebas de usuario empírica y la creación de prototipos, combinado con un diseño iterativo. Estas actividades de Usabilidad son presentados por tres fases principales de un proyecto de software: antes, durante y después del diseño de producto y aplicación [17]. Como la Usabilidad está contenida en la Experiencia del Usuario, se consideran estos métodos de evaluación para medir la UX en todo proceso del desarrollo.

N° de evaluadores Se recomienda un número de evaluadores min. 2 y máx.5 N° usuarios participantes Se recomienda ejecutar las pruebas con más de 15 usuarios Especificación Evaluación Heurística: Ver Anexo D. “Evaluación

Heurística” Experimentos Formales: Ver Anexo E. “Experimentos Formales” Emocards: Ver Anexo F. “Emocards”

8.2 Segunda propuesta preliminar: Similar a la anterior, esta propuesta esta definida esta definida según las tres etapas de

la interacción y se describen a continuacion:

1. Paso 1: Se evalúa primeramente las cualidades del producto mediante una inspeccion de expertos realizada antes de la interacion del usuario con el sistema, ésta inspeccion se consigue a través de una evaluacion heurística, utilizando heurísticas especificas aplicadas a dispositivos moviles.

2. Paso 2:

36

“Durante la interaccion”, se continua con el estudio por medio de dos metodos, Metodo de Valencia y Experimentos Formales. Por un lado, Metodo de Valencia, resulta ser el método más asertivo a la hora de entregar información relevante para el estudio de la UX, ya que permite la exploración libre del usuario, en base a sus criterios de funcionabilidad del producto y el continuo estudio de percepciones del usuario, y por el otro, Experimentos Formales, aporta objetividad a la metodologia, debido a que al ser altamente controlado y medible entrega resultados objetivos basados en datos cuantitativos. Ambos metodos se aplican por separados no importando el orden que tome uno respecto del otro.

3. Paso 3: Finalmente, se realizan tecnicas de interrogacion, especificamente cuestionarios “post test” facultando cubrir las percepciones de la fase “despues de la interacción”.

Figura 7 Segunda propuesta preliminar de metodología de evaluación

De igual forma que el caso anterior, la ejecución de esta combinación de los métodos de evaluación de UX, se obtendrá información precisa sobre la Experiencia del Usuario posterior a la ejecución de un conjunto de tareas específicas, debido a que serán realizadas inspecciones por parte de evaluadores expertos. Adicionalmente, podrán realizarse análisis estadísticos con base en las acciones de los usuarios de los experimentos formales, así como también un análisis cualitativo y cuantitativo de las valencias identificadas con sus respectivas interpretaciones. Finalmente, se obtiene información sobre las percepciones subjetivas (cualitativas y cuantitativas) de los usuarios representativos, mediante mini entrevista retrospectiva y escalaria.

A continuación se muestra en la Tabla 11: Resumen de propuesta preliminar 2, un resumen general de la segunda propuesta preliminar de manera global:

Tabla 11: Resumen de propuesta preliminar 2

Objetivo de la evaluación Recopilación de percepciones, respuestas e indagación mediante entrevista retrospectiva a los usuarios que utilizan una aplicación móvil.

37

Métodos involucrados Evaluación Heurística, Experimentos Formales, Método de Valencia y Técnicas de Interrogación

Ventajas Permite capturar y cuantificar las principales percepciones de los usuarios participantes. Permite la identificación de un mayor número de problemas en relación a la metodología anterior. Permite la identificación de características del sistema que son agradables para los usuarios Otorga al usuario de prueba mayor libertad de uso mediante la indagación libre del sistema

Etapas del proceso de desarrollo

Los métodos de evaluación participantes de la metodología propuesta interactúan durante todo proceso de desarrollo. Se muestra que los elementos más básicos en el modelo de Ingeniería de Usabilidad son pruebas de usuario empírica y la creación de prototipos, combinado con un diseño iterativo. La actividades de Usabilidad las cuales están contenidas en la UX, son presentados por tres fases principales de un proyecto de software: antes, durante y después del diseño de producto y aplicación; por lo que da cuenta que la propuesta metodológica actúa en todo el proceso de desarrollo [17].

N° de evaluadores Se recomienda un número de evaluadores min. 3 y máx.5 N° usuarios participantes Se recomienda ejecutar las pruebas con 15 o más usuarios Especificación Evaluación Heurística: Ver Anexo D. “Evaluación

Heurística” Experimentos Formales: Ver Anexo E. “Experimentos Formales” Método de Valencia: Ver Anexo G. “Método de Valencia”

Considerando ambas propuestas preliminares, y en base a los experimentos realizados por los investigadores, se selecciona adecuada la segunda propuesta metodológica para ser aplicada. Si bien ambas propuestas resultan ser muy ricas en cuanto a la recolección datos para medir la Experiencia del Usuario, es la segunda de ellas la que proporciona un número mayor de percepciones y respuestas, y potenciales problemas asociados. Adicionalmente, se considera más asertiva la segunda en cuanto a la libertad de uso del producto durante la fase exploratoria, lo cual le permite al usuario indagar según sus necesidades que se estimen pertinentes en el momento y en base a las funcionalidades que brinde la aplicación a evaluar.

38

9 Validación de la Propuesta Preliminar

Para evaluar la Experiencia del Usuario es necesario un estudio en base a los procesos cognitivos, que permiten conocer como las personas sienten, perciben y almacenan información. Un estudio cognitivo es vital para la captura de aspectos relevantes que afecten a la UX, por lo que se debe tomar en consideración cómo las personas adquieren, interiorizan, procesan o exteriorizan información a partir de las sensaciones, percepciones e interacciones para lograr mayor productividad, precisión y satisfacción [18]. Estos aspectos relevantes colaboran en el proceso de evaluación, que permite captar la Experiencia del Usuario en las distintas aplicaciones móviles a través de la metodología propuesta.

Para dar validez parcial a la propuesta metodológica, es necesario realizar experimentos con expertos y usuarios, con la finalidad de poder extraer los aspectos más significativos que permitan medir la Experiencia de Uso en este tipo de aplicaciones. Esta validez se obtiene si y solo si se han conseguido datos significativos en el análisis de los experimentos que permiten obtener factores relevantes, como por ejemplo: la detección de errores, tiempo efectivo de ejecución de pruebas, tiempo de respuesta, percepción del usuario, entre otros. Es por esta razón que se realizaron primeramente pruebas a un caso de estudio determinado abordando de principio a fin la metodología y un posterior análisis.

A continuación se presenta un esquema con los procesos ejecutados en esta etapa de validación:

Figura 8 Modelo explicativo del proceso para la validación de la propuesta

9.1 Caso Estudio: Aplicación Gmail para móviles El producto a evaluar corresponde a la aplicación Gmail para móviles, es una

versión del servicio de correo de Gmail de Google. Esto es un servicio gratuito,

Análisis comparativo Detección de potenciales problemas

de UX Tiempo de ejecución y análisis Consideraciones adicionales

Trabajo experimental

Condiciones de evaluación Aplicación de los métodos de evaluación de UX Análisis de resultados

Selección de sistema de Software

Definición de caso(s) de estudio(s)

39

desarrollado para proveer el acceso a Gmail desde dispositivos móviles, así como a celulares o teléfonos inteligentes. Esta aplicación ofrece muchas de las características que Gmail ha entregado a las pequeñas pantallas de los móviles (tienen la capacidad de componer, leer, archivar, responder, reenviar, marcar sin leer, agregar una estrella, añadir etiquetas personalizadas o mensajes de correo electrónico basura) [19].

9.2 Evaluaciones Realizadas Las evaluaciones realizadas en esta etapa, corresponden a experimentos de los

métodos de evaluación seleccionados que serán parte de la propuesta metodológica para evaluar la Experiencia del Usuario en dispositivos móviles. Estas evaluaciones se efectuaran sobre la aplicación móvil de Gmail, como primer caso de estudio en esta etapa experimental de la investigación. Posterior a la ejecución de los experimentos se obtiene mucha información la cual debe ser analizada, para la captura de indicadores significativos para la investigación, se detallan a continuación los datos más significativos de cada método de evaluación.

Las evaluaciones realizadas corresponden a:

Evaluación Heurística Experimentos Formales Método de Valencia Técnicas de Interrogación

9.3 Análisis de Resultados En la siguiente sección se presentan los resultados obtenidos tras la realización de las

distintas evaluaciones realizadas. Primeramente se presentan los métodos de Inspección seguidos de los métodos de prueba.

9.3.1 Método de Inspección Los métodos de inspección corresponden a Métodos de Evaluación de Usabilidad,

que pueden ser usados para medir la UX (como se ha mencionado en secciones anteriores), estas inspecciones del diseño de la interfaz se ejecutan por medio de métodos heurísticos. Las inspecciones son realizadas por expertos en usabilidad, y se basan en el recorrido y análisis del sistema en evaluación, identificando errores y potenciales problemas de diseño; dependen del conocimiento y experiencia de los expertos. Dentro de este grupo de métodos, según autores los más relevantes son: evaluación heurística, recorrido cognitivo, recorrido pluralista, inspección de estándares, análisis de acciones [20]; pero para la propuesta metodológica solo se utilizará el método de evaluación heurística debido a que es un método más completo que el resto y permite identificar un gran número de problemas.

9.3.1.1 Evaluación Heurística A continuación se presenta el análisis de resultados arrojados en la Evaluación

Heurística realizada a la aplicación móvil Gmail, en ella se destacan aspectos como la metodología de la evaluación, el perfil de los evaluadores y los resultados de la evaluación, los cuales son complementados con el Anexo D: “Evaluación Heurística”.

40

9.3.1.1.1 Metodología de la Evaluación La metodología utilizada en el proceso de evaluación de usabilidad de Gmail versión móviles, corresponde a la evaluación heurística, la cual consiste en comprobar diferentes aspectos, desde diseño y navegación hasta operación y utilidad. Esta evaluación consiste en un análisis realizado por expertos, en el cual se realiza una inspección minuciosa a interfaces o sistemas, con el fin de determinar si cada uno de sus elementos se adhiere o no a los principios de usabilidad [21].

Para la aplicación de este método se utilizaron heurísticas genéricas y específicas para dispositivos móviles, las cuales son recomendadas por los autores R. Inostroza, C. Rusu, S. Roncagliolo, V. Rusu, en la tesis “Usability Heuristics for Touchscreen-based Mobile Devices” [22]. Estas heurísticas denominadas SMASH (Smartphone Usability Heuristics), permitirán encontrar aspectos relevantes para este caso de estudio y por ende problemas que ayuden a los investigadores a mejorar la Experiencia del Usuario.

En el proceso participaron 5 evaluadores, tanto en etapas grupales como también en etapas individuales. En la etapa individual cada evaluador debe emitir un listado, donde describe el problema encontrado, para luego en conjunto evaluar la reglas que son afectadas por su comportamiento y cómo podría mejorar el cumplimiento de ellas con un cambio en la interfaz. Añade que si bien esto último no es posible, sí será importante que los problemas conocidos sean reportados con el fin de intentar hacer las modificaciones posibles para aportar a su solución.

A continuación se presentan el conjunto de 12 principios genéricos y específicos para móviles que se utilizaron para la evaluación, las cuales se detallan en la Tabla 12: Heurísticas específicas para dispositivos móviles.

Tabla 12: Heurísticas específicas para dispositivos móviles

Id Heurística Principio Definición

SMASH1 Visibilidad del estado del sistema

El dispositivo debe mantener informados a los usuarios a través de retroalimentación sobre todos los procesos y el estado de cambio, en un tiempo razonable

SMASH2 Coincidencia entre el sistema y el mundo real

El dispositivo debe hablar el "idioma" del usuario, conceptos como sistema orientado y tecnicismos. El dispositivo debe seguir las convenciones del mundo real y mostrar la información en forma lógica y un orden natural

SMASH3 Control y libertad de usuario

El dispositivo debe permitir al usuario deshacer y rehacer sus acciones, y proporcionar claramente señalado “salida de emergencia” para salir estados no deseados. Estas opciones deben ser preferiblemente a través de un botón físico o similar.

SMASH4 Consistencia y Estándares

El dispositivo debe seguir las convenciones establecidas, en condición de que el usuario debe ser capaz de hacer las cosas en un ambiente familiar, forma estándar y consistente.

SMASH5 Prevención de errores

El dispositivo debe ocultar o desactivar funcionalidades no disponibles, advertir a los usuarios sobre acciones críticas y proporcionar acceso a la información adicional

SMASH6 Minimizar carga de memoria.

El dispositivo debe ofrecer objetos visibles, acciones y opciones con el fin de evitar que los usuarios memoricen

41

información de una parte del diálogo a otro.

SMASH7 Personalización y atajos

El dispositivo debe proporcionar opciones de configuración básica y avanzada, permitirá la definición y personalización de (o para proporcionar) accesos directos a acciones frecuentes.

SMASH8 Eficiencia de uso y rendimiento

El dispositivo debe ser capaz de cargar y mostrar la información requerida en un plazo razonable y minimizar los pasos necesarios para realizar una tarea. Animaciones y transiciones deben mostrarse sin problemas.

SMASH9 Diseño estético y minimalista El dispositivo debe evitar mostrar información no deseada en un contexto definido de uso.

SMASH10

Ayudar a los usuarios a reconocer , diagnosticar y recuperarse de errores

El dispositivo debe mostrar mensajes de error en un lenguaje familiar para el usuario, indicando el tema de manera precisa y sugerir una solución constructiva.

SMASH11 Ayuda y documentación

El dispositivo debe proporcionar documentación y ayuda fácil de encontrar, centrado en la tarea actual del usuario e indicando los pasos concretos a seguir.

SMASH12 Interacción física y ergonomía

El dispositivo debería proporcionar botones físicos o similar para funcionalidades principales, situados en posiciones reconocibles por el usuario, que debe adaptarse a la postura natural de las manos del usuario.

De manera de comprender de mejor forma como llevo a cabo esta evaluación, se detallaran los siguientes pasos [23]:

1. Cada evaluador trabaja de manera independiente explorando el sitio, con el fin de encontrar potenciales problemas de usabilidad y a la vez seleccionando aspectos positivos del sistema. Todo esto es recopilado en un listado individual, el cual se almacenan los problemas con sus respectivos principios incumplidos basados en las Smash (Smartphone Usability Heuristics).

2. Luego el equipo de evaluadores se reúne para juntar en un único listado los

problemas encontrados, bajo la supervisión de un coordinador (que puede ser un evaluador del grupo que actúe como moderador). El listado debe ser calificado de forma individual, con valores que varían entre 0 y 4, los cuales deben ser asignados a la frecuencia de ocurrencia del problema, así como también a su severidad, los resultados son sumados con el fin de obtener un indicador de criticidad el cual indica que tan grave o simple es el problema analizado.

3. Se calculan de manera grupal los promedios y desviaciones estándares de los

problemas. Obtenido los resultados se realizan rankings de criticidad y severidad, los cuales son analizados para posteriormente entregarles una solución o propuesta de solución a estos problemas. Además se genera una lista con aspectos positivos del sitio que se logran destacar a juicio de los evaluadores.

42

9.3.1.1.2 Perfil y Experiencia de los Evaluadores En la Tabla 13: Perfil y experiencia de los evaluadores, se presentan los perfiles de

los evaluadores que participaron de la evaluación heurística, y su respectiva experiencia en evaluaciones anteriores:

Tabla 13: Perfil y experiencia de los evaluadores Evaluación Heurística Gmail

Evaluador Carrera Año Experiencia Alejandro Casanova

Ingeniería Civil Informática

Egresado - Evaluación Heurística del sitio web Google Cultural Institute utilizando las heurísticas de Nielsen. -Evaluación Heurística del sitio Duolingo, utilizando heurísticas de Nielsen, como también un conjunto de heurísticas propuestas por Fabiola Sanz y Raúl Gálvez.

Daniel Guzmán Ingeniería Civil Informática

6to año -Evaluación Heurística del sitio www.expedia.com, www.tripadvisor.com, utilizando heurísticas de Nielsen.

Nicole Aguirre Ingeniería Civil Informática

6to año -Evaluación Heurística del sitio www.Expedia.com -Evaluación Heurística del sitio web www.lingualia.com -Evaluación Heurística del sitio web www.duolingo.com En ambas se ocuparon las heurísticas de Nielsen como también un conjunto de heurísticas propuestas por Fabiola Sanz y Raúl Gálvez. -Evaluación Heurística del sitio web Google Cultural Institute, utilizando las heurísticas de Nielsen.

Maritza Herrera Ingeniería Civil Informática

6to año -Evaluación Heurística del sitio www.Expedia.com, www.tripadvisor.com, utilizando heurísticas de Nielsen.

Jennifer Vásquez Ingeniería Civil Informática

6to año -Evaluación Heurística del sitio web www.lingualia.com -Evaluación Heurística del sitio web www.duolingo.com En ambas se ocuparon las heurísticas de Nielsen como también un conjunto de heurísticas propuestas por Fabiola Sanz y Raúl Gálvez. -Evaluación Heurística del sitio web Google Cultural Institute, utilizando las heurísticas de Nielsen. -Evaluación Heurística del sitio web Khan Academy ocupando las heurísticas de Nielsen y las propuestas por Daniela Vargas. -Evaluación Heurística del simulador de conducción City Car Driving ocupando las heurísticas propuestas por Aníbal Campos.

43

9.3.1.1.3 Resultado de las Evaluaciones Los resultados de la evaluación heurística podrán visualizarse con mayor detalle en

el Anexo D: “Evaluación Heurística”, donde se expondrán en primer lugar los problemas encontrados con sus respectivos comentarios. Luego se presentarán los problemas ordenados según los principios incumplidos. Posteriormente se presentará la tabla de evaluación realizada por los evaluadores en conjunto con los rankings por severidad y criticidad. Finalmente se expondrán comentarios sobre los resultados obtenidos en conjunto con los puntos positivos observados por los evaluadores.

En la evaluación realizada, los evaluadores lograron detectar 49 problemas relacionados principalmente con el diseño de la aplicación. Para ordenar estos potenciales problemas, se realizó un análisis de severidad y frecuencia de cada uno de estos, de manera de determinar el impacto que posee un determinado problema. Además, se resaltaron aspectos positivos los que pueden favorecen aspectos de Usabilidad y pueden incidir de forma positiva la Experiencia de Uso.

En relación a la ejecución del método, uno de los problemas que se presentaron al momento de realizar las inspecciones, fue la falta de conocimiento por parte de los expertos respecto a las heurísticas que se utilizaron (SMASH). El conocimiento anterior que poseían los expertos solo se basa en inspecciones usando los principios de Nielsen, por lo que debieron comprender primeramente las heurísticas para poder utilizarlas.

9.3.1.1.4 Elementos Positivos En la Tabla 14: Elementos positivos Evaluación Heurística Gmail, se exponen aquellos puntos que los evaluadores señalaron como elementos positivos de la aplicación Gmail.

Tabla 14: Elementos positivos Evaluación Heurística Gmail

Id Definición Comentarios/Explicaciones Ocurrencia

Po1 Interacción de

botones, según la opción elegida.

Al hacer una búsqueda en la aplicación móvil se hacer medio del icono lupa

Cada vez que se presione alguna opción del menú de búsqueda

Po2 Muestra de Spam Organiza los correos y los agrupa para que

el usuario evite abrir correos maliciosos

Cada vez que llega un correo

Po3 Uso de colores Colores acordes a la versión web En todo momento

Po4 Muchas opciones para adjuntar un

documento

Permite uso de imágenes, documento Word, PDF, sincronizar con Drive de

Google, etc.

Al momento de archivar algo en el cuerpo del mensaje

Po5 Uso de Responsive Los correos y la aplicación en general se ajusta a la pantalla del dispositivo

En cualquier dispositivo

44

Po6

Notificaciones sincronizan con el

dispositivo sin tener aplicación

abierta

Notificación de mensajes automática

En todo momento

*Po: Elemento Positivo

9.3.2 Métodos de Prueba Los métodos de prueba corresponden a Métodos de Evaluación de Usabilidad y

Métodos de Evaluación de Experiencia del Usuario del sitio www.allaboutux.org, estas pruebas empíricas del diseño de la interfaz se realizan con usuarios representativos, es decir, son pruebas basadas en la experiencia real de los usuarios. Los usuarios realizan tareas concretas en la aplicación móvil, mientras que los evaluadores analizan los resultados para determinar si la interfaz brinda a los usuarios el soporte que requieren para la realización de dichas tareas.

Una de las características más importantes de los métodos de prueba, es que las evaluaciones se realizan bajo condiciones controladas y de la forma más representativa posible de la realidad (laboratorios de usabilidad en este caso), en donde los usuarios realizan ciertas acciones asignadas por los evaluadores con el fin de obtener información de su experiencia la aplicación evaluada, de manera que puedan detectarse problemas de usabilidad. Dentro de las evaluaciones realizadas bajo este contexto corresponden a: Método de Valencia y Experimento Formal.

9.3.2.1 Método de Valencia A continuación se presenta el análisis de resultados de las evaluaciones realizadas, en

ella se contemplan los ítems de: diseño de la prueba, selección de participantes y los resultados, las tablas y las pruebas se encuentran en Anexo G “Método de Valencia”.

9.3.2.1.1 Diseño de la Prueba

Las pruebas realizadas a 6 estudiantes de la Pontifica Universidad Católica de Valparaíso, se ejecutaron sobre la aplicación móvil Gmail, con el fin de conocer las necesidades de los usuarios ante el uso de la aplicación. Los participantes en una primera instancia realizaron la exploración de la aplicación sin la necesidad un listado de tareas, solo con la instrucción de que monitoreen sus sentimientos tanto positivos y negativos que les genere la acción que realizan, por medio de un dispositivo externo donde los usuarios registran el sentimiento positivo en botón verde y el negativo en botón rojo.

45

Figura 9 Dispositivo de registro emocional para método de Valencia

La segunda fase se procede a una encuesta realizada por los evaluadores a los usuarios por cada valencia registrada. Las pruebas fueron diseñadas para medir las necesidades, emociones y dificultad del usuario ante el uso del producto, con el objetivo de identificar problemas de aspectos de diseño, necesidades de la aplicación y la experiencia de uso; los resultados serán posteriormente para ser analizados para futuras mejoras. En la segunda fase de ejecución los evaluadores realizaron la entrevista por cada marcador de valencia por lo que en la Tabla 15: Tabla para evaluador del método de Valencia, se muestran los elementos a considerar para el posterior análisis:

Tabla 15: Tabla para evaluador del método de Valencia

N° Valencia Positiva o Negativa Tiempo [min] Respuestas

Las preguntas que realizar los evaluadores por cada marcador de valencia son las siguientes:

¿Qué aspecto de diseño causo la generación de esta valencia?: esta pregunta alude a que si la valencia es positiva o negativa que aspectos de diseño relevante del producto causo este sentimiento durante la interacción.

¿Cuáles son las necesidades relacionadas?: una vez identificados los aspectos de diseño relevantes se debe encontrar las necesidades asociadas, para futuras mejoras.

¿Por qué el atributo le resulto más positivo/ negativo?: asociada al marcador indicado, de manera de identificar que considera bueno o malo.

9.3.2.1.2 Selección de participantes, Entornos y Ejecución de la Prueba Las personas que participaron en la prueba corresponden a alumnos de la Escuela de

Ingeniería Informática de la Pontificia Universidad Católica de Valparaíso, que cursan la asignatura “Ingeniería de la Usabilidad”, que poseen Smartphone y se relacionan con aplicaciones de correo electrónico frecuentemente, que haya o no usado la aplicación Gmail con anterioridad, o que tengan experiencia de uso con otros productos similares como

46

Yahoo, Outlook, entre otros. El único prerrequisito para la selección de participantes para la prueba es que sepan utilizar un Smartphone y tener conocimientos básicos sobre la utilización de él, con el único fin de que puedan llevar a cabo la prueba propuesta por el equipo evaluador.

Estas personas deben estar dispuestas a ejecutar la prueba el día viernes 25 de septiembre del 2015 entre las 14:00 y las 17:30 horas. La prueba se realizó a 6 personas, que encajaban con el perfil anteriormente descrito, esta prueba se ejecutó en un entorno en el cual los participantes estaban aislados, mientras que los evaluadores supervisaban las actividades realizadas por los usuarios durante la primera fase de desarrollo, donde se encargaron de grabar un video que permitió ver tanto las acciones realizadas por los usuarios, como también el marcador de valencia seleccionado. En la segunda fase se procedió a la entrevista de los usuarios por cada marcador de valencia monitoreado, mostrándole al usuario el video de grabación realizada al momento de generar el marcador de valencia.

Para ello se utilizó el laboratorio de usabilidad, el cual se encuentra en las instalaciones de la Escuela de Informática de la Pontificia Universidad Católica de Valparaíso, tiene implementado tanto el mobiliario como las tecnologías para realizar dicha prueba. Para la selección de los participantes, se consideraron:

El entorno de la realización de la Prueba de Usabilidad de la aplicación móvil Gmail.

Fecha: Viernes 25 de Septiembre del 2015.

Hora: 14:00 horas.

Lugar: Laboratorio de Usabilidad de la Escuela de Informática de la PUCV.

Hardware: Smartphone Moto X 2 Generación SO Android 5.0.1.

9.3.2.1.3 Resultado de las Evaluaciones

El perfil del usuario evaluado, tiene un rango de edad que va desde los 22 a 25 años, los cuales son estudiantes de la Escuela de Ingeniería Informática de la Pontificia Universidad Católica de Valparaíso. En su rutina diaria se relacionan con sus Smartphone, con los cuales acceden a todo tipo de aplicaciones, y en ocasiones acceden a estas herramientas para comunicarse, informarse y compartir información con sus profesores, compañeros y personas en general.

La aplicación móvil escogida por los evaluadores, corresponde a Gmail, es un servicio de correo electrónico con posibilidades POP3 e IMAP gratuito proporcionado por la empresa estadounidense Google. Otorga la funcionalidad de recibir mensajes de forma instantánea a través de notificaciones en el dispositivo, leer y responder correos de forma online u offline, y agilizar la búsqueda de mensajes, entre otras.

47

En base a los datos recopilados en la fase de pruebas se entregan los siguientes análisis referentes a la prueba misma y a las preguntas realizadas en la entrevista por cada valencia:

De los 6 usuarios que realizaron la prueba, el número de valencias registradas por cada usuario se encuentra entre las 3 a 9. Dando un total de 32 valencias registradas, las cuales los usuarios en su mayoría registro más valencias positivas (2 a 5) durante la interacción de la aplicación; esto se puede ver en la gráfica.

Figura 10 Valencias registradas caso de estudio Gmail

El tiempo de ejecución de la prueba varía entre los 10 a 15 min, en la cual se realizaron cuestionarios pre-test, fase de exploratoria (contempla un tiempo aprox. 5 min) y una entrevista (fase retrospectiva) por cada valencia registrada. El registro de las percepciones e identificación de las valencias se puede contemplar de mejor forma en Table de registro que se encuentra en Anexo G “Método de Valencia”, la cual muestra además las percepciones respecto a la valencia marcada por el usuario.

Adicionalmente una vez realizada la segunda fase del método, se realizó una mini entrevista a los participantes, a modo de captar ciertas percepciones respecto a la aplicación en general y al método en sí mismo.

¿Qué aspectos positivos consideras importante destacar de la aplicación móvil Gmail? - Se tienen muchas opciones a la hora de adjuntar un archivo. - Las notificaciones están relacionadas a la bandeja de entrada. - Entrega conocimiento de correos maliciosos. - Se pueden destacar correos. - Fácil de navegar. - Claridad en conceptos de búsqueda.

¿Qué aspectos negativos consideras importante destacar de la aplicación móvil Gmail? - Mucha información, tiende a confundir al usuario. - No se explican conceptos como “Spam” o “Promociones” - Algunos iconos son inadecuados (el icono de lápiz es para editar, aquí se usa

para enviar un nuevo mensaje). - Uso de recursos para una misma funcionalidad.

Positivas 21 66%

Negativas 11 34%

VALENCIAS PERCIBIDAS POR USUARIOS

48

¿Qué te pareció la ejecución del método y que recomiendas? - Se pueden obtener muchos problemas, pues el método permite captarlas de

forma más flexible, pues el usuario navega a modo que desee. - Interactivo y evidencia aspectos de la percepción y libertad de uso. - El uso frecuente de una aplicación de este tipo puede hacer que no se encuentren

tantos aspectos negativos por parte de los participantes. - Como recomendación general, ojala pudieran ir hablando al momento de ir

marcando la valencia (uso de método pensamiento en voz alta).

9.3.2.2 Experimentos Formales A continuación se presenta el análisis de resultados de las evaluaciones realizadas, en

ella se contemplan los ítems de: diseño de la prueba, selección de participantes, entorno y contexto de prueba y los resultados; los cuales se complementan con los resultados particulares encontrados en el Anexo E: “Experimentos Formales”.

9.3.2.2.1 Diseño de la prueba La prueba aplicada corresponde a la ejecución del método de evaluación de

Usabilidad Experimentos Formales; este tipo de experimento propone que los usuarios sean controlados y supervisados por sus evaluadores, por lo que la prueba debió realizarse en un laboratorio de Usabilidad de la Pontificia Universidad Católica de Valparaíso. El objetivo principal de esta prueba es encontrar problemas de Usabilidad, y para ello los usuarios deben realizar tareas definidas por los evaluadores, con el objetivo de captar la frustración de los usuarios al no poder cumplir con la tarea encomendada, o por el contrario su satisfacción al poder concretar la misma.

Se realizó la prueba a quince alumnos de la Pontificia Universidad Católica de Valparaíso, teniendo como caso de estudio la aplicación móvil Gmail. Las pruebas fueron diseñadas para medir el grado de satisfacción, éxito y la dificultad del usuario al momento de llevar a cabo una serie de tareas predefinidas por los evaluadores, esto con el objetivo de facilitar la identificación problemas.

Se contempla para la prueba una serie de tareas diseñadas por los evaluadores, las cuales se detallan a continuación:

Tarea 1: “Enviar un mensaje con copia y copia oculta” consiste en escribir y enviar un correo a un destinatario determinado, considerando una copia y una copia oculta

Tarea 2: “Revisar los correos recibidos una fecha específica” consiste en buscar los correos recibidos en la cuenta de un día en particular señalado en el instructivo.

Tarea 3: “Configurar respuesta automática” consiste en configurar la respuesta automática que genera la cuenta, determinando el rango de fecha a configurar y el mensaje correspondiente de auto respuesta.

Tarea 4: “Recuperar correo eliminado” consiste en buscar un correo eliminado en la papelera de la cuenta y restaurarlo a la categoría principal.

49

Es preciso señalar que cada usuario que participo en las pruebas, primeramente firmó el acuerdo de confidencialidad, este acuerdo protege su identidad en el resultado y análisis de las pruebas, ya que para los evaluadores no es preciso analizar de forma individual, sino que en base a perfiles de usuarios anónimos. Posterior al compromiso de confidencialidad, se explica el procedimiento de evaluación a los usuarios, en el cual como primera instancia contempla rellenar el cuestionario Pre- test, para lograr captar el perfil de usuario que se somete a la evaluación. Seguidamente se entrega el listado de tareas, las cuales el usuario debe seguir minuciosamente. Como última actividad, el usuario deberá completar un cuestionario Post-test, para así captar información relevante respecto a la aplicación.

La información recopilada durante todo este proceso fue almacenada de forma audiovisual, ya que es necesaria para el posterior proceso de estudio, para dicho escenario es de vital importancia el almacenamiento en video de la interacción desarrollada por los usuarios. Al realizar este procedimiento, es posible construir análisis estadísticos de las acciones del usuario, considerando tiempos involucrados, tasa de errores y otros factores que influyen en la interacción.

9.3.2.2.2 Selección de participantes Para este proceso se seleccionaron personas mayores de dieciocho años, alumnos de

diversas carreras de la Pontificia Universidad Católica de Valparaíso. Además los participantes debían cumplir con el perfil requerido para la prueba el cual contemplaba un manejo en dispositivos móviles. Finalmente con el fin de tener un grupo más diverso, se buscó participación de usuarios con y sin experiencia previa en aplicaciones similares.

A los participantes se les explicó en qué consistía la prueba, sus objetivos y cuales debían ser los pasos a seguir en determinados problemas que podrían surgir a lo largo de la experiencia. También se explicó el acuerdo de confidencialidad y para qué servía este, asegurando la confidencialidad de sus opiniones y acciones frente a la plataforma seleccionada para la realización de las pruebas en cuestión.

Para realizar las pruebas se seleccionaron quince participantes que de manera voluntaria ejecutaron las pruebas mencionadas. A continuación se presenta la Tabla 16: Características de participantes de Experimentos Formales, con los perfiles de los colaboradores.

Tabla 16: Características de participantes de Experimentos Formales en Gmail

Sexo Edad Nivel de educación Ocupación

¿Con frecuencia accede usted a correo electrónico a través de

su Smartphone?

Usuario 1 Masculino 24 Universitario Estudiante Siempre

Usuario 2 Masculino 22 Universitario Estudiante Casi Siempre

Usuario 3 Masculino 21 Universitario Estudiante Siempre

Usuario 4 Masculino 20 Universitario Estudiante Algunas Veces

50

Usuario 5 Masculino 24 Universitario Estudiante Casi Siempre

Usuario 6 Masculino 22 Universitario Estudiante Algunas Veces

Usuario 7 Masculino 24 Universitario Estudiante Algunas Veces

Usuario 8 Masculino 22 Universitario Estudiante Casi Siempre

Usuario 9 Masculino 22 Universitario Estudiante Algunas Veces

Usuario 10 Femenino 20 Universitario Estudiante Casi Siempre

Usuario 11 Masculino 23 Universitario Estudiante Siempre

Usuario 12 Masculino 19 Universitario Estudiante Casi Siempre

Usuario 13 Femenino 26 Universitario Estudiante Casi Siempre

Usuario 14 Masculino 23 Universitario Estudiante Algunas Veces

Usuario 15 Masculino 20 Universitario Estudiante Algunas Veces

9.3.2.2.3 Entorno de pruebas Uno de los aspectos más importantes en una prueba de usabilidad es el entorno en

donde se realizará la misma. Es importante por el hecho de que realizar las pruebas en un ambiente no adecuado, puede afectar la objetividad de los resultados de las pruebas. Esto fue considerado por los evaluadores los que disponen de esta herramienta en dicha casa de estudios.

Para desarrollar las pruebas, se utilizaron las dependencias de la Escuela de Ingeniería en Informática de la Pontificia Universidad Católica de Valparaíso, ya que cuenta con un laboratorio adecuado diseñado específicamente para realizar pruebas de usabilidad, entregando a los participantes de estas, un ambiente ideal y confortable para realizarlas. El laboratorio es un ambiente cerrado, dividido en dos zonas separadas por una ventana de vidrio polarizado (hacia el sujeto en prueba) y aislación acústica. Provee al evaluador de una zona donde pueda controlar y visualizar al sujeto de prueba, mediante el uso de software que permite ver y recopilar todos los movimientos y expresiones gatilladas por la interacción del sujeto de prueba con el dispositivo. Proporciona además otro espacio físico en donde se encuentra el equipamiento para realizar las pruebas de usabilidad por los participantes.

Figura 11 Laboratorio de Usabilidad PUCV

51

9.3.2.2.4 Ejecución de la prueba La prueba se llevó a cabo el día 21 de Octubre del 2015 desde las 15:00 hasta las

18:30 en el laboratorio de Usabilidad de la Pontificia Universidad Católica de Valparaíso, dicho entorno se definió para la realización de las pruebas dado que posee todas las herramientas necesarias para estudiar y analizar la mayoría de los aspectos en tiempo real de cada una de las pruebas y de los usuarios.

9.3.2.2.5 Resultado de las Evaluaciones En la evaluación realizada, los evaluadores lograron rescatar principalmente

indicadores cuantitativos y objetivos en base al análisis de las acciones realizadas por los usuarios en la fase de pruebas. Por medio del cuestionario post uso se detectó que las tareas fueron completadas fácilmente por los usuarios, y que la interpretación de la información requerida para la ejecución de dichas tareas también fue lograda fácilmente, adicionalmente los usuarios indicaron mayoritariamente sentirse orientados durante el uso de la aplicación. Por otra parte en base al estudio del material audiovisual y examinando las actividades realizadas por los usuarios mientras desarrollaban la prueba, se promedian los siguientes indicadores (Ver Anexo E: “Experimento Formal”):

Tiempo promedio para completar tareas específicas: 3.75 min Número de tareas completadas a los 10 minutos: 2 Número promedio de errores: 0,3 Tiempo de recuperación de errores: 1:05 min Frecuencia de uso de la ayuda del sistema: 0

9.3.2.3 Técnicas de Interrogación Las técnicas de interrogación no pudieron ser ejecutadas para esta validación parcial,

por lo que se posterga la ejecución del cuestionario ya estructurado PSUQ (Post Scenarie Usability Questionnaire) para la validación formal de la propuesta, el uso de este cuestionario es principalmente debido a que puede llegar a un grupo de usuarios mucho mas más numeroso.

Se espera conseguir con este cuestionario, datos cuantitativos principalmente, que permitan validar por medio de estimadores estadísticos la importancia de este método para la presente propuesta metodológica.

9.4 Conclusiones generales de validación parcial Considerando toda la información obtenida en la ejecución de los experimentos, se

puede evidenciar que la propuesta tiene un gran potencial de éxito en relación al cumplimiento de los objetivos. Esto se debe, ya que posterior al análisis de un caso de estudio por medio de esta propuesta se logra captar datos cuantitativos significativos, percepciones y respuestas positivas y negativas y el estado anímico final del usuario. Es por esto que la propuesta tiene una validez parcial, ya que permite potencialmente la medición de la Experiencia del Usuario en una aplicación móvil.

52

10 Evaluación de propuesta con expertos

Teniendo ya una propuesta preliminar de metodología de evaluación planteada, se procede a la evaluación de dicha propuesta con expertos en UX y Usabilidad; para este propósito, Daniela Quiñones, estudiante de Doctorado en Ingeniería Informática y Diplomado en Usabilidad y UX de la Pontificia Universidad Católica de Valparaíso, fue quien evaluó la propuesta y aporto críticas constructivas que permitieron mejorar este planteamiento de metodología, y refinar ciertas asperezas en detalles técnicos y conceptuales.

Los tópicos que debieron ser revisados en relación a los comentarios de la experta, son relacionados a la aplicabilidad de la propuesta en las diversas etapas del ciclo de desarrollo del software, ya que a su criterio, es necesario explicar la obligatoriedad de usar todos los métodos, o proponer recomendaciones de aplicabilidad de un cierto número de métodos para cada etapa de desarrollo en específico.

Una vez realizado el análisis de la propuesta con la experta, se logró potenciar por medio de sus observaciones y sus propuestas de mejoras, diversos falencias que presentaba la propuesta preliminar, permitiendo a los investigadores refinar dicha propuesta y formalizarla a una propuesta definitiva

Adicionalmente, Aurora Sánchez, académica de la Universidad Católica del Norte, realizó recomendaciones en relación a la forma de tratar los datos cuantitativos y cualitativos obtenidos en los experimentos, con la finalidad de tener claridad en la forma de interpretar la información recopilada. También, y con miras de extender la investigación, comento respecto a nuevas técnicas más sofisticadas para analizar estos datos, como el caso de lógica difusa.

53

11 Refinación de propuesta metodológica

En la sección 8, se definieron 2 propuestas metodológicas que combinaban distintos métodos de evaluación de manera global, específica y enfocada a tareas, las cuales conforman la metodología para la evaluación de la UX en dispositivos móviles. Posteriormente la sección 9, se procedió a evaluar una de las combinaciones propuestas teniendo en cuenta un escenario específico de evaluación, intentando verificar que la combinación permitiera obtener resultados más adecuados. Finalmente, fue realizado un análisis comparativo de resultados con el objetivo de confirmar o desechar la combinación aplicada al caso estudio.

La metodología de evaluación ha sido propuesta considerando las características detección de problemas y tiempo. Las combinaciones de los métodos de evaluación pueden ser realizadas en, prácticamente, cualquier etapa del ciclo de desarrollo de un sistema interactivo, aunque probablemente se adaptan mejor en etapas tempranas, cuando se tenga un prototipo funcional que permita efectuar pruebas con usuarios reales. Se sugiere que el sistema a evaluar tenga cierto grado de avance o funcionalidad, para que los expertos puedan evaluarlo de una mejor manera y puedan obtenerse resultados más completos.

La propuesta escogida está enfocada en analizar un sistema de manera íntegra, por medio de los métodos de evaluación heurística, método de valencia, experimentos formales y técnicas de interrogación mediante el cuestionario PSUQ. Este conjunto de métodos apunta a la obtención de información significativa tras el proceso de análisis de resultados y estudio de la interacción de los usuarios con un sistema. La Figura 12 representa la estructura de este capítulo.

Figura 12 Modelo explicativo para el proceso de refinación de la propuesta

54

11.1 Metodología propuesta Como se ha mencionado, para poder medir la experiencia del usuario, es necesario

realizar evaluaciones mediante métodos de evaluación, y el camino más común para hacer estas evaluaciones de Usabilidad y de UX es combinando métodos de inspección con métodos de prueba, dependiendo del escenario o caso de estudio que se presente [24]. En ese sentido, la metodología para la evaluación de la Experiencia del Usuario en dispositivos móviles de tipo Smartphones debe incluir, por lo menos, uno de los métodos de inspección y uno de los métodos de prueba.

Es por lo anterior que en primera instancia se define como método de inspección a utilizar, la evaluación heurística, dado que permite identificar un gran número de problemas de usabilidad mediante inspecciones al producto [25]. Estas evaluaciones permiten analizar la conformidad de la interfaz en relación a principios reconocidos de usabilidad. En segundo lugar, respecto a los métodos de prueba, la metodología de evaluación debe incluir por lo menos uno de los métodos de evaluación de UX (recolectados del sitio allaboutux.org) o de Usabilidad [26] que realizan una interacción directa del usuario y/o el sistema, es decir, los experimentos formales y método de valencia.

Entre los métodos de prueba que no consideran una interacción directa con el sistema se encuentran las entrevistas y cuestionarios. Estos métodos de interrogación permiten identificar problemas relacionados al diseño, navegación y otros aspectos de los sistemas evaluados, además de obtener información relacionada a la satisfacción subjetiva de los usuarios ante el uso del sistema [27]. Esta última característica es clave al momento de proponer posibles combinaciones, debido a que los métodos de interrogación funcionan como complemento a los métodos de prueba. Adicional a lo anterior, las entrevistas y cuestionarios resultan apropiados para complementar la ejecución de otros métodos de prueba pues su preparación, ejecución y análisis no demandan una cantidad significativa de tiempo.

En base en los argumentos antes presentados, la metodología de evaluación que se plantea se enfoca en la combinación de una serie de métodos de evaluación tanto de Usabilidad como de Experiencia del Usuario, que permiten medir la Experiencia del Usuario en dispositivos móviles, específicamente en Smartphones.

A continuación es esquematiza y presenta la propuesta formal de metodología.

1. Paso 1: Antes de la interacción Se evalúa primeramente las cualidades del producto mediante una inspeccion de expertos realizada antes de la interacion del usuario con el sistema, ésta inspeccion se consigue a través de una evaluacion heurística, utilizando heurísticas especificas aplicadas a dispositivos moviles.

2. Paso 2: Durante la interacción Se continua con el estudio por medio de dos metodos, Metodo de Valencia y Experimentos Formales.

3. Paso 3: Despues de la interacción Finalmente, se realizan tecnicas de interrogacion, especificamente el cuestionario PSUQ(Post Scenarie Usability Questionnaire) facultando cubrir las percepciones posteriores a la interacción de los usuarios con el sistema.

55

12 Validación de la Propuesta Refinada

Para validar formalmente la propuesta, se emplea el análisis de comportamiento a través del ensayo del funcionamiento de la metodología mediante un nuevo caso de aplicación, para este proceso se utilizará una validación en base a los resultados y la experiencia obtenida tras su aplicación con un nuevo caso de estudio.

12.1 Caso Estudio: Spotify App El producto a evaluar, será el reproductor de música vía Streaming que posee la

aplicación móvil de Spotify (suscripción Free), que se presenta en el caso de que el usuario no desee utilizar o requerir la aplicación móvil o la aplicación de escritorio. Posee casi todo tipo de música de diferentes países y estilos, además de opciones estándar para buscar y escuchar música, entre las que se destacan:

Buscar música, que se puede realizar por canción, autor o nombre de disco. Explorar, dónde se presentan una serie de Playlist con temáticas y géneros

propuestos por el mismo sitio. Presenta también Novedades, Noticias, Éxitos, Géneros y Momentos, además de otra opción interesante como Explorar, el sitio presenta posibles canciones o artistas relacionados con los artistas o canciones escuchadas por el usuario.

Radio, el sistema presenta emisoras de radio basado en las canciones o artistas que

se escuchan regularmente o han escuchado. Además de presentar constantemente nuevas emisoras.

Tu Música, esta opción está enfocada en mostrar las canciones o discos que el

usuario haya guardado, como creando un acceso directo a esa canción o disco. Se muestran las Playlists creadas por el usuario, artistas que el usuario sigue.

Spotify posee dos tipos de suscripciones: Free y Premium. La primera consta con las

opciones básicas como escuchar música, agregar Playlists, buscar música, pero trae consigo la publicidad de anuncias, cada ciertas canciones. El segundo tipo de suscripción, la Premium, posee las mismas opciones de la suscripción Free, pero agregando el hecho de que se pueden descargar las canciones y, la eliminación de la publicidad y los anuncios. En la actualidad Spotify posee más de cuarenta millones de usuarios activos repartidos por 56 países, de los cuales diez millones son suscriptores de pago.

56

Figura 13 Diseño aplicación Spotify App

12.2 Evaluaciones Realizadas Las evaluaciones realizadas en esta etapa, corresponden a experimentos de los

métodos de evaluación seleccionados que forman parte de la propuesta metodológica para evaluar la Experiencia del Usuario en dispositivos móviles. Estas evaluaciones se efectuaron sobre la aplicación móvil de Spotify versión Free, como nuevo caso de estudio en esta etapa experimental de la investigación. Posterior a la ejecución de los experimentos se obtiene mucha información la cual debe ser analizada, para la captura de indicadores significativos para la investigación, se detallan a continuación los datos más significativos de cada método de evaluación. Las evaluaciones realizadas corresponden a:

Evaluación Heurística Experimentos Formales Método de Valencia Técnicas de Interrogación

12.3 Análisis de Resultados En la siguiente sección se presentan los resultados obtenidos tras la realización de las

distintas evaluaciones realizadas. Primeramente se presentan los métodos de Inspección seguidos de los métodos de prueba.

12.3.1 Método de inspección Como se ha mencionado anteriormente el método de inspección que participa de esa

propuesta metodológica corresponde a la evaluación heurística, por lo que a continuación se detallaran los resultados de las evaluaciones realizadas al nuevo caso de estudio.

12.3.1.1 Evaluación Heurística A continuación se presenta el análisis de resultados arrojados en la Evaluación

Heurística realizada a la aplicación móvil Spotify, en ella se destacan aspectos como la metodología de la evaluación, el perfil de los evaluadores y los resultados de la evaluación, los cuales son complementados con el Anexo F: “Evaluación Heurística Spotify”.

57

12.3.1.1.1 Metodología de la Evaluación La metodología utilizada en el proceso de evaluación de usabilidad a la aplicación móvil de Spotify, corresponde a la evaluación heurística, la cual consiste en comprobar diferentes aspectos, desde diseño y navegación hasta operación y utilidad. Esta evaluación consiste en un análisis realizado por expertos, en el cual se realiza una inspección minuciosa a interfaces o sistemas, con el fin de determinar si cada uno de sus elementos se adhiere o no a los principios de usabilidad.

Para la aplicación de este método se utilizaron al igual que el caso de estudio anterior heurísticas genéricas y específicas para dispositivos móviles, las cuales son recomendadas por los autores R. Inostroza, C. Rusu, S. Roncagliolo, V. Rusu, en la tesis “Usability Heuristics for Touchscreen-based Mobile Devices”. Estas heurísticas denominadas SMASH (Smartphone Usability Heuristics), permitirán encontrar aspectos relevantes para este caso de estudio y por ende problemas que ayuden a los investigadores a mejorar la Experiencia del Usuario.

En el proceso participaron 3 evaluadores, tanto en etapas grupales como también en etapas individuales. En la etapa individual cada evaluador debe emitir un listado, donde describe el problema encontrado, para luego en conjunto evaluar la reglas que son afectadas por su comportamiento y cómo podría mejorar el cumplimiento de ellas con un cambio en la interfaz.

De manera de comprender de mejor forma como llevo a cabo esta evaluación, se detallaran los siguientes pasos:

4. Cada evaluador trabaja de manera independiente explorando el sitio, con el fin de encontrar potenciales problemas de usabilidad y a la vez seleccionando aspectos positivos del sistema. Todo esto es recopilado en un listado individual, el cual se almacenan los problemas con sus respectivos principios incumplidos basados en las Smash (Smartphone Usability Heuristics).

5. Luego el equipo de evaluadores se reúne para juntar en un único listado los

problemas encontrados, bajo la supervisión de un coordinador (que puede ser un evaluador del grupo que actúe como moderador). El listado debe ser calificado de forma individual, con valores que varían entre 0 y 4, los cuales deben ser asignados a la frecuencia de ocurrencia del problema, así como también a su severidad, los resultados son sumados con el fin de obtener un indicador de criticidad el cual indica que tan grave o simple es el problema analizado.

6. Se calculan de manera grupal los promedios y desviaciones estándares de los

problemas. Obtenido los resultados se realizan rankings de criticidad y severidad, los cuales son analizados para posteriormente entregarles una solución o propuesta de solución a estos problemas. Además se genera una lista con aspectos positivos del sitio que se logran destacar a juicio de los evaluadores.

58

12.3.1.1.2 Perfil y Experiencia de los Evaluadores A continuación se presentan los evaluadores, que participaron de la evaluación

usando estas heurísticas específicas, y su respectiva experiencia con evaluaciones anteriores:

Tabla 17: Perfil y experiencia de los evaluadores Evaluación Heurística Spotify

Evaluador Carrera Año Experiencia

Alejandro Casanova

Ingeniería Civil Informática Egresado

- Evaluación Heurística del sitio web Google Cultural Institute utilizando las heurísticas de Nielsen. -Evaluación Heurística del sitio Duolingo, utilizando heurísticas de Nielsen, como también un conjunto de heurísticas propuestas por Fabiola Sanz y Raúl Gálvez. - Evaluación aplicación móvil Gmail, usando uso de SMASH.

Daniel Guzmán

Ingeniería Civil Informática 6to año

-Evaluación Heurística del sitio www.Expedia.com, www.tripadvisor.com, utilizando heurísticas de Nielsen. - Evaluación aplicación móvil Gmail, usando uso de SMASH.

Maritza Herrera

Ingeniería Civil Informática 6to año

-Evaluación Heurística del sitio www.Expedia.com, www.tripadvisor.com, utilizando heurísticas de Nielsen. - Evaluación aplicación móvil Gmail, usando uso de SMASH.

12.3.1.1.3 Resultados de la Evaluación Los resultados de la evaluación heurística podrán visualizarse con mayor detalle en

el Anexo D: “Evaluación Heurística”, donde se expondrán en primer lugar los problemas encontrados con sus respectivos comentarios. Luego se presentarán los problemas ordenados según los principios incumplidos. Posteriormente se presentará la tabla de evaluación realizada por los evaluadores en conjunto con los rankings por severidad y criticidad. Finalmente se expondrán comentarios sobre los resultados obtenidos en conjunto con los puntos positivos observados por los evaluadores.

En la evaluación realizada, los evaluadores lograron detectar 32 problemas relacionados principalmente con el diseño de la aplicación. Para ordenar estos potenciales problemas, se realizó un análisis de severidad y frecuencia de cada uno de estos, de manera de determinar el impacto que posee un determinado problema. Además, se resaltaron aspectos positivos los que pueden favorecen aspectos de Usabilidad y pueden incidir de forma positiva la Experiencia de Uso. En relación a la ejecución del método, uno de los problemas que se presentaron al momento de realizar las inspecciones, fue la falta de

59

conocimiento por parte de los expertos respecto a las heurísticas que se utilizaron (SMASH).

12.3.2 Métodos de Prueba Así como se ha mencionado anteriormente en el planeamiento de la propuesta

metodológica los métodos de prueba a participar corresponden al método de valencia, experimentos formales y las técnicas de interrogación que se han aplicado al nuevo caso de estudio. A continuación se presenta el análisis de cada uno de estos métodos involucrados:

12.3.2.1 Método de Valencia En la siguiente sección se muestra el análisis de resultados de las evaluaciones

realizadas a la aplicación móvil de Spotify, en ella se contemplan los ítems de: diseño de la prueba, selección de participantes y los resultados, las tablas y las pruebas se encuentran en Anexo G “Método de Valencia Spotify”.

12.3.2.1.1 Diseño de Prueba Piloto Las pruebas realizadas a 6 estudiantes de la Pontifica Universidad Católica de

Valparaíso, se ejecutaron sobre la aplicación móvil Spotify, con el fin de conocer las necesidades de los usuarios ante el uso de la aplicación. Los participantes en una primera instancia realizaron la exploración de la aplicación sin la necesidad un listado de tareas, solo con la instrucción de que monitoreen sus sentimientos tanto positivos y negativos que les genere la acción que realizan, por medio de un dispositivo externo donde los usuarios registran el sentimiento positivo en botón verde y el negativo en botón rojo. Como modificación primordial en la etapa exploratoria, los usuario debían dar cuenta del porque escogieron esa valencia por medio de la voz.

La segunda fase se procede a una encuesta realizada por los evaluadores a los usuarios por cada valencia registrada. Las pruebas fueron diseñadas para medir las necesidades, emociones y dificultad del usuario ante el uso del producto, con el objetivo de identificar problemas de aspectos de diseño, necesidades de la aplicación y la experiencia de uso; los resultados serán posteriormente para ser analizados para futuras mejoras. En la segunda fase de ejecución los evaluadores realizaron la entrevista por cada marcador de valencia.

Las preguntas que realizar los evaluadores por cada marcador de valencia son las siguientes:

¿Qué aspecto de diseño causo la generación de esta valencia?: esta pregunta alude a que si la valencia es positiva o negativa que aspectos de diseño relevante del producto causo este sentimiento durante la interacción.

¿Cuáles son las necesidades relacionadas?: una vez identificados los aspectos de diseño relevantes se debe encontrar las necesidades asociadas, para futuras mejoras.

¿Por qué el atributo le resulto más positivo/ negativo?: asociada al marcador indicado, de manera de identificar que considera bueno o malo.

60

12.3.2.1.2 Selección de participantes, Entornos y Ejecución de la Prueba Las personas que participaron en la prueba corresponden a alumnos de la Escuela de

Ingeniería Informática de la Pontificia Universidad Católica de Valparaíso, que poseen Smartphone y se relacionan con aplicaciones de reproducción de música, que haya o no usado la aplicación Spotify App con anterioridad, o que tengan experiencia de uso con otros productos similares como YouTube, radios online, entre otros. El único prerrequisito para la selección de participantes para la prueba es que sepan utilizar un Smartphone y tener conocimientos básicos sobre la utilización de él, con el único fin de que puedan llevar a cabo la prueba propuesta por el equipo evaluador.

Estas personas deben estar dispuestas a ejecutar la prueba el día viernes 4 de diciembre del 2015 entre las 11:30 y las 15:00 horas. La prueba se realizó a 6 personas, que encajaban con el perfil anteriormente descrito, esta prueba se ejecutó en un entorno en el cual los participantes estaban aislados, mientras que los evaluadores supervisaban las actividades realizadas por los usuarios durante la primera fase de desarrollo, donde se encargaron de grabar un video que permitió ver tanto las acciones realizadas por los usuarios, como también el marcador de valencia seleccionado. En la segunda fase se procedió a la entrevista de los usuarios por cada marcador de valencia monitoreado, mostrándole al usuario el video de grabación realizada al momento de generar el marcador de valencia.

Para ello se utilizó el laboratorio de usabilidad, el cual se encuentra en las instalaciones de la Escuela de Informática de la Pontificia Universidad Católica de Valparaíso, tiene implementado tanto el mobiliario como las tecnologías para realizar dicha prueba. Para la selección de los participantes, se consideraron:

El entorno de la realización de la Prueba de Usabilidad de la aplicación móvil Gmail.

Fecha: Viernes 4 de diciembre del 2015. Hora: 11:30 horas. Lugar: Laboratorio de Usabilidad de la Escuela de Informática de la PUCV. Hardware: Smartphone Moto X 2 Generación SO Android 5.0.1.

12.3.2.1.3 Resultados de la Evaluación El perfil del usuario evaluado, tiene un rango de edad que va desde los 22 a 25 años,

los cuales son estudiantes de la Escuela de Ingeniería Informática de la Pontificia Universidad Católica de Valparaíso. En su rutina diaria se relacionan con sus Smartphone, con los cuales acceden a todo tipo de aplicaciones, y en ocasiones acceden a estas herramientas para reproducir música, escuchar radio, acceder a discografía de sus artistas preferidos, entre otras funcionalidades.

La aplicación móvil escogida por los evaluadores, corresponde a Spotify suscripción Free, es una aplicación empleada para la reproducción de música vía difusión en continuo disponible en los sistemas operativos Microsoft Windows, Mac OS X, Linux, Windows Phone, Symbian, iOS, Android y BlackBerry (multiplataforma). Permite escuchar en modo

61

radio buscando por artista, álbum o listas de reproducción creadas por los propios usuarios.

En base a los datos recopilados en la fase de pruebas se entregan los siguientes análisis referentes a la prueba misma y a las preguntas realizadas en la entrevista por cada valencia:

De los 6 usuarios que realizaron la prueba, el número de valencias registradas por

cada usuario se encuentra entre las 2 a 6. Dando un total de 29 valencias registradas, las cuales los usuarios en su mayoría registro más valencias positivas (2 a 6) durante la interacción de la aplicación.

Figura 14 Valencias registradas caso de estudio Spotify

El tiempo de ejecución de la prueba varía entre los 10 a 15 min, en la cual se realizaron cuestionarios pre-test, fase de exploratoria, junto con grabación de la voz al momento de registrada la valencia (contempla un tiempo aprox. 5 min) y una entrevista (fase retrospectiva) por cada valencia registrada. El registro de las percepciones e identificación de las valencias se puede contemplar de mejor forma con la tabla de registro encontrada en el Anexo G: “Método Valencia Spotify”, la cual muestra además las percepciones respecto a la valencia marcada por el usuario.

12.3.2.2 Experimentos Formales En la siguiente sección se presenta el análisis de resultados de las evaluaciones

realizadas, en ella se contemplan los ítems de: diseño de la prueba, selección de participantes, entorno y contexto de prueba y los resultados; los cuales se complementan con los resultados particulares encontrados en el Anexo H: “Experimentos Formales Spotify”.

12.3.2.2.1 Diseño de la prueba La prueba aplicada corresponde al método de evaluación de Usabilidad Experimentos

Formales; en este tipo de prueba se plantea que los usuarios que participen en las pruebas sean supervisados por los evaluadores, por lo que la prueba debe realizarse en laboratorio de Usabilidad. El objetivo principal de esta prueba es encontrar problemas de Usabilidad, y para ello los usuarios deben realizar tareas y en base a sus interacciones se construyen distintas métricas.

62

Se realizó esta prueba a diez alumnos de la Pontificia Universidad Católica de Valparaíso, teniendo como caso de estudio la aplicación móvil Spotify.

Se contempla para la prueba una serie de tareas diseñadas por los evaluadores, las cuales se detallan a continuación:

Tarea 1: “Añadir una canción a su música”, consiste en buscar una canción y agregarla a la opción “tu música” del sistema.

Tarea 2: “Crear lista de reproducción”, consiste en crear una nueva lista de reproducción de prueba.

Tarea 3: “Añadir canciones a la lista de reproducción”, consiste en añadir canciones a la lista que fue creada anteriormente

Tarea 4: “Escuchar una lista de reproducción”, consiste en reproducir la lista recientemente creada.

La información recopilada durante todo este proceso fue almacenada de forma física y audiovisual, dado que es necesaria para el posterior proceso de estudio; para dicho escenario toma vital importancia el almacenamiento en video de la interacción desarrollada por los usuarios. Al realizar este procedimiento, es posible construir análisis estadísticos de las acciones del usuario, considerando tiempos involucrados, tasa de errores y otros factores que influyen en la interacción.

12.3.2.2.2 Selección de participantes Para este proceso se seleccionaron alumnos de diversas carreras de la Pontificia

Universidad Católica de Valparaíso, a cada uno de los participantes se les explicó en qué consistía la prueba, sus objetivos y cuales debían ser los pasos a seguir en determinados problemas que podrían surgir a lo largo de la experiencia. También se explicó el acuerdo de confidencialidad y para qué servía este, asegurando la confidencialidad de sus opiniones y acciones frente a la plataforma seleccionada para la realización de las pruebas en cuestión.

A continuación se presenta la Tabla 18: Características de participantes Experimentos Formales en Spotify, con los perfiles de los colaboradores.

Tabla 18: Características de participantes Experimentos Formales en Spotify

Sexo Edad Nivel de educación Ocupación

¿Con frecuencia accede usted a

servicios de música streaming a través de

su Smartphone?

Usuario 1 Masculino 22 Universitario Estudiante Algunas Veces

Usuario 2 Masculino 23 Universitario Estudiante Casi Siempre

Usuario 3 Femenino 20 Universitario Estudiante Algunas Veces

63

Usuario 4 Masculino 21 Universitario Estudiante Casi Siempre

Usuario 5 Masculino 23 Universitario Estudiante Casi Siempre

Usuario 6 Femenino 24 Universitario Estudiante Algunas Veces

Usuario 7 Masculino 24 Universitario Estudiante Algunas Veces

Usuario 8 Masculino 22 Universitario Estudiante Casi Siempre

Usuario 9 Masculino 21 Universitario Estudiante Algunas Veces

Usuario 10 Femenino 20 Universitario Estudiante Casi Siempre

12.3.2.2.3 Entorno de pruebas Uno de los aspectos más importantes en una prueba de usabilidad es el entorno en

donde se realizará la misma. Es importante por el hecho de que realizar las pruebas en un ambiente no adecuado, puede afectar la objetividad de los resultados de las pruebas. Esto fue considerado por los evaluadores los que disponen de esta herramienta en dicha casa de estudios.

Para desarrollar las pruebas, se utilizaron las dependencias de la Escuela de Ingeniería en Informática de la Pontificia Universidad Católica de Valparaíso, ya que cuenta con un laboratorio adecuado diseñado específicamente para realizar pruebas de usabilidad, entregando a los participantes de estas, un ambiente ideal y confortable para realizarlas. El laboratorio es un ambiente cerrado, dividido en dos zonas separadas por una ventana de vidrio polarizado (hacia el sujeto en prueba) y aislación acústica. Provee al evaluador de una zona donde pueda controlar y visualizar al sujeto de prueba, mediante el uso de software que permite ver y recopilar todos los movimientos y expresiones gatilladas por la interacción del sujeto de prueba con el dispositivo. Proporciona además otro espacio físico en donde se encuentra el equipamiento para realizar las pruebas de usabilidad por los participantes.

12.3.2.2.4 Ejecución de la prueba La prueba se llevó a cabo el día 04 de Diciembre del 2015 desde las 16:00 hasta las

18:30 en el laboratorio de Usabilidad de la Pontificia Universidad Católica de Valparaíso, dicho entorno se definió para la realización de las pruebas dado que posee todas las herramientas necesarias para estudiar y analizar la mayoría de los aspectos en tiempo real de cada una de las pruebas y de los usuarios.

12.3.2.2.5 Resultado de la evaluación En la evaluación realizada, se rescataron principalmente indicadores cuantitativos en

base al análisis del material de registro audiovisual de las acciones realizadas por los usuarios en la fase de pruebas. Además, por medio del cuestionario post uso se detectó que las tareas fueron completadas fácilmente por los usuarios, y que la interpretación de la información requerida para la ejecución de dichas tareas también fue lograda fácilmente.

64

Examinando las actividades realizadas por los usuarios mientras desarrollaban la prueba, se promedian los siguientes indicadores

Tiempo promedio para completar tareas específicas: 2:30 min Número de tareas completadas a los 10 minutos: 4 Número promedio de errores: 0,2 Tiempo de recuperación de errores: 0:45 min Frecuencia de uso de la ayuda del sistema: 0

12.3.2.3 Técnicas de interrogación

12.3.2.3.1 Diseño de la prueba La prueba aplicada corresponde a la ejecución del método de evaluación de

Usabilidad Técnicas de interrogación mediante el uso del cuestionario PSUQ; este tipo de experimento propone que los usuarios respondan un cuestionario de 19 preguntas posterior a la realización de tareas en un escenario de uso específico.

Se realizó la prueba a diez alumnos de la Pontificia Universidad Católica de Valparaíso, teniendo como caso de estudio la aplicación móvil Spotify. Las pruebas fueron diseñadas para medir el grado de satisfacción, éxito y la dificultad del usuario al momento de llevar a cabo una serie de tareas predefinidas por los evaluadores, esto con el objetivo de facilitar la identificación problemas.

12.3.2.3.2 Selección de participantes Para este proceso se seleccionaron alumnos de diversas carreras de la Pontificia

Universidad Católica de Valparaíso quienes cumplen con el perfil requerido para la prueba; el cual contemplaba personas con manejo medio o fluido en dispositivos móviles. Finalmente con el fin de tener un grupo más diverso, se buscó participación de usuarios con y sin experiencia previa en aplicaciones similares.

A los participantes se les explicó en qué consistía la prueba, sus objetivos y cuales debían ser los pasos a seguir en determinados problemas que podrían surgir a lo largo de la experiencia. También se explicó el acuerdo de confidencialidad y para qué servía este, asegurando la confidencialidad de sus opiniones y acciones frente a la plataforma seleccionada para la realización de las pruebas en cuestión.

12.3.2.3.3 Entorno de pruebas Para desarrollar las pruebas, se utilizaron las dependencias de la Escuela de Ingeniería

en Informática de la Pontificia Universidad Católica de Valparaíso, ya que cuenta con un laboratorio adecuado, diseñado específicamente para realizar pruebas de usabilidad, entregando a los participantes de estas, un ambiente ideal y confortable para realizarlas. El laboratorio es un ambiente cerrado, dividido en dos zonas separadas por una ventana de vidrio polarizado (hacia el sujeto en prueba) y aislación acústica. Provee al evaluador de una zona donde pueda controlar y visualizar al sujeto de prueba, mediante el uso de software que permite ver y recopilar todos los movimientos y expresiones gatilladas por la

65

interacción del sujeto de prueba con el dispositivo. Proporciona además otro espacio físico en donde se encuentra el equipamiento para realizar las pruebas de usabilidad por los participantes.

12.3.2.3.4 Ejecución de la prueba La prueba se llevó a cabo el día 04 de diciembre del 2015 desde las 13:00 hasta las

15:30 en el laboratorio de Usabilidad de la Pontificia Universidad Católica de Valparaíso.

12.3.2.3.5 Resultado de la evaluación. El perfil del usuario evaluado resulto ser mayoritariamente de sexo masculino con un

promedio de edad de 21 años, de ocupación estudiante y con un grado de estudio Universitario

En base a los datos recopilados en la fase de pruebas se presentan los siguientes análisis correspondientes a cada una de las preguntas realizadas en la encuesta post pruebas:

Las respuestas son en base a una escala en base a lo que piensa el usuario, en la cual se le pregunta y se le pide contestar con un número del 1 al 7 su grado de acuerdo o desacuerdo, siendo 1 completamente de acuerdo y 7 completamente en desacuerdo

Tabla 19: Respuestas encuesta post prueba de Experimentos Formales

N° Pregunta Moda Desv. estándar

Media aritmética

1 En general, estoy satisfecho con lo fácil que es de usar este sistema.

2 1.766 2.3

2 Era sencillo de utilizar este sistema. 2 1.715 2.5 3 Pude completar eficazmente las tareas y escenarios

que se utilizaron en este sistema. 1 – 2 1.52 2.1

4 Fui capaz de completar las tareas y escenarios rápidamente utilizando este sistema.

1 1.833 2.3

5 Tuve la oportunidad de completar de manera eficiente las tareas.

1 1.833 2.4

6 Me sentí cómodo usando este sistema. 1 1.828 2.3 7 Es fácil de aprender a utilizar este sistema. 1 1.251 1.7 8 Creo que podría ser productivo rápidamente

utilizando este sistema. 1 1.523 1.9

9 El sistema dio mensajes de error que me dijo claramente cómo solucionar problemas.

1 2.097 3.2

10 Siempre que he cometido un error usando el sistema, pude recuperarme fácilmente y rápidamente.

2 1.870 2.66

11 La información (tales como mensajes de ayuda en línea, que aparecen en pantalla y demás documentación) provistos de este sistema era clara

2 1.946 3.7

66

12 Fue fácil encontrar la información que necesitaba. 2 1.776 2.4 13 La información proporcionada por el sistema era fácil

de entender. 1 1.576 2.3

14 La información fue eficaz para ayudar a completar las tareas y escenarios.

2 1.649 2.5

15 La organización de la información en las pantallas del sistema estaba clara.

1 1.897 2.4

16 La interfaz de este sistema era agradable. 2 2.330 2.9 17 Me gusta el uso de la interfaz de este sistema. 2 1.751 2.2 18 Este sistema tiene todas las funciones y capacidades

que espero que tenga. 2 1.178 2.5

19 En general, estoy satisfecho con este sistema. 2 1.5 2.33 Como resultado de esta evaluación se obtiene en general de las 19 preguntas:

Moda: 2 Media aritmética: 2.45 Desviación estándar: 1.754

Teniendo en consideración que la entrevista considera preguntas afirmativas, planteadas bajo un prisma de grata experiencia de uso y que deben responderse numéricamente en relación a una escala del número 1 al 7 según el grado de acuerdo o desacuerdo del usuario. Se concluye que el grado de usabilidad del producto es óptimo para los usuarios, ya que los mismos consideran sentirse satisfechos con el sistema (aproximadamente con un 85% de sus características).

67

13 Conclusiones

Posterior al estudio y desarrollo de esta investigación, queda a evidencia de los autores, que la Experiencia del Usuario es un aspecto fundamental de todo sistema software y debe ser integrada como una actividad multidisciplinaria sobre todos los procesos de desarrollo de software. Dada la importancia de sus atributos, surge la necesidad de investigar el concepto de UX y sus principales paradigmas asociados. Es por lo anterior, que se desarrolla esta investigación enfocada en profundizar el estudio de esta disciplina; con la finalidad de aportar una propuesta metodológica de evaluación adecuada y concreta.

Por otro lado, para la formulación de la propuesta metodológica, se recopiló material bibliográfico de los distintos canales de información, en memorias de títulos, tesis de grado, sitios web, entre otros. Si bien, existe información respecto a los conceptos de Usabilidad y Experiencia del Usuario, este último sigue en constante debate. Es por esta razón que en sitios especializados en esta materia, como el caso de www.allaboutux.org, no distinguen métodos de evaluación con herramientas de evaluación, por lo cual los investigadores debieron analizar cada uno de estos métodos antes de su selección.

Resulta evidente que para evaluar los diversos métodos, se deben considerar criterios de evaluación, ya que cada método posee características propias que lo diferencian de los demás. Estos criterios se basan en la experiencia que el usuario pueda tener durante el uso de la aplicación móvil, la experiencia de los evaluadores, la disponibilidad de expertos u otros. Los aspectos relacionados a estos factores son en base a percepciones individuales, sociales, culturales, contextuales o propias del producto.

En cuanto al trabajo realizado se puede concluir que cada uno de los métodos de evaluación arroja resultados en forma independiente, algunos de estos pueden arrojar resultados de forma conjunta, pero ninguno es reemplazante del otro. Adicionalmente, los métodos seleccionados que participan de la metodología, interactúan en todo el proceso de desarrollo del software, por lo que su orden lógico y secuencial resulta de vital importancia a la hora de formular la metodología. Es por esto que se aplicarán todos los métodos de evaluación sobre una aplicación móvil en un dispositivo de tipo Smartphone, cada uno de ellos se emplea de forma distinta, con técnicas diferentes que permitirán obtener información relevante de forma completa.

La metodología de evaluación de UX para dispositivos móviles de tipo Smartphone ha sido postulada mediante el análisis de dos casos de estudio representativos en aplicaciones móviles. Posteriormente, se realizaron las validaciones, las cuales permitieron confirmar que la metodología es aplicable para toda aplicación móvil, por lo que resulta ser genérica. Así mismo, y dependiendo de los objetivos de la evaluación de cada aplicación, la metodología permite obtener resultados representativos que logran medir la Experiencia del Usuario de forma asertiva.

Finalmente, y en base a los antecedentes arrojados en esta investigación, existe evidencia de que la metodología propuesta arroja mayor información respecto a la Experiencia del Usuario que solo utilizando métodos de evaluación de forma independiente.

68

En cuanto al cumplimiento de los objetivos planeados en la investigación, los cuales son los cimientos que permiten formular el estado del arte del proyecto. Abarcando todos los aspectos relacionados al concepto de Experiencia del Usuario, los cuales son fundamentales para el desarrollo de una propuesta metodológica. Por lo que a continuación se detallará el cumplimiento de cada uno de los objetivos específicos:

En primera instancia se analizaron los conceptos de Experiencia del Usuario, Usabilidad, dispositivos móviles y métodos de evaluación, en la etapa exploratoria del proyecto. En esta etapa se recopiló material bibliográfico, a partir de memorias, tesis doctorales, sitios como www.allaboutux.org, entre otros. Esto nos permitió relacionar conceptos como la Experiencia del Usuario con la Usabilidad, dado que según Lewis la Usabilidad está contenida en la UX, por lo que un método de evaluación que mide el grado de Usabilidad, también podrá evaluar la Experiencia del Usuario. Esta relación permite formular una propuesta metodológica a partir de postulados ya formulados como los de R. Otaiza.

Posteriormente se analizaron los diversos métodos de evaluación, utilizando criterios de evaluación para la selección de los métodos participantes de la propuesta metodológica. Se definieron la secuencia que debían seguir estos métodos de evaluación siguiendo un orden lógico y secuencial formulando así la propuesta metodología de evaluación de la Experiencia del Usuario en Smartphone.

Finalmente, se realizaron validaciones de la propuesta en base a dos casos de estudio, en los cuales los usuarios propusieron mejoras a los métodos de evaluación. Se realizó una validación la propuesta con expertos, se realizaron reuniones con académicos estudiosos del área formulando una mesa de dialogo que colabore constructivamente ayude a la refinación de la propuesta. Adicionalmente los experimentos pilotos también forman parte de esta validación, dado que lograron detectar comportamiento de ciertos métodos antes detectados para formar parte de la propuesta como una herramienta de evaluación y no un método por sí solo.

13.1 Trabajo Futuro Como trabajo futuro se proyecta procesos de validación y refinación de esta

propuesta, las cuales podrán ser realizadas mediante opiniones de expertos o a través de nuevos casos de estudios. Este proceso puede ser aplicado de forma iterativa a modo que permita perfeccionar esta metodología.

Probablemente con el paso de los años, y el avance vertiginoso de las tecnologías, será necesario formular nuevas combinaciones de métodos de evaluación de UX, que soporten múltiples escenarios, plataformas de estudio y diversos casos de estudios.

Se proyecta además como desafío generar nuevas metodologías de evaluación en otro tipo de sistemas de software, utilizando como cimientos de futuras investigaciones los postulados que presenta esta investigación, los análisis de los métodos de evaluación involucrados y realizando nuevas combinaciones con métodos de evaluación de UX no explorados anteriormente.

69

14 Bibliografía

1 Garrett J. The Elements of User Experience. 2a Edición, 2010.

2.Hernández R. Metodología de la Investigación, 5a Edición, 2010.

3.Alben L. Quality of experience: defining the criteria for effective interaction design. ACM New York, 1996.

4.Hassan-Montero Y.; Fernández M; Más allá de la Usabilidad: Interfaces 'afectivas'. No Solo Usabilidad e-Magazine, 2003.

Disponible en: http://www.nosolousabilidad.com/articulos/interfaces_afectivas.htm

5.International Organization for Standardization, ISO 9241-11, “Ergonomic requirements for office work with visual display terminals(VDTs), part 11: Guidance on usability", 1998.

6. Morville, P. User Experience Design. SemanticStudios, 2004.

Disponible en: http://semanticstudios.com/publications/semantics/000029.php

7. International Organization for Standardization ISO/IEC 9126-1, “Software Product Evaluation – Quality characteristics and guidelines for their use”, 1991

8.International Organization for Standardization, ISO 9241-10, “Ergonomic requirements for office work with visual display terminals(VDTs), part 10: Dialogue", 1998.

9.Cockton G. "Usability Evaluation The Encyclopedia of Human-Computer Interactio", Denmark : 2nd Edición, 2013.

10.Nielsen J. "Usability Engineering", Academic Press. 1993.

11.Guevara A. ¿Que son los dispositivos móviles?, revista seguridad unam.

Disponible en: http://revista.seguridad.unam.mx/numero-07/dispositivos-moviles.

12.Gartner Inc. Características de los dispositivos móviles.

Disponible en: http://www.gartner.com/newsroom/id/2623415.

13.Whiteside J., Bennett J. y Holtzblatt K. Usability engineering: Our experience and evolution. Handbook of Human–Computer Interaction. Amsterdam, North Holland, 1988.

14.Lewis J. Usability : Lessons Learned… and Yet to be Learned . 2014.

15.Otaiza R, Rusu C, Roncagliolo S, Evaluating the Usability of Transactional Web Sites, Pontificia Universidad Católica de Valparaiso, Chile

16.Sousa S, Mottus M. " Workshop on measuring the User eXperience", TLU, 2014

17.Nielsen J. The usability engineering life cycle. ACM Digital Library, 1992.

70

18.Calvo-Fernández A, Ortega S, Valls A, Zapata M. "Evaluación de la Usabilidad Modulo didactico 3: Metodos de evaluación con usuarios".UOC, 2011.

19.Kroeger R. Official Gmail Blog.

Disponible en: http://gmailblog.blogspot.cl/2009/04/new-mobile-gmail-experience-for-iphone.html

20.Ferré X. "Marco de integración de la usabilidad en el proceso de desarrollo software," Tesis Doctoral, Lenguajes y Sistemas Informáticos e Ingeniería del Software. Madrid : Universidad Politécnica de Madrid, 2005.

21.Unidad de Modernización y Gobierno Digital de Chile. Pauta para Evaluacion Heuristica. Disponible en :

http://www.guiadigital.gob.cl/guiaweb_old/guia-v2/capitulos/05/anexos/pauta-evaluacion-heuristica.pdf

22. Inostroza R, Rusu C, Rusu V, Roncagliolo S. "Usability Heuristics for Touchscreen-based Mobile Devices: Update. Proceedings", PUCV, 2014.

23.Rusu C. Curso: Human- Computer Interaction "Capítulo 4.5.1: Evaluación Heurística", Escuela de Ingeniería Informática PUCV. 2015

24.Hartson H, Andre T, Williges R. "Criteria for evaluating usability evaluation methods," International Journal of Human-Computer Interaction. 2003.

25. Rusu C. Curso: Human- Computer Interaction "Capítulo 4: Usabilidad y Experiencia de Usuario." Escuela de Ingeniería Informática PUCV. 2015

26. Nielsen J. Usability Inspection Methods, Heuristic Evaluation. Whiles & Sons, 1994.

27.Desmet P, Kees Overbeeke C, Tax S. Designing Products with Added Emotional Value: Development and Appllcation of an Approach for Research through Design. 2015.

Anexos

A: Experimentos Pilotos A.1: MÉTODO INTERACCIÓN CONSTRUCTIVA (CO-DISCOVERY)

Acuerdo de confidencialidad

YO, ACEPTO participar en un experimento sobre la experiencia de uso de una aplicación móvil, supervisado por: , el día 11/06/15, en el Laboratorio de Usabilidad de la Escuela de Ingeniería Informática de la Pontificia Universidad Católica de Valparaíso. Entiendo y estoy de acuerdo con las condiciones mencionadas en adelante.

Entiendo que el experimento tiene por objetivo evaluar un sistema software, NO mis capacidades/habilidades /conocimientos.

Entiendo que los resultados del experimento se utilizarán sólo con propósitos académicos y/o de investigación, sin que mi identidad sea revelada. Entiendo que

Durante el experimento se realizarán grabaciones audio/video.

Entiendo que puedo comunicar al supervisor del experimento cualquier malestar, molestia o inconformidad que pueda sentir y que puedo abandonar el experimento y el laboratorio en cualquier momento.

Firma ______________

Estimado(a) colaborador(a):

Usted participa en un experimento que tiene como propósito evaluar su experiencia de uso de la aplicación móvil 365Scores

Se está evaluando una aplicación móvil, NO su desempeño como usuario. ¡NO SE PREOCUPE SI COMETE ERRORES!

El experimento tiene 3 etapas:

1. En la primera etapa Ud. deberá completar un breve cuestionario preliminar, relativo a su experiencia previa.

2. En la segunda etapa se le solicitará explorar la aplicación móvil 365Scores, según lo indicado en la descripción de tareas.

3. En la tercera etapa Ud. deberá completar un cuestionario acerca de su percepción sobre la aplicación.

SI TIENE ALGUNA DUDA DURANTE EL EXPERIMENTO, PUEDE PONERSE EN

CONTACTO CON EL EVALUADOR, EN CUALQUIER MOMENTO.

La información que Ud. proporciona es confidencial y muy relevante para nuestro estudio.

¡Agradecemos su cooperación!

CUESTIONARIO PRELIMINAR

1. Sexo: ( ) Femenino ( ) Masculino

2. Edad:

3. Nivel de educación completa y/o en proceso:

Enseñanza media: ( ) Completa ( ) En Proceso

Técnico: ( ) Completa ( ) En Proceso

Universitario: ( ) Completa ( ) En Proceso

Otro: ( ) Completa ( ) En Proceso

4. ¿Cuál es su ocupación?:

5. ¿Con que frecuencia accede Ud. a aplicaciones de contenidos deportivos, cada vez que utiliza su Smartphone?

( ) Siempre

( ) Casi siempre

( ) Algunas veces

( ) Nunca

6. ¿Ha tenido experiencias previas en otras aplicaciones de actualidad deportiva?

( ) Si ( ) No

Si su respuesta fue afirmativa, indique cuales son:

LISTA DE TAREAS

1. Ingrese a la aplicación 365 scores y seleccione continuar sin sincronizar con redes sociales.

2. Seleccione su equipo favorito buscando en la barra de búsqueda, escriba “Chile” y seleccione este equipo como favorito, y continúe hasta el menú principal de la aplicación.

3. Diríjase a la sección videos del menú y visualice el último video publicado en la pestaña (sección) “Todas”.

4. Finalmente, regrese al menú principal y visualice la programación deportiva para el partido “Chile vs México” con fecha 15/06/015

(1) CUESTIONARIO DE PERCEPCIÓN SOBRE LA APLICACIÓN MOVIL 365SCORES

Encierre en un círculo la alternativa más apropiada para cada pregunta.

1. ¿Qué grado de complejidad concluye al completar las tareas planteadas?

1 2 3 4 5 Muy difícil Difícil Neutral Fácil Muy fácil

2. ¿Qué tan fácil ha sido encontrar la información requerida en el experimento?

1 2 3 4 5 Muy difícilmente Difícilmente Neutral Fácilmente Muy fácilmente

3. ¿Cómo percibe Ud. la distribución de la información en la aplicación?

1 2 3 4 5 Muy mala Mala Neutral Buena Muy buena

4. ¿Qué tan difícil se le ha hecho orientarse en la aplicación?

1 2 3 4 5 Muy Difícil Difícil Neutral Fácil Muy Fácil

5. ¿Qué tan creíble encuentra la información dispuesta en la aplicación?

1 2 3 4 5

Muy poco creíble Poco creíble Neutral Creíble Muy creíble

6. Su grado de satisfacción en cuanto a la facilidad de uso es:

1 2 3 4 Totalmente Insatisfactorio Poco Satisfactorio Neutral Satisfactorio 5

Muy satisfactorio

7. En general, usted califica su grado de satisfacción en el uso de la aplicación como:

1 2 3 4 Totalmente Insatisfactorio Poco satisfactorio Neutral Satisfactorio

5 Muy satisfactorio

8. ¿Qué inconvenientes tuvo al utilizar la aplicación?

A.2: METODO EMOCARDS

Acuerdo de confidencialidad

YO, ACEPTO participar en una prueba de usabilidad supervisada por , el día / / , en el Laboratorio de Usabilidad de la Escuela de Ingeniería Informática de la Pontificia Universidad Católica de Valparaíso. Entiendo y estoy de acuerdo con las condiciones mencionadas en adelante.

Entiendo que el experimento tiene por objetivo evaluar un sistema software, NO mis capacidades/ habilidades/conocimientos.

Entiendo que los resultados del experimento se utilizaran sólo para propósitos académicos y/o de investigación, sin que mi identidad sea revelada.

Entiendo que puedo comunicar al supervisor del experimento, en cualquier momento, sobre algún malestar, molestia o inconformidad que pueda sentir durante el desarrollo del experimento; y que por tal motivo, puedo abandonar el experimento y el laboratorio en cualquier momento.

Firma

Estimado(a) colaborador(a):

Usted participa en un experimento que tiene como propósito evaluar su experiencia de uso de la aplicación móvil: Cinemark Chile

Se está evaluando un portal web, NO su desempeño como usuario. ¡NO SE PREOCUPE SI COMETE ERRORES!

El experimento tiene 3 etapas:

En la primera etapa Ud. deberá completar un breve cuestionario preliminar, relativo a su experiencia previa.

En la segunda etapa se le solicitará explorar la aplicación: Cinemark Chile, según lo indicado.

En la tercera etapa Ud. deberá responder a una entrevista con los evaluadores.

SI TIENE ALGUNA DUDA DURANTE EL EXPERIMENTO, PUEDE PONERSE EN CONTACTO CON EL EVALUADOR, EN CUALQUIER MOMENTO.

La información que Ud. proporciona es confidencial y muy relevante para nuestro estudio.

¡Agradecemos su cooperación!

(1) CUESTIONARIO

Sexo: ( ) Femenino ( ) Masculino

Edad:

Nivel de educación completa y/o en proceso:

Enseñanza media: ( ) Completa ( ) En Proceso

Técnico: ( ) Completa ( ) En Proceso

Universitario: ( ) Completa ( ) En Proceso

Otro: ( ) Completa ( ) En Proceso

¿Cuál es su ocupación?:

¿Con que frecuencia accede Ud. a carteleras cinematográficas, a través de su Smartphone?

( ) Siempre

( ) Casi siempre

( ) Algunas veces

( ) Nunca

¿Ha tenido experiencias previas otras aplicaciones móviles de este tipo?

( ) Si ¿Cuál? ( ) No

(2) LISTA DE TAREAS A REALIZAR

En esta etapa Ud. Deberá realizar ciertas actividades y responde por medio de las Emocards entregadas por los evaluadores a las preguntas realizadas.

Ingrese a la aplicación Cinemark Chile, utilizando Smartphone.

Ingrese a Cines, y seleccione cine a elección.

¿Qué tan efectivos le parecieron los resultados de las búsquedas realizadas en la aplicación? Seleccione una Emocard para su respuesta. Indique número de la Emocard:

Indique su grado de satisfacción con la aplicación, a través de sus emociones. Seleccione una Emocard para su respuesta. Indique número de la Emocard:

Vuelva al menú principal y vea tráiler de película “Terremoto: La falla de San Andrés”. ¿Qué tan efectivos le parecieron los resultados de las búsquedas realizadas en la aplicación? Seleccione una Emocard para su respuesta.

Indique número de la Emocard:

Indique su grado de satisfacción con la aplicación, a través de sus emociones. Seleccione una Emocard para su respuesta.

Indique número de la Emocard:

Encuentre horarios disponibles para película “Mad Max: Furia en el Camino” en 2D, en cine “Mall Marina Arauco”.

¿Qué tan efectivos le parecieron los resultados de las búsquedas realizadas en la aplicación?

Seleccione una Emocard para su respuesta.

Indique número de la Emocard:

Indique su grado de satisfacción con la aplicación, a través de sus emociones. Seleccione una Emocard para su respuesta.

Indique número de la Emocard:

A.2.1: Tarjetas Emocards Son 8 tarjetas para femenino y 8 masculinas, de las cuales el usuario debe escoger la mas representaba durante la interacción:

(1) (2) (3)

(4) (5) (6)

(7) (8)

(1) (2) (3)

(4) (5) (6)

(7) (8)

A.3: MÉTODO EXPERIMENTOS FORMALES

Acuerdo de confidencialidad

YO, ACEPTO participar en una prueba de

usabilidad supervisada por , el día / / , en el Laboratorio de Usabilidad de la Escuela de Ingeniería Informática de la Pontificia Universidad Católica de Valparaíso. Entiendo y estoy de acuerdo con las condiciones mencionadas en adelante.

Entiendo que el experimento tiene por objetivo evaluar un sistema software, NO mis capacidades/habilidades/conocimientos.

Entiendo que los resultados del experimento se utilizaran sólo para propósitos académicos y/o de investigación, sin que mi identidad sea revelada.

Entiendo que puedo comunicar al supervisor del experimento, en cualquier momento, sobre algún malestar, molestia o inconformidad que pueda sentir durante el desarrollo del experimento; y que por tal motivo, puedo abandonar el experimento y el laboratorio en cualquier momento.

Estimado(a) colaborador(a):

Usted participará en una prueba para evaluar la usabilidad de un prototipo llamado “40 Grados”, que tiene como objetivo entretener a los usuarios, por medio de la interacción didáctica de la aplicación móvil y sus jugadores. La prueba tiene por objetivo detectar la existencia de problemas de usabilidad durante el uso de la aplicación, de esta manera poder mejorar la experiencia del usuario.

Se está evaluando la aplicación, NO SU DESEMPEÑO COMO USUARIO. ¡NO SE PREOCUPE SI COMETE ERRORES!

Toda la información que Ud. nos proporciona es absolutamente confidencial y muy relevante para nuestro estudio, por lo cual le agradecemos su cooperación.

La prueba tiene 3 etapas:

• (1) En la primera etapa Ud. deberá completar un breve cuestionario preliminar, relativo a su experiencia previa.

• (2) En la segunda etapa se le proporcionará un conjunto de tareas que se deben llevar a acabo utilizando la aplicación.

• (3) En la tercera etapa Ud. deberá completar un breve cuestionario que tiene por objetivo obtener su percepción general sobre la aplicación.

SI TIENE ALGUNA DUDA DURANTE EL DESARROLLO DE LA PRUEBA, USTED

PUEDE PONERSE EN CONTACTO CON EL EVALUADOR.

(1) Cuestionario pre-test

1. Sexo: ( ) Femenino ( ) Masculino

Edad:

Nivel de educación completada y/o en proceso:

Enseñanza media: ( ) Completa ( ) En Proceso

Técnico: ( ) Completa ( ) En Proceso

Universitario: ( ) Completa ( ) En Proceso

Otro: ( ) Completa ( ) En Proceso

¿Cuál es su ocupación?:

¿Con frecuencia accede a Usted a juegos a través de su Smartphone? ( ) Si

( ) No

¿Usted ha tendido alguna experiencia en juegos como Cultura Chupistica, Tomanji, Ruleta Rusa? ( ) Si

( ) No

¿Ha tenido Ud. Alguna experiencia previa con alguna aplicación móvil de este tipo? ( ) Si

¿Cuál?

( ) No

(2) Lista de tareas a realizar

Tarea 1: Registrarse en la Aplicación.

Seleccione la opción “Jugadores” y luego presione el botón “Agregar Jugador”.

Ingrese su nombre, y presione botón “Agregar Usuario”.

Regrese al menú principal de la aplicación.

Tarea 2: Instrucciones de Juegos.

Seleccione la opción “Juegos”, y presione “Juegos Instructivos”.

Busque instrucciones de juego “Medio Limón”.

Regrese al menú juegos.

Tarea 3: Juegos Interactivos.

Ingrese a la opción “Juegos Interactivos”.

Seleccione 3 usuarios, y luego presiones “Aceptar”.

Seleccione la opción “Ruleta Rusa”.

Presione sobre el bosquejo de las balas solo 2 balas, para luego tirar del gatillo hasta que no queden más balas en el revolver.

Finalmente salga de la aplicación.

(3) Cuestionario post-test

Marque la alternativa más apropiada para cada una de las siguientes preguntas.

1. ¿De qué forma las tareas fueron completadas?

(1) Muy Difícilmente (2) Difícilmente (3) Fácilmente (4) Muy Fácilmente

2. ¿Qué tan fácil ha sido encontrar la información requerida en el experimento?

(1) Muy Difícilmente (2) Difícilmente (3) Fácilmente (4) Muy Fácilmente

3. ¿Qué tan orientado se ha sentido dentro de la aplicación durante el experimento?

(1) Muy Orientado (2) Orientado (3) Poco Orientado (4) Muy poco Orientado

4. ¿Considera que la aplicación ayuda a que los usuarios compartan y se diviertan de formactiva?

(1) Muy en Desacuerdo (2) En Desacuerdo (3) De Acuerdo (4) Muy de acuerdo

5. ¿Considera que los elementos gráficos que presenta la aplicacion se muestran de forma ada?

(1) Muy Inadecuada (2) Inadecuada (3) Adecuada (4) Muy adecuada

6. ¿Fue capaz de entender todos los elementos que están presentes?

(1) Muy Difícilmente (2) Difícilmente (3) Fácilmente (4) Muy Fácilmente

7. ¿Considera que la aplicación es fácil de utilizar?

(1) Muy difícil (2) Difícil (3) Fácil (5) Muy fácil

8. ¿Cuál es su grado de satisfacción respecto al uso de la aplicación ?

(1) Insatisfactorio (2) Poco Satisfactorio (3) Satisfactorio (4) Muy Satisfactorio

9. ¿Con que nota evaluaría Usted esta aplicación?__________

10. Cuáles fueron los elementos y/o funcionalidades, que le brindaron más agrado/gusto? (Máx 3 respuestas). ___________________________________________________________________________

11. ¿Cuáles fueron los elementos y/o funcionalidades, que le brindaron más desagrado/disgusto?(Máx 3 respuestas).

A.4: MÉTODO PROPERTY CHECKLIST

Dimensión

Cuestionario

Comentario

Accesibilidad

¿La aplicación puede ser utilizada por cualquier usuario? ¿Se proporciona información adicional para los elementos no textuales, como imágenes, subtítulos o mapas?

¿El contenido es legible y en el idioma adecuado? ¿Los enlaces, botones y casillas de verificación son fáciles de seleccionar?

Interfaz

¿El contenido relevante se muestra de forma llamativa?

¿Se visualiza de forma clara los diferentes elementos en la pantalla?

¿La información relacionada con los elementos no textuales de la aplicación se presentan con claridad?

¿El diseño es coherente en toda la aplicación?

Contenido

¿El contenido de la aplicación sigue un orden adecuado? ¿Hay un contraste adecuado entre el texto y el fondo? ¿El contenido es susceptible de ser analizado? (Párrafos cortos, títulos descriptivos, listas e imágenes explicativas).

¿Se evita el uso de mayúsculas en el texto? ¿El contenido es útil y actualizado?

Experiencia de uso

¿Los precios se muestran con claridad. No hay costos ocultos ni sorpresas?

¿El contenido de la aplicación le parece util? ¿El contenido de la aplicación le parece creible? ¿La aplicación le parece facil de usar? ¿La aplicación es capaz de responder frente a problemas?

A.5: MÉTODO DE VALENCIA

Acuerdo de confidencialidad

YO, ACEPTO participar en una prueba de usabilidad supervisada por , el día

/__ /__ , en el Laboratorio de Usabilidad de la Escuela de Ingeniería Informática de la Pontificia Universidad Católica de Valparaíso. Entiendo y estoy de acuerdo con las condiciones mencionadas en adelante.

Entiendo que el experimento tiene por objetivo evaluar un sistema software, NO mis capacidades/ habilidades/conocimientos.

Entiendo que los resultados del experimento se utilizaran sólo para propósitos académicos y/o de investigación, sin que mi identidad sea revelada.

Entiendo que puedo comunicar al supervisor del experimento, en cualquier momento, sobre algún malestar, molestia o inconformidad que pueda sentir durante el desarrollo del experimento; y que por tal motivo, puedo abandonar el experimento y el laboratorio en cualquier momento.

Firma

Estimado(a) colaborador(a):

Usted participa en un experimento que tiene como propósito evaluar su experiencia de uso de la aplicación móvil: Cinemark Chile

Se está evaluando un portal web, NO su desempeño como usuario. ¡NO SE PREOCUPE SI COMETE ERRORES!

El experimento tiene 3 etapas:

1. En la primera etapa Ud. deberá completar un breve cuestionario preliminar, relativo a su experiencia previa.

2. En la segunda etapa se le solicitará explorar la aplicación: Cinemark Chile, según lo indicado.

3. En la tercera etapa Ud. deberá responder a una entrevista con los evaluadores.

SI TIENE ALGUNA DUDA DURANTE EL EXPERIMENTO, PUEDE PONERSE EN CONTACTO CON EL EVALUADOR, EN CUALQUIER MOMENTO.

La información que Ud. proporciona es confidencial y muy relevante para nuestro estudio.

¡Agradecemos su cooperación!

(1) CUESTIONARIO PRELIMINAR

1. Sexo: ( ) Femenino ( ) Masculino

2. Edad:

3. Nivel de educación completa y/o en proceso:

Enseñanza media: ia: ( ) Completa ( ) En Proceso

Técnico: ( ) Completa ( ) En Proceso

Universitario: ( ) Completa ( ) En Proceso

Otro: ( ) Completa ( ) En Proceso

4. ¿Cuál es su ocupación?:

5. ¿Con que frecuencia accede Ud. a carteleras cinematográficas, a través de su

Smartphone?

( ) Siempre ( ) Casi siempre ( ) Algunas veces ( ) Nunca

6. ¿Ha tenido experiencias previas otras aplicaciones móviles de este

tipo?

( ) Si ¿Cuál?

( ) No

(2) LISTA DE TAREAS A REALIZAR

PRIMERA FASE

1. Ingrese a la aplicación Cinemark Chile, utilizando Smartphone.

2. Realice actividades que estime conveniente, preste atención a sus sentimientos durante toda la exploración.

3. Monitoree continuamente todas las instancias en las cuales se sienta a bien o mal con el uso de la aplicación. Esto debe realizarse pulsando botón verde (para experiencia positiva) y rojo (para experiencia negativa).

B: EVALUACIÓN HEURÍSTICA “GMAIL”

B.1: Problemas Encontrados A continuación se presenta la tabla 1 de problemas encontrados en el producto a evaluar:

Tabla 1. Problemas Encontrados

Id Definición del

problema

Comentarios/Explicaciones Ejemplos de

ocurrencia Principios Incumplidos

Pantallas explicativas

P1

En el menú desplegable no se permite cerrar la sesión.

Al querer cerrar la sesión de Gmail, no se permite desde la aplicación.

“Al abrir menú desplegable”

H3

A.1

P2

Icono lápiz, inadecuado a estándares, pues se usa para editar y en Gmail es usado para redactar una mensaje nuevo

En la esquina inferior derecha de la aplicación se utiliza un recurso inapropiado para la función que cumple.

“Icono Inadecuado”

H4

A.2

P3

No se puede modificar contraseña, no posee acceso directo a Gmail, se abre la configuración del celular para poder agregar o eliminar alguna cuenta.

Dentro de la aplicación no se puede modificar la contraseña de forma directa. En vez de ello, se abre la configuración del celular para poder agregar o eliminar alguna cuenta.

“Modificar contraseña”

H3

A3

P4

No se marcan los correos como importantes, solo como destacado (al presionar icono estrella)

Al presionar icono estrella, situado al costado de los correos de la bandeja de entrada solo se marcan como destacados, no como principales.

“Destacar correos importantes”

H3

A.4

P5

La búsqueda de un correo es automática, a pesar de situarse

No existen filtros de búsqueda, si se usa el icono lupa para la búsqueda lo

“Búsqueda automática”

H8

A.5

Id Definición del

problema

Comentarios/Explicaciones Ejemplos de

ocurrencia Principios Incumplidos

Pantallas explicativas

en cierto ítem como: entro de la bandeja principal, social y de promociones.

hace en la todos los correos de forma automática

P6

Cuando se sitúa en correo y se archiva el usuario no sabe dónde se alojan

No se sabe dónde se van los correos archivados, es decir, no se tiene claridad en que bandeja se alojan.

“Donde se alojan correos

archivados”

H5, H3

A.6, A.7

P7

Conceptos que no tienen relevancia o diferencias entre "destacados" e "importantes"

No se tiene claridad sobre la diferencia de los conceptos

“Conceptos”

H2

A.8

P8

No autocompleta los correos ya existentes en bandeja de entrada

Al redactar un mensaje, y buscar el contacto al cual se le destinara el correo, no se autocompleta el correo que ya está guardado como contacto anteriormente

“En búsqueda de correo existente”

H8

A.9

P9

No queda claro como revisar otras cuentas

En primera instancia, no queda claro como revisar las otras cuentas asociadas

“Cuentas”

H3

A.10

P10

No se sabe si la firma es enviada

Al enviar un e-mail, la firma que uno tiene asociada, no aparece. Esto no deja claro si no la manda o es ingresada cuando se envía el mail

“Feedback”

H4

A.11

P11

No indica la acción realizada

Al seleccionar botón de poner el e-mail como "No leído", este no advierte de la acción realizada, y una vez realizada, no indica que se hizo.

“Correos no leídos”

H1

P12

No se entiende función deslizar hacia derecha o izquierda

Al deslizar un mail en las distintas bandejas, no queda claro a que se refiere con archivar, ya que no existe la carpeta "Archivados"

“acciones de desplazamiento”

H4

A.12

P13

No indica la acción que se realizó al pinchar icono "estrella"

Aplicación no indica que acción se realizó al seleccionar la estrella

“Presionar icono estrella”

H1

A.13

P14

No muestra la lectura de más de un correo de una misma persona

Al revisar el correo de una persona que había enviado más de un email el ultimo no se muestra aunque aparezca por pantalla que llego un correo, al

"Cualquier correo"

H7

A.14

Id Definición del

problema

Comentarios/Explicaciones Ejemplos de

ocurrencia Principios Incumplidos

Pantallas explicativas

realizar la actualización por ende hay que enviarlo de nuevo

P15

No permite una opción de eliminar o vaciar la papelera.

Al ir al botón de papelera, no permite vaciar los elementos. Y dejar en cero.

"Papelera"

H3

A.15

P16

No existe una identificación de colores por la separación de mensajes, por lo que no se entiende por qué los catalogo.

Se para los mensajes por letra y color diferentes.

Letras y colores de clasificación

de mensajes, ejemplo " P"

cuadrado verde del mensaje en el

comienzo.

H8

A.16

P17

Vaciar papelera.

Al encontrar el botón de eliminar elementos papelera, se ingresó para eliminar, pero los elementos no se eliminaron.

"vaciar papelera"

H5

A.17

P18 Botón superior izquierda, se ve a la mitad.

Poca visualización del botón izquierdo que despliega el menú.

“Botón de menú”

H12

A.18

P19 CC y CCO

Cuando se agregan los CC y CCO y después no se quiere enviar el mensaje, no existe un botón para eliminar lo que se agregó.

"Con copia a o con copia oculta"

H3

A.19

P20

No existe botón de volver atrás.

No existe un botón para volver atrás hay que usar el botón por defecto del celular.

"Enviar un mensaje o ver el

menú".

H3

A.20

P21 No se visualiza menú de donde adjuntar archivo.

Adjuntar archivo, no se ve el menú completo para escoger de donde adjuntar el archivo.

" Adjuntar archivo"

H12

A.21

P22 Botón deshacer muy pequeño, poco visible.

Botón de volver atrás es muy pequeño y no se logra visualizar en su totalidad.

">"

H12

A.22

Id Definición del

problema

Comentarios/Explicaciones Ejemplos de

ocurrencia Principios Incumplidos

Pantallas explicativas

P23

Mensaje de sincronización automática no consistente con las notificaciones.

En la bandeja de sincronización y notificación existe un mensaje de sincronización desactiva, pero si se quisiera colocar activo, en ninguna parte de las notificaciones existen.

"Sincronización

automática desactivada"

H5, H1

A.23

P24

Ayuda, direcciona a un sitio nuevo no tiene almacenadas preguntas típicas en el inicio del sitio.

La ayuda direcciona a un sitio nuevo de soporte, pero no existe preguntas de problemas en el inicio, sino que solo lo que hace Gmail.

"Sitio de ayuda de Gmail"

H4

A.24

P25 Política de privacidad, demasiado texto

Sobrecarga de información en las políticas de privacidad.

"Políticas de privacidad"

H6

A.25

P26

Menú sobre menú, confusión.

Existe más de un menú dentro de las políticas de privacidad. Y además al costado derecho otro menú.

" Muchos menú en política de privacidad"

H6

A.26

P27

Confusión de Botón comentario.

Enviar comentarios, se confunde con enviar un comentario a algún destinatario o a Gmail.

"Comentarios"

H2

A.27

P28

Visto o ticket en la cuenta confuso.

No se entiende que se quiere interpretar con el visto bueno, en la foto con la cuenta al lado derecho de la cuenta.

"Visto bueno"

H2

A.28

P29 No se puede cambiar la foto de sesión.

No se visualiza donde cambiar la foto de sesión y tampoco haciendo clic en ella, ya que direcciona al menú principal.

"Foto de sesión"

H5

A.29

P30

Dos veces el botón de ayuda.

Ambos botones de ayuda direccionan al mismo sitio de soporte y hacen lo mismo, es redúndate.

"Botón ayuda"

H6

A.30

P31

No se entiende el botón recibidos según prioridad.

Prioridad de: Favoritos, mas importantes, o que prioridad, no se entiende, es confuso y poco especifico la prioridad de catalogar los mensajes recibidos que son prioritarios.

"Recibidos según prioridad"

H2

A.31

Id Definición del

problema

Comentarios/Explicaciones Ejemplos de

ocurrencia Principios Incumplidos

Pantallas explicativas

P32

No posee manual de uso

Cuando se instala en el dispositivo móvil no tiene una retroalimentación de cómo se utiliza el sistema. Esto puede ser confuso para el usuario, ya que a pesar de poseer una cuenta que quizás haya ingresado por la versión web, la versión móvil posee unas diferencias notables en cuanto a opciones e interfaz.

Cuando se ingresa a la aplicación por primera vez, solo muestra la bandeja principal y las carpetas que se quiere sincronizar.

H1

A.26, A.27, A.28 y A.29

P33

No explica de forma clara el criterio para guardar los mensajes de cierta categoría de bandeja de entrada.

Las cuentas de Gmail, poseen distintas categorías de bandejas de entrada en las cuales se guardan distintos tipos de mensaje según criterio de la aplicación y aunque resumen que almacena cada categoría, no especifica si eso va a depender de la dirección de correo que se envió o quizás el asunto como alguna otra característica.

Al ingresar al

menú de la aplicación se

selecciona el ítem de ajustes en el

cual aparecen tres opciones.

H1

A.30

P34

La opción de actualizar debería estar más visible.

Para actualizar el contenido del correo electrónico es necesario hacer click en la opción que posee en celular para mostrar opciones ya que este icono no está explícito en la interfaz principal. Esto puede resultar un poco frustrante para la persona que no acostumbra visualizar el correo en el dispositivo móvil.

Al ingresar a la aplicación, si no tienes la sincronización automática, te muestra un mensaje para que actives esa opción, pero no deja algún icono en la interfaz principal.

H8

A.31

P35

Atajos en la aplicación que no son informados al usuario.

Existen cierto tipo de acciones que son atajos para realizar alguna tarea en la aplicación, como el actualizar el contenido del correo electrónico. Para ello existe la opción de ver el menú de la tecla del celular y hacer click sobre actualizar o bien hacerlo de manera similar a Facebook versión móvil que es desplazar hacia abajo con el dedo sobre la pantalla. Si bien esto se puede aprender con el tiempo sería algo más amigable si todo usuario tuviera conocimiento de este atajo.

Al ingresar a la aplicación se necesita hacer click en las opciones del menú del celular para ver la opción de actualizar, mientras que en la interfaz principal no se informa que esa misma acción se puede llevar a cabo desplazando el dedo hacia abajo sobre la pantalla.

H6

A.32

Id Definición del

problema

Comentarios/Explicaciones Ejemplos de

ocurrencia Principios Incumplidos

Pantallas explicativas

P36

Menú principal se muestra como una lista desplegable.

Al ir a las opciones del menú y seleccionar alguna, no se queda fija la lista si no que al volver atrás para visualizarlas nuevamente, estas no se muestran y aparece la interfaz de la bandeja principal. Esto puede ser engorroso si se busca analizar más de una opción de ese menú ya que en cada ocasión se debe seleccionar la opción para que vuelva a mostrarlo.

En la interfaz principal

H8

A.33

P37

El icono que representa el menú de opciones de la aplicación está situado muy al borde.

Al ingresar a la interfaz principal el icono que representa las opciones del menú se encuentra en el borde superior izquierdo de la pantalla lo cual al ser de tamaño pequeño y estar muy al borde puede resultar difícil para el usuario seleccionar exactamente esa opción, sin embargo ese icono puede confundir al usuario ya que no es necesario de que se seleccione cercano al borde.

En la esquina superior izquierda se encuentra el icono del menú el cual es diminuto y puede resultar difícil de localizar a primera instancia para los usuarios.

H12

A.34

P38

No indica el significado de iconos como la estrella o la punta de flecha

El formato de los correos que se muestran en cualquiera de las bandejas de entrada, posee una estrella y que puede estar de color o no, así como también la punta de flecha que aparece en algunos correos. Sin embargo no se posee una retroalimentación acerca del significado de estos o las variaciones de estado que puede provocar en la aplicación.

En la bandeja principal se muestran los distintos correos en forma de lista, los cuales pueden tener la estrella en color amarillo o sin color. A su vez estos pueden poseer un icono que corresponde a una punta de flecha en color amarillo o no.

H1

A.35

P39

Significado de [Spam]

No hay información en las carpetas con ese nombre y tampoco sale una opción de ayuda para aclarar las dudas.

Estas se encuentran en el menú principal de la aplicación, las cuales al ingresar no poseen nada y tampoco una opción de ayuda para entender.

H11

A.36

P40

No se pueden eliminar correos

Es necesario abrir cada correo para que en esa interfaz aparezca la opción de eliminar, entonces puede volverse engorroso cuando son muchos los que

Al ingresar a la interfaz principal no se visualiza la opción de

H12

A.38 y A.39

Id Definición del

problema

Comentarios/Explicaciones Ejemplos de

ocurrencia Principios Incumplidos

Pantallas explicativas

desde la interfaz principal.

se quiere eliminar a través de la versión móvil

seleccionar más de un correo ni la opción de eliminarlos. Al ingresar al mensaje recién aparece el icono para borrar.

P41

Mensaje de confirmación confuso

Al intentar borrar un mensaje de borrador aparece un pop up de confirmación preguntando si "¿Desea descartar mensaje?" lo cual puede resultar confuso y debería ser eliminar o alguna palabra mas familiar.

Al ingresar al menú de la aplicación se selecciona la carpeta que dice Borradores en la cual se selecciona alguno de los mensajes y se hace click sobre el icono de eliminar.

H2

A.40

P42

Archivos adjuntos se visualizan al final

Los mensajes cuando poseen archivos adjuntos muestran un icono de clip para indicar de esta situación. Sin embargo cuando se ingresa al mensaje este no aparece hasta que se baja al final del mensaje, lo cual resulta ser engorroso si este último es demasiado largo.

Algún correo que posea el clip en la interfaz principal y que al ingresar al mensaje este sea largo.

H7

A.41 y A.42

P43

No entrega opción de visualizar solo los no leídos.

Al ingresar a la interfaz principal en la parte superior izquierda se indican los correos no leídos que se posee, sin embargo en el menú no está la opción de visualizar solo los que están con ese estado, por lo que resulta engorroso buscarlos y deslizarse hacia abajo para encontrarlos.

Cuando la bandeja de entrada posee muchos correos y resulta engorroso deslizar hacia abajo la interfaz para encontrar a todos aquellos q están como no leídos.

H9

A.43

P44

El icono que indica a los correos destacados, cambia en la versión móvil.

La versión móvil muestra un icono distinto a la versión web para etiquetar a los correos destacados. El icono de la versión web tiene la punta redondeada mientras que el de la versión móvil es como una punta de flecha.

Los correos marcados como destacados en ambas versiones

H4

Id Definición del

problema

Comentarios/Explicaciones Ejemplos de

ocurrencia Principios Incumplidos

Pantallas explicativas

P45

Al buscar no me entrega los resultados esperados

Al ingresar un criterio de búsqueda como un nombre no me entrega solo los correos con ese nombre.

Al usar el buscador

H8

P46

En el menú desplegable existe una opción Spam no necesaria.

Esta opción innecesaria

Al abrir menú desplegable

H8

P47

Los correos enviados deberían estar justo debajo de la sección principal, pero está más abajo y cuesta encontrarla

Los correos enviados deberían estar cerca de la opción bandeja de entrada.

Al abrir menú desplegable

H7

P48

Al presionar la tuerca de configuración da muy pocas opciones de personalización

Se encuentran pocas opciones, podría haber más opciones de personalización

Al abrir menú desplegable y presionar la

tuerca

H7

P49

La sección importante selecciona correos como importantes por si solos, sin que el usuario lo desee.

NO hay donde elegir que correos son para mi importantes

al abrir el menú desplegable y elegir correos importantes

H8

B.2: Principios Incumplidos A continuación se presenta una tabla 3.2 con las heurísticas y los problemas que las incumplen:

Tabla 2. Principios Incumplidos

Id Principio Usabilidad Problema en el que irrumpió

Nº de problemas en el que irrumpió

SMAH1 Visibilidad del estado del sistema

P11,P13,P23,P32,P33, P38 6

SMASH2 Coincidencia entre el sistema y el mundo real

P7,P27,P38,P31,P41 5

SMASH3 Control y libertad de usuario

P1,P3,P4,P6,P9,P15,P19, P20 8

SMASH4 Consistencia y Estándares P2,P10,P12,P24,P44 5 SMASH5 Prevención de errores P6,P17,P23,P29 4 SMASH6 Minimizar carga de

memoria. P25,P26,P30,P35 4

SMASH7 Personalización y atajos P14,P42,P47,P48 4 SMASH8 Eficiencia de uso y

rendimiento P5,P8,P16,P34,P36,P45, P46,49 8

SMASH9 Diseño estético y minimalista

P43 1

SMASH10

Ayudar a los usuarios a reconocer , diagnosticar y recuperarse de errores

0

SMASH11 Ayuda y documentación P39 1 SMASH12 Interacción física y

ergonomía P18,P21,P22,P37,P40 5

Figura 1. Gráfico de Principios Incumplidos

El gráfico mostrado tiene por objetivo mostrar la cantidad de problemas encontrados por cada una de las heurísticas, a simple vista es posible notar que las heurísticas más incumplidas fueron la SMASH3 y SMASH8, de los cuales se pueden destacar un total de 16 problemas hallados por los evaluadores. Luego le siguen SMASH1, con 6 problemas respectivamente.

Dentro del listado de problemas no fue posible identificar un incumplimiento con SMASH10, esta heurística no sumo ningún problema.

B.3: Notas Asignadas por Evaluadores A continuación se presenta la evaluación realizada por los evaluadores para cada problema. La evaluación se realiza a través de los criterios de severidad (impacto) y frecuencia (probabilidad de ocurrencia). Luego se expone la criticidad como criterio que se obtiene a través de la suma de severidad y frecuencia.

La severidad se medirá de 0 (no es un problema) a 4 (es un problema catastrófico). La frecuencia se medirá al igual que severidad de 0 (menos de 1% de ocurrencia) a 4 (arriba de un 90% de ocurrencia). Finalmente se exponen los promedios y desviaciones estándar de cada criterio ocupado. Cabe destacar que el orden de los evaluadores no es el mismo presentado en el capítulo 3; esto es para expresar la confidencialidad de la evaluación a cada problema.

Tabla 3. Notas Asignadas por los Evaluadores

B.4: Ranking de Problemas Según Criticidad A continuación se presentan los problemas encontrados ordenados por criticidad de mayor a menor.

Tabla 3. Ranking de Problemas Según Promedio de Criticidad

Id Definición del problema PROMEDIOS Frecuencia Severidad Criticidad

P5 La búsqueda de un correo es automática, a pesar de situarse en cierto ítem como: entro de la bandeja principal, social y de promociones. 3,8 3,0 6,8

P3

No se puede modificar contraseña, no posee acceso directo a Gmail, se abre la configuración del celular para poder agregar o eliminar alguna cuenta.

3,0

3,3

6,0

P2 Icono lápiz, inadecuado a estándares, pues se usa para editar y en Gmail es usado para redactar una mensaje nuevo 2,8 3,3 6,0

P1 En el menú desplegable no se permite cerrar la sesión. 2,6 3,5 5,6 P6 Cuando se sitúa en correo y se archiva el usuario no sabe dónde se alojan 2,8 3,0 5,6 P14 No muestra la lectura de más de un correo de una misma persona 2,8 2,8 5,6 P20 No existe botón de volver atrás. 3,0 2,5 5,6

P4 No se marcan los correos como importantes, solo como destacado (al presionar icono estrella) 2,6 3,3 5,6

P8 No autocompleta los correos ya existentes en bandeja de entrada 2,6 3,0 5,6

P7 Conceptos que no tienen relevancia o diferencias entre "destacados" e "importantes" 2,8 3,0 5,6

P31 No se entiende el botón recibidos según prioridad. 3,0 2,3 5,2 P10 No se sabe si la firma es enviada 2,4 3,0 5,2 P9 No queda claro como revisar otras cuentas 2,0 3,0 5,2 P15 No permite una opción de eliminar o vaciar la papelera. 2,2 2,8 5,0 P17 Vaciar papelera. 2,2 2,8 5,0 P21 No se visualiza menú de donde adjuntar archivo. 2,6 2,5 5,0 P22 Botón deshacer muy pequeño, poco visible. 2,2 2,5 5,0

P16 No existe una identificación de colores por la separación de mensajes, por lo que no se entiende por qué los catalogo. 2,6 2,8 5,0

P11 No indica la acción realizada 2,0 3,0 5,0 P12 No se entiende función deslizar hacia derecha o izquierda 2,0 3,0 4,8 P32 No posee manual de uso 2,6 2,3 4,8

P24 Ayuda, direcciona a un sitio nuevo no tiene almacenadas preguntas típicas en el inicio del sitio. 2,4 2,5 4,8

P19 CC y CCO 2,2 2,8 4,8

P23 Mensaje de sincronización automática no consistente con las notificaciones. 2,2 2,5 4,8

P13 No indica la acción que se realizó al pinchar icono "estrella" 2,2 3,0 4,8 P18 Botón superior izquierdo, se ve a la mitad. 2,2 2,8 4,8 P25 Política de privacidad, demasiado texto 2,2 2,5 4,6

P33 No explica de forma clara el criterio para guardar los mensajes de cierta categoría de bandeja de entrada. 2,2 2,3 4,4

P34 La opción de actualizar debería estar más visible. 2,0 2,3 4,4 P27 Confusión de Botón comentario. 1,8 2,5 4,4 P28 Visto o ticket en la cuenta confuso. 2,4 2,5 4,4

P26 Menú sobre menú, confusión. 1,8 2,5 4,4 P45 Al buscar no me entrega los resultados esperados 2,0 2,0 4,2

P37 El icono que representa el menú de opciones de la aplicación está situado muy al borde. 2,2 2,3 4,2

P35 Atajos en la aplicación que no son informados al usuario. 2,0 2,3 4,2 P40 No se pueden eliminar correos desde la interfaz principal. 2,0 2,3 4,2 P38 No indica el significado de iconos como la estrella o la punta de flecha 2,0 2,3 4,2 P36 Menú principal se muestra como una lista desplegable. 2,0 2,3 4,2 P41 Mensaje de confirmación confuso 1,8 2,3 4,2 P29 No se puede cambiar la foto de sesión. 2,2 2,5 4,2 P39 Significado de [Spam] 1,8 2,3 4,2

P48 Al presionar la tuerca de configuración da muy pocas opciones de personalización 2,0 1,8 4,0

P49 La sección importante selecciona correos como importantes por sí sola, sin que el usuario lo desee. 2,2 1,8 4,0

P42 Archivos adjuntos se visualizan al final 1,8 2,3 4,0 P43 No entrega opción de visualizar solo los no leídos. 1,8 2,3 4,0 P30 Dos veces el botón de ayuda. 1,4 2,5 3,8 P44 El icono que indica a los correos destacados, cambia en la versión móvil. 1,8 2,3 3,8 P46 En el menú desplegable existe una opción spam no necesaria. 2,2 2,0 3,8

P47 Los correos enviados deberían estar justo debajo de la sección principal, pero está más abajo y cuesta encontrarla 1,4 2,0 3,6

B.5: Ranking de Problemas Según Severidad A continuación se presentan los problemas encontrados ordenados por severidad de mayor a menor:

Tabla 4. Ranking de Problemas Según Promedio de Severidad

Id Definición del problema PROMEDIOS Frecuencia Severidad Criticidad

P43 No entrega opción de visualizar solo los no leídos. 2,6 3,5 5,6

P7 Conceptos que no tienen relevancia o diferencias entre "destacados" e "importantes" 3,0 3,3 6,0

P23 Mensaje de sincronización automática no consistente con las notificaciones. 2,8 3,3 6,0

P40 No se pueden eliminar correos desde la interfaz principal. 2,6 3,3 5,6 P1 En el menú desplegable no se permite cerrar la sesión. 3,8 3,0 6,8

P4 No se marcan los correos como importantes, solo como destacado (al presionar icono estrella) 2,8 3,0 5,6

P6 Cuando se sitúa en correo y se archiva el usuario no sabe dónde se alojan 2,0 3,0 5,2

P9 No queda claro como revisar otras cuentas 2,4 3,0 5,2 P11 No indica la acción realizada 2,0 3,0 4,8

16

P14 No muestra la lectura de más de un correo de una misma persona 2,8 3,0 5,6 P17 Vaciar papelera. 2,0 3,0 5,0

P24 Ayuda, direcciona a un sitio nuevo no tiene almacenadas preguntas típicas en el inicio del sitio. 2,6 3,0 5,6

P26 Menú sobre menú, confusión. 2,2 3,0 4,8 P13 No indica la acción que se realizó al pinchar icono "estrella" 2,8 2,8 5,6 P25 Política de privacidad, demasiado texto 2,2 2,8 5,0 P31 No se entiende el botón recibidos según prioridad. 2,6 2,8 5,0

P37 El icono que representa el menú de opciones de la aplicación está situado muy al borde. 2,2 2,8 5,0

P38 No indica el significado de iconos como la estrella o la punta de flecha 2,2 2,8 4,8

P44 El icono que indica a los correos destacados, cambia en la versión móvil. 2,2 2,8 4,8

P5 La búsqueda de un correo es automática, a pesar de situarse en cierto ítem como: entro de la bandeja principal, social y de promociones. 1,8 2,5 4,4

P10 No se sabe si la firma es enviada 1,8 2,5 4,4 P15 No permite una opción de eliminar o vaciar la papelera. 2,2 2,5 5,0 P18 Botón superior izquierdo, se ve a la mitad. 2,2 2,5 4,8 P27 Confusión de Botón comentario. 2,4 2,5 4,8 P28 Visto o ticket en la cuenta confuso. 2,2 2,5 4,2 P35 Atajos en la aplicación que no son informados al usuario. 2,4 2,5 4,4 P39 Significado de [Spam] 2,2 2,5 4,6 P45 Al buscar no me entrega los resultados esperados 2,6 2,5 5,0 P46 En el menú desplegable existe una opción spam no necesaria. 3,0 2,5 5,6

P48 Al presionar la tuerca de configuración da muy pocas opciones de personalización 1,4 2,5 3,8

P8 No autocompleta los correos ya existentes en bandeja de entrada 2,0 2,3 4,4 P12 No se entiende función deslizar hacia derecha o izquierda 2,2 2,3 4,4

P16 No existe una identificación de colores por la separación de mensajes, por lo que no se entiende por qué los cataloga. 1,8 2,3 4,0

P19 CC y CCO 2,0 2,3 4,2 P20 No existe botón de volver atrás. 2,2 2,3 4,2 P21 No se visualiza menú de donde adjuntar archivo. 2,0 2,3 4,2 P22 Botón deshacer muy pequeño, poco visible. 1,8 2,3 3,8 P29 No se puede cambiar la foto de sesión. 2,6 2,3 4,8 P30 Dos veces el botón de ayuda. 1,8 2,3 4,2 P32 No posee manual de uso 1,8 2,3 4,0 P34 La opción de actualizar debería estar más visible. 3,0 2,3 5,2 P36 Menú principal se muestra como una lista desplegable. 2,0 2,3 4,2 P41 Mensaje de confirmación confuso 1,8 2,3 4,2

P49 La sección importantes selecciona correos como importantes por sí sola, sin que el usuario lo desee. 2,0 2,3 4,2

P2 Icono lápiz, inadecuado a estándares, pues se usa para editar y en Gmail es usado para redactar una mensaje nuevo 2,2 2,0 3,8

P3

No se puede modificar contraseña, no posee acceso directo a Gmail, se abre la configuración del celular para poder agregar o eliminar alguna cuenta.

2,0

2,0

4,2

P47 Los correos enviados deberían estar justo debajo de la sección principal, pero está más abajo y cuesta encontrarla 1,4 2,0 3,6

P33 No explica de forma clara el criterio para guardar los mensajes de cierta categoría de bandeja de entrada. 2,0 1,8 4,0

P42 Archivos adjuntos se visualizan al final 2,2 1,8 4,0

B.6: Comentarios Sobre las Tablas de Resultados En esta sección se realizan los comentarios con respecto a las tablas separando por cada punto una tabla distinta.

En la Tabla 1 se presenta el listado de problemas el cual fue realizado al juntar el listado de cada evaluador, este concentra un total de 49 problemas identificados, con comentarios, ejemplos de ocurrencia y capturas de pantallas, las cuales se encuentran en el anexo del documento.

La Tabla 2 muestra los diversos problemas clasificados según la heurística que incumplen, además de la cantidad de problemas por heurística incumplida. A partir de esta tabla es posible realizar el Gráfico de la figura 4.1, lo que permite identificar en donde hay más inconvenientes.

La Tabla 3 presenta la lista de los problemas y las notas asignadas por los evaluadores, seguido de esto están los promedios de cada evaluación y se presenta la desviación estándar con el fin de mostrar las diferencias de opinión que puedan existir entre los evaluadores. Cabe destacar que todos los evaluadores poseen algún tipo de experiencia previa a esta evaluación.

En la Tabla 4 están contenidos los problemas ordenados según promedio de criticidad, en los primeros lugares se encuentran P5, P3 y P2, los tres poseen un promedio mayor 6,0 y los problemas que presentan menor promedio son P30, P44 y P46 y P47 con un promedio de 3,8; 3,8; 3,8 y 3,6 respectivamente. Esta tabla permite ayudar en la formación de una lista que permita ordenar las prioridades a la hora de corregir errores, una buena manera sería abordar aquellos que sean más críticos.

En la Tabla 5 se encuentra el ranking de problemas ordenados según promedio de severidad, los problemas con mayor promedio son: P43, P7, P23 y P40 con un promedio de 3,5, 3,3, 3,3 y 3,3 respectivamente y los problemas con menor promedio de severidad son P47, P33 y P42, los cuales poseen 2, 1,8 y 1,8 respectivamente. Al igual que la Tabla 4 esta tabla permite dar una pauta para la corrección de los problemas identificados por los evaluadores.

B.7: Soluciones Propuestas A continuación se presenta una tabla en la cual están contenidos los problemas hallados por los evaluadores junto a una solución propuesta para cada uno de los problemas.

Tabla 5. Soluciones Propuestas

ID Problema Definición del Problema Solución Propuesta

P1 En el menú desplegable no se permite cerrar

la sesión.

Dar la libertad al usuario con un icono o botón para cerrar sesión e iniciarla a través de una clave y contraseña

ID Problema Definición del Problema Solución Propuesta

P2

Icono lápiz, inadecuado a estándares, pues se usa para editar y en Gmail es usado para redactar una mensaje nuevo

Para hacer un mensaje nuevo se usa icono carta

P3

No se puede modificar contraseña, no posee acceso directo a Gmail, se abre la configuración del celular para poder agregar o eliminar alguna cuenta.

Sincronización automática con oras plataformas de la misma aplicación.

P4

No se marcan los correos como importantes, solo como destacado (al presionar icono estrella)

Se debe realizar retroalimentación entre la aplicación y las funciones realizadas por el usuario por medio de mensajes

P5

La búsqueda de un correo es automática, a pesar de situarse en cierto ítem como: entro de la bandeja principal, social y de promociones.

Usar filtros en las búsquedas

P6 Cuando se sitúa en correo y se archiva el usuario no sabe dónde se alojan Retroalimentación

P7

Conceptos que no tienen relevancia o diferencias entre "destacados" e "importantes"

Eliminar uno de los dos conceptos en caso de que cumplan con la misma funcionalidad

P8 No autocompleta los correos ya existentes en

bandeja de entrada

Debe haber mecanismos que hagan que la aplicación sea más eficiente, sobre todo en el caso de un correo ya existente

P9

No queda claro como revisar otras cuentas

Facilitar por medio de iconos conocidos para el paso de una cuenta a otra, sin que el usuario recuerde que pasos hizo

P10 No se sabe si la firma es enviada Debe existir un registro de la firma tanto en el sitio de Gmail, como en la aplicación móvil

P11 No indica la acción realizada Mayor retroalimentación en la aplicación por medio de mensajes

P12 No se entiende función deslizar hacia derecha o izquierda

Mayor retroalimentación en la aplicación por medio de mensajes

P13 No indica la acción que se realizó al pinchar icono "estrella"

Mayor retroalimentación en la aplicación por medio de mensajes

P14 No muestra la lectura de más de un correo de

una misma persona

Visualización de mensajes debe ajustarse a las necesidades, por lo que debe existir opción de múltiples usuarios

P15 No permite una opción de eliminar o vaciar la papelera.

Debe existir mecanismos para la libertad del usuario, por medio de iconos que pueda reconocer

P16

No existe una identificación de colores por la separación de mensajes, por lo que no se entiende por qué los catalogo.

La separación de mensajes debería acotarse a ítems más relevantes como: “Bandeja de entrada”, “Enviados”, “Eliminados”

P17 Vaciar papelera. Que la aplicación vacié la papelera cada cierto tiempo de espera, para no acumular archivos

P18 Botón superior izquierda, se ve a la mitad. Ajustar iconos a el grosor de los dedos del usuario

P19 CC y CCO Se deben definir bien conceptos, en el click de un mensaje con el significado

P20 No existe botón de volver atrás. Integrar icono con flecha hacia atrás

P21 No se visualiza menú de donde adjuntar archivo. Proporcionar iconos reconocidos a los usuarios

P22 Botón deshacer muy pequeño, poco visible. Dar herramientas que permitan ser visibles según tamaño del dispositivo

P23 Mensaje de sincronización automática no consistente con las notificaciones.

Debe venir por defecto la sincronización de los mensajes con el teléfono

ID Problema Definición del Problema Solución Propuesta

P24

Ayuda, direcciona a un sitio nuevo no tiene almacenadas preguntas típicas en el inicio del sitio.

Debe existir consistencia de plataforma

P25 Política de privacidad, demasiado texto Acotar indicaciones P26 Menú sobre menú, confusión. Solo exista un menú

P27

Confusión de Botón comentario.

Comentarios se realicen en una pestaña donde se pueda editar un comentario y posea un botón “comentario” para dejar el registro

P28 Visto o ticket en la cuenta confuso. Retroalimentación P29 No se puede cambiar la foto de sesión. Que la aplicación sincronice con la versión web

P30 Dos veces el botón de ayuda. Que la pantalla sea un poco más sensible para accionar la función

P31 No se entiende el botón recibidos según prioridad.

Eliminar criterios poco común al lenguaje del usuario

P32 No posee manual de uso Agregar manual de uso

P33 No explica de forma clara el criterio para guardar los mensajes de cierta categoría de bandeja de entrada.

Debe existir opción de guardar de manera visible no automática

P34 La opción de actualizar debería estar más visible. Actualizar cada 10 min automáticamente

P35 Atajos en la aplicación que no son informados al usuario.

Que se incluyan en manual de uso los atajos para que sepan cómo usarlos

P36 Menú principal se muestra como una lista desplegable.

Agrupar mensajes en una forma más representativa

P37 El icono que representa el menú de opciones de la aplicación está situado muy al borde.

Adaptar botones a la mano del usuario, es decir si es surdo o diestro

P38 No indica el significado de iconos como la estrella o la punta de flecha

Indicar significados de elementos posicionándose sobre el icono

P39 Significado de [Spam] Entregar más información al usuario

P40 No se pueden eliminar correos desde la interfaz principal.

Eliminar de forma más rápida por medio de marcar correo como eliminado

P41 Mensaje de confirmación confuso Hablar lenguaje del usuario P42 Archivos adjuntos se visualizan al final Decir donde se van los mensajes archivados

P43 No entrega opción de visualizar solo los no leídos. Se debe visualizar todos los correos

P44 El icono que indica a los correos destacados, cambia en la versión móvil. Consistencia entre la aplicación móvil y la web

P45 Al buscar no me entrega los resultados esperados

Dar opciones de búsqueda más precisas y con mayores opciones

P46 En el menú desplegable existe una opción Spam no necesaria. Eliminar opción Spam

P47

Los correos enviados deberían estar justo debajo de la sección principal, pero está más abajo y cuesta encontrarla

Reorganizar correos con nuevos ítems que sean mas relevantes

P48 Al presionar la tuerca de configuración da

muy pocas opciones de personalización

Configuración acorde a las funcionalidades de la aplicación consistente con funciones de la aplicación web

P49

La sección importante selecciona correos como importantes por si solos, sin que el usuario lo desee.

Debe existir forma de destacar mensajes según criterio del usuario

A: Problemas Encontrados

A.1 A.2

A.3 A.4

A.5

A.5 A.6 A.7 A.8

A.9 A.10

A.11 A.12

A.13 A.14 A.15 A.16

A.17

A.18 A.19

A.20 A.21

A.22 A.23

A.24 A.25

A.26 A.27

A.28 A.29

A.30 A.31

A.32 A.33

A.34 A.35

A.36 A.37

A.38 A.39

A.40 A.41

A.42 A.43

C: Experimentos Formales “Gmail” C.1: Análisis de resultados

El perfil del usuario evaluado resulto ser mayoritariamente de sexo masculino con un promedio de edad de 22 años, de ocupación estudiante y con un grado de estudio Universitario. Se rescata además que este perfil de usuarios incluye en su rutina diaria la relación con sus Smartphone, y el continuo uso que le dan para acceder a este tipo de aplicaciones de correo electrónico.

La aplicación de estudio seleccionada por los evaluadores para realizar la prueba corresponde a Gmail para Android, esta selección es en base a su popularidad y familiaridad por parte de los usuarios con la misma. Gmail para móviles, es una versión del servicio de correo de Gmail de Google, desarrollado para proveer el acceso a Gmail desde dispositivos móviles de forma gratuita. Esta aplicación ofrece casi en totalidad las características que Gmail en su versión web para computadores de escritorio (capacidad de redactar, leer, archivar, responder, reenviar, marcar sin leer, agregar una estrella, añadir etiquetas personalizadas o mensajes de correo electrónico basura)

Del total de participantes un 86,66% logró completar todas las tareas que se debían realizar, ocupando en promedio 15 minutos para realizar las tareas y 4 minutos para responder los cuestionarios. Dichos cuestionarios apuntan básicamente a obtener datos de perfil de usuario, y a captar sus percepciones después de realizar el listado de actividades requerido.

Se detalla a continuación el resultado posterior al análisis de cada una de las preguntas del cuestionario.

1. ¿Pudo completar las tareas planteadas?

Los usuarios respondieron mayoritariamente que se le hizo fácil completar las tareas planteadas por los usuarios, y solo 3 usuarios se inclinaron por encontrar dificultad en las tareas planteadas.

2. ¿Qué tan fácil le ha sido interpretar la información requerida para el experimento?

Los usuarios respondieron mayoritariamente que la información requerida para el experimento les fue igualitariamente fácil y muy fácil de interpretar, encontrando dificultad solo 2 usuarios.

3. ¿Qué tan orientado se ha sentido dentro la aplicación durante el experimento?

Los usuarios respondieron mayoritariamente sentirse orientados dentro de la aplicación durante el experimento en base a la realización de tareas y la distribución de las actividades.

4. Su grado de satisfacción en cuanto al uso de la aplicación:

Los usuarios declaran mayoritariamente su grado de satisfacción con respecto al uso de la aplicación como satisfactorio, a excepción de solo un participante que quedo insatisfecho y otro participante que quedo muy insatisfecho.

a. En relación a la realización de tareas, usted califica su grado de satisfacción:

Los usuarios declaran mayoritariamente su grado de satisfacción con respecto a la

realización de tareas como satisfactorio, a excepción de solo dos participantes que quedaron insatisfechos.

b. ¿Qué fue lo que más le gustó de la aplicación?

Los usuarios destacan mayoritariamente en este ítem, la facilidad de uso de la aplicación, la utilidad que entrega, el orden que posee la distribución de los elementos y la grata apariencia de su interfaz gráfica.

c. ¿Qué fue lo que menos le gustó de Gmail App?

Los usuarios destacan mayoritariamente en este ítem, el exceso de elementos que aparecen en el menú de navegación, mal uso iconográfico para algunas funcionalidades y la incomodidad de uso al utilizar el dispositivo de forma horizontal.

Adicional al cuestionario posterior al uso se revisa el material audiovisual en detalle, revisando las actividades realizadas por los usuarios mientras desarrollaban la prueba. En base a esta fuente de datos se promedian los siguientes indicadores:

Tiempo promedio para completar tareas específicas: 3.75 min Número de tareas completadas a los 10 minutos: 2 Número promedio de errores: 0,3 Tiempo de recuperación de errores: 1:05 min Frecuencia de uso de la ayuda del sistema: 0 min

C.2: Conclusiones Una vez realizadas las pruebas sobre la aplicación, se puede concluir que el proceso

de evaluación de usabilidad mediante experimentos formales es un método muy asertivo a la hora de estudiar la usabilidad de los sistemas ya que nos entrega una completa recolección de datos cuantitativos y que nos permiten calcular indicadores altamente representativos en relación al tiempo para completar tareas específicas, número de tareas completadas en un tiempo dado, número de errores, tiempo de recuperación de errores, tiempo dedicado a leer la ayuda u otros factores de significancia para este estudio

En relación a las tareas, se concluye en general que fueron en su mayoría completadas con éxito, realizadas por menos tiempo de estimado, esto da a entender que la aplicación en si no es del todo compleja para los usuarios, siendo un punto favorable y positivo, ya que al ser enfocada a la entretención por medio de Smartphone, por lo que estos puedan acceder a la información que ellos necesitan de manera rápida y eficiente sin mayores complejidades.

C.3: Plantilla de Prueba

Acuerdo de confidencialidad

YO, ACEPTO participar en un experimento sobre la

experiencia de uso de un portal web, supervisado por Osvaldo González y Consuelo Figueroa, el día /10/15, en el Laboratorio de Usabilidad de la Escuela de Ingeniería Informática de la Pontificia Universidad Católica de Valparaíso. Entiendo y estoy de acuerdo con las condiciones mencionadas en adelante.

Entiendo que el experimento tiene por objetivo evaluar un sistema software, NO mis capacidades/habilidades /conocimientos.

Entiendo que los resultados del experimento se utilizarán sólo con propósitos académicos y/o de investigación, sin que mi identidad sea revelada.

Entiendo que puedo comunicar al supervisor del experimento cualquier malestar, molestia o inconformidad que pueda sentir y que puedo abandonar el experimento y el laboratorio en cualquier momento.

Firma ______________

Estimado(a) colaborador(a):

Usted participa en un experimento que tiene como propósito evaluar su experiencia de uso de la aplicación móvil: Gmail

Se está evaluando la aplicación, NO su desempeño como usuario. ¡NO SE PREOCUPE SI COMETE ERRORES!

El experimento tiene 3 etapas:

1. En la primera etapa Ud. deberá completar un breve cuestionario preliminar, relativo a su experiencia previa.

2. En la segunda etapa se le solicitará explorar la aplicación: Gmail, según lo indicado. 3. En la tercera etapa Ud. deberá completar un cuestionario acerca de su percepción

sobre la aplicación.

SI TIENE ALGUNA DUDA DURANTE EL EXPERIMENTO, PUEDE PONERSE EN CONTACTO CON EL EVALUADOR, EN CUALQUIER MOMENTO.

La información que Ud. proporciona es confidencial y muy relevante para nuestro estudio.

¡Agradecemos su cooperación!

(1) CUESTIONARIO PRELIMINAR

1. Sexo: ( ) Femenino ( ) Masculino

2. Edad:

3. Nivel de educación completa y/o en proceso: Enseñanza media: ( ) Completa ( ) En Proceso

Técnico: ( ) Completa ( ) En Proceso Universitario: ( ) Completa ( ) En Proceso

Otro: ( ) Completa ( ) En Proceso

4. ¿Cuál es su ocupación?:

5. ¿Posee cuenta de correo electrónico de Gmail?

( ) Si ( ) No

6. ¿Con que frecuencia accede Ud. a su correo electrónico, cada vez que hace uso de su Smartphone?

( ) Siempre ( ) Casi siempre ( ) Algunas veces ( ) Nunca

LISTA DE TAREAS

En la siguiente sección usted deberá seguir paso a paso las instrucciones, de manera de completar cada una de las actividades señaladas.

Actividad 1: “Enviar un mensaje con copia y copia oculta”

1. Abra la aplicación Gmail.

2. Acciona la opción redactar nuevo correo.

3. Indique como destinatario a pruebaux@gmail.com.

4. Toque el botón despegable del destinatario para añadir copia (cc) y copia oculta (co).

5. Añada en la opción copia al destinatario Osvaldo.gonzalez.v@mail.pucv.cl

6. Añada en la opción copia oculta al destinatario maria.figueroa.s@mail.pucv.cl

7. En el recuadro asunto indicar “Prueba UX”

8. En el cuerpo del mensaje, escribir “Prueba UX”

9. Envíe el correo. Actividad 2: “Revisar los correos recibidos una fecha específica”

1. Abre la aplicación Gmail.

2. Seleccione la opción buscar de la parte superior derecha.

3. Escriba la fecha 20 de octubre de 2015 en el recuadro buscar de acuerdo a la siguiente regla

After: “AAAA/MM/DD” Before: “AAAA/MM/DD”

After: 2015/10/20 Before: 2015/10/21

4. Seleccione y visualice el primer correo de la lista.

Actividad 3: “Configurar respuesta automática”

1. Abra la aplicación Gmail.

2. Seleccione el menú de .

3. Diríjase a configuración.

4. Elige la cuenta pruebaux@gmail.com.

5. Toca Respuesta automática.

6. Escriba el intervalo de fechas oct. 20, 2015 al oct. 21, 2015.

7. En el asunto rellenar con “respuesta automática” y en el mensaje escribir “prueba de respuesta automática”.

8. En la parte superior de la ventana, confirmar mediante el botón listo. Actividad 4: “Recuperar correo eliminado”

1. Abra la aplicación Gmail.

2. En el menú de navegación lateral izquierdo, haga clic en Papelera.

3. Localice el mensaje “Mensaje de prueba a recuperar” y ábralo.

4. Haga clic en el icono de opciones situado en la parte superior derecha

5. Seleccione la opción “Mover”

6. Seleccione la categoría “Principal”.

CUESTIONARIO DE PERCEPCIÓN SOBRE LA APP

Encierre en un círculo la alternativa más apropiada para cada pregunta.

1. ¿Pudo completar las tareas planteadas?

1 2 3 4 5

Muy difícilmente Difícilmente Neutral Fácilmente Muy fácilmente

2. ¿Qué tan fácil le ha sido interpretar la información requerida para el experimento?

1 2 3 4 5

Muy difícilmente Difícilmente Neutral Fácilmente Muy fácilmente

3. ¿Qué tan orientado se ha sentido dentro la aplicación durante el experimento?

1 2 3 4 5

Muy poco orientado Poco orientado Neutral Orientado Muy orientado

4. Su grado de satisfacción en cuanto al uso de la aplicación: 1 2 3 4

Totalmente Insatisfactorio Poco Satisfactorio Neutral Satisfactorio

5

Muy satisfactorio

5. En relación a la realización de tareas, usted califica su grado de satisfacción: 1 2 3 4

Totalmente Insatisfactorio Poco satisfactorio Neutral Satisfactorio 5

Muy satisfactorio

6. ¿Qué fue lo que más le gustó de la aplicación?

7. ¿Qué fue lo que menos le gustó de Gmail App?

D: MÉTODO EMOCARDS D.1: Producto a Evaluar

El producto a evaluar corresponde a una aplicación móvil para Smartphone, la cual es Cinemark Chile, esta aplicación permite ver ubicación de cines, cartelera, próximos estrenos, promociones y comprar entradas; a través de tu Smartphone. Está destinada para utilizarse sobre un sistema Operativo Android, por lo que los usuarios podrán hacer uso de esta aplicación por medio de una descarga a través de PlayStore.

Figura 1. Producto a Evaluar.

D.2: Diseño de la Prueba

Las pruebas realizadas a 3 estudiantes Universitarios, se ejecutaron sobre la aplicación móvil Cinemark Chile, con el fin de conocer las emociones de los participantes a través de la selección de las tarjetas y su posterior análisis de los resultados obtenidos y observaciones posteriores. Las pruebas fueron diseñadas para medir la satisfacción, éxito, emociones y dificultad del usuario al momento de llevar a cabo una serie de tareas predefinidas por los evaluadores, con el objetivo de frustrar al usuario para así poder obtener los resultados y posteriormente para ser analizados para futuras mejoras.

A continuación se detallara el listado de tareas definidas por los evaluadores:

1. Ingrese a la aplicación Cinemark Chile, utilizando Smartphone. 2. Ingrese a Cines, y seleccione cine a elección.

3. Vuelva al menú principal y vea tráiler de película “Terremoto: La falla de San Andrés”.

4. Encuentre horarios disponibles para película “Mad Max: Furia en el Camino” en 2D, en cine “Mall Marina Arauco”.

Las pruebas realizadas a usuarios reales, utilizan el método Emocards. Donde los usuarios realizan las tareas anterior mente descritas y a medida que van se realiza la tarea, los usuarios deben relacionarse con una de las 16 emociones (8 emociones distintas para mujer y 8 para hombre), representadas en una carta que posee la expresión facial y el número de esta expresión. El objetivo primordial de este método es que los participantes expresen sus emociones y las representen por medio de tarjetas. De esta manera los evaluadores podrán inferir la emoción positiva o negativa que les cause ante el uso de la aplicación en cuestión y por supuesto aplicar una entrevista breve para rescatar aspectos relevantes para la investigación.

D.3: Selección de participantes, Entornos y Ejecución de la Prueba

Las personas que participaron en la prueba corresponden a aquellos que poseen Smartphone y se relacionan con aplicaciones de cartelera cinematográfica, que hayan o no usado la aplicación Cinemark Chile con anterioridad, o que tengan experiencia de uso con otros sistemas similares como CineHoyts, CinePlanet, entre otros. El único pre-requisito para la selección de participantes para la prueba es que sepan utilizar un Smartphone y tener conocimientos básicos sobre la utilización de él, con el único fin de que puedan llevar a cabo la prueba propuesta por el equipo evaluador.

La prueba se realizó a 6 personas, que encajaban con el perfil anteriormente descrito, esta prueba se ejecutó en un entorno en el cual los participantes estaban aislados en una sala realizando la prueba, mientras que los evaluadores supervisaban la prueba desde otra sala, donde se encargaron de grabar un video que permitió ver tanto las acciones realizadas por los usuarios, como también las tareas a realizar y también la relación que pudieron tener con sus emociones representadas en las tarjetas.

Para ello se utilizó el laboratorio de usabilidad, el cual se encuentra en las instalaciones de la Escuela de Informática de la Pontificia Universidad Católica de Valparaíso, tiene implementado tanto el mobiliario como las tecnologías para realizar dicha prueba. Para la selección de los participantes:

El entorno de la realización de la Prueba de Usabilidad de la aplicación móvil Cinemark Chile.

Lugar: Laboratorio de Usabilidad de la Escuela de Informática de la PUCV. Hardware: Smartphone Moto X 2 Generación. Software: Cinemark móvil 1.0.2, SO Android 5.0.1.

D.4: Análisis de Resultados

El perfil del usuario evaluado, tiene un rango de edad que va desde los 23 a 25 años, los cuales son estudiantes Universitarios. En su rutina diaria se relacionan con sus Smartphone, con los cuales acceden a todo tipo de aplicaciones, y en ocasiones acceden a estas herramientas para informarse respecto a carteleras cinematográficas.

La aplicación móvil escogida por los evaluadores, corresponde a Cinemark Chile, esta aplicación permite ver ubicación de cines, cartelera, próximos estrenos, promociones y comprar entradas; a través de tu Smartphone. Se ha trabajado con usuarios que cumplen con el perfil, y dentro de sus preferencias se destaca el uso de herramientas para acceder a carteleras cinematográficas.

En base a los datos recopilados en la fase de pruebas se entregan los siguientes análisis correspondientes a cada una de emociones que arrojaron los usuarios en cada tarea realizada:

Para la Tarea 1, no se realizó el análisis, pues consistía en el acceso a la aplicación, por lo que no contemplaba una emoción asociada que fuera representativa.

Para la Tarea 2, la cual consistía en Ingresar a Cines y seleccionar uno, se contemplaron dos preguntas asociadas al uso y a las emociones que el usuario, se vio representado durante la realización de esta tarea. Las preguntas y su análisis correspondiente se detallan a continuación por medio de las siguientes escalas de emociones:

Pregunta 2.a: “¿Qué tan efectivos le parecieron los resultados de búsqueda realizadas en la aplicación?”.

Figura 2. Análisis Tarea 2.a

Como se puede apreciar en la figura 4, de los 3 usuarios que realizaron esta prueba, en su mayoría se identificaron con emociones agradables, por lo que podemos inferir que los usuarios pudieron completar de forma satisfactoria la actividad de búsqueda pues la herramienta proporciona la información relevante para su realización.

Pregunta 2.b: “Indique su grado de satisfacción con la aplicación, a través de sus emociones.”

Figura 3. Análisis Tarea 2.b

Como se muestra en la figura 5, en la realización de la tarea 2 los usuarios, en su mayoría indica que su grado de satisfacción se encuentra representado por una emoción medianamente agradable, y en un porcentaje más reducido se encuentra una emoción tranquilamente agradable, por lo que podemos inferir que es una sensación agradable que no complace en un 100% al usuario, pero que no le es indiferente.

Para la Tarea 3, la cual consistía en: “Volver al menú principal y ver tráiler de película Terremoto: La falla de San Andrés”, se contemplaron dos preguntas asociadas al uso y a las emociones que el usuario, se vio representado durante la realización de esta tarea. Las preguntas y su análisis correspondiente se detallan a continuación por medio de las siguientes escalas de emociones:

Pregunta 3.a: “¿Qué tan efectivos le parecieron los resultados de búsqueda realizadas en la aplicación?”.

Figura 4. Análisis Tarea 3.a

Como se puede apreciar en la figura 6, los usuarios se representaron bajo un área la cual representa una emoción de tranquilidad desagradable, esto se visualiza, pues en su mayoría se representó por la emoción medianamente desagradable. Uno de los motivos que pudo afectar la interacción puede verse reflejada por no poder realizar del todo la tarea encomendada, eso se debe a causa de que no pudieron ver el tráiler pues el tiempo de carga de la película es largo, muchas veces al visualizarlo desde el dispositivo móvil consume muchos megas o simplemente porque la conexión a Internet influye en el tiempo de espera (eso se aprecia en la figura).

Figura 5. Problema identificado.

Pregunta 3.b: “Indique su grado de satisfacción con la aplicación, a través de sus emociones.”

Figura 6 Análisis Tarea 3.b

Como se aprecia en la figura 8, los usuarios en su mayoría se representaron a través de una emoción de tranquilidad neutral como grado de satisfacción, esto se puede inferir porque si bien realizaron la tarea encomendada tardaron mucho tiempo en esperar la respuesta del sistema.

Finalmente para la Tarea 4, la cual consistía en encontrar los horarios disponibles para la película “Mad Max: Furia en el Camino” en 2D, en el cine “Mall Marina Arauco”.

Los usuarios contemplaron dos preguntas asociadas al uso y a las emociones, donde el usuario se vio representado durante la realización de esta tarea. Las preguntas y su análisis

correspondiente se detallan a continuación por medio de las siguientes escalas de emociones:

Pregunta 4.a: “¿Qué tan efectivos le parecieron los resultados de búsqueda realizadas en la aplicación?”.

Figura 7. Análisis Tarea 4.a

Como se puede apreciar en la figura 9, los usuarios se ven reflejados en un área de intensidad desagradable, dado que en su mayoría se ve reflejado con la emoción de medianamente desagradable. Esta frustración e insatisfacción se puede inferir, pues el usuario no pudo completar del todo la actividad, pues la película que debían buscar en el cine “Marina Arauco” no se encontraba en cartelera, pero la aplicación no davala indicación de que esta no se encontraba en el cine.

Pregunta 4.b: “Indique su grado de satisfacción con la aplicación, a través de sus emociones.”

Figura 8. Análisis Tarea 4.b

Como se muestra en la figura 10, el grado de satisfacción también se ve afectado, pero con opiniones bastante dispersas respecto a la pregunta anterior, pues en esta parece ser una tranquilidad neutral para la mayoría de los casos, por la que se tomaron con calma la frustración de no lograr completar la actividad. Solo uno de los casos reflejo su molestia respecto a las indicaciones y respuesta del sistema.

En cuanto a la entrevista post-test, se rescataron los siguientes elementos de las preguntas realizadas por los evaluadores a los usuarios, respecto a la aplicación entre los cuales destacan:

Pregunta 1: ¿Qué elementos positivos rescata de la aplicación?

Los elementos positivos que se pueden rescatar y hacen alusión a la aplicación son los siguientes:

La aplicación entrega información relevante, que le interesa al consumidor como lo son las películas, los horarios y los cines.

El menú y submenús tienen un acceso rápido, por lo que la información se entrega de forma rápida.

Los colores corresponden a los de la marca (Cinemark), por lo que al usuario no le cuesta identificarse pues cumple con la realidad.

Pregunta 2: ¿Qué aspectos le considera negativos en la aplicación?

Los elementos negativos que destacan en la evaluación, se pueden explicar a continuación a través de las opiniones de los entrevistados:

El no poder completar las tareas, por falta de las películas en ciertos cines. Al realizar una compra, la aplicación móvil redirecciona al sitio web de Cinemark. El uso de fuentes demasiado pequeñas afectan a la interacción y la captura de la

información.

Pregunta 3: ¿Qué le pareció la realización y utilización del método Emocards?

De las opiniones de los entrevistados se pueden destacar las siguientes opiniones:

El método es muy interactivo. La identificación de la emoción con una carta, resulta ser difícil, pues el usuario debe

precisar la emoción de forma correcta y esta elección puede ser muy subjetiva.

D.5: Plantilla de Prueba

Acuerdo de confidencialidad

YO, ACEPTO participar en una prueba de usabilidad supervisada por , el día / / , en el Laboratorio de Usabilidad de la Escuela de Ingeniería Informática de la Pontificia Universidad Católica de Valparaíso. Entiendo y estoy de acuerdo con las condiciones mencionadas en adelante.

Entiendo que el experimento tiene por objetivo evaluar un sistema software, NO mis capacidades/ habilidades/conocimientos.

Entiendo que los resultados del experimento se utilizaran sólo para propósitos académicos y/o de investigación, sin que mi identidad sea revelada.

Entiendo que puedo comunicar al supervisor del experimento, en cualquier momento, sobre algún malestar, molestia o inconformidad que pueda sentir durante el desarrollo del experimento; y que por tal motivo, puedo abandonar el experimento y el laboratorio en cualquier momento.

Firma

Estimado(a) colaborador(a):

Usted participa en un experimento que tiene como propósito evaluar su experiencia de

uso de la aplicación móvil: Cinemark Chile

Se está evaluando un portal web, NO su desempeño como usuario. ¡NO SE PREOCUPE SI COMETE ERRORES!

El experimento tiene 3 etapas:

1. En la primera etapa Ud. deberá completar un breve cuestionario preliminar, relativo a su experiencia previa.

2. En la segunda etapa se le solicitará explorar la aplicación: Cinemark Chile, según lo indicado.

3. En la tercera etapa Ud. deberá responder a una entrevista con los evaluadores.

SI TIENE ALGUNA DUDA DURANTE EL EXPERIMENTO, PUEDE

PONERSE EN CONTACTO CON EL EVALUADOR, EN CUALQUIER MOMENTO.

La información que Ud. proporciona es confidencial y muy relevante para nuestro estudio.

¡Agradecemos su cooperación!

(1) CUESTIONARIO PRELIMINAR

Sexo: ( ) Femenino ( ) Masculino

Edad:

Nivel de educación completa y/o en proceso:

Enseñanza media: ( ) Completa ( ) En Proceso

Técnico: ( ) Completa ( ) En Proceso

Universitario: ( ) Completa ( ) En Proceso

Otro: ( ) Completa ( ) En Proceso

¿Cuál es su ocupación?:

¿Con que frecuencia accede Ud. a carteleras cinematográficas, a través de su Smartphone?

( ) Siempre ( ) Casi siempre ( ) Algunas veces ( ) Nunca ¿Ha tenido experiencias previas otras aplicaciones móviles de este

tipo? ( ) Si ¿Cuál?

( ) No

(2) LISTA DE TAREAS A REALIZAR

En esta etapa Ud. Deberá realizar ciertas actividades y responde por medio de las

Emocards entregadas por los evaluadores a las preguntas realizadas.

1. Ingrese a la aplicación Cinemark Chile, utilizando Smartphone.

2. Ingrese a Cines, y seleccione cine a elección.

a) ¿Qué tan efectivos le parecieron los resultados de las búsquedas realizadas en la aplicación? Seleccione una Emocard para su respuesta.

Indique número de la Emocard:

b) Indique su grado de satisfacción con la aplicación, a través de sus emociones. Seleccione una Emocard para su respuesta.

Indique número de la Emocard: ____

3. Vuelva al menú principal y vea tráiler de película “Terremoto: La falla de San Andrés”.

a) ¿Qué tan efectivos le parecieron los resultados de las búsquedas realizadas en la aplicación? Seleccione una Emocard para su respuesta.

Indique número de la Emocard: ______

b) Indique su grado de satisfacción con la aplicación, a través de sus emociones. Seleccione una Emocard para su respuesta.

Indique número de la Emocard: ______

4. Encuentre horarios disponibles para película “Mad Max: Furia en el Camino” en 2D, en cine “Mall Marina Arauco”.

a) ¿Qué tan efectivos le parecieron los resultados de las búsquedas realizadas en la aplicación? Seleccione una Emocard para su respuesta.

Indique número de la Emocard: _______

b) Indique su grado de satisfacción con la aplicación, a través de sus emociones. Seleccione una Emocard para su respuesta.

Indique número de la Emocard: _________

E: MÉTODO DE VALENCIA “Gmail” E.1: Registro de Valencias y Percepciones de los usuarios

El registro de las percepciones e identificación de las valencias se puede contemplar de mejor forma en tabla 1, la cual muestra además las percepciones respecto a la valencia marcada por el usuario

Tabla 1 Registro de Valencias y Percepciones de los usuarios

N°

Tipo de Valencia

Tiempo [min]

Respuestas

Participante 1 1 Negativo 2:20 No permite seleccionar más de un correo 2 Negativo 3:30 No muestra todos los correos destacados

3

Positivo

5:34

El filtro de correos importantes permite ver más fácil los correos, pero estos pueden ser destacados (no se tiene claridad respecto a la diferencia conceptual)

4

Positivo

6:26

La sección de ayuda esta detallada y posee elementos que lo hacen fácil de entender

5

Positivo

7:10

Al devolverse con el icono "X" se regresa de manera más fácil al lugar donde se encontraba anteriormente (sección de ayuda)

Participante 2

1 Positivo

2:15

No demora en destacar los mails, realizar las búsquedas organización en categorías correspondientes

2

Negativo

8:00

No se entienden conceptos como "Promociones", enmarca información pero no promociones, ofertas como se espera

3

Positivo

9:24

Al ser lapsus tan corto de tiempo entre un correo y otro no se encuentran bien categorizados estos correos

Participante 3

1 Positivo 1:17 Se pueden destacar correos y se guardan en un espacio propio.

2 Positivo 1:25 Correos importantes pueden ser visibles de manera más rápida

3

Negativo

1:50 Conceptos de "Todos"/ "Todos los recibidos" se usan para una misma funcionalidad por lo que se duplica la información.

4

Positivo

2:00

Uso de filtros como Spam para correos maliciosos, asegura que el usuario no se encuentre con algo no deseado.

Participante 4

1

Positivo

2:04

Visualización de los correos ajustados al tamaño del dispositivo (Responsive)

2

Negativo

2:35

icono (correo o carta) usado de forma inadecuada, dado que redirección a una funcionalidad no acorde al icono, por lo que no se comprende

3 Positivo 3:20 Configuraciones bien explicados, habla el lenguaje del usuario.

4

Positivo

4:03 Cambio de usuario, rápido el paso de una cuenta a otra es ágil y permite visualización de correos a primera vista

5

Positivo

4:49

La ayuda está bien graficada, definida para usuarios sin experiencia en la aplicación

6 Positivo 5:30 Búsqueda de correos es rápida Participante 5

1

Positivo

0:38

Búsquedas son exitosas, la organización lógica de los correos es clara.

2

Positivo

0:52

Ante el estímulo de redactar un mensaje se acciona de inmediato el teclado

3

Positivo

1:14

El buscador de Gmail funciona de manera correcta, y utiliza recursos como icono lupa para su identificación el cual es acorde a los estándares

4

Negativo

1:27

El menú desplegable posee muchos submenús con elementos de clasificación de correos que son poco usados, posee mucha información y no permite ver elementos de mayor relevancia como lo son los correos enviados a primera vista

5

Positivo

2:10

Al adjuntar un archivo se pueden agregar una gran cantidad de elementos como lo son videos, imágenes, entre otros

6

Negativo

2:32

El icono (flecha hacia atrás) no permite llegar al menú principal, sino a la acción anterior. El usuario no sabe si usar el de la aplicación o el del teléfono

7

Positivo

2:44

Existe una buena recepción de los mensajes y se pueden desplegar mensajes de llegadas en el teléfono sin la necesidad de abrir aplicación

8

Negativo

3:54

Al adjuntar un archivo no se muestran las indicaciones de cómo hacerlo sino que el usuario se debe identificar con iconos. No existen instrucciones que ayuden en caso de error

9

Negativo

4:40

No notifica al usuario si se encuentra en una cuenta a otra, debe existir mayor retroalimentación

Participante

1

Negativo

4:36 Conceptos de "Social" y "Promociones" poco claros, no ayuda a distinguir el mensaje causa confusión.

2 Positivo 5:03 Todos los mensajes son recibidos

3

Negativo

6:00

La aplicación no mantiene informada a los usuario al realizar una acción por ejemplo el mover a y no realizar la acción o no informar a donde movió el elemento

4 Positivo 6:10 Botón de ayuda da instrucciones claras

5

Positivo

6:20 Ver "Todos", es mejor rescatar todos los correos en una misma bandeja que por separados

E.2: Plantilla de Prueba

Acuerdo de confidencialidad

YO, ACEPTO participar en una prueba de usabilidad supervisada por , el día / / , en el Laboratorio de Usabilidad de la Escuela de Ingeniería Informática de la Pontificia Universidad Católica de Valparaíso. Entiendo y estoy de acuerdo con las condiciones mencionadas en adelante.

Entiendo que el experimento tiene por objetivo evaluar un sistema software, NO mis capacidades/ habilidades/conocimientos.

Entiendo que los resultados del experimento se utilizaran sólo para propósitos académicos y/o de investigación, sin que mi identidad sea revelada.

Entiendo que puedo comunicar al supervisor del experimento, en cualquier momento, sobre algún malestar, molestia o inconformidad que pueda sentir durante el desarrollo del experimento; y que por tal motivo, puedo abandonar el experimento y el laboratorio en cualquier momento.

Firma

Estimado(a) colaborador(a):

Usted participa en un experimento que tiene como propósito evaluar su experiencia

de uso de la aplicación móvil: Gmail

Se está evaluando una aplicación móvil de Smartphone, NO su desempeño como usuario.

¡NO SE PREOCUPE SI COMETE ERRORES!

El experimento tiene 3 etapas:

En la primera etapa Ud. deberá completar un breve cuestionario preliminar, relativo a su experiencia previa.

En la segunda etapa se le solicitará explorar la aplicación: Gmail, de acuerdo a indicaciones previas.

En la tercera etapa Ud. deberá responder a una entrevista con los evaluadores.

SI TIENE ALGUNA DUDA DURANTE EL EXPERIMENTO, PUEDE

PONERSE EN CONTACTO CON EL EVALUADOR, EN CUALQUIER MOMENTO.

La información que Ud. proporciona es confidencial y muy relevante para nuestro

estudio.

¡Agradecemos su cooperación!

(1)CUESTIONARIO PRELIMINAR

Sexo: ( ) Femenino ( ) Masculino

Edad:

Nivel de educación completa y/o en proceso:

Enseñanza media: ( ) Completa ( ) En Proceso

Técnico: ( ) Completa ( ) En Proceso

Universitario: ( ) Completa ( ) En Proceso

Otro: ( ) Completa ( ) En Proceso

¿Cuál es su ocupación?:

¿Con que frecuencia accede Ud. aplicaciones de correo electrónico, a través de su Smartphone?

( ) Siempre ( ) Casi siempre ( ) Algunas veces ( ) Nunca ¿Ha tenido experiencias previas otras aplicaciones móviles de este

tipo?

( ) Si ¿Cuál?

( ) No

(2) PRIMERA FASE

1. Ingrese a la aplicación Gmail, utilizando Smartphone.

2. Realice actividades que determine pertinentes en base a las funcionalidades que brinda la aplicación, prestando vital atención a sus IMPRESIONES Y PERCEPCIONES con respecto a la aplicación durante toda la exploración de la misma.

3. Exprese TODAS las instancias en las cuales presente percepciones positivas o negativas frente al uso e interacción con la aplicación, materializando cada percepción a través del botón verde para experiencias positivas y en caso inverso el botón rojo para experiencias negativas.

(3) SEGUNDA FASE

Responda a la entrevista con los evaluadores, en base a las siguientes preguntas.

Para cada marcador de valencia: ¿Qué aspecto de diseño causo esa experiencia positiva o negativa?

¿Cuáles son las necesidades relacionadas?

¿Qué considera bueno/malo? ¿Porque?

¿Por qué es el atributo más positivo / negativo?

F: EVALUACIÓN HEURÍSTICA “Spotify” F.1: Problemas Encontrados A continuación se presenta la tabla 1 de problemas encontrados en la evaluación de la

aplicación móvil evaluada: Tabla 1 Problemas Encontrados

Id Definición del problema Comentarios/Explicaciones Ejemplos de ocurrencia

Principios Incumplidos

Pantallas explicativas

P1

Imágenes en el inicio, están desproporcionadas, no se ajustan a las dimensiones del dispositivo

En el inicio de la aplicación móvil

H9

imagen 1

P2

Interfaz de la parte superior no identifica el contenido

Se confunde con publicidad, siendo una lista de reproducción

con información como "llegando a casa", "salimos esta noche", que confunde al usuario

contenidos familiares pero no se

logran asociar al programa

H2

imagen 1

P3

Iconos no representativos a la

información

"nuevos lanzamientos" uso de calendario, "descubrir" con

icono reloj

En sección lanzamientos

H4

imagen2

P4 Idioma inconsistente con

el del usuario

conceptos como "new releases"

H2

imagen 3

P5

No tiene botón para volver a atrás la

aplicación solo hace uso del botón externo del

teléfono

No posee vías de escape dentro

de la aplicación

H3

imagen 3

P6

No explica uso de Playlist

no explica como cambiar funcion aleatoria, de manera

que el usuario pueda cambiar la cancion

H1

imagen 4

P7

En uso de filtros, entrega opción de personalizar, no se explica el concepto

Opción personalizar no clara En

personalizar

H1

imagen 5

P8 Al seleccionar un filtro

diferente al personalizar como por

inconsistencia en uso de iconos para una misma funcionalidad

En personalizar H4 imagen 5,

imagen 6

Id Definición del problema Comentarios/Explicaciones Ejemplos de ocurrencia

Principios Incumplidos

Pantallas explicativas

se muestra icono flecha hacia abajo, mientras que en personalizar es

con un ticket

P9

Función radios no se entiende, ya que radio se asume como FM/ AM,

por el contrario muestra Playlist la aplicación

No cumple con funcionalidad

que el usuario creía

En Radios

H5

imagen 7

P10

Para acceder al menú de inicio, hay que presionar

botón explorar, lo que dificulta al usuario volver al comienzo.

No se comprende cómo salir para volver a menú principal

En cualquier lugar de la aplicación al home

H5,H3

imagen 8

P11 Uso de calendario, no

acorde a la fecha actual

Debajo de la reproducción de una música s encuentra una fecha diferente a la actual

H1

imagen 9

P12

Al acceder al login preguntan si se pueden acceder al perfil y luego

al términos y condiciones cuando solo debería

bastar con uno

Exceso de permisos para

acceder a la aplicación, debe ser más reducido

Al entrar a la

aplicación por primera

vez

H6,H8

imagen 10

P13

Al estar en función explorar debe destacarse que se encuentra función,

pues si se vuelve a marcar actualiza y muestra el mismo

contenido

La aplicación no informa al usuario de que se encuentra en

el lugar

H5

imagen 11

P14

El botón explorar debería ser el menú de inicio, pues muestra lo

mismo que el sitio Spotify

H7

imagen 1

P15

El sitio web Spotify no es consistente con la

aplicación móvil, pues la sección "Géneros y

estados de ánimos", en el sitio web aparece de

forma central y al inicio mientras que en el móvil

aparece en el centro

Orden de recursos distintos en la aplicación móvil vs la versión

web

H4

imagen 12

Id Definición del problema Comentarios/Explicaciones Ejemplos de ocurrencia

Principios Incumplidos

Pantallas explicativas

P16

Para dar inicio a una

canción no existe botón Play solo "Aleatoria"

La reproducción no se hace de forma adecuada a ojos del

usuario, dado que en versión gratuita no se puede elegir que

canción va primero

H7

imagen 13

P17

La aplicación no señala como avanzar en la

selección de canciones

debería existir botón para cambiar de canción en un álbum

de reproducción

H4

imagen 13

P18

Publicidad impide buen uso de funcionalidades e

interrumpe con la interacción del usuario

con la aplicación

la publicidad ocupa todas las

dimensiones de la pantalla

H5

imagen 14

P19

la aplicación no permite cambiar canciones, posee

hasta un tope por lista de reproducción

no se da cuenta al usuario del numero tope de canciones a

cambiar

H5

imagen 14

P20

Así como está asignada una funcionalidad

Running, no se pueden agregar nuevas

funcionalidades de otras categorías

En el menú desplegable de la aplicación ubicada en costado

izquierdo existen diversas

H7

imagen 11

P21 No posee manual de

ayuda en la versión móvil La aplicación no cuenta con

manual de ayuda

H11

P22

Se escucha publicidad, visual, auditiva, que solo se eliminara con versión

Premium

Molesta al usuario que se encuentra escuchando una lista

de reproducción, pues se interrumpe funcionalidad

H5

imagen 15

P23

El usuario no sabe cómo usar

funcionalidad de encontrar amigos, pues

se selecciona seguir amigos y no se notifica o

se agrega a la lista de contactos de Spotify

Muchas veces se manipula información privilegiada de

otras redes sociales

H5

imagen 16

P24

Inconsistencia en diseño de funcionalidades al

hacer uso de icono tres puntos

se presentan las misma funciones pero con formatos

diferentes

H4

imagen 17 y

18

P25

Al agregar una canción a la Playlist, se exige crear una nueva Playlist en vez

Se pierde el hilo de la

interacción, dado que pide más

H7 imagen 19 y

20

Id Definición del problema Comentarios/Explicaciones Ejemplos de ocurrencia

Principios Incumplidos

Pantallas explicativas

de agregar directamente a "Tu música"

de un paso para una misma función

P26

La función Running, se selecciona el nivel de

pasos por minuto para reproducir música. Estos

rangos no son especificados por la

aplicación

Rangos no especiados, poseen limites, los que al seleccionar

flechas para aumentar o disminuir y se llega al tope del máx. o min permitido, no se

indica.

H5,H1

imagen 21

P27

Reproductor de música de la función Running, es

diferente a las demás, dado que posee

reproductor en el centro, mientras que las

interfaces de afuera de la función lo hacen en

extremo inferior de la pantalla

Inconsistencias en la forma en que se muestra el reproductor

de música en la función Running

H2

imagen 21 y

22

P28

Icono del borde superior derecho, no acorde a

estándares para definir una emisora

en función de Radios, icono que aparece no es representativo ni

se puede comprender su funcionalidad a simple vista

H2

imagen 22

P29

Función radio no se comprende, arroja

función de "recientemente

reproducidas", que el usuario no ha reproducido

anteriormente

el usuario no sabe a qué se refiere con radio, dado que se espera emisoras online

H5

imagen 22

P30

El sistema no proporciona salidas de emergencias como por

ejemplo "omitir publicidad", dado que es

versión móvil

Una vez reproducida una

canción se presenta un comercial o propaganda vía

reproducción imposible de zafar

H3

P31

En la función de Conciertos, el filtro de ubicación de conciertos por ciudad no realiza función pues arroja

resultados de Santiago en vez de decir que no existen conciertos

Al seleccionar ciudad de Quilpue, arroja resultados de conciertos en Santiago

En conciertos

H5

imagen 23

Id Definición del problema Comentarios/Explicaciones Ejemplos de ocurrencia

Principios Incumplidos

Pantallas explicativas

P32

Anuncios, descripciones y funcionalidades en

ingles

Al seleccionar género pop entrega información en ingles

Publicidad

H2

imagen 24

P33

Reproducciones fuera de la aplicación poseen

limitaciones para volver a la canción anterior,

botón atrás deshabilitado

Al momento de minimizar la

aplicación se posee solo control de la reproducción de la Playlist

H5

imagen 25

F.2: Principios Incumplidos A continuación se presenta una tabla con las heurísticas específicas para dispositivos

móviles denominas SMASH y los problemas que las incumplen:

Tabla 1 Principios Incumplidos

Id Principio Usabilidad Problema en el que irrumpió Nº de problemas en el

que irrumpió

SMASH1 Visibilidad del estado del

sistema P11, P6,P7,P26 4

SMASH2 Coincidencia entre el sistema y

el mundo real P2,P4,P27,P28,P32 5

SMASH3 Control y libertad de usuario P5,P30 2

SMASH4 Consistencia y Estándares P3,P8,P15,P17,P24 5

SMASH5

Prevención de errores

P9,P10,P13,P18,P19,P22,P23,P 26,P29,P31,P33

11

SMASH6 Minimizar carga de memoria. P12 1

SMASH7 Personalización y atajos P25 1

SMASH8 Eficiencia de uso y rendimiento P12 1

SMASH9 Diseño estético y minimalista P1 1

SMASH10

Ayudar a los usuarios a reconocer , diagnosticar y

recuperarse de errores

0

SMASH11 Ayuda y documentación P21 1

SMASH12 Interacción física y ergonomía 0

Figura 4.1 Gráfico de Principios Incumplidos

El gráfico mostrado tiene por objetivo mostrar la cantidad de problemas encontrados por cada una de las heurísticas, a simple vista es posible notar que la heurística más incumplida fue la H5, la cual contó con un total de once problemas hallados por los evaluadores. Luego le siguen H2 Y H4, ambos con cinco problemas.

Dentro del listado de problemas no fue posible identificar un incumplimiento con H10 Y H12, las cuales no sumaron ningún problema.

F.3: Notas Asignadas por Evaluadores A continuación se presenta la evaluación realizada por los evaluadores para cada

problema. La evaluación se realiza a través de los criterios de severidad (impacto) y frecuencia (probabilidad de ocurrencia). Luego se expone la criticidad como criterio que se obtiene a través de la suma de severidad y frecuencia.

La severidad se medirá de 0 (no es un problema) a 4 (es un problema catastrófico). La frecuencia se medirá al igual que severidad de 0 (menos de 1% de ocurrencia) a 4 (arriba de un 90% de ocurrencia). Finalmente se exponen los promedios y desviaciones estándar de cada criterio ocupado. Cabe destacar que el orden de los evaluadores no es el mismo presentado en el capítulo 3; esto es para expresar la confidencialidad de la evaluación a cada problema.

Número de Problemas Encontrados 12

10

8

6

4

2

Tabla1 Notas Asignadas por los Evaluadores

F.4: Ranking de Problemas Según Criticidad A continuación se presentan los problemas encontrados ordenados por criticidad de

mayor a menor.

Tabla 1 Ranking de Problemas Según Promedio de Criticidad

Id Definición del problema PROMEDIOS Frecuencia Severidad Criticidad

P11 uso de calendario, no acorde a la fecha actual 2,7 1,5 4,7

P22 Se escucha publicidad, visual, auditiva, que solo se eliminara con versión Premium 2,7 1,5 4,7

P26 La función Running, se selecciona el nivel de pasos por minuto para reproducir música. Estos rangos no son especificados por la aplicación 2,3 1,8 4,7

P4 idioma inconsistente con el del usuario 2,7 1,3 4,3

P10 Para acceder al menú de inicio, hay que presionar botón explorar, lo que dificulta al usuario volver al comienzo. 2,7 1,3 4,3

P18 Publicidad impide buen uso de funcionalidades e interrumpe con la interacción del usuario con la aplicación 2,7 1,3 4,3

P29 función radio no se comprende, arroja función de "recientemente reproducidas", que el usuario no ha reproducido anteriormente 2,7 1,3 4,3

P13 Al estar en función explorar debe destacarse que se encuentra función, pues si se vuelve a marcar actualiza y muestra el mismo contenido 2,3 1,3 4,0

P14 El botón explorar debería ser el menú de inicio, pues muestra lo mismo que el sitio Spotify 1,7 1,8 4,0

P15

El sitio web Spotify no es consistente con la aplicación móvil, pues la sección "Géneros y estados de ánimos", en el sitio web aparece de forma central y al inicio mientras que en el móvil aparece en el centro

1,7

1,8

4,0

P2 interfaz de la parte superior no identifica el contenido 1,7 1,3 3,3 P3 iconos no representativos a la información 2,0 1,0 3,3

P9 función radios no se entiende, ya que radio se asume como FM/ AM, por el contrario muestra Playlist la aplicación 2,0 1,0 3,3

P12 Al acceder al login preguntan si se pueden acceder al perfil y luego al términos y condiciones cuando solo debería bastar con uno 2,0 1,0 3,3

P16 Para dar inicio a una canción no existe botón Play solo "Aleatoria" 1,7 1,3 3,3

P17 La aplicación no señala como avanzar en la selección de canciones (debería existir botón para cambiar de canción en un álbum) 1,7 1,3 3,3

P19 la aplicación no permite cambiar canciones, posee hasta un tope por lista de reproducción 2,0 1,0 3,3

P23

El usuario no sabe cómo usar funcionalidad de encontrar amigos, pues se selecciona seguir amigos y no se notifica o se agrega a la lista de contactos de Spotify

1,7

1,3

3,3

P31

En la función de Conciertos, el filtro de ubicación de conciertos por ciudad no realiza función pues arroja resultados de Santiago en vez de decir que no existen conciertos

1,7

1,3

3,3

P5 no tiene botón para volver a atrás la aplicación solo hace uso del botón externo del teléfono 1,7 1,0 3,0

P6 No explica uso de Playlist 1,0 1,5 3,0 P21 No posee manual de ayuda en la versión móvil 1,7 1,0 3,0

P24 Inconsistencia en diseño de funcionalidades al hacer uso de icono tres puntos 1,7 1,0 3,0

P25 al agregar una canción a la Playlist, se exige crear una nueva Playlist en vez de agregar directamente a "Tu música" 1,3 1,3 3,0

P27

Reproductor de música de la función Running, es diferente a las demás, dado que posee reproductor en el centro, mientras que las interfaces de afuera de la función lo hacen en extremo inferior de la pantalla

1,7

1,0

3,0

P30 el sistema no proporciona salidas de emergencias como por ejemplo "omitir publicidad", dado que es versión móvil 1,7 1,0 3,0

P32 anuncios, descripciones y funcionalidades en ingles 1,7 1,0 3,0

P33 reproducciones fuera de la aplicación poseen limitaciones para volver a la canción anterior, botón atrás deshabilitado 1,7 0,8 2,7

P1 imágenes en el inicio, están desproporcionadas, no se ajustan a las dimensiones del dispositivo 1,3 0,8 2,3

P7 En uso de filtros, entrega opción de personalizar, no se explica el concepto 1,0 1,0 2,3

P8

al seleccionar un filtro diferente al personalizar como por ejemplo título se muestra icono flecha hacia abajo, mientras que en personalizar es con un ticket

1,0

1,0

2,3

P20 Así como está asignada una funcionalidad Running, no se pueden agregar nuevas funcionalidades de otras categorías 1,0 1,0 2,3

P28 Icono del borde superior derecho, no acorde a estándares para definir una emisora 1,3 0,8 2,3

F.5: Ranking de Problemas Según Severidad A continuación se presentan los problemas encontrados ordenados por severidad de

mayor a menor:

Tabla 1 Ranking de Problemas Según Promedio de Severidad

Id Definición del problema PROMEDIOS

Frecuencia Severidad Criticidad

P14 El botón explorar debería ser el menú de inicio, pues muestra lo mismo que el sitio Spotify 1,7 1,8 4,0

P15

en el sitio web Spotify no es consistente con la aplicación móvil, pues la sección "Géneros y estados de ánimos", en el sitio web aparece de forma central y al inicio mientras que en el móvil aparece en el centro

1,7

1,8

4,0

P26 La función Running, se selecciona el nivel de pasos por minuto para reproducir música. Estos rangos no son especificados por la aplicación 2,3 1,8 4,7

P6 No explica uso de Playlist 1,0 1,5 3,0 P11 uso de calendario, no acorde a la fecha actual 2,7 1,5 4,7

P22 Se escucha publicidad, visual, auditiva, que solo se eliminara con versión Premium 2,7 1,5 4,7

P2 interfaz de la parte superior no identifica el contenido 1,7 1,3 3,3 P4 idioma inconsistente con el del usuario 2,7 1,3 4,3

P10 Para acceder al menú de inicio, hay que presionar botón explorar, lo que dificulta al usuario volver al comienzo. 2,7 1,3 4,3

P13 Al estar en función explorar debe destacarse que se encuentra función, pues si se vuelve a marcar actualiza y muestra el mismo contenido 2,3 1,3 4,0

P16 Para dar inicio a una canción no existe botón Play solo "Aleatoria" 1,7 1,3 3,3

P17 La aplicación no señala como avanzar en la selección de canciones (debería existir botón para cambiar de canción en un álbum) 1,7 1,3 3,3

P18 Publicidad impide buen uso de funcionalidades e interrumpe con la interacción del usuario con la aplicación 2,7 1,3 4,3

P23

El usuario no sabe cómo usar funcionalidad de encontrar amigos, pues se selecciona seguir amigos y no se notifica o se agrega a la lista de contactos de Spotify

1,7

1,3

3,3

P25 Al agregar una canción a la Playlist, se exige crear una nueva Playlist en vez de agregar directamente a "Tu música" 1,3 1,3 3,0

P29 función radio no se comprende, arroja función de "recientemente reproducidas", que el usuario no ha reproducido anteriormente 2,7 1,3 4,3

P31

En la función de Conciertos, el filtro de ubicación de conciertos por ciudad no realiza función pues arroja resultados de Santiago en vez de decir que no existen conciertos

1,7

1,3

3,3

P3 iconos no representativos a la información 2,0 1,0 3,3

P5 No tiene botón para volver a atrás la aplicación solo hace uso del botón externo del teléfono 1,7 1,0 3,0

P7 En uso de filtros, entrega opción de personalizar, no se explica el concepto 1,0 1,0 2,3

P8

al seleccionar un filtro diferente al personalizar como por ejemplo titulo se muestra icono flecha hacia abajo, mientras que en personalizar es con un ticket

1,0

1,0

2,3

P9 función radios no se entiende, ya que radio se asume como FM/ AM, por el contrario muestra Playlist la aplicación 2,0 1,0 3,3

P12 Al acceder al login preguntan si se pueden acceder al perfil y luego al términos y condiciones cuando solo debería bastar con uno 2,0 1,0 3,3

P19 la aplicación no permite cambiar canciones, posee hasta un tope por lista de reproducción 2,0 1,0 3,3

P20 Así como está asignada una funcionalidad Running, no se pueden agregar nuevas funcionalidades de otras categorías 1,0 1,0 2,3

P21 No posee manual de ayuda en la versión móvil 1,7 1,0 3,0

P24 Inconsistencia en diseño de funcionalidades al hacer uso de icono tres puntos 1,7 1,0 3,0

P27

Reproductor de música de la función Running, es diferente a las demás, dado que posee reproductor en el centro, mientras que las interfaces de afuera de la función lo hacen en extremo inferior de la pantalla

1,7

1,0

3,0

P30 El sistema no proporciona salidas de emergencias como por ejemplo "omitir publicidad", dado que es versión móvil 1,7 1,0 3,0

P32 anuncios, descripciones y funcionalidades en ingles 1,7 1,0 3,0

P1 imágenes en el inicio, están desproporcionadas, no se ajustan a las dimensiones del dispositivo 1,3 0,8 2,3

P28 Icono del borde superior derecho, no acorde a estándares para definir una emisora 1,3 0,8 2,3

P33 reproducciones fuera de la aplicación poseen limitaciones para volver a la canción anterior, botón atrás deshabilitado 1,7 0,8 2,7

F.6: Comentarios Sobre las Tablas de Resultados En esta sección se realizan los comentarios con respecto a las tablas separando por cada

punto una tabla distinta.

En la Tabla 4.1 se presenta el listado de problemas el cual fue realizado al juntar el listado de cada evaluador, este concentra un total de 32 problemas identificados, con comentarios, ejemplos de ocurrencia y capturas de pantallas, las cuales se encuentran en el anexo del documento.

La Tabla 4.2 muestra los diversos problemas clasificados según la heurística que

incumplen, además de la cantidad de problemas por heurística incumplida. A partir de esta tabla es posible realizar el Gráfico de la figura 4.1, lo que permite identificar en donde hay más inconvenientes.

La Tabla 4.3 presenta la lista de los problemas y las notas asignadas por los evaluadores, seguido de esto están los promedios de cada evaluación y se presenta la desviación estándar con el fin de mostrar las diferencias de opinión que puedan existir entre los evaluadores. Cabe destacar que todos los evaluadores poseen algún tipo de experiencia previa a esta evaluación.

En la Tabla 4.4 están contenidos los problemas ordenados según promedio de criticidad, en los primeros lugares se encuentran P11, P22, P26, los tres poseen un promedio de 4,7 y los problemas que presentan menor promedio son P1, P7, P8, P20 y P28 con un promedio de 2,7 respectivamente. Esta tabla permite ayudar en la formación de una lista que permita ordenar las prioridades a la hora de corregir errores, una buena manera sería abordar aquellos que sean más críticos.

En la Tabla 4.5 se encuentra el ranking de problemas ordenados según promedio de severidad, los problemas con mayor promedio son: P14, P15, P26 con un promedio de 1,8 respectivamente y los problemas con menor promedio de severidad son P1 ,P28,P33, los cuales poseen 0,8 respectivamente. Al igual que la Tabla 4.4 esta tabla permite dar una pauta para la corrección de los problemas identificados por los evaluadores.

F.7: Soluciones Propuestas A continuación se presenta una tabla en la cual están contenidos los problemas hallados por los

evaluadores junto a una solución propuesta para cada uno de los problemas.

Tabla 7.1 Soluciones Propuestas

ID Problema Definición del Problema Solución Propuesta

P1

Imágenes en el inicio, están desproporcionadas, no se ajustan a las dimensiones del dispositivo

Si las imágenes se encuentran desproporcionada indicar con un

símbolo el porqué, quizás son pare del desplazamiento con los dedos

P2

Interfaz de la parte superior no identifica el contenido

Presentar una interfaz más apegada a los estándares a modo que sea más

familiar para el usuario.

P3 Iconos no representativos a la información Cambiar algunos iconos como el de

radio por una radio, el de álbum con un CD, entre otros

P4

Idioma inconsistente con el del usuario Mejorar las referencias de idioma, de modo que se trabaje en el idioma adecuado al usuario.

P5

No tiene botón para volver a atrás la aplicación solo hace uso del botón externo del teléfono

integrar botones para ir atrás

P6 No explica uso de Playlist Entregar mayor retroalimentación entre el usuario y la aplicación

P7

En uso de filtros, entrega opción de personalizar, no se explica el concepto

Colocar información sobre las funcionalidades del sistema, a través

de una breve descripción

P8

Al seleccionar un filtro diferente al personalizar como por ejemplo título se muestra icono flecha hacia abajo, mientras que en personalizar es con un ticket

Actualizar la fecha a la actual de la reproducción, o bien definir la fecha.

P9

Función radios no se entiende, ya que radio se asume como FM/ AM, por el contrario muestra Playlist la aplicación

La función radio debe ser definida para no confundir al usuario

P10

Para acceder al menú de inicio, hay que presionar botón explorar, lo que dificulta al usuario volver al comienzo.

Poner al botón explorar como botón de inicio

P11 Uso de calendario, no acorde a la fecha actual Actualizar fechas en los calendarios

P12

Al acceder al login preguntan si se pueden acceder al perfil y luego al términos y condiciones cuando solo debería bastar con uno

Solo se firme un acuerdo de términos en los contratos de manera de simplificar las operaciones con

los usuarios

P13

Al estar en función explorar debe destacarse que se encuentra función, pues si se vuelve a marcar actualiza y muestra el mismo contenido

Tener en claro donde se encuentra el usuario a través de retroalimentación

P14

El botón explorar debería ser el menú de inicio, pues muestra lo mismo que el sitio Spotify

Poner al botón explorar como botón de inicio

P15

El sitio web Spotify no es consistente con la aplicación móvil, pues la sección "Géneros y estados de ánimos", en el sitio web aparece de forma central y al inicio mientras que en el móvil aparece en el centro

Realizar interfaces y contenidos

similares entre ambas plataformas para no confundir al usuario

P16

Para dar inicio a una canción no existe botón Play solo "Aleatoria"

No restringir demasiado a los usuarios de versión Free vs la

versión Premium

P17 La aplicación no señala como avanzar en

la selección de canciones No restringir demasiado a los usuarios de versión Free vs la

versión Premium

P18 Publicidad impide buen uso de

funcionalidades e interrumpe con la interacción del usuario con la aplicación

No saturar demasiado a los usuarios de versión Free vs la versión

Premium

P19 la aplicación no permite cambiar

canciones, posee hasta un tope por lista de reproducción

No restringir demasiado a los usuarios de versión Free vs la

versión Premium

P20 Así como está asignada una funcionalidad

Running, no se pueden agregar nuevas funcionalidades de otras categorías

Dejar más configurable los tipos de categorías a gustos del usuario

P21 No posee manual de ayuda en la versión móvil

Integrar información de ayuda a la versión móvil

P22

Se escucha publicidad, visual, auditiva, que solo se eliminara con versión Premium

Debe existir una restricción ante la saturación de publicidad, por medio

de filtros o un máximo por día.

P23

El usuario no sabe cómo usar funcionalidad de encontrar amigos, pues se selecciona seguir amigos y no se notifica o se agrega a la lista de contactos de Spotify

Al conectarse por Facebook, el sistema entrega información

confidencial de los amigos lo que debe estar sincronizado a la

plataforma para poder seguir.

P24 Inconsistencia en diseño de funcionalidades al hacer uso de icono tres puntos

Mismos estándares para las mismas funciones

P25

Al agregar una canción a la Playlist, se exige crear una nueva Playlist en vez de agregar directamente a "Tu música"

Funcionalidades deben llevar a un mismo puno donde el usuario pueda

localizar su música por lo que se deben eliminar funciones poco

proactivas

P26

La función Running, se selecciona el nivel de pasos por minuto para reproducir música. Estos rangos no son especificados por la aplicación

Se debe informar a los usuarios a que se refiere con los rangos pasos/

min por medio de instructivos

P27

Reproductor de música de la función Running, es diferente a las demás, dado que posee reproductor en el centro, mientras que las interfaces de afuera de la función lo hacen en extremo inferior de la pantalla

Seguir los mismos estándares de

reproducción en toda la aplicación

P28 Icono del borde superior derecho, no acorde a estándares para definir una emisora

Definir iconos internacionales que representen al usuario

P29

Función radio no se comprende, arroja función de "recientemente reproducidas", que el usuario no ha reproducido anteriormente

Radio debe ser definida como una función de categorización, por lo que se debe indicar como utilizar

por medio de instructivos

P30 El sistema no proporciona salidas de

emergencias como por ejemplo "omitir publicidad", dado que es versión móvil

Se debe dar un tiempo límite a la reproducción de publicidad poner salidas de escape como lo es omitir

P31

En la función de Conciertos, el filtro de ubicación de conciertos por ciudad no realiza función pues arroja resultados de Santiago en vez de decir que no existen conciertos

Los conciertos deben ser acorde a la ciudad seleccionada, de no existir

concierto se debe indicar no existen

P32 Anuncios, descripciones y funcionalidades en ingles Ajustar idioma al del usuario

F.8: Elementos Positivos En esta sección se expondrán aquellos puntos que los evaluadores señalaron como

elementos positivos de la aplicación (Po: Elemento Positivo)

Tabla 8.1 Elementos Positivos

Id Definición Comentarios/Explicaciones Ocurrencia

Po1

Existen múltiples

categorías

Las categorías de reproducción son amplias, el usuario puede definir por

género, álbum, artista, entre oros lo que lo hace más fácil aun de reconocer

En toda la aplicación

Po2

Búsquedas

rápidas

Búsquedas se realizan de forma rápida, la aplicación resulta ser intuitiva presenta elementos familiares y

universales, por lo que la hace fácil de usar e indagar.

En las búsquedas

Po3 Reproductor de

música

La interfaz de reproducción es fácil de usar, pues usa elementos familiares para el usuario en el borde inferior.

interfaz de reproducción

Po4

Clasificaciones

La elección de música es adecuada al género en el que se encuentra el

usuario. Clasificación adecuada a los gustos

A: Problemas Encontrados

Imagen 1 Imagen 2

Imagen 5 Imagen 3

Imagen 6 Imagen 5

Imagen 6 Imagen 7

Imagen 8 Imagen 9

Imagen 10 Imagen 11

Imagen 12 Imagen 13

Imagen 14 Imagen 15

Imagen 16 Imagen 18

Imagen 19 Imagen 20

Imagen 21 Imagen 22

Imagen 23 Imagen 24

G: MÉTODO DE VALENCIA “Spotify App” G.1: Análisis de Resultados

El registro de las percepciones e identificación de las valencias se puede contemplar de mejor forma con la siguiente tabla 1, la cual muestra además las percepciones respecto a la valencia marcada por el usuario.

Tabla 1 Registro de Valencias y Percepciones de los usuarios

N°

Tipo de Valencia

Tiempo [min]

Respuestas

Participante 1

1

Positivo

1:30

Búsquedas se realizan de forma rápida, la aplicación resulta ser intuitiva presenta elementos familiares y universales, por lo que la hace fácil de usar e indagar.

2

Positivo

3:18

Presenta sugerencias al momento de realizar una búsqueda, asociándolas a los elementos como categorías, álbum, u géneros relacionados.

Participante 2

1

Negativo

2:56

Al reproducir un álbum en la lista de reproducción, no se puede reproducir canción seleccionada, pues solo lo hace de forma aleatoria si se encuentra en cuenta Premium.

2

Positivo

4:00

Se pueden realizar búsqueda de canciones y agregarla a la lista de reproducción y a “My Playlist”, por lo que queda guardada.

3

Positivo

5:22

Aplicación fácil de navegar, posee una interfaz amigable, lógica e intuitiva.

4

Negativo

5:30

Uso de colores debe ser más personalizado, un color estándar oscuro aburre al usuario.

Participante 3

1

Positivo

1:12 Buscador se visualiza fácilmente, realiza su función de forma rápida.

2

Negativo

1:54

En la lista de reproducción en modo básico no se pueden seleccionar canción a elección.

3

Positivo

2:10

Se pueden cambiar las canciones con el solo hecho de deslizar el dedo en la pantalla de un lado a otro.

4

Positivo

2:22

La aplicación permite guardar canciones seleccionadas en una Playlist

5

Positivo

3:00

La función Running permite correr y la aplicación selecciona y reproduce una canción según ritmo del trote.

Participante 4

1

Positivo

1:03

Se visualizan diseños en caratulas de discos bien definidos, lo que permite reproducir lista de música en general, que se encuentran categorizadas de forma correcta.

2

Positivo

1:42

Las radios categorizan reproducción por artistas específicos o reproducción general con artistas variados.

3

Negativo

2:34

Al entrar en función Actividad, se sale de la aplicación no informando al usuario de lo que paso.

4

Positivo

3:00

En el perfil “Tu música” se pueden escuchar canciones escuchadas recientemente

5

Positivo

3:45

Al seleccionar un artista se pueden ver los discos, junto con la recopilación de datos referente a los discos.

6

Positivo

4:15

Al no tener cuenta Premium, no se pueden escoger canciones en lisa de reproducción, solo se reproduce de forma aleatoria.

Participante 5

1

Negativo

0:35

Al buscar música directamente desde el inicio, no le da la opción en la pantalla principal de ver su música correspondiente al ítem “My music”

2

Negativo

0:57

Orden de categorías mal definido, en ítem “Estaciones”, es difícil ordenar que aparezcan la música porque lo primero que debe salir deberían ser canciones

3

Negativo

1:54

No se puede poner play de forma directa

4

Positivo

2:25

Le gustan las promociones, pero no el bloqueo de funcionalidades al ver una promoción

5

Negativo

3:35

Función Running, no se explica para que sirve, uso de idioma no acorde al lenguaje del usuario

6

Positivo

3:53

Listas de reproducción asociadas a un país

Participante 6

1

Positivo

1:05 Menú desplegable, en cualquier lado de la aplicación, se adapta a cualquier rotación de la pantalla

2 Positivo 1:27 Los lanzamientos están bien definidos

3

Positivo

1:50 Categorías adecuadas a cualquier usuario, por ejemplo: Rock, existen subcategorías acorde al interés

4

Positivo

2:04

La elección de música es adecuada al género en el que se encuentra el usuario.

5

Positivo

3:00

Solo se reproduce de forma aleatoria, no la música que se desea, la interfaz es aleatoria existe retroalimentación, pues la aplicación da cuenta al usuario de ello.

6

Positivo

3:54

La interfaz de reproducción es fácil de usar, pues usa elementos familiares para el usuario en el borde inferior.

G.2 PLANILLA DE PRUEBA

Acuerdo de confidencialidad YO, ACEPTO participar en un experimento sobre la experiencia de uso de una aplicación móvil, supervisado por: , el día 04/12/2015, en el Laboratorio de Usabilidad de la Escuela de Ingeniería Informática de la Pontificia Universidad Católica de Valparaíso.

Entiendo y estoy de acuerdo con las condiciones mencionadas en adelante.

Entiendo que el experimento tiene por objetivo evaluar un sistema software, NO mis capacidades/habilidades /conocimientos.

Entiendo que los resultados del experimento se utilizarán sólo con propósitos académicos y/o de investigación, sin que mi identidad sea revelada.

Entiendo que durante el experimento se realizarán grabaciones audio/video.

Entiendo que puedo comunicar al supervisor del experimento cualquier malestar, molestia o inconformidad que pueda sentir y que puedo abandonar el experimento y el laboratorio en cualquier momento.

Firma

Estimado(a) colaborador(a):

Usted participa en un experimento que tiene como propósito evaluar su experiencia de uso de la aplicación móvil: Spotify

Se está evaluando una aplicación móvil de Smartphone, NO su desempeño como usuario.

¡NO SE PREOCUPE SI COMETE ERRORES!

El experimento tiene 3 etapas:

1. En la primera etapa Ud. deberá completar un breve cuestionario preliminar, relativo a su experiencia previa.

2. En la segunda etapa se le solicitará explorar la aplicación: Spotify, de acuerdo a indicaciones previas.

3. En la tercera etapa Ud. deberá responder a una entrevista con los evaluadores.

SI TIENE ALGUNA DUDA DURANTE EL EXPERIMENTO, PUEDE PONERSE EN CONTACTO CON EL EVALUADOR, EN CUALQUIER MOMENTO.

La información que Ud. proporciona es confidencial y muy relevante para nuestro estudio.

¡Agradecemos su cooperación!

(1) CUESTIONARIO PRELIMINAR

1. Sexo: ( ) Femenino ( ) Masculino

2. Edad:

3. Nivel de educación completa y/o en proceso:

Enseñanza media: ( ) Completa ( ) En Proceso

Técnico: ( ) Completa ( ) En Proceso

Universitario: ( ) Completa ( ) En Proceso

Otro: ( ) Completa ( ) En Proceso

4. ¿Cuál es su ocupación?:

5. ¿Con que frecuencia accede Ud. aplicaciones de correo electrónico, a través de su Smartphone?

( ) Siempre

( ) Casi siempre

( ) Algunas veces

( ) Nunca

6. ¿Ha tenido experiencias previas con otras aplicaciones móviles de este tipo?

( ) Si ( ) No

Si su respuesta fue afirmativa, indique cuales son:

PRIMERA FASE

1. Ingrese a la aplicación Spotify, utilizando el Smartphone. 2. Realice actividades que determine pertinentes en base a las funcionalidades que le brinda

la aplicación, prestando vital atención a sus IMPRESIONES Y PERCEPCIONES con respecto a la aplicación durante toda la exploración de la misma.

3. Exprese TODAS las instancias en las cuales presente percepciones positivas o negativas frente al uso e interacción con la aplicación, materializando cada percepción a través del botón verde para experiencias positivas y en caso inverso el botón rojo para experiencias negativas. Además exprese verbalmente él porque selecciona una valencia en especifica

SEGUNDA FASE

Responda a la entrevista con los evaluadores, en base a las siguientes preguntas.

1. Para cada marcador de valencia: ¿Qué aspecto de diseño causo esa experiencia positiva o negativa?

2. ¿Cuáles son las necesidades relacionadas? 3. ¿Qué considera bueno/malo? ¿Porque? 4. ¿Por qué es el atributo más positivo / negativo?

N° Valencia Positiva o Negativa

Tiempo [min]

Respuestas

1

2

3

4

5

6

H: Experimentos Formales “Spotify”

H.1: Análisis de Resultados El perfil de usuario evaluado corresponde a universitarios de la escuela de ingeniería

informática, quienes rutinariamente acceden a aplicaciones de música vía streaming. El producto de prueba escogido por los evaluadores corresponde a un reproductor de música, radio y de listas de reproducción mediante streaming llamado Spotify.

En base a los datos recopilados en la fase de pruebas de usabilidad se entregan los siguientes análisis correspondientes a cada una de las preguntas realizadas en la encuesta post pruebas:

1. ¿Pudo completar las tareas planteadas?

2. ¿Qué tan fácil ha sido encontrar la información requerida en el experimento?

3. ¿Qué tan orientado se ha sentido dentro de la aplicación durante el experimento?

4. ¿Considera Ud. que es fácil navegar a través del catálogo de música de la aplicación?

5. ¿Qué tan efectivos le parecieron los resultados de las búsquedas realizadas a través de la aplicación?

6. Su grado de satisfacción en cuanto a la reproducción de la música es:

7. En general, usted califica su grado de satisfacción en el uso de la aplicación como:

H.2: Plantilla de Prueba

Acuerdo de confidencialidad

YO, ACEPTO participar en un experimento sobre la experiencia

de uso de un portal web, supervisado por Osvaldo González y Consuelo Figueroa, el día

/10/15, en el Laboratorio de Usabilidad de la Escuela de Ingeniería Informática de la Pontificia Universidad Católica de Valparaíso. Entiendo y estoy de acuerdo con las condiciones mencionadas en adelante.

Entiendo que el experimento tiene por objetivo evaluar un sistema software, NO mis capacidades/habilidades /conocimientos.

Entiendo que los resultados del experimento se utilizarán sólo con propósitos académicos y/o de investigación, sin que mi identidad sea revelada.

Entiendo que puedo comunicar al supervisor del experimento cualquier malestar, molestia o inconformidad que pueda sentir y que puedo abandonar el experimento y el laboratorio en cualquier momento.

Firma__________________

Estimado(a) colaborador(a):

Usted participa en un experimento que tiene como propósito evaluar su experiencia de uso de la aplicación móvil: Spotify

Se está evaluando la aplicación, NO su desempeño como usuario. ¡NO SE PREOCUPE SI COMETE ERRORES!

El experimento tiene 3 etapas:

1. En la primera etapa Ud. deberá completar un breve cuestionario preliminar, relativo a su experiencia previa.

2. En la segunda etapa se le solicitará explorar la aplicación: Spotify, según lo indicado. 3. En la tercera etapa Ud. deberá completar un cuestionario acerca de su percepción sobre

la aplicación.

SI TIENE ALGUNA DUDA DURANTE EL EXPERIMENTO, PUEDE PONERSE EN CONTACTO CON EL EVALUADOR, EN CUALQUIER MOMENTO.

La información que Ud. proporciona es confidencial y muy relevante para nuestro estudio.

¡Agradecemos su cooperación!

(1) CUESTIONARIO PRELIMINAR

1. Sexo: ( ) Femenino ( ) Masculino

2. Edad:

3. Nivel de educación completa y/o en proceso:

Enseñanza media: ( ) Completa ( ) En Proceso

Técnico: ( ) Completa ( ) En Proceso

Universitario: ( ) Completa ( ) En Proceso

Otro: ( ) Completa ( ) En Proceso

¿Cuál es su ocupación?:

4. ¿Posee cuenta Spotify?

( ) Si ( ) No

5. ¿Con que frecuencia accede Ud. a servicios música streaming?

( ) Siempre ( ) Casi siempre ( ) Algunas veces ( ) Nunca

(2) LISTA DE TAREAS

En la siguiente sección usted deberá seguir paso a paso las instrucciones, de manera de completar cada una de las actividades señaladas.

Actividad 1: “Añadir una canción a su música”.

1. Abra la aplicación Spotify en el dispositivo móvil.

2. Accione el botón explorar.

3. Seleccione la opción buscar.

4. Indique el nombre de la canción “paradise”.

5. Añada la canción a “Tu música”.

Actividad 2: “Crear lista de reproducción”.

1. Abra la aplicación Spotify en el dispositivo móvil.

2. Accione el botón explorar.

3. Diríjase a “Tu música”.

4. Seleccione la opción “Playlist”.

5. Seleccione la opción crear nueva lista de reproducción.

6. Escriba el nombre “lista de reproducción de prueba” para la lista.

7. Ingrese a la lista creada.

Actividad 3: “Añadir canciones a la lista de reproducción”.

1. Abra la aplicación Spotify en el dispositivo móvil.

2. Accione el botón explorar.

3. Diríjase a “Tu música”.

4. Seleccione la opción “Playlist”.

5. Seleccione la lista de reproducción “lista de reproducción de prueba”.

6. Elija la opción explorar.

7. En buscar, escriba la canción “Clavado en un bar”.

8. En la lista de canciones seleccione dicha canción y agréguela a la playlist.

Actividad 4: “Escuchar una lista de reproducción”.

1. Abra la aplicación Spotify en el dispositivo móvil.

2. Accione el botón explorar.

3. Diríjase a “Tu música”.

4. Seleccione la opción “Playlist”.

5. Seleccione la lista creada en la actividad anterior.

6. Seleccione “aleatoria” para escuchar la lista.

CUESTIONARIO DE PERCEPCIÓN SOBRE LA APP

Encierre en un círculo la alternativa más apropiada para cada pregunta.

1. ¿Pudo completar las tareas planteadas?

1 2 3 4 5

Muy difícilmente Difícilmente Neutral Fácilmente Muy fácilmente

2. ¿Qué tan fácil ha sido encontrar la información requerida en el experimento?

1 2 3 4 5

Muy difícilmente Difícilmente Neutral Fácilmente Muy fácilmente

3. ¿Qué tan orientado se ha sentido dentro de la aplicación durante el experimento?

1 2 3 4 5

Muy poco orientado Poco orientado Neutral Orientado Muy orientado

4. ¿Considera que es fácil navegar a través del catálogo de música de la aplicación? 1 2 3 4 5

Muy Difícil Difícil Neutral Fácil Muy Fácil

5. ¿Qué tan efectivos le parecieron los resultados de las búsquedas realizadas a través de la aplicación?

1 2 3 4 5

Muy poco efectivas Poco efectivas Neutral Útiles Muy útiles

6. Su grado de satisfacción en cuanto a la reproducción de la música es: 1 2 3 4

Totalmente Insatisfactorio Poco Satisfactorio Neutral Satisfactorio

5

Muy satisfactorio

7. En general, usted califica su grado de satisfacción en el uso de la aplicación como:

1 2 3 4

Totalmente Insatisfactorio Poco satisfactorio Neutral Satisfactorio

5

Muy satisfactorio

8. ¿Qué fue lo que más le gustó de Spotify en su versión para dispositivos móviles?

9. ¿Qué fue lo que menos le gustó de Spotify en su versión para dispositivos móviles?

I: Técnicas de Interrogación PSUQ “Spotify” I.1: Análisis de resultados El perfil del usuario evaluado resulto ser mayoritariamente de sexo masculino con

un promedio de edad de 21 años, de ocupación estudiante y con un grado de estudio Universitario

En base a los datos recopilados en la fase de pruebas se presentan los siguientes análisis correspondientes a cada una de las preguntas realizadas en la encuesta post pruebas:

I.2: Plantilla de Prueba

El siguiente cuestionario fue desarrollado por Lewis (1995) y tiene por objetivo obtener las percepciones del usuario posterior al uso de un sistema.

Se pide a continuación que responda las siguientes preguntas en relación al uso del sistema de prueba en la que participó.

1. En general, estoy satisfecho con lo fácil que es de usar este sistema.

COMENTARIOS:

2. Era sencillo de utilizar este sistema.

COMENTARIOS:

3. Pude completar eficazmente las tareas y escenarios que se utilizaron en este sistema.

COMENTARIOS:

4. Fui capaz de completar las tareas y escenarios rápidamente utilizando este sistema.

COMENTARIOS:

PSSUQ (Post Scenarie Usability Questionarie)

5. Tuve la oportunidad de completar de manera eficiente las tareas.

COMENTARIOS:

6. Me sentí cómodo usando este sistema.

COMENTARIOS:

7. Es fácil de aprender a utilizar este sistema.

COMENTARIOS:

8. Creo que podría ser productivo rápidamente utilizando este sistema.

COMENTARIOS:

9. El sistema dio mensajes de error que me dijo claramente cómo solucionar problemas.

COMENTARIOS:

10. Siempre que he cometido un error usando el sistema, pude

recuperarme fácilmente y rápidamente.

COMENTARIOS:

11. La información (tales como mensajes de ayuda en línea, que aparecen en pantalla y demás documentación) provistos de este sistema era clara.

COMENTARIOS:

12. Fue fácil encontrar la información que necesitaba.

COMENTARIOS:

13. La información proporcionada por el sistema era fácil de entender.

COMENTARIOS:

14. La información fue eficaz para ayudar a completar las tareas y escenarios.

COMENTARIOS:

15. La organización de la información en las pantallas del sistema estaba clara.

COMENTARIOS:

16. La interfaz de este sistema era agradable.

17. Me gusta el uso de la interfaz de este sistema.

COMENTARIOS:

18. Este sistema tiene todas las funciones y capacidades que espero que tenga.

COMENTARIOS:

19. En general, estoy satisfecho con este sistema.

COMENTARIOS:

¡MUCHAS GRACIAS POR SU COLABORACIÓN!