Usabilidad, ux … cómo lo medimos?

Usabilidad, UX … ¿cómo medimos?

Universidad AUTÓNOMA de Occidente

Cali, ColombiaToni Granollers (julio, 2015)

Usabilidad, UX … ¿cómo medimos? [T. Granollers - UAO, Cali, 2015]

UsabilidadInterfaz Amigable

User FriendlyUser eXperience

Factores humanosAccesibilidad

……

2 / 60


PeroQué pasaba hace

tan solo unos años?

3 / 60


Usaqué ?

2000 2013

4 / 60


Índice• Contextualización• Usabilidad• UX• HCI / IPO

• Medición de la usabilidad• a partir de los atributos que la definen• System Usability Scale (SUS)

• Medición del componente emocional

5 / 60


Evolución de las TICs

1981

6 / 60


1983: 400 computers on the #internet. Today: one billion + (plus smart phones!)

http://vimeo.com/album/3096607/video/110794988

7 / 60





Usabilidad

• Definición “coloquial” [J. Preece, 1994]

• Sistemas fáciles de usar y de aprender

• Definición formal [ISO 9241-11]

• la medida en la que un producto se puede usar por determinados usuarios para conseguir objetivos específicos con efectividad, eficiencia y satisfacción en un contexto de uso especificado”

8 / 60


Usabilidad

USABILIDAD

9 / 60


Dimensiones de la usabilidad

puede ser medida o evaluada por observación del usuario mientras realiza tareas de interacción y se puede medir mediante métodos tradicionales

indica la usabilidad percibida o satisfacción de uso, y es difícil de entender y de medir

Usabilidad OBJETIVA o inherente

Usabilidad SUBJETIVAo aparente

10 / 60


Usabilidad en Objetos cotidianos

Los objetos bien diseñados son fáciles de interpretar y de comprender.

Los objetos mal diseñados pueden ser difíciles de utilitzar y frustran al usuario

?11 / 60

http://portal.lacaixa.es/home/particulares_es.html

http://www.angelfire.com/super/badwebs/main.htm


No confundir usabilidad con otros atributos de la interfaz de usuario (UI)

http://www.awwwards.com

The awards for design, creativity and innovation on the Internet

12 / 60

http://www.awwwards.com/




UsereXperienc

e

13 / 60


Car UXhttp://www.teslamotors.com/models/photo-gallery

14 / 60

http://www.teslamotors.com/models/photo-gallery

Usabilidad, UX … ¿cómo medimos? [T. Granollers - UAO, Cali, 2015] 15 / 60


UI UX

16 / 60


UX design is about usability

submit

submit

vs

UI design

Function: it works

submit

vs

Usbility design

Action: it works WELL

cancel

submit cancel

Yes, complete my order

UX design

Emotion: it works well and makes me say Wow!

No, thanks

17 / 60


User Experience HoneycombPeter Morville

http://www.pageportfolio.net/2013/05/31/ux-services-i-provide

18 / 60




Experiencia de usuario User eXperience (UX)

“La experiencia de usuario atiende a todos los factores, tanto internos como externos del usuario y del sistema

interactivo, que causen alguna sensación a quien esté utilizando un sistema interactivo concreto en un determinado

contexto de uso.”

• Is a “consequence of the presentation, functionality, system performance, interactive behaviour, and assistive capabilities of the interactive system”

• It includes aspects such as human factors, design, ergonomics, HCI, accessibility, marketing as well as usabilityhttp://usabilitygeek.com/the-difference-between-usability-and-user-experience

19 / 60

http://usabilitygeek.com/the-difference-between-usability-and-user-experience

http://usabilitygeek.com/the-difference-between-usability-and-user-experience


Human-Computer Interaction (HCI)Interacción Persona-Ordenador (IPO)

• Disciplina relacionada con el diseño, implementación y evaluación de sistemas informáticos interactivos para el uso de personas y con el estudio de los fenómenos más importantes con los que se relaciona

[ACM SIGCHI curriculla, 1992, p 6]http://sigchi.org

20 / 60

http://sigchi.org/

http://sigchi.org/

http://www.sigchi.org/

http://www.acm.org/


ÍndiceContextualización

UsabilidadUXHCI / IPO

• Medición de la usabilidad• a partir de los atributos que la definen• System Usability Scale (SUS)


21 / 60


Los humanos tenemos la

necesidad de medirlo todo

22 / 60





Fuente. http://www.cida.ve/cida_home/index.php?option=com_content&view=article&id=601:-el-cida-promueve-proyecto-eratostenes-america&catid=1:ultimas-noticias&Itemid=54

26 / 60

http://www.cida.ve/cida_home/index.php?option=com_content&view=article&id=601:-el-cida-promueve-proyecto-eratostenes-america&catid=1:ultimas-noticias&Itemid=54

http://www.cida.ve/cida_home/index.php?option=com_content&view=article&id=601:-el-cida-promueve-proyecto-eratostenes-america&catid=1:ultimas-noticias&Itemid=54


pero .... ¿cómo medimos la

usabilidad y/o la UX ?

27 / 60


Medición de la Usabilidad• Inicialmente, la medición de la usabilidad

SOLO estaba enfocada a la efectividad y a la eficiencia• did people reach the right conclusion with a

minimum expenditure of effort and as few mistakes as possible?

• effectiveness and efficiency were key to the safety of industrial processes, or decisions with potentially serious consequences.

mitad

80’s

28 / 60


Medición de la Usabilidad• Posteriormente, especialmente desde la

emergencia de la ofimática, las opiniones de lo susuarios finales adquiren relevancia• If a system gained a reputation for being difficult to

use, that often led to greater requirements for support (and consequent costs), both within the organization deploying the system, and for the vendor of the system, and potentially had a major influence on initial decisions to purchase the system

• Surge la necesidad de medir las opiniones subjetivas sobre el uso de un sistema

mitad

90’s

29 / 60


Medición de la Usabilidad• No concreta sobre la usabilidad, solo que

algo es usable si es apropiado en su contexto de uso

ISO

9241part 11

El contexto incluye:• Las tareas• El backgroud• La experiencia del usuario• El entorno

30 / 60


Unix shell command line interface

es usable

esta interfaz?Fuera de su contexto (mediados 70’s, para ingenieros y

científicos que manipulaban expresiones simbólicas)

NO31 / 60


Medición de la Usabilidad

USABILIDAD

si la gente puede completar sus tareas y alcanzar sus metas

el grado en que se consumen los recursos en la consecución de sus objetivos

el nivel de comodidad que experimentan en el logro de esos objetivos

32 / 60


EFECTIVIDAD

Medición de la Usabilidad• Atributo definido en función de las

TAREAS por las cuales un sistema es utilizado

• Expresado en términos de recursos utilizados o en actividad no productiva (cómo en solucionar errores), TIEMPO.

EFICIENCIA

Parámetros relativamente fáciles de medir

33 / 60


SATISFACCIÓN

Medición de la Usabilidad• Expresado en términos de OPINIONES

subjetivas de un conjunto de usuarios.• Condicionado por:• Conocimiento de otros sistemas (comparación)• Cada uno tiene su percepción personal• Estado anímico/emocional (una misma persona

puede dar opiniones diferentes sobre un mismo sistema)• Tiempo de medición

Parámetro altmente difícil de medir

34 / 60


SYSTEM USABILITY SCALE (SUS)

The System Usability Scale (SUS) was released by John Brooke in 1986Una “vieja” herramienta muy actual y con mucho recorrido

Font

: htt

ps:/

/ww

w.m

easu

ringu

.com

/blo

g/10

-thi

ngs-

SUS.

php

35 / 60

https://www.measuringu.com/blog/10-things-SUS.php

https://www.measuringu.com/blog/10-things-SUS.php


System Usability Scale (SUS)• A tool that would allow us (usability analysts) to take a

quick snapshot of people’s satisfaction with using the systems that we were asking them to use, and that we could use as a yardstick to compare one system with another or to compare a new version of a system with an earlier incarnation.

Es este atributo más importante que los anteriores? Seguramente NO, pero las evaluaciones

subjetivas suelen ser determinantes a la hora de recomendar un sistema a otras personas.

36 / 60


SUS: contexto• Vax/VMS system by Digital Equipment

Corporation (DEC), in the mid-1970s

This was not a very exciting system from a user interface design point of view, having a menu interface on VT100 terminals. However, we also worked on a number of other products that were very much on the cutting edge of technology at the time, such as DECtalk Mail Access, which used the DECtalk text-to-speech synthesizer (the voice synthesizer used by Stephen Hawking sounds pretty much identical to DECtalk’s “Perfect Paul” voice) to read your ALL-IN-1 emails over the phone when you were out on the road—pretty new and exciting stuff for 1984.

37 / 60


System Usability Scale (SUS)• Un cuestionario de tan solo 10 preguntas:

1. I think that I would like to use this system frequently.2. I found the system unnecessarily complex.3. I thought the system was easy to use.4. I think that I would need the support of a technical person to be able

to use this system.5. I found the various functions in this system were well integrated.6. I thought there was too much inconsistency in this system.7. I would imagine that most people would learn to use this system very

quickly.8. I found the system very cumbersome to use.9. I felt very confident using the system.10.I needed to learn a lot of things before I could get going with this

system.

38 / 60


SUS: Puntos importantes• Alternancia de ítems para evitar distorsión en las

respuestas.• El cuestionario invita a responder rápidamente, aunque

la alternancia de respuestas negativas con positivas fuerza al usuario a leer con mayor atención para responder si estan o no de acuerdo con cada pregunta

“all-positive” SUS versionSauro. J., & Lewis, J. (2011). When designing usability questionnaires, does

it hurt to be positive? Proceedings of the Conference in Human Factors in Computing Systems (CHI 2011). Vancouver, BC, Canada: ACM.

39 / 60


# All Positive SUS Originial SUS1 I think that I would like to use the website

frequently.I think that I would like to use this system frequently.

2 I found the website to be simple. I found the system unnecessarily complex.

3 I thought the website was easy to use. I thought the system was easy to use.

4 I think that I could use the website without the support of a technical person.

I think that I would need the support of a technical person to be able to use this system.

5 I found the various functions in the website were well integrated.

I found the various functions in this system were well integrated.

6 I thought there was a lot of consistency in the website. I thought there was too much inconsistency in this system.

7 I would imagine that most people would learn to use the website very quickly.

I would imagine that most people would learn to use this system very quickly.

8 I found the website very intuitive. I found the system very cumbersome to use.

9 I felt very confident using the website. I felt very confident using the system.

10 I could use the website without having to learn anything new.

I needed to learn a lot of things before I could get going with this system.

Font: http://www.measuringu.com/positive-negative.php40 / 60

http://www.measuringu.com/positive-negative.php

http://www.measuringu.com/positive-negative.php


SUS: Utilización• SUS se utiliza generalmente

• después de que un usuario ha tenido la oportunidad de utilizar un sistema y

• antes de que cualquier informe o discusión tenga lugar. • Se solicitará a los usuarios el registro inmediato de su

respuesta a cada punto, sin dar lugar a pensar o reflexionar sobre los mismos.

• Todos los puntos han de ser comprobados. • Si el usuario no se siente capaz de responder a alguna cuestión

en particular, deberá señalar el valor central de la escala.

41 / 60


SUS: Utilización• Puntuación de la escala SUS• Escala tipo Likert que genera un único número que representa

una medida compuesta de la usabilidad del sistema global sometido a estudio:

Para equiparar las valoraciones positivas con las negativas

a) Preguntas POSITIVAS (1, 3, 5, 7 y 9), la contribución será el valor de la escala menos 1

b) Preguntas NEGATIVAS (2, 4, 6, 8 y 10), la contribución será 5 menos el valor de la escala.

c) Finalmente, se multiplica la suma de los resultados por 2.5 para obtener el valor global del SUS

Para obtener un valor entre 0 y 100

42 / 60


SUS: Interpretación

CUIDADOel valor de la escala

NO debe interpretarse cómo un valor porcentual (porcentaje de usabilidad

del sistema evaluado)

Figure. Grade rankings of SUS scores from “Determining What Individual SUS Scores Mean: Adding an Adjective Rating Scale,” by A. Bangor, P.T. Kortum, and J.T. Miller, 2009,Journal of Usability Studies, 4(3), 114-123

Figura obtenida tras valorar más de 3,500 test de SUS

43 / 60


SUS: Interpretación

Figure. Percentile rankings of SUS scores from “A Practical Guide to the System Usability Scale: Background, Benchmarks, & Best Practices,” by J. Sauro, 2011, Denver, CO: Measuring Usability LLC

… pero si cómo un percentil

44 / 60


SUS: Ejemplo

1 2 3 4 51 Creo que me gustará visitar con frecuencia este website 5 42 Encontré el website innecesariamente complejo 4 13 Pensé que era fácil utilizar el website 2 14 Creo que necesitaría del apoyo de un experto para recorrer el website 1 45 Encontré las diversas posibilidades del website bastante bien integradas 2 16 Pensé que había demasiada inconsistencia en el website 3 27 Imagino que la mayoría de las personas aprenderían muy rápidamente a utilizar el website 2 18 Encontré el website muy grande al recorrerlo 4 19 Me sentí muy confiado en el manejo del website 5 410 Necesito aprender muchas cosas antes de manejarme en el website 2 3

22x 2,5

Positivas: valor - 1Negativas: 5 - valor

55

Grado de aceptación BAJOPercentil 20%

45 / 60


SUS: Sigue siendo válido para la tecnología moderna

• Adaptando la terminología (web, celular, tablet, ...) el cuestionario es totalmente vigente• Las preguntas no hacen referencia a la tecnología

en sí misma sino que preguntan respecto a su uso• La ponderación de las 10 respuestas proporciona

una medida genérica de la usabilidad percibida. Pero NO deben tomarse cómo la ÚNICA MEDIDA de usabilidad

siempre fue así …SUS is pretty much technology-neutral

46 / 60


SUS: comparativa

“A Comparison of Questionnaires for Assessing Website Usability,” by T. S. Tullis and J. N. Stetson, 2004, Proceedings of UPA 2004 Conference

SUS enables you to get a measure of the

perceived usability of a system with a small sample

(say, 8-12 users)

• SUMI, Software Usability Measurement Inventory•WAMMI, Website Analysis and

MeasureMent Inventory•QUIS, Questionnaire for User

Interaction Satisfaction•UEQ, User Experience

Questionnaire

47 / 60


SUS: conclusiones• Fiable. Los usuarios responden de forma consistente y ha demostrado

su utilidad para tamaños de muestra más pequeños que otros cuestionarios.

• Válido. Es decir, se mide lo que pretende medir.• No es un diagnóstico. No dice lo que hace que un sistema sea usable o

no.• El valor NO es porcentaje. Aunque pueden interpretarse cómo

percentiles.• El valor SUS tiene muy poca relación con el desempeño o el

rendimiento de las tareas, • por lo que no es de extrañar que las evaluaciones subjetivas de las personas

pueden no ser compatibles con si o no tuvieron éxito usando un sistema. • Las evaluaciones subjetivas de la usabilidad son sólo un componente de la

construcción general de la usabilidad.

48 / 60


ÍndiceContextualización

UsabilidadUXHCI / IPO

Medición de la usabilidada partir de los atributos que la definenSystem Usability Scale (SUS)


49 / 60


Medición del componente EMOCIONAL de la UX

PANAS, Positive and Negative Affect ScaleEscala de afecto positivo y negativo (1988)

50 / 60



PrEMO (2004)

Emocards (2001)LemTool (2013)

GEW (2012)

51 / 60



GEW+ (2015)

52 / 60



Emotiv EPOC

53 / 60


... Para FINALIZAR un ejemplo

Liquid Galaxy

Space Navigator

54 / 60




Conclusión• Tras una contextualización a los conceptos de

básicos del “mundo HCI” (cómo son Usabilidad y UX),

• he dedicado la mayor parte de mi charla a insistir en la “Medición de la usabilidad”,

• centrando mi exposición en el método largamente utilizado y totalmente válido actualmente System Usability Scale (SUS), y

• en cómo medir del componente emocional de la UX

57 / 60


SUS: Bibliografia

“A Practical Guide to the System Usability Scale: Background, Benchmarks & Best Practices”Jeff Sauro2011

“Quantifying the User Experience: Practical Statistics for User Research”Jeff Sauro2012

“Excel and R Companion to Quantifying the User

Experience: Rapid Answers to over 100 Examples and

Exercises”James R Lewis & Jeff Sauro

2012

“Measuring the User Experience: Collecting,

Analyzing, and Presenting Usability Metrics (Interactive

Technologies) 2nd Edition”William Albert & Thomas Tullis

2013

58 / 60


SUS: Bibliografia

• Measuring Usability with the System Usability Scale (SUS), Jeff Sauro• http://www.measuringu.com/sus.php

• “Determining What Individual SUS Scores Mean: Adding an Adjective Rating Scale,” by A. Bangor, P.T. Kortum, and J.T. Miller, 2009, Journal of Usability Studies, 4(3), 114-123

• Brooke, J. SUS: A Retrospective, by John Brooke. Journal of Usability Studies. Vol. 8, Issue 2, February 2013 pp. 29-40• http://uxpajournal.org/sus-a-retrospective

59 / 60

http://www.measuringu.com/sus.php

http://www.measuringu.com/sus.php

http://uxpajournal.org/sus-a-retrospective

http://uxpajournal.org/sus-a-retrospective


Gracias por su atención !!!

Toni GranollersEscola Politècnica Superior

Universitat de Lleida (UdL)

C/ Jaume II, 69

25001 – Lleida (Catalonia)

(+34) 973 702750

[email protected]

@DCU_MPIUA

slideshare.net/DCU_MPIUA

@

60 / 60

mailto:[email protected]

Engineering

Usabilidad, ux … cómo lo medimos?