Embed Size (px)
Citation preview
ELICITACION DE REQUISITOS DE USABILIDAD: UN ESTUDIO SISTEMÁTICO
Yeshica Isela Ormeño,
Jose Ignacio Panach,
Óscar Pastor
Universitat Politècnica de València
{yormeno, jpanach, opastor}@pros.upv.es
CONTENIDO
1. Introducción
2. Estado del Arte
3. Diseño del Estudio Sistemático
• Preguntas de Investigación
• Estrategia de Búsqueda
• Criterios de Selección
• Evaluación de la Calidad
• Estrategia de Extracción de datos
4. Resultados
5. Discusión
6. Conclusiones
[2]
1. INTRODUCCIÓN
La usabilidad (IS e IPO) es considerada como factor clave para el desarrollo de un producto de calidad.
La usabilidad, en fase final afecta la interfaz y la arquitectura del sistema (mayor esfuerzo).
En general los métodos son orientados a tratar Requisitos Funcionales (RF) dejando de lado los Requisitos No Funcionales (NFR) en etapas iniciales.
El estudio identifica métodos de elicitación de requisitos de usabilidad existentes para su análisis.
Mayor interés en MDD - paradigma dirigido por modelos.
En general los métodos MDD no soportan el modelado de muchos requisitos de usabilidad.
[3]
1. INTRODUCCIÓN
Identificar propuestas existentes para la
elicitación de requisitos de usabilidad en
etapas iniciales del desarrollo software
Dedicar mayores esfuerzos en realizar la elicitación de requisitos de usabilidad desde las primeras etapas de desarrollo software.
Estudio Sistemático - metodología de Kitchenham.
Mejorar las prácticas actuales.
Enriquecer los métodos MDD.
[4]
1. Introducción
2. Estado del Arte
3. Diseño del Estudio Sistemático
4. Resultados
5. Discusión
6. Conclusiones
[5]
2. ESTADO DEL ARTE
Técnicas de elicitación
Revisiones sistemáticas
y estado del arte NFR
Estudios sistemáticos
Dieste, actualización de técnicas de elicitación de requisitos.
Carrizo, identifica un marco para seleccionar la mejor técnica de elicitación.
Usabilidad como un NFR: Chung, Svensson, Nguyen, Sindgatta, Yi , y Ameller .
Chung, estado del arte, elicitación, trazabilidad, reutilización de requisitos.
Svensson elicitación de requisitos, métricas, dependencias, estimación de costos gestión de requisitos de calidad.
o Folmer, marco a nivel arquitectónico, explora la viabilidad de un enfoque de diseño que podría ser aplicado a la usabilidad.
o Fernández métodos de evaluación de usabilidad en las aplicaciones web. [6]
1. Introducción
2. Estado del Arte
3. Diseño del Estudio Sistemático • Preguntas de Investigación
• Estrategia de Búsqueda
• Criterios de Selección
• Evaluación de la Calidad
• Estrategia de Extracción de datos
4. Resultados
5. Discusión
6. Conclusiones [7]
3. DISEÑO DEL ESTUDIO SISTEMÁTICO
Pasos del proceso seguido en el estudio sistemático
• PREGUNTA DE
INVESTIGACIÓN
1
• ESTRATEGIA DE BÚSQUEDA
• Cadena de Búsq.
• Fuentes de Búsq.
2 • CRITERIOS DE
SELECCIÓN
• Leer título y res.
• Leer toda la pub.
3
• REVISIÓN DE
REFERENCIAS
4 • EVALUACIÓN
DE LA CALIDAD
5
• ESTRATEGIA DE
EXTRACCIÓN DE DATOS
6 • RESULTADOS
• Análisis de Pub.
• Gráfica Comp.
• Frecuencias del E.S.
7
Usability, elicitation,
Interaction , NFR,
guideline, model driven,
notation, tool, test
•AND - OR
[8]
RESULTADOS
Guías de Kitchenham - 3 revisores - Proc. Sistemático - aplicación herramienta y técnicas.
Nivel de concordancia (Factor H) – Herramienta Publish and Perish.
3. DISEÑO DEL ESTUDIO SISTEMÁTICO: Pregunta de investigación
Sub preguntas de investigación:
SQ1. ¿Cuáles son los métodos para elicitar los requisitos de usabilidad?
SQ2. ¿Cuáles son los métodos para elicitar los requisitos de interacción?
SQ3. ¿Cuáles son las guías de usabilidad utilizadas para elicitar los requisitos de usabilidad?
SQ4. ¿Cuáles son las herramientas de apoyo a la elicitación de los requisitos de usabilidad?
SQ5. ¿Cuáles son las notaciones para elicitar los requisitos de usabilidad?
SQ6. ¿Ha sido la propuesta validada empíricamente?
"¿Cuáles son las propuestas para elicitar los requisitos de usabilidad durante el proceso de desarrollo de software?"
• PREGUNTA DE
INVESTIGACION
1
• ESTRATEGIA DE BUSQUEDA
• Cadena de Búsq.
• Fuentes de Búsq.
2 • CRITERIOS DE
SELECCIÓN
• Leer Tít./Res.
• Leer Pub.
3
• REVISIÓN DE
REFERENCIAS
4 • EVALUACIÓN
DE LA CALIDAD
5
• ESTRATEGIA DE
EXTRACCIÓN DE DATOS
6 • RESULTADOS
7
[9]
3. DISEÑO DEL ESTUDIO SISTEMÁTICO: Estrategia de Búsqueda
Cadena de búsqueda
REQUISITOS DE USABILIDAD AND INGENIERÍA DEL SOFTWARE
(usability requirement OR user requirement OR usability elicitation OR interaction requirement OR non functional
OR usability guidelines)
(MDD OR model driven OR MDA OR notation OR tool OR interface OR engineering OR test)
I. Periodo: 12 años (2000 – 2011)
II. BD: IEEExplore, ACM,Springer
III. Herramienta: Sciverse Scopus
IV. Área: Computers Science
• PREGUNTA DE INVESTIGACIÓN
1
•ESTRATEGIA DE BÚSQUEDA
• Cadena de Búsqueda
• Fuentes de Búsqueda
2 • CRITERIOS DE
SELECCIÓN
• Leer Tít./Res.
• Leer toda Pub.
3
• REVISIÓN DE REFERENCIAS
4 • EVALUACIÓN DE
LA CALIDAD
5
• ESTRATEGIA DE EXTRACCIÓN DE
DATOS
6 • RESULTADOS
7
[10]
Fuentes de búsqueda 150 Pub.
3. DISEÑO DEL ESTUDIO SISTEMÁTICO: Criterios de Selección
Pub. devueltas a partir de la cadena de búsqueda Publicaciones Potenciales Pub. seleccionadas
• IC1=¿El trabajo define cómo extraer los requisitos de usabilidad?
• IC2=¿La propuesta se aplica a un entorno basado en los modelos conceptuales (MDD)?
• IC3=¿El trabajo define la forma de representar los requisitos de usabilidad?
CRITERIOS DE INCLUSION
• EC1=Las publicaciones que estudian guías, notaciones y herramientas que no tratan la usabilidad.
• EC2=Las publicaciones que solo tratan los requisitos funcionales.
• EC3=Las publicaciones escritas en otro idioma diferente al Inglés.
CRITERIOS DE EXCLUSION
• PREGUNTA DE
INVESTIGACIÓN
1
• ESTRATEGIA DE BUSQUEDA
• Cad. Búsq.
• Fuentes de Búsqueda
2 •CRITERIOS DE
SELECCIÓN • Leer Título y Resumen
• Leer toda la publicación 3
• REVISION DE
REFERENCIA
4 • EVALUACIÓN
DE LA CALIDAD
5
• ESTRATEGIA DE
EXTRACCIÓN DE DATOS
6 • RESULTADOS
7
[11]
Fleiss`kappa – estadístico
Nivel de concordancia [0,1],
0= fuerte concordancia,
1= débil concordancia
20/65 publicaciones al
azar. 3 revisores.
valor 0,63 que significa
“nivel considerable”
65 Pub. Potenciales
(título y resumen)
27 Pub. Seleccionadas (total)
Estrategia que evita el descarte de importantes publicaciones.
Publicaciones anteriores al 2000. Ejm. Nielsen.
El no aparecer en la referencias significa que no son de interés para la comunidad.
[12]
• PREGUNTA DE
INVESTIGACIÓN
1
• ESTRATEGIA DE BÚSQUEDA
• Cad. Búsq.
• Fuentes
2 • CRITERIOS DE
SELECCIÓN
• Leer Tít./Res.
• Leer toda Pub.
3
•REVISIÓN DE REFERENCIAS
4 • EVALUACIÓN
DE LA CALIDAD
5
• ESTRATEGIA DE
EXTRACCIÓN DE DATOS
6 • RESULTADOS
7
27 Pub. Seleccionadas + 2 Pub. (Por Ref.) = 29 Publicaciones Seleccionadas
3. DISEÑO DEL ESTUDIO SISTEMÁTICO: Revisión de Referencias
3. DISEÑO DEL ESTUDIO SISTEMÁTICO: Evaluación de la Calidad
Preguntas Subjetivas 1 = Si 0 = Parcialmente -1 = No
1. ¿El método para elicitar los requisitos de usabilidad está
definido de forma clara?
2. ¿Las guías de elicitación de requisitos son comprensibles?
3. ¿Las guías de elicitación de requisitos son útiles en otro
contexto?
4. ¿Las herramientas que soportan a las publicaciones son
descargables?
5. ¿Existe un caso de estudio o ejemplo claro de la propuesta?
6. ¿La propuesta está validada empíricamente?
7. ¿Los resultados están claramente explicados?
8. ¿La notación para la captura de requisitos es fácil de aprender?
Preguntas Objetivas
9. ¿La publicación está en una revista o en un acta de congreso?
1 = Muy importante 0 = Importante -1 = No tan importante
10. ¿La publicación ha sido citada por otros autores?
1 = Más de 4 0 = Entre 2 y 4 -1 = Menos de 2
Likert(3) – 3 revisores
1,0,-1, valores preg. Subj./Obj.
Preg. Nº 9 clasificación CORE.
1 = (A,B), libro.
0 = (C) , workshop.
-1 = no CORE, otro.
JCR (incluida, otra lista, Ning. lista )
Preg. Nº10: # de citas que recibe H-factor con Publish or Perish.
Resultado por cada revisor [-10,10].
Media aritmética por cada publicación.
12
16
1
0
2
4
6
8
10
12
14
16
18
MUY BUENA BUENA MALA
[13]
• PREGUNTA DE
INVESTIGACIÓN
1
• ESTRATEGIA DE BUSQUEDA
• Cadena Búsq.
• Fuentes Búsq.
2 • CRITERIOS DE
SELECCIÓN
• Leer Tít/Res.
• Leer Pub.
3
• REVISION DE
REFERENCIAS
4 •EVALUACIÓN DE LA CALIDAD
5
• ESTRATEGIA DE
EXTRACCIÓN DE DATOS
6 • RESULTADOS
7
Cuestionario Likert (3)
Muy Buena > =3
Buena [-2,2.9]
Mala < -2
3. DISEÑO DEL ESTUDIO SISTEMÁTICO: Estrategia de Extracción de datos
SUB PREGUNTAS DE INVESTIGACIÓN POSIBLES RESPUESTAS Nº %
SQ1 MÉTODOS DE ELICITACIÓN DE REQUISITOS DE
USABILIDAD
SI
NO
NO CONCERNIENTE
7
11
11
24.14
37.93
37.93
SQ2 MÉTODOS DE ELICITACIÓN DE REQUISITOS DE
INTERACCIÓN
SI
NO
NO CONCERNIENTE
5
3
21
17.24
10.34
72.41
SQ3 USO DE LAS GUÍAS DE USABILIDAD EXISTENTES
PROPUESTAS
NO EXISTE
9
7
13
31.03
24.14
44.83
SQ4 HERRAMIENTAS DE APOYO PARA LA ELICITACIÓN
DE REQUISITOS
DISEÑO DE INTERFAZ
DESARROLLO DE MODELO
NO EXISTE
NO CONCERNIENTE
5
7
11
6
17.24
24.14
37.93
20.69
SQ5 TIPOS DE NOTACIÓN PARA LA ELICITACIÓN DE
LOS REQUISITOS
UML
LENGUAJE NATURAL
I*
CTT
FORMAL
QOC
BPMN
NO CONCERNIENTE
12
8
8
4
2
2
1
5
41.38
27.59
27.59
13.79
6.90
6.90
3.45
17.24
SQ6 ENTORNO DE VALIDACIÓN EMPÍRICA INDUSTRIAL
ACADÉMICO
NINGUNO
3
17
9
10.34
58.62
31.03
[14]
• PREGUNTA DE
INVESTIGACIÓN
1
• ESTRATEGIA DE BUSQUEDA
• Cadena Búsq.
• Fuentes de Búsqueda
2 • CRITERIOS DE
SELECCIÓN
• Leer Tít./Res.
• Leer toda la publicación
3
• REVISION DE
REFERENCIAS
4 • EVALUACIÓN
DE LA CALIDAD
5
•ESTRATEGIA DE EXTRACCIÓN DE
DATOS
6 • RESULTADOS
7
1. Introducción
2. Estado del Arte
3. Diseño del Estudio Sistemático
4. Resultados
5. Discusión
6. Conclusiones
[15]
4. RESULTADOS: Análisis de la Extracción de datos
Si = 24.14 %
No = 37.93 %
NC = 37.93%
- El proceso de elicitación de los NFRs comienza con técnicas tradicionales (entrevistas, cuestionarios, etc.) para la elicitación de requisitos.
- Los métodos pueden ser personalizables para otros contextos diferentes si son adaptados.
- Proporcionan sólo soporte básico a la gestión de requisitos por medio de extensiones para la captura de requisitos.
4.1. Métodos de elicitación de requisitos de usabilidad
[16]
• PREGUNTA DE INVESTIGACIÓN
1
• ESTRATEGIA DE BUSQUEDA
• Cadena Búsq.
• Fuentes de Búsqueda
2 • CRITERIOS DE
SELECCIÓN
• Leer Tít./Res.
• Leer toda la publicación
3
• REVISION DE REFERENCIAS
4 • EVALUACIÓN
DE LA CALIDAD
5
• ESTRATEGIA DE EXTRACCIÓN DE
DATOS
6 • RESULTADOS
• Análisis de la Extracción de datos
• Combinación de sub preguntas.
• Frecuencias de E.S.
7
Si = 17.24 %
No = 10.34 %
NC = 72.41%
- Realizar un análisis exhaustivo de los requisitos para aliviar los problemas de interacción.
- Modelos basados en el análisis sistemático de un conjunto de propiedades de interfaces estándar, y/o patrones estructurales, potenciando la usabilidad y experiencia de usuario.
4.2. Métodos de elicitación de requisitos de interacción
4.3. Uso de las guías de usabilidad
Existentes = 31.03 %
Propuestas = 24.14 %
No Existe = 44.83%
- Ayudan a superar en parte el obstáculo de la integración de la usabilidad y su significado por los stakeholders.
- No obstante la aplicación de las guías requiere, en general, la interpretación de un experto en usabilidad para su correcto uso.
[17]
4. RESULTADOS: Estrategia de Extracción de datos
Diseño de Interfaz = 17.24 %
Desarrollo de Modelo = 24.14 %
No Existe = 37.93%
N.C. = 20.69
- Herramientas son de apoyo con funcionalidad limitada cuando es orientado a la elicitación de req.
-Interfaz usuario, se centran en la identificación de requisitos para ser mas comprensibles por los usuarios. Desarrollo de modelo, se desempeñan mejor en cuanto a diseño de sistemas interactivos.
- Su uso exige cierto grado de esfuerzo en la comprensión y aplicación por parte del analista usuario.
4.4. Herramientas de apoyo para la elicitación de requisitos
4.5. Tipo de notación para la elicitación de los requisitos
UML = 41.38%
Leng. Nat = 27.59%
i* = 27.59%
CTT = 13.79%
Formal = 6.9%
Q.O.C. = 6.9 %
BPMN = 3.45 %
N.C. = 17.24 %
- Las notaciones son utilizadas por los métodos en sus diferentes fases de desarrollo.
- Los modelos de notación se representan en patrones, escenarios y plantillas.
- En algunos métodos se ha utilizado más de una notación en combinación con mas de un artefacto. Son de gran uso para el analista, aunque no son tan comprendidos por el usuario final.
[18]
4. RESULTADOS: Estrategia de Extracción de datos
4.6. Entorno de validación Empírica
Industrial = 10.34 %
Académico = 58.62 %
Ninguno = 31.03%
- Casos de estudio, experimentos o ejemplos que se plantean (académicos e industriales), no muestran métricas explícitas que determinen el nivel de usabilidad logrado por el sistema.
- Los métodos están desarrollados para ciertas características de usabilidad consideradas de mayor impacto sobre la funcionalidad. Las listas de verificación, sesiones y gestión de escenarios son artefactos para evaluar la usabilidad.
[19]
4. RESULTADOS: Estrategia de Extracción de datos
• PREGUNTA DE INVESTIGACIÓN
1
• ESTRATEGIA DE BUSQUEDA
• Cadena Búsq.
• Fuentes de Búsqueda
2 • CRITERIOS DE
SELECCIÓN
• Leer Tít./Res.
• Leer toda la publicación
3
• REVISION DE REFERENCIAS
4 • EVALUACIÓN
DE LA CALIDAD
5
• ESTRATEGIA DE EXTRACCIÓN DE
DATOS
6 • RESULTADOS
• Análisis de la Extracción de datos
• Combinación de sub preguntas.
• Frecuencias de E.S.
7
Figura 1. Resultado de la combinación de categorías SQ1,SQ2,SQ3,SQ4
2 2 3
1 3 7
1 2
2 2 1
4 3
7 1 3
2 1
3 2
SQ1: MÉTODOS DE ELICITACIÓN DE REQUISITOS DE USABILIDAD
SQ2 : MÉTODOS DE ELICITACION DE REQUISITOS DE INTERACCIÓN
SQ3
: USO
DE
GU
ÍAS
DE
USA
BILI
DA
D SQ4: H
ERRAM
IENTA
S DE A
POYO
EXISTENTESDISEÑO DE
INTERFAZDESARROLLO
DE MODELOSNO EXISTEPROPUESTASNO EXISTE
NO
NO
SI
SI
[20]
4. RESULTADOS: Combinación de Sub preguntas
• PREGUNTA DE INVESTIGACIÓN
1
• ESTRATEGIA DE BUSQUEDA
• Cadena Búsq.
• Fuentes de Búsqueda
2 • CRITERIOS DE
SELECCIÓN
• Leer Tít./Res.
• Leer toda la publicación
3
• REVISION DE REFERENCIAS
4 • EVALUACIÓN
DE LA CALIDAD
5
• ESTRATEGIA DE EXTRACCIÓN DE
DATOS
6 • RESULTADOS
• Análisis de la Extracción
• Combinación de sub preguntas.
• Frecuencias de E.S.
7
4. RESULTADOS: Frecuencias del Estudio Sistemático
2 2 23
8
6 6
8
13
7 7
12
1 1
5
3 3
8
3 3
0
2
4
6
8
10
12
14
Public. Potenciales
Public. Seleccionadas
Figura 2. Número de las publicaciones clasificadas por año
65 Pub. Potenciales, 29 Pub. Selectas. Años sin Pub. Selectas ( 2001, 2002, 2003, 2011). 2008 (> Nº de Pub. Selectas).
Fuentes Potenciales Seleccionadas
Conferencias
Revistas
Libros
Workshop
Otros
Total
31
16
4
4
10
65
14
9
3
1
2
29
Niveles de
las
Conferencias
Potenciales Seleccionadas
Nivel A
Nivel B
Nivel C
12
10
9
6
4
4
[21]
• PREGUNTA DE INVESTIGACIÓN
1
• ESTRATEGIA DE BUSQUEDA
• Cadena Búsq.
• Fuentes de Búsqueda
2 • CRITERIOS DE
SELECCIÓN
• Leer Tít./Res.
• Leer toda la publicación
3
• REVISION DE REFERENCIAS
4 • EVALUACIÓN
DE LA CALIDAD
5
• ESTRATEGIA DE EXTRACCIÓN DE
DATOS
6 • RESULTADOS
• Análisis de la Extracción
• Combinación de sub pregunta.
• Frecuencias de E.S.
7
1. Introducción
2. Estado del Arte
3. Diseño del Estudio Sistemático
• Preguntas de Investigación
• Estrategia de Búsqueda
• Criterios de Selección
• Evaluación de la Calidad
• Estrategia de Extracción de datos
4. Resultados
5. Discusión
6. Conclusiones [22]
DISCUSION
La elicitación de requisitos de usabilidad se realiza en la fase del análisis, es decir, una vez elicitados los RF, lo que puede implicar cambios en la arquitectura del sistema.
La cantidad de publicaciones que indican cómo se realiza la extracción de requisitos de usabilidad en etapas iniciales son mínimas.
Utilización de artefactos (e.g. patrones, escenarios,
plantillas). La mayoría de las propuestas hacen uso de algún artefacto como apoyo al método.
Los métodos propuestos son poco flexibles y requieren bastante esfuerzo para aplicarlos en contextos distintos.
[23]
DISCUSION
Las guías, notaciones y artefactos se encuentran más cerca del modelado de requisitos de interacción que del modelo de los requisitos de usabilidad.
Los trabajos que presentan casos de estudio, experimentos y ejemplos, no muestran evidencias para verificar si los requisitos de usabilidad crearon un verdadero impacto positivo en el producto final.
Publicaciones que hacen referencia a otros muchos trabajos anteriores.
[24]
1. Introducción
2. Estado del Arte
3. Diseño del Estudio Sistemático
• Preguntas de Investigación
• Estrategia de Búsqueda
• Criterios de Selección
• Evaluación de la Calidad
• Estrategia de Extracción de datos
4. Resultados
5. Discusión
6. Conclusiones [25]
CONCLUSIONES
En la IS se han analizado los métodos de desarrollo que consideran la usabilidad como un requisito más. IPO se han estudiado las guías y heurísticos utilizados para el desarrollo de aplicaciones usables.
El objetivo final es estudiar los trabajos existentes tanto de IS como de IPO que proponen optimizar las características de usabilidad dentro del proceso de desarrollo de software.
El estudio basado propuesta por Kitchenham.
Los resultados obtenidos si bien se ajustan al enfoque de la elicitación de requisitos de usabilidad, no solucionan en gran medida los problemas que presentan las aplicaciones en el proceso de desarrollo.
[26]
CONCLUSIONES
El estudio sistemático sirve en gran medida para detectar los problemas existentes e identificar trabajos futuros.
En resumen, existe una línea de investigación clara en el ámbito de los requisitos de usabilidad en entornos MDD.
[27]
Los trabajos encontrados son especialmente atractivos porque se podrían embeber en métodos MDD a futuro.
El estudio es punto de partida para futuras revisiones sistemáticas en torno a la elicitación de requisitos de usabilidad.
Gracias pro su atención …
¿Preguntas?
[28]
