Componentes de la Evaluación Procesos Medición-Evaluación Taxonomía de Métodos/TécnicasContenidos Parte III Ingeniería Web: Marco de Medición y Evaluación

• Componentes de la Evaluación • Procesos Medición-Evaluación• Taxonomía de Métodos/Técnicas

Contenidos Contenidos Parte IIIParte III

Ingeniería Web: Ingeniería Web: Marco de Marco de

Medición y Evaluación de CalidadMedición y Evaluación de Calidad

Dr. Luis Olsina Luis OlsinaGIDIS_Web, Facultad de Ingeniería, GIDIS_Web, Facultad de Ingeniería,

UNLPam, La Pampa - ArgentinaUNLPam, La Pampa - Argentina

TE 02302 430497 Ext. 6501TE 02302 430497 Ext. 6501

E-mail E-mail [email protected]@ing.unlpam.edu.ar© 2007 GIDIS_Web© 2007 GIDIS_Web

Curso de Posgrado Universidad Nacional de San Luis / La Rioja / Catamarca

mailto:[email protected]

EsquemaEsquema

• Componentes de la EvaluaciónComponentes de la Evaluación • Procesos de EvaluaciónProcesos de Evaluación• Taxonomía de Métodos y TécnicasTaxonomía de Métodos y Técnicas

Beneficios de la EvaluaciónBeneficios de la Evaluación

BeneficiosBeneficiosComprender, Analizar (los atributos de un ente)Comprender, Analizar (los atributos de un ente)Controlar (la calidad del producto, …)Controlar (la calidad del producto, …)Predecir (el tiempo y costo de un proyecto)Predecir (el tiempo y costo de un proyecto)Mejorar (la calidad de un producto, proceso …)Mejorar (la calidad de un producto, proceso …)

Conceptos Medibles (Factores)Conceptos Medibles (Factores)Calidad, Calidad en Uso, Productividad, Costo …Calidad, Calidad en Uso, Productividad, Costo …

Fases del Ciclo de Vida del SoftwareFases del Ciclo de Vida del SoftwareExploración, Desarrollo, Mantenimiento.Exploración, Desarrollo, Mantenimiento.

Componentes en la EvaluaciónComponentes en la Evaluación

Requerimientos de EvaluaciónRequerimientos de EvaluaciónMetas, Restricciones (Seguridad, Disponibilidad, etc.)Metas, Restricciones (Seguridad, Disponibilidad, etc.)Especificación de Requisitos, Definición de Criterios, Especificación de Requisitos, Definición de Criterios,

Técnicas, Métricas, Indicadores…Técnicas, Métricas, Indicadores… Captura de DatosCaptura de Datos

Recolección de DatosRecolección de Datos– Automática, Semiautomática, ManualAutomática, Semiautomática, Manual

AnálisisAnálisisTécnicas Estadísticas, Visualización Gráfica, Tablas, etc.Técnicas Estadísticas, Visualización Gráfica, Tablas, etc.Interpretación de los datos. Interpretación de los datos.

RecomendacionesRecomendacionesDoc. de Conclusiones, Propuestas de MejoraDoc. de Conclusiones, Propuestas de Mejora

EsquemaEsquema

• Componentes de la Evaluación Componentes de la Evaluación • Procesos de Medición/EvaluaciónProcesos de Medición/Evaluación• Taxonomía de Métodos y TécnicasTaxonomía de Métodos y Técnicas

Diversos Estándares (principalmente ISO) tratan Diversos Estándares (principalmente ISO) tratan sobresobre el modelo de calidad de software (ISO 9126), el modelo de calidad de software (ISO 9126), el proceso de medición (ISO 15939),el proceso de medición (ISO 15939), el proceso de evaluación (ISO 14598)el proceso de evaluación (ISO 14598) otrosotros

Con frecuencia, no existe un claro consenso entre Con frecuencia, no existe un claro consenso entre los mismos términos en diferentes documentos o, a los mismos términos en diferentes documentos o, a veces, términos ausentesveces, términos ausentes

Necesidad de una Ontología para el dominio de Necesidad de una Ontología para el dominio de Métricas e Indicadores (y Procesos de Métricas e Indicadores (y Procesos de Medición/Evaluación)Medición/Evaluación)

Estándares ISO sobre Medición…Estándares ISO sobre Medición…

Modelo de MediciónModelo de Medición (ISO/IEC (ISO/IEC 15939)15939)

Info r m ati o nP r o duc t

I n te rpre ta t io n

Indi c ato r

(Anal ys i s )M o de l

D e r i ve dM e as ur e

D e r i ve dM e as ur e

M e as u re m e n tF u n c tio n

B as eM e as ur e

B as eM e as ur e

In fo r m a tio n N e e d s

M e as ur abl eC o nc e pt

E n tity

M e as u r e m e n tM e th od

Attr i bute

M e as u r e m e n tM e th od

Attr i bute

T h e o u tc o m e o f th e m eas u r em en t p r o c es s th a ts a t is f ies th e in f o r m atio n n eed s

E x p lan a tio n r e la t io n th e q u an tita tiv e in f o r m atio n inth e in d ic a to r to th e in f o r m atio n n eed s in th elan g u ag e o f th e m eas u r em en t u s er s

Var iab le as s ig n ed a v a lu e b y ap p ly in g th e an a ly s ism o d el to b as e an d /o r d er iv ed m eas u r es

Alg o r ith m f o r c o m b in in g m eas u r es an d d ec is io nc r ite r ia

Var iab le as s ig n ed a v a lu e b y ap p ly in g th em eas u r em en t f u n c tio n to tw o o r m o r ev a lu es o f b as e m eas u r es

Alg o r ith m f o r c o m b in in g tw o o r m o r e b as e m eas u r es

Var iab le as s ig n ed a v a lu e b y ap p ly in g th e m eth o dto o n e a t tr ib u te

O p er a tio n s m ap p in g an a ttr ib u te to a s c a le

P r o p er ty r e lev an t to in f o r m atio n n eed s

Proceso de EvaluaciónProceso de Evaluación

Los Procesos para Evaluación de la ISO que Los Procesos para Evaluación de la ISO que pasaremos a describir, son en su especificación pasaremos a describir, son en su especificación original suficientemente genéricos y abstractosoriginal suficientemente genéricos y abstractos personalizables a las distintas necesidades del personalizables a las distintas necesidades del

proceso de evaluación de calidad de artefactos de proceso de evaluación de calidad de artefactos de software y artefactos Websoftware y artefactos Web

Los Procesos para Evaluación no prescriben ni Los Procesos para Evaluación no prescriben ni recomiendan métodos ni procedimientos recomiendan métodos ni procedimientos específicos para realizar las actividades sino que específicos para realizar las actividades sino que representan un marco conceptual genéricorepresentan un marco conceptual genérico..


Fases o etapas fundamentales del Proceso Fases o etapas fundamentales del Proceso de Evaluación definido en el Estándar ISO de Evaluación definido en el Estándar ISO 9126 del 1991.9126 del 1991.

Definición de Requerimientos de CalidadDefinición de Requerimientos de CalidadPreparación de la EvaluaciónPreparación de la EvaluaciónEjecución de la EvaluaciónEjecución de la Evaluación

Proceso de Evaluación Proceso de Evaluación ISO 9126-1991ISO 9126-1991

Niveles de AceptabilidadNiveles de Aceptabilidad en en ISO 9126ISO 9126


Fases o etapas fundamentales del Proceso Fases o etapas fundamentales del Proceso de Evaluación definido en el Estándar ISO de Evaluación definido en el Estándar ISO 1459814598 del ‘98.del ‘98.

Establecimiento de los Requerimientos de Establecimiento de los Requerimientos de EvaluaciónEvaluación

Especificación de la EvaluaciónEspecificación de la EvaluaciónDiseño de la EvaluaciónDiseño de la EvaluaciónEjecución de la Evaluación, yEjecución de la Evaluación, yConclusión de la EvaluaciónConclusión de la Evaluación


1 1 Establecimiento de los Requerimientos de Establecimiento de los Requerimientos de Evaluación.Evaluación.

Objetivo: Objetivo: el propósito de este proceso es describir las el propósito de este proceso es describir las metas de la evaluación. metas de la evaluación.

Tales metas se relacionan con el uso del artefacto en Tales metas se relacionan con el uso del artefacto en consideración de uno o varios puntos de vista de consideración de uno o varios puntos de vista de usuario y los riesgos asociados usuario y los riesgos asociados

El dominio de la aplicación del producto a evaluar debe El dominio de la aplicación del producto a evaluar debe ser considerado; aspectos críticos como seguridad, ser considerado; aspectos críticos como seguridad, económicos, legales o de contexto deben ser tomados económicos, legales o de contexto deben ser tomados en cuenta. en cuenta.


11. Nombre de los Subprocesos para . Nombre de los Subprocesos para Establecimiento Establecimiento de los Requerimientos de Evaluaciónde los Requerimientos de Evaluación ..

1.11.1 Proposición de los requerimientos por parte del Proposición de los requerimientos por parte del solicitantesolicitante

1.21.2 Declaración del grado de cobertura en la Declaración del grado de cobertura en la evaluación por parte del solicitanteevaluación por parte del solicitante

1.31.3 Soporte del solicitante en analizar la meta de la Soporte del solicitante en analizar la meta de la evaluación y en describir los requerimientos con el evaluación y en describir los requerimientos con el evaluadorevaluador

1.41.4 Explicación del grado de confianza y rigor de la Explicación del grado de confianza y rigor de la evaluación al evaluadorevaluación al evaluador

1.51.5 Acordar los requerimientos de evaluaciónAcordar los requerimientos de evaluación


2 Especificación de la Evaluación.2 Especificación de la Evaluación.

Objetivo: Objetivo: este proceso consiste en definir el este proceso consiste en definir el alcance de la evaluación y las mediciones a alcance de la evaluación y las mediciones a realizarse en los atributos del artefacto a realizarse en los atributos del artefacto a evaluar y sus componentes. evaluar y sus componentes.

El nivel de detalle de la salida (el documento de El nivel de detalle de la salida (el documento de especificación de la evaluación) debe ser tal de especificación de la evaluación) debe ser tal de modo que se asegure la modo que se asegure la repetitividadrepetitividad y y reproducibilidad reproducibilidad del procesodel proceso


22. Nombre de los Subprocesos para . Nombre de los Subprocesos para Especificación de la EvaluaciónEspecificación de la Evaluación..

2.1 Analizando la descripción del producto2.1 Analizando la descripción del producto2.2 Especificando las mediciones2.2 Especificando las mediciones2.3 Verificando las especificaciones producidas 2.3 Verificando las especificaciones producidas

en consideración con los requerimientosen consideración con los requerimientos


3 Diseño de la Evaluación.3 Diseño de la Evaluación.

Objetivo: Objetivo: consiste en documentar los métodos y consiste en documentar los métodos y procedimientos a utilizar por el evaluador para realizar procedimientos a utilizar por el evaluador para realizar las mediciones y verificaciones contenidas en el las mediciones y verificaciones contenidas en el documento de especificación de la evaluación. documento de especificación de la evaluación.

El evaluador producirá como resultado de este proceso El evaluador producirá como resultado de este proceso el plan de la evaluación que describe los recursos el plan de la evaluación que describe los recursos necesarios (humanos, materiales, tecnológicos, etc.) y necesarios (humanos, materiales, tecnológicos, etc.) y la distribución y asignación de los mismos a las la distribución y asignación de los mismos a las actividades.actividades.


33. Nombre de los Subprocesos para . Nombre de los Subprocesos para Diseño de Diseño de la Evaluaciónla Evaluación..

3.1 Documentando los métodos y 3.1 Documentando los métodos y procedimientos de evaluación y produciendo un procedimientos de evaluación y produciendo un planplan

3.2 Programando las actividades conforme a 3.2 Programando las actividades conforme a los recursos disponibleslos recursos disponibles


4 Ejecución de la Evaluación. 4 Ejecución de la Evaluación.

Objetivo: Objetivo: el objetivo de este proceso consiste el objetivo de este proceso consiste en obtener los resultados al realizar todas las en obtener los resultados al realizar todas las acciones para medir y verificar el producto acciones para medir y verificar el producto conforme a los requerimientos de evaluación, conforme a los requerimientos de evaluación, según lo especificado y planeado.según lo especificado y planeado.

Al final del proceso se completan los registros Al final del proceso se completan los registros de evaluación y el borrador del informe de de evaluación y el borrador del informe de evaluación.evaluación.


44. Nombre de los Subprocesos para Ejecución de la . Nombre de los Subprocesos para Ejecución de la Evaluación.Evaluación.

4.1 Administrando los componentes del producto 4.1 Administrando los componentes del producto provistos por el solicitante provistos por el solicitante

4.2 Administrando los datos producidos por la 4.2 Administrando los datos producidos por la evaluación (incluyendo registros e informes)evaluación (incluyendo registros e informes)

4.3 Administrando las herramientas necesarias por la 4.3 Administrando las herramientas necesarias por la evaluación evaluación

4.4 Administrando las acciones de evaluación fuera del 4.4 Administrando las acciones de evaluación fuera del sitio acordado sitio acordado

4.5 Administrando los requerimientos surgidos por el 4.5 Administrando los requerimientos surgidos por el uso de técnicas específicasuso de técnicas específicas


5 Conclusión de la Evaluación. 5 Conclusión de la Evaluación.

Objetivo: Objetivo: este proceso consiste en la revisión este proceso consiste en la revisión del borrador entre las partes (solicitante y del borrador entre las partes (solicitante y evaluador) y en poner a disponibilidad los evaluador) y en poner a disponibilidad los documentos finales.documentos finales.

Subproceso Subproceso 5.1 Revisión conjunta del informe 5.1 Revisión conjunta del informe de evaluación: de evaluación:



Proceso de Evaluación suficientemente genérico Proceso de Evaluación suficientemente genérico y abstractoy abstracto

Especifica detalladamente, a procesos y Especifica detalladamente, a procesos y subprocesos, entradas, salidas, subprocesos, entradas, salidas, y puntos de y puntos de controlcontrol para cada uno de los cinco procesos. para cada uno de los cinco procesos.

No prescribe ni recomienda, metodologías, No prescribe ni recomienda, metodologías, métodos, técnicas ni herramientas específicas métodos, técnicas ni herramientas específicas para realizar las actividades sino que para realizar las actividades sino que representan un marco conceptual genéricorepresentan un marco conceptual genérico..

Comentarios FinalesComentarios Finales

EsquemaEsquema

• Componentes de la Evaluación Componentes de la Evaluación • Procesos de EvaluaciónProcesos de Evaluación• Taxonomía de Métodos y TécnicasTaxonomía de Métodos y Técnicas

Clases de Métodos de EvaluaciónClases de Métodos de Evaluación

TestingTesting InspecciónInspección Consulta (Inquiry)Consulta (Inquiry) Modelado AnalíticoModelado Analítico SimulaciónSimulación

Los Métodos y Técnicas a Aplicar pueden ser:Los Métodos y Técnicas a Aplicar pueden ser:Cuantitativos versus CualitativosCuantitativos versus CualitativosAutomáticos, Semiautomáticos o ManualesAutomáticos, Semiautomáticos o Manuales Desde Fácil a Difícil de Usar y AprenderDesde Fácil a Difícil de Usar y Aprender

Categorías de MétodosCategorías de Métodos

Tipos de Métodos de EvaluaciónTipos de Métodos de Evaluación

Protocolo Thinking AloudProtocolo Thinking Aloud Análisis de Log FilesAnálisis de Log Files Evaluación HeurísticaEvaluación Heurística

Revisión de GuíasRevisión de Guías Inspección de Características y AtributosInspección de Características y Atributos

En cumplimiento de estándares (ISO 9126)En cumplimiento de estándares (ISO 9126) Entrevistas Entrevistas CuestionariosCuestionarios Análisis Cognitivo de TareasAnálisis Cognitivo de Tareas

Modelos Programables de Usuario, …Modelos Programables de Usuario, …

Tipos de Métodos y TécnicasTipos de Métodos y Técnicas

Taxonomía de Métodos de EvaluaciónTaxonomía de Métodos de Evaluación

-- Testing-- Testing-- Inspección-- Inspección-- Consulta, ...-- Consulta, ...

-- Análisis de Log Files -- Análisis de Log Files -- Evaluación Heurística-- Evaluación Heurística-- Evaluación de Características, ...-- Evaluación de Características, ...

-- Manual-- Manual-- Semi-Automático-- Semi-Automático-- Automático-- Automático

FaseFase

-- Requerimientos-- Requerimientos-- Captura-- Captura-- Análisis-- Análisis-- Recomendaciones-- Recomendaciones

-- Fácil de Usar, Aprender-- Fácil de Usar, Aprender-- Efectivo, Preciso-- Efectivo, Preciso-- Rango de Aplicabilidad-- Rango de Aplicabilidad

Clase de MétodoClase de Método

TaxonomíaTaxonomíade Métodos dede Métodos deEvaluaciónEvaluación

Tipo de MétodoTipo de Método

Tipo de AutomatizaciónTipo de Automatización

Nivel de EsfuerzoNivel de Esfuerzo

Ejemplo de Método de EvaluaciónEjemplo de Método de Evaluación

-- Inspección-- Inspección

-- Revisión de Guías -- Revisión de Guías

-- Automático-- Automático

FaseFase

-- Captura-- Captura-- Análisis-- Análisis-- Recomendaciones-- Recomendaciones

-- Fácil de Usar, Aprender-- Fácil de Usar, Aprender-- Efectivo-- Efectivo

Clase de MétodoClase de Método

BobbyBobbywww.cast.org/bobbywww.cast.org/bobby

Tipo de MétodoTipo de Método

Tipo de AutomatizaciónTipo de Automatización

Nivel de EsfuerzoNivel de Esfuerzo

Se prueba la relevancia, consistencia, Se prueba la relevancia, consistencia, precisión, etc. de los contenidosprecisión, etc. de los contenidos

Testing de ContenidoTesting de Contenido

Se testean componenetes de software, Se testean componenetes de software, revisando el código o simplemente la revisando el código o simplemente la funcionalidad a partir de entradas/salidasfuncionalidad a partir de entradas/salidas

Testing de Código, Caja Negra y Testing de Código, Caja Negra y Caja BlancaCaja Blanca

Los testers y usuarios no están en el Los testers y usuarios no están en el mismo lugar físicomismo lugar físico

Testing RemotoTesting Remoto

El tester o el software analiza el registro de El tester o el software analiza el registro de datos, que refleja lo que el usuario hizodatos, que refleja lo que el usuario hizo

Análisis de Web Log FilesAnálisis de Web Log Files

Cuán rápido es el sistema? Y con carga? Y Cuán rápido es el sistema? Y con carga? Y llegado a niveles de stress?llegado a niveles de stress?

Testing de Performance del SistemaTesting de Performance del Sistema

Extensión del anterior, en donde el tester Extensión del anterior, en donde el tester pregunta al usuario pregunta al usuario

Protocolo de Realizar PreguntasProtocolo de Realizar Preguntas

Los usuarios conversan en voz alta durante Los usuarios conversan en voz alta durante el test, por ejemplo durante un test de el test, por ejemplo durante un test de Interface de Usuario.Interface de Usuario.

Protocolo Thinking AloadProtocolo Thinking Aload

DescripciónDescripciónTipo de Método: Tipo de Método: TESTINGTESTING

Descripción de Métodos de EvaluaciónDescripción de Métodos de Evaluación

Técnicas de Evaluación para TestingTécnicas de Evaluación para Testing

Testing de Performance del Sistema Testing de Performance del Sistema métricas como Tiempo de Respuesta, Rendimiento, etc.métricas como Tiempo de Respuesta, Rendimiento, etc.

Testing de Performance del Usuario Testing de Performance del Usuario métricas como Tiempo para Completar una Tarea, Tasa de Exito para Completar Tareas (Success Rate)métricas como Tiempo para Completar una Tarea, Tasa de Exito para Completar Tareas (Success Rate)

Análisis de Web Log FilesAnálisis de Web Log Filesmétricas como Visitas por Páginas, Páginas por Visitamétricas como Visitas por Páginas, Páginas por Visita

Otras Técnicas de TestingOtras Técnicas de Testing

Los evaluadores valoran atributos de Los evaluadores valoran atributos de características para analizar la características para analizar la conformidad con estándares (ISO, CMM)conformidad con estándares (ISO, CMM)

Inspección de EstándaresInspección de Estándares

Los evaluadores miden al ente a partir de Los evaluadores miden al ente a partir de atributos y características (Usabilidad, etc.)atributos y características (Usabilidad, etc.)

Inspección de CaracterísticasInspección de Características

Se reúne un equipo de inspectores (tester, Se reúne un equipo de inspectores (tester, desarrollador,etc.) y chequean un producto desarrollador,etc.) y chequean un producto

Inspección Formal Inspección Formal

Los expertos identifican violaciones a una Los expertos identifican violaciones a una lista de heurísticas . Es un método informallista de heurísticas . Es un método informal

Evaluación HeurísticaEvaluación Heurística

Los evaluadores (expertos) chequean la Los evaluadores (expertos) chequean la conformidad del producto con un conjunto conformidad del producto con un conjunto due guías establecidas.due guías establecidas.

Revisión de GuíasRevisión de Guías

DescripciónDescripciónTipo Método: Tipo Método: INSPECCIONINSPECCION


Técnicas de Evaluación para InspecciónTécnicas de Evaluación para Inspección

Revisión de Guías, Revisión de Guías, Por ej., Guías de Accesibilidad WAI Por ej., Guías de Accesibilidad WAI http://www.w3.org/TR/WAI-WEBCONTENT/http://www.w3.org/TR/WAI-WEBCONTENT/

Evaluación Heurística, Evaluación Heurística, Por ej., J. Nielsen Por ej., J. Nielsen http://www.useit.com/alertboxhttp://www.useit.com/alertbox

Inspección de CaracterísticasInspección de CaracterísticasPor ej., ISO 9126, métricas para Confiabilidad, Eficiencia, etc.Por ej., ISO 9126, métricas para Confiabilidad, Eficiencia, etc. WebQEMWebQEM

Otras Técnicas de Inspección Otras Técnicas de Inspección

Grupo de cinco a diez usuarios, donde se Grupo de cinco a diez usuarios, donde se discuten aspectos del producto. El evaluador discuten aspectos del producto. El evaluador juega el rol de moderadorjuega el rol de moderador

Grupos FocalizadosGrupos Focalizados

Es un medio por el cual el usuario deja sus Es un medio por el cual el usuario deja sus comentarios y sugerenciascomentarios y sugerencias

Feedback del UsuariuoFeedback del Usuariuo

Es un instrumento de medición para captar Es un instrumento de medición para captar por ej. Satisfacción del usuario, etc.por ej. Satisfacción del usuario, etc.

CuestionariosCuestionarios

Es una sesión de discusión ente el usuario y Es una sesión de discusión ente el usuario y el entrevistador. Estructurada, o noel entrevistador. Estructurada, o no

EntrevistaEntrevista

Los evaluadores visitan el lugar de trabajo Los evaluadores visitan el lugar de trabajo de los usuarios y observan su trabajo. Puede de los usuarios y observan su trabajo. Puede entrevistar a los mismosentrevistar a los mismos

Observación de Campo,Observación de Campo,

Entrevista ContextualEntrevista Contextual

DescripciónDescripciónTipo de Método: Tipo de Método: CONSULTACONSULTA


Técnicas de Evaluación para Consulta Técnicas de Evaluación para Consulta (Inquiry)(Inquiry)

Entrevistas Entrevistas Estructuradas, Semiestructuradas Estructuradas, Semiestructuradas

SurveysSurveys CuestionariosCuestionarios

Abiertos, Cerrados, etc.Abiertos, Cerrados, etc.http://www.acm.org/~perlman/question.htmlhttp://www.acm.org/~perlman/question.htmlhttp://www.ucc.ie/hfrg/http://www.ucc.ie/hfrg/

Retroalimentación de UsuariosRetroalimentación de Usuarios Otras Técnicas de ConsultaOtras Técnicas de Consulta

Documents

Componentes de la Evaluación Procesos Medición-Evaluación Taxonomía de Métodos/TécnicasContenidos Parte III Ingeniería Web: Marco de Medición y Evaluación