Grupo 2

Evaluación de Productos

Grupo 2

Agenda

• Introducción• Norma ISO/IEC 14598• Proceso para Evaluadores

Grupo 2

Evaluación de Productos• Importancia de evaluar productos• Para la evaluación de calidad:

– Modelo de calidad– Método de evaluación– Medición del software– Herramientas de soporte

Grupo 2

Norma ISO/IEC 14598• Conformada por:

– 1: Descripción General– 2: Planificación y gerenciamiento– 3: Proceso para Desarrolladores– 4: Proceso para Adquirientes– 5: Proceso para Evaluadores– 6: Documentación de Módulos de evaluación

Grupo 2

Norma ISO/IEC 14598-1• Descripción General

– Descripción de las partes que conforman la norma– Quienes la pueden usar

• Desarrolladores

• Adquirientes

• Evaluadores

Grupo 2

Norma ISO/IEC 14598-2• Planificación y Gerenciamiento

– Determinar requerimientos para asegurar el éxito de la evaluación

– Función de soporte al proceso de evaluación:• Adquisición de estandares nacionales e internacionales

• Desarrollo de estandares internos y herramientas que se adecuan a los requerimientos de la organización

Grupo 2

Norma ISO/IEC 14598-3• Define Proceso de evaluación de producto para

Desarrolladores– Evaluación para Desarrollo y Mantenimiento– Aplica a todas las fases del desarrollo– Se realiza por miembros de la propia empresa– Se evalúa productos intermedios y finales

Grupo 2

Norma ISO/IEC 14598-4• Define Proceso de evaluación de producto para

Adquirientes– Evaluación de productos ya desarrollados– La evaluación resultante de este proceso se aplica

para la toma de decisiones de la adquisición del producto.

Grupo 2

Norma ISO/IEC 14598-5• Define Proceso de evaluación de producto para

Evaluadores– Realizado por personal independiente– Evaluación de productos intermedios y finales

Grupo 2

Norma ISO/IEC 14598-6• Guía para Documentación de Módulos de

evaluación– Modulo de evaluación: estandarización para

documentar nuevas métricas y guias de uso– Se documentan las técnicas, métricas y métodos del

proceso de evaluación– Ej.;Definición de Templates

Grupo 2

Producto de software

Proceso deevaluación

Recursos yentorno

Efecto delproductosoftware

Apoyo a laevaluación

Proceso deevaluación

MétricasInternas

Métricasexternas

Métricas decalidad en

uso

14598-2

14598-6

14598-3

14598-4

14598-5

14598-1

9126-3 9126-2 9126-4

9126-1

ISO/IEC 14598 - ISO/IEC 9126

Grupo 2

Agenda

• Introducción• Norma ISO/IEC 14598

• Proceso para Evaluadores

Grupo 2

Proceso para evaluadores• Define un proceso de evaluación

– Actividades– Entregables

• Debería ser usado por:– Laboratorios evaluadores– Empresas desarrolladoras de software– Adquirientes de software– Usuarios de un producto– Entidades certificadoras

Grupo 2

Proceso para evaluadores (2)• Promueve las siguientes características:

– Repetible– Reproducible– Imparcial– Objetivo

Grupo 2

aEstablecimiento de los Requerimientos

Grupo 2

• Propósito– Definir los objetivos de la evaluación.

- Proyectar uso del producto de software y riesgos asociados.

- Puede ser interesante considerar diferentes puntos de vista (desarrollador, proveedor,

encargado de mantenimiento, etc)

Establecimiento de los Requerimientos

Grupo 2

Caja AmpliadaEstablecimiento de los Requerimientos

Grupo 2

Entradas• Requerimientos del Solicitante

– Aspectos del producto a gran escala que el Solicitante quiere evaluar.

Grupo 2

Actividades a desarrollar

• Planteo de requerimientos del Solicitante. • Definición del cubrimiento de la evaluación por

parte del Solicitante. • Orientación del Evaluador hacia el Solicitante en

la definición de requerimientos.• Acuerdo mutuo en la definición de

requerimientos.

Grupo 2

Salidas• Requerimientos de la Evaluación

– Descripción general del dominio de la aplicación– Listado de requerimientos de calidad a evaluar (se

recomienda basarse en ISO/IEC 9126-1)– Ponderar reqs. de calidad en función del tipo de

aplicación a evaluar

Grupo 2

• Producto a Evaluar: Gmail• Evaluación de Interfaz en las sig. tareas

• Envio de mail• Uso de Chat• Armado de grupos• Redireccionamiento a otra casilla de correo

• Atributos de calidad• Efectividad• Productividad• Satisfaccion

Ejemplo: Reqs de la Evaluación

Grupo 2

Especificación de la Evaluación

Grupo 2

Especificación de la Evaluación

• Propósito– Especificar las mediciones a realizar acerca de los

atributos anteriormente seleccionados.– Brindar un nivel de detalle suficiente como para

asegurar que el proceso sea repetible y reproducible.

Grupo 2

Especificación de la Evaluación

Grupo 2

Entradas• Requerimientos de Evaluación (etapa anterior)• Descripción del Producto (Solicitante)• Especificaciones Predefinidas (Evaluador)

– Conjunto de posibles mediciones a realizar sobre un cierto atributo de calidad

Grupo 2

Actividades a desarrollar

• Análisis de la descripción del producto– Determinación de los componentes a ser evaluados y

estudio de factibilidad.

• Especificación de las evaluaciones– Especificación de que atributos de calidad van a ser

evaluados por componente.– Especificación de las métricas a ser utilizadas en

ciertos componentes (Evalúo midiendo).– Determinación de requerimientos a ser testéados.

(Evalúo testeando).

Grupo 2

Actividades a desarrollar (2)

• Verificación de la Especificación de la Evaluación– Verificar el cubrimiento de los Reqs. de evaluación con

respecto a la Especificación de la Evaluación.

Grupo 2

Salidas• Especificación de la Evaluación

– Resultado de las actividades anteriormente mencionadas.

Grupo 2

• Evaluaremos los siguientes atributos de calidad:– Efectividad– Productividad– Satisfacción

Ejemplo: Esp. de la Evaluación

Grupo 2

Ejemplo: Esp. de la Evaluación

• Efectividad– % funciones relevantes usadas– % de usuarios capaces de completar cada tarea– % de usuarios capaces de completar una tarea sin

capacitación

Grupo 2

Ejemplo: Esp. de la Evaluación

• Productividad– Tiempo insumido en primer intento – Tiempo insumido normalmente– Cantidad de clicks necesarios

Grupo 2

Ejemplo: Esp. de la Evaluación

• Satisfacción– Relación entre opiniones positivas y negativas de los

usuarios– % de usuarios que recomendarían el producto– % de usuarios que lo califican de fácil uso en

comparación con otro competidor

Grupo 2

Diseño de la Evaluación

Grupo 2

Diseño de la Evaluación

• Propósito– Documentar los métodos y procedimientos a ser

usados en la evaluación– Identificar los recursos a ser utilizados en la evaluación

Grupo 2

Diseño de la Evaluación

Grupo 2

Entradas• Especificación de la Evaluación (etapa anterior)• Descripción del Producto (Solicitante)• Métodos de Evaluación (Evaluador)

– Conjunto de técnicas y procedimientos conocidos por el Evaluador.

Grupo 2

Actividades a desarrollar• Documentación de los métodos y

procedimientos en un plan inicial.– Para cada evaluación a realizar, se deberá describir en

forma detallada el método a ser usado y como este va a ser instanciádo.

• Agendar las actividades a realizar de acuerdo a los recursos disponibles.

• Optimización del plan inicial.

Grupo 2

Salidas• Plan de la Evaluación

– Métodos a seguir– Agenda.

Grupo 2

Ejemplo: Diseño de la Evaluación

• Plan de Evaluación– Encuestas

• % de usuarios que recomendarían el producto.

– Cronómetro• Tiempo insumido en primer intento.

– Contar clicks• Cantidad de clicks necesarios.

Grupo 2

Ejecución de la Evaluación

Grupo 2

Ejecución de la Evaluación

• Propósito– Llevar a cabo el plan definido en el diseño registrando

los resultados obtenidos y las acciones tomadas.

Grupo 2

Ejecución de la Evaluación

Grupo 2

Entradas• Plan de la Evaluación (etapa anterior)• Componentes del Producto (Solicitante)• Herramientas de Evaluación (Evaluador)

Grupo 2

Actividades a desarrollar• Gestión de los componentes del producto

– Llevar registro de los componentes de producto recibidos.

• Identificador único de componente o documento

• Nombre del documento o componente

• Estado del documento (en buen estado, dañado, etc)

• Versión

• Fecha de recibido

– En caso de ser necesario se podra usar Gestión de la Configuración

Grupo 2

Actividades a desarrollar (2)• Gestión de resultados obtenidos

– Manejo ordenado– Prevención de modificaciones accidentales– Manejo de la confidencialidad– Tener en cuenta el lugar de desarrollo de la evaluación

Grupo 2

Actividades a desarrollar (3)• Gestión del uso de herramientas

– Inclusión en el Informe borrador de la evaluación información acerca de las herramientas utilizadas

– Inclusión en el registro de acciones de información detallada sobre el uso de herramientas

– Verificación del correcto funcionamiento de las herramientas

– Capacitación (en caso de ser necesario) en el uso de las herramientas.

Grupo 2

Actividades a desarrollar (4)• Revisión de los datos obtenidos y generación de

reportes– Todos los resultados deben ser analizados– Participación de integrantes no involucrados

directamente en la medición de los resultados– Resultados de la revisión se deben incluir en el

Informe Borrador de la Evaluación

Grupo 2

Salidas• Plan de la Evaluación

– Informe Borrador de la Evaluación– Registros de Acciones

Grupo 2

Conclusión de la Evaluación

Grupo 2

Conclusión de la Evaluación

• Propósito– Revisión conjunta (Solicitante, Evaluador) del Informe

Borrador de la Evaluación– Eliminación de los datos no relevantes de la

evaluación

Grupo 2

Conclusión de la Evaluación

Grupo 2

Entradas• Requerimientos de la Evaluación (etapas

anteriores)• Especificación de la Evaluación(etapas

anteriores)• Informe Borrador de la Evaluación(etapa

anterior)• Componentes del Producto (Solicitante)

Grupo 2

Actividades a desarrollar• Revisión conjunta

– Puesta en común de los resultados documentados– Comentarios del solicitante– Generación del Informe Final de la Evaluación, la cual

incluye la integración de los documentos de entrada

• Cierre de la evaluación– Destino de los datos, documentos, componentes,

herramientas, hw, etc.

Grupo 2

Salidas del Proceso• Informe Final de la Evaluación

– Resultado de las actividades anteriormente mencionadas.

– Entregado al Solicitante y almacenado por parte del Evaluador

Grupo 2

Salidas del Proceso• Registros de la Evaluación

– Almacenado solo por el Evaluador– Es lo permite que el proceso sea repetible y

reproducible.

Grupo 2

Preguntas