Upload
hoangngoc
View
261
Download
3
Embed Size (px)
Citation preview
Dr. Hermann Steffen – UDELAR | Norma 29119 | Seminario UNIT 2015
Dr. Hermann Steffen
UDELAR
Dr. Hermann Steffen
UDELAR
La nueva norma
UNIT ISO/IEC/IEEE 29119
Pruebas de Software
La nueva norma
UNIT ISO/IEC/IEEE 29119
Pruebas de Software
Dr. Hermann Steffen – UDELAR | Norma 29119 | Seminario UNIT 2015
2911929119
Dr. Hermann Steffen – UDELAR | Norma 29119 | Seminario UNIT 2015 3
Antecedentes y contexto
Descripción de la norma
Beneficios e implantación
Conclusiones
Normas, Institutos y Certificaciones
Dr. Hermann Steffen – UDELAR | Norma 29119 | Seminario UNIT 2015
Producto final integrado…
4
Dr. Hermann Steffen – UDELAR | Norma 29119 | Seminario UNIT 2015
Componentes fabricados en 4 países…
5
Dr. Hermann Steffen – UDELAR | Norma 29119 | Seminario UNIT 2015
Y más de una docena de sitios principales…
6
Dr. Hermann Steffen – UDELAR | Norma 29119 | Seminario UNIT 2015 7
Dr. Hermann Steffen – UDELAR | Norma 29119 | Seminario UNIT 2015
Pruebas unitarias de stress para alas…
8
Dr. Hermann Steffen – UDELAR | Norma 29119 | Seminario UNIT 2015
• Importancia creciente de la actividad de Pruebas de
Software
o Dispersión de esfuerzos y falta de coherencia/completitud
o ISO no poseía una norma específica
• Se proponen unificar e integrar normativa actual
proveniente de tres grandes fuentes
o BSI, IEEE e ISO JTC 1
o Debe ser aplicable para todo tipo de software y de sistemas de uso
intensivo de software
o Inicio de trabajos específicos en 2007
o las partes 1, 2 y 3 fueron publicadas en 2013.
Nueva norma UNIT ISO/IEC/IEEE 29119
9
Dr. Hermann Steffen – UDELAR | Norma 29119 | Seminario UNIT 2015
• Importantes institutos de normalización
o Alemania, India, Gran Bretaña, Holanda, Corea del Sur, África del
Sur, China, Argentina, …
• Agencias nacionales de “software testing”
o China, US Department of Defense, Malasya, Corea del Sur,
• Grandes empresas de TI
o SAP, IBM, Microsoft, Sogeti, NEC, TCS, …
• Grandes empresas
o Lookhead Martin, UBS, Hitachi, Samsung, Sony, Fujitsu, Xerox
o Universidades y centros de investigación de Holanda, Francia,
India, China, Japón, España, Hong Kong, …
Miembros constituyentes….
10
Dr. Hermann Steffen – UDELAR | Norma 29119 | Seminario UNIT 2015
• Aumento de la importancia y criticidad del software
embarcado en productos industriales
• Aumento de las exigencias de calidad en los productos
• Explosión de dispositivos, metodologías, lenguajes,
ambientes de desarrollo…
• Incremento de la importancia de las Pruebas de
Software por parte de la comunidad de TI
• Fuerte impulso a la profesionalización y certificación
de personas por parte de ISTQB y otros
Motivaciones y contexto
11
Dr. Hermann Steffen – UDELAR | Norma 29119 | Seminario UNIT 2015
• Organizada en 4 Partes:
• ISO/IED/IEEE 29119-1 – Conceptos y Definiciones
• ISO/IED/IEEE 29119-2 – Procesos de Prueba
• ISO/IED/IEEE 29119-3 – Documentación de la Pruebas
• ISO/IED/IEEE 29119-4 – Técnicas de Prueba
• ISO/IED/IEEE 29119-5 – Pruebas Guiadas por Palabra-
Clave (en borrador…)
Familia de la norma 29119
12
Dr. Hermann Steffen – UDELAR | Norma 29119 | Seminario UNIT 2015
• Parte 1: Conceptos y definiciones
o BS 7925-1: 1998 Vocabulary of Terms in Software Testing
o IEEE 661
o ISTQB Definición de Terminología
• Parte 2: Procesos de Prueba
o BS 7925-2: 1998 Software Component Testing Standard
o IEEE 1008-1989 y 2009: Unit Testing
• Parte 3: Documentación de Pruebas
o IEEE 829:2008 Test Documentation
• Parte 4: Técnicas de Prueba
o BS 7925-2: 1998 Software Component Testing Standard
Nueva norma 29119 – Antecedentes
13
Dr. Hermann Steffen – UDELAR | Norma 29119 | Seminario UNIT 2015 14
Antecedentes y contexto
Descripción de la norma
Beneficios e implantación
Conclusiones
Normas, Institutos y Certificaciones
Dr. Hermann Steffen – UDELAR | Norma 29119 | Seminario UNIT 2015
• Es de tipo informativa
• Presenta
o Definiciones que serán utilizadas en la serie ISO 29119
o Conceptos de Prueba de Software
o Pruebas en diferentes Ciclos de Vida
• Secuencial
• Ágil
• Incremental
o Roles y Responsabilidades
o Anexos : Métricas, Ejemplos, Bibliografía
o Establece directrices para otras normas de la Serie
Parte 1 – Conceptos y Definiciones
15
Dr. Hermann Steffen – UDELAR | Norma 29119 | Seminario UNIT 2015
• Capítulo 5: Conceptos de pruebas de software
o 5.2. Pruebas de Software en un Contexto Organizacional y de
Proyecto
o 5.3. Procesos de Prueba genéricos en el Ciclo de Vida del Software
o 5.4. Pruebas basada en Riesgo
o 5.6. Prácticas de Prueba
• Basadas en Requerimientos, en Modelos, en la Experiencia, con Guion
o 5.7. Automatización de Pruebas
o 5.8. Gestión de Defectos
Parte 1: Conceptos y Definiciones
16
Dr. Hermann Steffen – UDELAR | Norma 29119 | Seminario UNIT 2015
• Anexo A – Rol de la pruebas en la Verificación y
Validación
• Anexo B – Métricas y Medidas
• Anexo C – Pruebas en diferentes Modelos de Ciclo de
Vida (Agiles, Secuenciales, Evolutivas)
• Anexo D – Ejemplos (ilustrativos)
• Anexo E – Roles y Responsabilidades en las Pruebas
Parte 1 : Anexos con ejemplos
17
Dr. Hermann Steffen – UDELAR | Norma 29119 | Seminario UNIT 2015
• Se identifican 3 niveles de procesos
o Procesos de Prueba en la Organización
• Política de Pruebas
• Estrategia de Pruebas
o Procesos de Gestión de las Pruebas
• Planificación
• Control y Seguimiento
• Cierre o Finalización
o Procesos de Pruebas Dinámicas
• Diseño e Implementación
• Gestión del entorno
• Ejecución
• Reporte de Incidencias
• Se presentan bajo formato gráfico (ISO 24774)
Parte 2: Procesos de Pruebas
18
Dr. Hermann Steffen – UDELAR | Norma 29119 | Seminario UNIT 2015
3 niveles de Procesos de Pruebas
19
1
2
3
Dr. Hermann Steffen – UDELAR | Norma 29119 | Seminario UNIT 2015
• Jerarquía de Procesos
o Propone momentos y responsabilidades diferentes
o Recoge principios de organización donde existen responsables de
alto nivel, con visión y responsabilidad amplia y de largo plazo
• Nivel 1: Definiciones a nivel Empresa
o Características comunes a todos los productos o servicios de la
Organización: Política y Estrategia de Pruebas
• Política de Pruebas
o Objetivos de las pruebas
o Procesos a ser seguidos
o Estructura organizativa
o Principios éticos a ser respetados
o Formación
o Normativas
Conceptos implícitos (nivel 1)…
20
• Estrategia de Pruebas
o Gestión del Riego
o Criterios de priorización de
pruebas
o Documentación a ser generada
o Identificación de herramientas
o Gestión de incidentes
Dr. Hermann Steffen – UDELAR | Norma 29119 | Seminario UNIT 2015 21
1 2 3
Nivel 2 (Gestión)
Sub Nivel 2 (Gestión)
Dr. Hermann Steffen – UDELAR | Norma 29119 | Seminario UNIT 2015
• Es necesario contar con un Plan de Pruebas
o Visión general del proyecto Pruebas, teniendo en cuenta la
integración con el proyecto de Desarrollo y de los Riesgos
o Identificar a las partes interesadas y generar canales de
comunicación
o Evaluar y determinar el alcance y recursos necesarios
o Obtener las aprobaciones gerenciales necesarias
• El Plan podrá ser modificado durante el proyecto
o Se asume que habrá un proceso interactivo, vinculado con la
realidad y descubrimientos ocurridos durante el proyecto
• Visión a largo plazo
o Instaura las actividades de “cierre de Pruebas”
• Resguardar todo y prepararse para futuras versiones. Puede ser por tipo
específico de pruebas y luego por la totalidad del proyecto
• Hacer síntesis de Lecciones Aprendidas para la mejora continua
Conceptos implícitos (nivel 2)…
22
Dr. Hermann Steffen – UDELAR | Norma 29119 | Seminario UNIT 2015 23
2
Nivel 2 (Gestión)
Dr. Hermann Steffen – UDELAR | Norma 29119 | Seminario UNIT 2015 24
1
2
3
4
Nivel 3
Dr. Hermann Steffen – UDELAR | Norma 29119 | Seminario UNIT 2015
• Aplicable a fases de prueba (Unitaria, Integración,
sistema, aceptación)
• Aplicable a un tipo específico de prueba (desempeño,
seguridad, usabilidad…)
• Diseño/Concepción separado de Ejecución
o La concepción de las Pruebas (y casos de Prueba) es una tarea de
alto valor agregado y especialización. Es objeto de un proceso
específico y previo a la Ejecución.
o La construcción del Entorno de Pruebas es una actividad específica
y puede ser sumamente compleja
• Registrar los resultados de las pruebas
o Así sea de forma simple, permite medir el avance y hacer un
balance de los resultados. Es un insumo fundamental para la
decisión gerencial de “cierre de pruebas”
Conceptos implícitos (nivel 3)…
25
Dr. Hermann Steffen – UDELAR | Norma 29119 | Seminario UNIT 2015
• Propone plantillas para generar la documentación
o Planes, seguimiento e informes generados durante la ejecución de
los procesos
o Se presentan ejemplos en los Anexos. Incluye versiones diferentes
si se trata de proyectos Agiles o “tradicionales”
• Sustituye a IEEE 829
o Reutiliza gran parte de las ideas, pero las simplifica
o Estructura la documentación en los 3 niveles de procesos
• Dosificar la documentación
o Evitar crear demasiada documentación. Recoge ideas
provenientes de enfoques Agiles.
o No definen un conjunto mínimo obligatorio de documentación. Los
usuarios deciden qué documentación es pertinente y necesaria
para su proyecto.
Parte 3 : Documentación
26
Dr. Hermann Steffen – UDELAR | Norma 29119 | Seminario UNIT 2015
• Documentación asociada a los procesos
o Nivel Organizacional
• Política y Estrategia Organizacional
o Nivel Gestión
• Plan de Pruebas
– Puede haber un Plan de Pruebas a Nivel Proyecto y n Planes de Prueba
por Nivel (Unitario, Integración…) o Característica (Desempeño,
Usabilidad…).
• Informe de Cierre
o Nivel Pruebas Dinámicas (se repite a cada nivel o característica)
• Especificación de Concepción de Pruebas.
• Especificación de Casos de Prueba.
• Especificación de Procedimientos de Prueba
• Registro/Trazabilidad de ejecución de pruebas
• Informe de Incidentes
• ….
Parte 3 : Documentación en 3 niveles
27
Dr. Hermann Steffen – UDELAR | Norma 29119 | Seminario UNIT 2015
• Técnicas para el diseño de pruebas
o Basadas en las Especificaciones (Caja Negra)
• Particiones de Equivalencia, Transición de Estados, Tablas de Decisión, Grafos
de Causa-Efecto, User Cases…
o Basadas en Estructura del código de los programas (Caja Blanca)
• Cobertura de Decisiones y de Condiciones, Flujo de Datos
o Basadas en la Experiencia
• Medidas de cobertura de las pruebas
• Anexos
o Características de la calidad del software (ISO 25010…) y pruebas
específicas : Accesibilidad, Compatibilidad, Interoperabilidad,
Performance, Seguridad, Usabilidad, Estabilidad…
o Guías y ejemplos de aplicación de las diferentes técnicas de diseño
o Efectividad en el cálculo de la cobertura
Parte 4: Técnicas Diseño de Pruebas
28
Dr. Hermann Steffen – UDELAR | Norma 29119 | Seminario UNIT 2015 29
Antecedentes y contexto
Descripción de la norma
Beneficios e implantación
Conclusiones
Normas, Institutos y Certificaciones
Dr. Hermann Steffen – UDELAR | Norma 29119 | Seminario UNIT 2015
• La norma tiene vocación de Referencial, de Guía
o Su adopción puede ser parcial y progresiva
• Elementos claves:
o Diferenciar los 3 niveles de actividad/responsabilidad
o Existencia de un equipo (interno) de Pruebas
o Definición de objetivos de calidad del Producto y de las Pruebas
o La implementación de Procesos permite trabajar por etapas y
realizar validaciones
o Especializar y profesionalizar la actividad de Concepción de
Pruebas, separada de la Ejecución de Pruebas (y obviamente de la
programación)
o Aplicar las principales técnicas de pruebas
o Utilizar la noción de Riesgo para el Plan de Pruebas
Beneficios e implementación
30
Dr. Hermann Steffen – UDELAR | Norma 29119 | Seminario UNIT 2015 31
Antecedentes y contexto
Descripción de la norma
Beneficios e implantación
Conclusiones
Normas, Institutos y Certificaciones
Dr. Hermann Steffen – UDELAR | Norma 29119 | Seminario UNIT 2015
• ISO 29119 llega oportunamente
• Propone ideas fundamentales, actuales y adecuadas
o Pruebas basadas en la noción de riesgo
o Tener en cuenta el contexto
o Usar Procesos
• Mantiene un buen nivel de flexibilidad
o Para adaptarse a gran variedad de tipos de proyectos
• Impulsa la profesionalización de la actividad de
Pruebas de Software y la calidad de los productos
Conclusiones
32
Dr. Hermann Steffen – UDELAR | Norma 29119 | Seminario UNIT 2015
Muchas graciasMuchas gracias