Metodología ETL v2.1 220606

Metodología ETL

April 17, 2023

Versión 2.1

2

Indice

Definición tipos de Metodología Ciclo de Desarrollo - Metodología Ciclo Corto

Fase de DefiniciónFase de EspecificaciónFase de ConstrucciónFase de Despliegue

Ciclo de Desarrollo – Metodología Ciclo LargoFase de DefiniciónFase de EspecificaciónFase de ConstrucciónFase de Despliegue

Circuito de Reutilización Perfiles

3

Definición tipos de Metodología

4


Esta metodología se aplica en proyectos desarrollados exclusivamente en PowerCenter100% PowerCenter

Existen dos tipos en función de si estos proyectos se desarrollan en Factoría o no.Ciclo CortoMetodología de desarrollo para proyectos desarrollados

internamenteNo son desarrollados por FactoríaSe desarrolla directamente en PowerCenter y se

documenta el proceso a posteriori a través del Metadata Reporter

5


Ciclo LargoMetodología de desarrollo en PowerCenter para

proyectos desarrollados en Factoría:La principal característica de esta metodología frente a

la de ciclo corto es que requiere la cumplimentación de los documentos de especificación antes de comenzar la Construcción.

6

Ciclo Corto

7

FASECONSTRUCCION

Construcción

FASEDEFINICIÓN

Definición

FASE DESPLIEGUE

Ejecución

DDSProceso

Construido

Petición

SistemaImplantado

Ciclo de Desarrollo - Metodología Ciclo Corto

FASE DE ESPECIFICACION

Análisis

Modelo de Datos

Doc. del Proceso

8

Fase de Definición

FASE DE DEFINICIÓN

DDS

DDS v1

Lanzamiento del

Proyecto

Definición

del nuevo

Sistema

Reunión de

Lanzamiento

Definición

de Requisitos

Revisión /

Aprobación

del DDS

DDS Validado

Petición

9

Fase de Definición

Fase Definición

Descripción Abarca las siguientes Actividades:• Lanzamiento del proyecto• Definición de requisitos• Reunión de lanzamiento• Definición del nuevo sistema• Revisión / Aprobación del DDS

Roles y Responsabilidades

Cliente / Usuario– Peticionario del nuevo sistema y revisión / aprobación del DDS

Grupo de Desarrollo – Definición de requisitos, organiza la reunión de lanzamiento.

Arquitectura Funcional – Revisa y aprueba el DDS

Arquitectura Técnica – Participa en la reunión de lanzamiento y define la tecnología de desarrollo

Arquitectura Modelo de Datos – Participa en la reunión de lanzamiento

Control de Calidad – Participa en la reunión de lanzamiento

Rendimiento (Produban)– Participa en la reunión de lanzamiento

Planificación – Participa en la reunión de lanzamiento

Metodología – Participa en la reunión de lanzamiento

Productos (Produban) – Participa en la reunión de lanzamiento

Seguridad Lógica – Participa en la reunión de lanzamiento

Entradas Salidas

Solicitud de nuevo sistema DDS

Entregables

DDS

10


Fase de Especificación

Definición /

Diseño

Modelo de Datos

Revisión/

Aprobación

Modelo de Datos

Modelo de Datos Revisado

11


Fase Especificación

Descripción Abarca las siguientes Actividades:• Definición / Diseño del modelo de datos• Revisión del modelo de datos• Cumplimentar la plantilla de especificación de requerimientos funcionales


Grupo de Desarrollo – Define el modelo de datos, solicita la creación de tablas nuevas si fuera necesario y cumplimenta la plantilla de especificación de requerimientos funcionales.

Arquitectura de Datos – Revisión del modelo de datos

Seguridad Lógica – Definición de los usuarios que se tienen que utilizar en los accesos a tablas.

Control de Calidad – Reunión previa de “puesta en común” con el grupo de desarrollo.

Entradas Salidas

DDS

Modelo de Datos

Plantilla de solicitud de tablas (opcional)

Conexión a BBDD

Plantilla de especificación de requerimientos funcionales.

Entregables

Plantilla de solicitud de tablas (opcional).


12

Entorno Desarrollo

FASE CONSTRUCCION

Visión Ciclos de Desarrollo -Fase de Construcción

Entorno QA

Entorno Desarrollo

Crear o importar

fuentes y destinos

Diseño Físico

del proceso de

Transformación

Implementar

entorno

de Ejecución

Agrupar procesos

y especificar

condiciones de

ejecución

Revisión

Control de

Calidad

Pruebas

Unitarias

Crear grupo de

Pase e

Informar a

QA

Importar

grupo de

pase

Consultar

informe

(Metadata

Reporter)

Crear grupo de

Pase e

Informar a

Implantación

13

Fase de Construcción (entorno Desarrollo)

Fase Construcción

Descripción En el entorno de Desarrollo se llevan a cabo las siguientes actividades:• Detección de componentes reutilizables• Crear o importar fuentes y destinos• Crear nuevas conexiones a BBDD si fueran necesarias (tanto en el cliente correspondiente como en el

repositorio).• Construcción de procesos para la extracción, conversión y carga

• Diseño físico del proceso de transformación• Implementación del entorno de ejecución • Agrupar procesos y especificar condiciones de ejecución • Pruebas unitarias de los procesos

• Generar grupo de pase e informar al Administrador entorno QA de la disponibilidad del grupo de pase


Administrador del entorno de Desarrollo – Crear o importar fuentes y destinos, definición de conexiones a BBDD, generar grupo de pase e informar al Administrador del entorno de QA.

Laboratorios - Construcción

Entradas Salidas

Modelo de Datos


Grupo de pase a QA

Plantilla de solicitud de cambio de entorno

Entregables

Grupo de pase a QA


14

Fase de Construcción (entorno QA)

Fase Construcción

Descripción En el entorno de QA se llevan a cabo las siguientes actividades:• El Administrador del entorno de QA avisa a Gestión del cambio para que importe el grupo de pase

desde Desarrollo.• Una vez realizado el cambio de entorno avisar a QA.• Consulta del informe generado a través de MetaData Reporter• Validación por QA de los procesos • Identificación de componentes reutilizables• Generar grupo de pase e informar al Administrador del entorno de Rendimiento grupo de pase

disponible


Gestión del Cambio

Control de Calidad

Rendimiento (Produban)

Entradas Salidas

Grupo de pase a QA


Grupo de pase a Implantación


Entregables



15

Fase de Despliegue

FASE DESPLIEGUE

Entorno Implantación

Implantar

Sistema

en entorno

Implantación

Parametrizar

Procesos

Pruebas de

Carga

Revisión

Ficheros

de logs

Entorno Producción

Implantar

Sistema

en entorno

Producción

Crear grupo de

pase e

informar

a Producción

16

Fase de Despliegue (entorno Implantación)

Fase Despliegue

Descripción En el entorno de Implantación se llevan a cabo las siguientes actividades:• El Administrador de Rendimiento avisa a Gestión del cambio para que importe el grupo de pase desde

el entorno de QA.• Importar grupo de pase desde QA (Gestión del Cambio)• Una vez realizado el cambio de entorno avisar a Rendimiento.• Parametrización de los procesos• Realización de las pruebas de carga• Estudio del fichero de logs • Generar grupo de pase e informar a Productos (Produban) grupo de pase disponible


Gestión del Cambio


Productos (Produban)

Entradas Salidas



Grupo de pase a Producción


Entregables



17

Fase de Despliegue (entorno Producción)

Fase Despliegue

Descripción En el entorno de Producción se lleva a cabo la siguiente actividad:• Productos avisa a Gestión del cambio para que importe el grupo de pase desde el entorno de

Rendimiento.• Importar grupo de pase desde Rendimiento (Gestión del Cambio)



Gestión del Cambio

Entradas Salidas

Grupo de pase a Producción.

Plantilla de solicitud de cambio de entorno.

Entregables

18

Ciclo Largo

19


Ciclo de desarrollo - Metodología Ciclo Largo

FASE CONSTRUCCION

ConstrucciónAnálisis

FASEDEFINICIÓN

Definición Sistema

FASE DESPLIEGUE

Ejecución

Petición

Modelo de Datos

Documentación deEspecificación DDS

Doc. de Especificación

completado

Sistema Implantado

Sistema Construido

20

Fase de Definición

FASE DE DEFINICIÓN

DDS v1

Lanzamiento del

proyecto

Reunión de

lanzamiento

Definición

de Requisitos

Revisión /

Aprobación

del DDS

DDS Validado

Petición

DDS

Definición

del nuevo

sistema

21

Fase de Definición

Fase Definición

Descripción Abarca las siguientes Actividades:• Lanzamiento del proyecto• Definición de requisitos• Reunión de lanzamiento• Definición del nuevo sistema• Revisión / Aprobación del DDS


Cliente / Usuario– Peticionario del nuevo sistema y revisión / aprobación del DDS

Grupo de Desarrollo – Definición de requisitos, organiza la reunión de lanzamiento.

Arquitectura Funcional – Revisa y aprueba el DDS

Arquitectura Técnica – Participa en la reunión de lanzamiento y define la tecnología de desarrollo

Arquitectura Modelo de Datos – Participa en la reunión de lanzamiento

Control de Calidad – Participa en la reunión de lanzamiento

Rendimiento (Produban) – Participa en la reunión de lanzamiento

Planificación – Participa en la reunión de lanzamiento

Metodología – Participa en la reunión de lanzamiento

Productos (Produban) – Participa en la reunión de lanzamiento

Seguridad Lógica – Participa en la reunión de lanzamiento

Entradas Salidas

Solicitud de nuevo sistema DDS

Entregables

DDS

22



Elaborar

Documentos

de Especificación

Revisión/

Aprobación

Modelo de Datos

Modelo de Datos Revisado

Definición /

Diseño

Modelo de Datos

Revisión /

Aprobación

Docs de

Especificación

Docs de Especificación

Revisado

23


Fase Especificación

Descripción Abarca las siguientes Actividades:• Definición / Diseño del modelo de datos• Revisión del modelo de datos• Elaboración de documentos de especificación (proyecto y mappings)• Revisión de documentos de especificación • Cumplimentar la plantilla de especificación de requerimientos funcionales.


Grupo de desarrollo – Define el modelo de datos, solicita la creación de tablas nuevas si fuera necesario y cumplimenta la plantilla de especificación de requerimientos funcionales.

Laboratorio – Necesita un perfil analista que elabore los documentos de especificación a partir de la plantilla entregada por el grupo de desarrollo.

Arquitectura de Datos – Revisión del modelo de datos

Seguridad Lógica – Definición de los usuarios que se tienen que utilizar en los accesos a tablas

Control de Calidad – Reunión previa de “puesta en común” con el grupo de desarrollo. Posteriormente revisa los documentos de especificación

Entradas Salidas

DDS

Modelo de Datos y plantilla de solicitud de tablas (opcional)

Doc de Especificación del Proyecto ETL

Doc de Especificación del Mapping

Conexión a BBDD

Plantilla de especificación de requerimientos funcionales

Entregables

Plantilla de solicitud de tablas (opcional)

Doc de Especificación del Proyecto ETL

Doc de Especificación del Mapping


24

Entorno Desarrollo

FASE CONSTRUCCION

Visión Ciclos de Desarrollo -Fase de Construcción

Entorno QA

Entorno Desarrollo

Crear o importar

fuentes y destinos

Diseño Físico

del proceso de

Transformación

Implementar

entorno

de Ejecución

Agrupar procesos

y especificar

condiciones de

ejecución

Revisión

Control de

Calidad

Pruebas

Unitarias

Crear grupo de

pase e informar

a QA

Importar

grupo de

pase

Consultar

informe / Doc.

de Especificación

Crear grupo de

pase e

informar a

Implantación

Actualizar los

Documentos de

Especificación

25

Fase de Construcción (entorno Desarrollo)

Fase Construcción

Descripción En el entorno de Desarrollo se llevan a cabo las siguientes actividades::• Detección de componentes reutilizables• Crear o importar fuentes y destinos• Crear nuevas conexiones a BBDD si fueran necesarias (tanto en el cliente correspondiente como en el

repositorio)• Construcción de procesos para la extracción, conversión y carga

• Diseño físico del proceso de transformación• Implementación del entorno de ejecución • Agrupar procesos y especificar condiciones de ejecución • Pruebas unitarias de los procesos

• Actualizar documentos de Especificación • Generar grupo de pase e informar a Administrador entorno QA grupo de pase disponible


Administrador del entorno de Desarrollo – Crear o importar fuentes y destinos, definición de conexiones a BBDD, generar grupo de pase e informar a Administrador del entorno de QA.

Factoría - Construcción

Entradas Salidas

Modelo de Datos

Documento de Especificación del Proyecto

Documento de Especificación del Mapping


Grupo de pase a QA


Documento de Especificación del Mapping (completado)

Documento de Especificación del Proyecto (completado)

Entregables

Grupo de pase a QA y Plantilla de solicitud de cambio de entorno



26

Fase de Construcción (entorno QA)

Fase Construcción

Descripción En el entorno de QA se llevan a cabo las siguientes actividades:• El Administrador del entorno de QA avisa a Gestión del cambio para que importe el grupo de pase

desde Desarrollo.• Una vez realizado el cambio de entorno avisar a QA.• Consulta del informe generado a través de MetaData Reporter• Validación por QA de los procesos• Identificación de componentes reutilizables• Generar grupo de pase e informar a al Administrador del entorno de Rendimiento grupo de pase

disponible


Gestión del cambio

Control de Calidad


Entradas Salidas

Grupo de pase a QA






Entregables

Grupos de pase a Implantación


27

Fase de Despliegue

FASE DESPLIEGUE

Entorno Implantación

Implantar

Sistema

en entorno

Implantación

Parametrizar

Procesos

Pruebas de

Carga

Revisión

Ficheros

de logs

Entorno Producción

Implantar

Sistema

en entorno

Producción

Crear grupo de

pase e

informar

a Producción

28

Fase de Despliegue (entorno Implantación)

Fase Despliegue

Descripción En el entorno de Implantación se llevan a cabo las siguientes actividades:• El Administrador de Rendimiento avisa a Gestión del cambio para que importe el grupo de pase desde

el entorno de QA.• Importar grupo de pase desde QA (Gestión del cambio)• Una vez realizado el cambio de entorno avisar a Rendimiento.• Parametrización de los procesos• Realización de las pruebas de carga• Estudio del fichero de log• Generar grupo de pase e Informar a Productos (Produban) grupo de pase disponible


•Gestión del cambio•Rendimiento (Produban)•Productos (Produban)

Entradas Salidas





Entregables



29

Fase de Despliegue (entorno Producción)

Fase Despliegue

Descripción En el entorno de Producción se lleva a cabo la siguiente actividad:• Productos avisa a Gestión del cambio para que importe el grupo de pase desde el entorno de

Rendimiento.• Implantar el sistema en el entorno de Producción (Gestión del cambio)



Gestión del cambio

Entradas Salidas



Entregables

30

Circuito de Reutilización

31

Circuito Reutilización

Identificar ComponenteReutilizable

Encontrado?

Desarrollar Componente

Buscar en Catálogo

Catálogo

Solicitar Componente

Laboratoriode DataMartsLaboratorio

de DataMarts

Reutilización del Componente

Laboratoriode DataMartsLaboratorio

de DataMarts

Inclusión

en Catálog

o

Si

No

Petición Aceptada

?

Si

Informado

NO es reutilizab

le

No

Laboratorio/ Centro de Competencia

Factoría

Laboratorio/ Centro de Competencia

Factoría

32

Perfiles

33

Grupos

Laboratorio / Centro de Competencias / Factoría Administrador ( estas tareas son comunes a todos los entornos, existe una figura “Administrador

repositorio PowerCenter” en cada uno de los entornos lógicos de la instalación ) crea los grupos de pase copiar objetos de la carpeta de traspasos a las finales definir carpetas de destino y editar sus propiedades configurar conexiones a bbdd importar definiciones de fuentes y destinos

Analista (*) elabora el documento de especificación del proyecto y de los mappings identifica objetos reutilizables solicita inclusión de objetos en el catálogo

Programador desarrolla y modifica procesos de carga crea mappings, sesiones y workflow realiza pruebas unitarias recomienda parametrización parametriza completa el documento de especificación del mapping soluciona los errores detectados durante las pruebas unitarias y el control de calidad

(*) Este perfil tiene que cubrirlo una persona con amplios conocimientos en modelado de procesos de PowerCenter

34

Seguridad Lógica Dar de alta usuarios/grupos en el repositorio de Desarrollo de

PowerCenter Participa en la reunión de lanzamiento para especificar los usuarios de

conexión a bbdd necesarios para acceder a las distintas tablasControl de Calidad

Administradoradministrar el repositorio de QA ( ver detalle de tareas en la

descripción del laboratorio de ETL )creación de grupo de pase al entorno de Implantación

Revisorrevisar que los procesos cumplen la normativa especificadaidentifica objetos reutilizablessolicita inclusión de objetos en el Repositorio Global dar su aprobación para el paso a implantación

Grupos

35

Grupos

Rendimiento Administrador

administrar el repositorio de implantación ( ver detalle de tareas en la descripción del laboratorio de ETL )

creación de grupo de pase al entorno de Producción Ejecutor de Pruebas

pruebas de rendimiento (incluyendo parametrización) dar su aprobación para el paso a producción

Productos (Produban) administrar el repositorio de producción ( ver detalle de tareas en la descripción del

laboratorio de ETL ) Gestión del Cambio

recibe las peticiones de cambio de entorno de los administradores de los repositorios origen correspondientes

consulta a los administradores de los repositorios de destino correspondientes acerca de la viabilidad de realizar el cambio de entorno

realiza el cambio de entorno según los procedimientos establecidos ( táctico/estratégico ) notifica a los administradores de los repositorios de origen/destino correspondientes el

resultado del cambio de entorno Planificación

planifica las ejecuciones de los procesos avisa de fallos en la ejecución automática de los mismos

36

Roles

Entorno Roles Departamento implicado

Creación usuarios de Desarrollo (script) Seguridad Lógica/Corporativa ??

Administrador Repositorio Desarrollo Laboratorio de Datamart’s

Desarrollo

Identificación y mantenimiento componentes reutilizables locales

Laboratorio de Datamart’s. Identificación también QA.

Identificación y mantenimiento componentes reutilizables globales

Grupo único que recibe la información de todos los grupos de mantenimiento de componentes reutilizables locales

Analista Orgánico PowerCenter Para cada entidad, n analistas orgánicos en los grupos de

desarrollo

Desarrolladores Para cada entidad n grupos.

Creación de grupo de pase a QA Grupo de desarrollo que administra el repositorio de

Desarrollo

Creación de usuarios de QA (script) Control de Calidad

Administrador Repositorio QA Control de Calidad

QA Cambio de entorno desde Desarrollo a QA Gestión del Cambio

Revisores QA Control de Calidad

Creación de grupo de pase a Implantación Control de Calidad

37

Roles

EntornoRoles Departamento implicado

Creación usuarios de Implantación (script)


Administrador Repositorio Implantación Rendimiento (Produban)

Implantación

Cambio de entorno desde QA a Implantación

Gestión del Cambio

Pruebas de rendimiento ( incluye parametrización )


Creación de grupo de pase a Producción Rendimiento (Produban)

Creación usuarios Producción (script) Productos (Produban)

Producción

Administrador Repositorio Producción Productos (Produban)

Cambio de entorno desde Implantación a Producción

Gestión del Cambio

38

Documents

Metodología ETL v2.1 220606