51
NEW HOST GPNR Carga Diaria Mayo 2012

Mayo 2012. 2 Inicio Presentación Contexto General Preparación del ambiente Estructura Modelo de Datos Requerimientos del Sistema Procesos

Embed Size (px)

Citation preview

Page 1: Mayo 2012. 2 Inicio Presentación  Contexto General  Preparación del ambiente  Estructura  Modelo de Datos  Requerimientos del Sistema  Procesos

NEW HOST GPNRCarga Diaria

Mayo 2012

Page 2: Mayo 2012. 2 Inicio Presentación  Contexto General  Preparación del ambiente  Estructura  Modelo de Datos  Requerimientos del Sistema  Procesos

2

Inicio Presentación

Contexto General

Preparación del ambiente

Estructura

Modelo de Datos

Requerimientos del Sistema

Procesos y Etapas del Sistema

Debug del Sistema

Check List de Diagnostico

Page 3: Mayo 2012. 2 Inicio Presentación  Contexto General  Preparación del ambiente  Estructura  Modelo de Datos  Requerimientos del Sistema  Procesos

3

Descripción del ProcesoBajo el contexto del Proyecto Host, GPNR debe adaptarse a diferencias derivadas de la transición por lo que se decide desarrollar GPNR V2. El nuevo sistema ya no dependerá de BPNR sino de los archivos CDD enviados por Sabre. Se generarán nuevos procesos extracción, transformación y carga en la aplicación, así como también cambios menores en el modelo de datos.

Contexto General

Nombre del Proyecto New Host Gestión PNR V2

Patrocinador Daniela Baytelman

Líder de Frente Sergio Soza

Usuario Líder Jorge Mendoza

Jefe del Proyecto LAN Cristián Abaroa

Jefe de Proyecto Focus

Gastón Navea

Page 4: Mayo 2012. 2 Inicio Presentación  Contexto General  Preparación del ambiente  Estructura  Modelo de Datos  Requerimientos del Sistema  Procesos

4

Preparación de Ambiente

Nro Tareas a realizar

1Validar tabla de Procesos en el modelo de Control (Teradata), el último proceso no debe estar incompleto o erróneo (estado diferente de EX), si esto fuera así, será gatillada automáticamente una recuperación y no se podrá correr un proceso limpio.

2 Deben estar en la carpeta /dsdata/DSNHGPNR/DAT/CARGADIARIA , los archivos CDD necesarios para la ejecución del proceso.

Page 5: Mayo 2012. 2 Inicio Presentación  Contexto General  Preparación del ambiente  Estructura  Modelo de Datos  Requerimientos del Sistema  Procesos

5

Estructura Carpetas Unix y DataStage

Page 6: Mayo 2012. 2 Inicio Presentación  Contexto General  Preparación del ambiente  Estructura  Modelo de Datos  Requerimientos del Sistema  Procesos

6

Tablas nuevas

Modelo de Datos GPNR

Tablas originales

Page 7: Mayo 2012. 2 Inicio Presentación  Contexto General  Preparación del ambiente  Estructura  Modelo de Datos  Requerimientos del Sistema  Procesos

7

Requerimientos de Hardware

Requerimientos Mínima Recomendada Memoria RAM 2.50 [GB] 3.50 [GB] Discos Reservado Áreas de Sort (dsproject) 500 [MB] Áreas de Data 1 [GB] Áreas Temp 2.50 [GB] Áreas de Hash 600 [MB] CPU 4 [CPU] 1.500 [MHz]

Espacio Teradata:

Requerimientos Mínima Recomendada BDD Work 6.00 [GB] 8.00 [GB] BDD Temp 6.00 [GB] 8.00 [GB] BDD Ctrl 1.00 [GB] 2.00 [GB] BDD Logs 1.00 [GB] 1.00 [GB]

Page 8: Mayo 2012. 2 Inicio Presentación  Contexto General  Preparación del ambiente  Estructura  Modelo de Datos  Requerimientos del Sistema  Procesos

8

Ejecución de procesos

N°Nombre proceso

TipoPeriodic

idad

1Control

HistóricoSHELL_PROC_GPNR_CH.sh

(shell-Control M)Mensual

2 RecargaSHELL_PROC_GPNR_RC.sh

(On-Demand)Eventual

3.1 Carga InicialSHELL_PROC_GENERA_ACUMULADO_CI.sh

(Shell – Control M, On-Demand)Eventual

3.2 Carga InicialSHELL_PROC_ASIGNA_BLOQUE_CI.sh

(Shell – Control M, On-Demand)Eventual

3.3 Carga InicialSHELL_PROC_SUBDIVIDE_RES_TEMP.sh

(Shell – Control M, On-Demand)Eventual

3.4 Carga InicialSHELL_PROC_EJEC_PARALELO_CD_DAT.sh

(Shell – Control M, On-Demand)Eventual

4.1Cierre de Vigencias

SHELL_PROC_SEL_CIERRE_VIGENCIA.sh(Shell – Control M, On-Demand)

One-Time

4.2Cierre de Vigencias

SHELL_PROC_UPD_CIERRE_VIGENCIA.sh(Shell – Control M, On-Demand)

One-Time

5 Carga diariaSHELL_PROC_GPNR_CD.sh

(shell- Control M)Diaria

Page 9: Mayo 2012. 2 Inicio Presentación  Contexto General  Preparación del ambiente  Estructura  Modelo de Datos  Requerimientos del Sistema  Procesos

9

Ejecutando la Shell Carga Diaria(SHELL_PROC_GPNR_CD.sh)

Ejecutada la Shell (SHELL_PROC_GPNR_CD.sh ), por pantalla se mostrara información relacionada al status (on line) del proceso, además se genera un archivo log con el detalle de la ejecución. La ejecución es sin parámetros.

Page 10: Mayo 2012. 2 Inicio Presentación  Contexto General  Preparación del ambiente  Estructura  Modelo de Datos  Requerimientos del Sistema  Procesos

10

Entre las validaciones que se realizan durante la ejecución:

◦ REVISION UPTIME DE MAQUINAS◦ REVISION UPTIME BASE DATOS◦ REVISION ESPACIO DISPONIBLE EN MAQUINA DATASTAGE◦ REVISION UPTIME DE SERVICIO DE DATASTAGE

Validaciones de la Shell (SHELL_PROC_GPNR_CD.sh)

Page 11: Mayo 2012. 2 Inicio Presentación  Contexto General  Preparación del ambiente  Estructura  Modelo de Datos  Requerimientos del Sistema  Procesos

11

Etapa 1:Validación (Datastage, Unix): Ejecuta validación de estructura de los archivos CDD, cantidad de columnas, validación de tipo de dato, largo, nulo de columnas, validación de existencia de archivos.

Proceso Carga Daria – Etapas

Page 12: Mayo 2012. 2 Inicio Presentación  Contexto General  Preparación del ambiente  Estructura  Modelo de Datos  Requerimientos del Sistema  Procesos

12

Etapa 1:Validación.

Proceso Carga Daria – Etapas

Page 13: Mayo 2012. 2 Inicio Presentación  Contexto General  Preparación del ambiente  Estructura  Modelo de Datos  Requerimientos del Sistema  Procesos

13

Etapa 2:Extracción (Datastage, Teradata, Oracle, Unix): Ejecuta extracciones de datos desde las bases operacionales de Lan (snapshot) para disponibilizar los datos hacia las posteriores etapas del proceso.

Proceso Carga Daria – Etapas

Page 14: Mayo 2012. 2 Inicio Presentación  Contexto General  Preparación del ambiente  Estructura  Modelo de Datos  Requerimientos del Sistema  Procesos

14

Etapa 2:Extracción.

Proceso Carga Daria – Etapas

Page 15: Mayo 2012. 2 Inicio Presentación  Contexto General  Preparación del ambiente  Estructura  Modelo de Datos  Requerimientos del Sistema  Procesos

15

Etapa 2:Extracción.

Proceso Carga Daria – Etapas

Page 16: Mayo 2012. 2 Inicio Presentación  Contexto General  Preparación del ambiente  Estructura  Modelo de Datos  Requerimientos del Sistema  Procesos

16

Etapa 2:Extracción.

Proceso Carga Daria – Etapas

Page 17: Mayo 2012. 2 Inicio Presentación  Contexto General  Preparación del ambiente  Estructura  Modelo de Datos  Requerimientos del Sistema  Procesos

17

Etapa 2:Extracción.

Proceso Carga Daria – Etapas

Page 18: Mayo 2012. 2 Inicio Presentación  Contexto General  Preparación del ambiente  Estructura  Modelo de Datos  Requerimientos del Sistema  Procesos

18

Etapa 3:Integridad (Datastage, Teradata, Unix): Ejecuta los subprocesos de integridad de PNR’s y transformaciones de datos complementarios.

Proceso Carga Daria – Etapas

Page 19: Mayo 2012. 2 Inicio Presentación  Contexto General  Preparación del ambiente  Estructura  Modelo de Datos  Requerimientos del Sistema  Procesos

19

Etapa 3:Integridad.

Proceso Carga Daria – Etapas

Page 20: Mayo 2012. 2 Inicio Presentación  Contexto General  Preparación del ambiente  Estructura  Modelo de Datos  Requerimientos del Sistema  Procesos

20

Etapa 3:Integridad.

Proceso Carga Daria – Etapas

Page 21: Mayo 2012. 2 Inicio Presentación  Contexto General  Preparación del ambiente  Estructura  Modelo de Datos  Requerimientos del Sistema  Procesos

21

Etapa 3:Integridad.

Proceso Carga Daria – Etapas

Page 22: Mayo 2012. 2 Inicio Presentación  Contexto General  Preparación del ambiente  Estructura  Modelo de Datos  Requerimientos del Sistema  Procesos

22

Etapa 3:Integridad.

Proceso Carga Daria – Etapas

Page 23: Mayo 2012. 2 Inicio Presentación  Contexto General  Preparación del ambiente  Estructura  Modelo de Datos  Requerimientos del Sistema  Procesos

23

Etapa 3:Integridad.

Proceso Carga Daria – Etapas

Page 24: Mayo 2012. 2 Inicio Presentación  Contexto General  Preparación del ambiente  Estructura  Modelo de Datos  Requerimientos del Sistema  Procesos

24

Etapa 3:Integridad.

Proceso Carga Daria – Etapas

Page 25: Mayo 2012. 2 Inicio Presentación  Contexto General  Preparación del ambiente  Estructura  Modelo de Datos  Requerimientos del Sistema  Procesos

25

Etapa 4:Transformación (Datastage, Teradata, Oracle, Unix): Ejecuta los procesos de transformación de PNRs en formato CDD files a Formato GPNR y transformaciones de PFS.

Proceso Carga Daria – Etapas

Page 26: Mayo 2012. 2 Inicio Presentación  Contexto General  Preparación del ambiente  Estructura  Modelo de Datos  Requerimientos del Sistema  Procesos

26

Etapa 4:Transformación.

Proceso Carga Daria – Etapas

Page 27: Mayo 2012. 2 Inicio Presentación  Contexto General  Preparación del ambiente  Estructura  Modelo de Datos  Requerimientos del Sistema  Procesos

27

Etapa 5:Carga Intermedia (Datastage, Teradata, Unix): Ejecuta la carga intermedia de las tablas temporales correspondientes a entidades de PNR, y la carga en modelo productivo de las tablas lookup y PFS.

Proceso Carga Daria – Etapas

Page 28: Mayo 2012. 2 Inicio Presentación  Contexto General  Preparación del ambiente  Estructura  Modelo de Datos  Requerimientos del Sistema  Procesos

28

Etapa 5:Carga Intermedia.

Proceso Carga Daria – Etapas

Page 29: Mayo 2012. 2 Inicio Presentación  Contexto General  Preparación del ambiente  Estructura  Modelo de Datos  Requerimientos del Sistema  Procesos

29

Etapa 5:Carga Intermedia.

Proceso Carga Daria – Etapas

Page 30: Mayo 2012. 2 Inicio Presentación  Contexto General  Preparación del ambiente  Estructura  Modelo de Datos  Requerimientos del Sistema  Procesos

30

Etapa 5:Carga Intermedia.

Proceso Carga Daria – Etapas

Page 31: Mayo 2012. 2 Inicio Presentación  Contexto General  Preparación del ambiente  Estructura  Modelo de Datos  Requerimientos del Sistema  Procesos

31

Etapa 5:Carga Intermedia.

Proceso Carga Daria – Etapas

Page 32: Mayo 2012. 2 Inicio Presentación  Contexto General  Preparación del ambiente  Estructura  Modelo de Datos  Requerimientos del Sistema  Procesos

32

Etapa 5:Carga Intermedia.

Proceso Carga Daria – Etapas

Page 33: Mayo 2012. 2 Inicio Presentación  Contexto General  Preparación del ambiente  Estructura  Modelo de Datos  Requerimientos del Sistema  Procesos

33

Etapa 6: Cálculos complejos (Datastage, Teradata, Unix): Ejecuta las rutinas de cálculo de atributos complejos de PNRs para reservas y segmentos. Agrega la data impactada por PFS.

Proceso Carga Daria – Etapas

Page 34: Mayo 2012. 2 Inicio Presentación  Contexto General  Preparación del ambiente  Estructura  Modelo de Datos  Requerimientos del Sistema  Procesos

34

Etapa 6: Cálculos complejos.

Proceso Carga Daria – Etapas

Page 35: Mayo 2012. 2 Inicio Presentación  Contexto General  Preparación del ambiente  Estructura  Modelo de Datos  Requerimientos del Sistema  Procesos

35

Etapa 6: Cálculos complejos.

Proceso Carga Daria – Etapas

Page 36: Mayo 2012. 2 Inicio Presentación  Contexto General  Preparación del ambiente  Estructura  Modelo de Datos  Requerimientos del Sistema  Procesos

36

Etapa 6: Cálculos complejos.

Proceso Carga Daria – Etapas

Page 37: Mayo 2012. 2 Inicio Presentación  Contexto General  Preparación del ambiente  Estructura  Modelo de Datos  Requerimientos del Sistema  Procesos

37

Etapa 6: Cálculos complejos.

Proceso Carga Daria – Etapas

Page 38: Mayo 2012. 2 Inicio Presentación  Contexto General  Preparación del ambiente  Estructura  Modelo de Datos  Requerimientos del Sistema  Procesos

38

Etapa 6: Cálculos complejos.

Proceso Carga Daria – Etapas

Page 39: Mayo 2012. 2 Inicio Presentación  Contexto General  Preparación del ambiente  Estructura  Modelo de Datos  Requerimientos del Sistema  Procesos

39

Etapa 7: Carga Cálculos Complejos (Datastage, Teradata, Unix): Ejecuta la carga final de entidades temporales en formato GPNR de los PNRs del día. 

Proceso Carga Daria – Etapas

Page 40: Mayo 2012. 2 Inicio Presentación  Contexto General  Preparación del ambiente  Estructura  Modelo de Datos  Requerimientos del Sistema  Procesos

40

Etapa 7: Carga Cálculos Complejos.

Proceso Carga Daria – Etapas

Page 41: Mayo 2012. 2 Inicio Presentación  Contexto General  Preparación del ambiente  Estructura  Modelo de Datos  Requerimientos del Sistema  Procesos

41

Etapa 8: Tratamiento de Vigencias (shell, DataStage, Teradata, Unix): Abre y cierra vigencias de los PNRs.

Proceso Carga Daria – Etapas

Page 42: Mayo 2012. 2 Inicio Presentación  Contexto General  Preparación del ambiente  Estructura  Modelo de Datos  Requerimientos del Sistema  Procesos

42

Etapa 8: Tratamiento de Vigencia.

Proceso Carga Daria – Etapas

Page 43: Mayo 2012. 2 Inicio Presentación  Contexto General  Preparación del ambiente  Estructura  Modelo de Datos  Requerimientos del Sistema  Procesos

43

Etapa 9: Carga Final (shell, Teradata, Unix): Carga los datos previamente tratados de por vigencias a las tablas del modelo final.

Proceso Carga Daria – Etapas

Page 44: Mayo 2012. 2 Inicio Presentación  Contexto General  Preparación del ambiente  Estructura  Modelo de Datos  Requerimientos del Sistema  Procesos

44

Etapa 10: Tickets Derivados y Reservas NT (shell, Teradata, Unix): Ejecuta los tickets derivados y las Reservas NT

Proceso Carga Daria – Etapas

Page 45: Mayo 2012. 2 Inicio Presentación  Contexto General  Preparación del ambiente  Estructura  Modelo de Datos  Requerimientos del Sistema  Procesos

45

Etapa 11:Término de Procesos (shell, Teradata, Unix): Mueve los archivos a la carpeta de respaldo y genera informe final.

Proceso Carga Daria – Etapas

Page 46: Mayo 2012. 2 Inicio Presentación  Contexto General  Preparación del ambiente  Estructura  Modelo de Datos  Requerimientos del Sistema  Procesos

46

TIPO PROCESO : CI FECHA ARCHIVOS : 20111201 FECHA INICIO PROCESO : 2012-02-27 15:53:02 FECHA FIN PROCESO : 2012/02/27 18:38:29 CANTIDAD DE REGISTROS QUE INICIARON VIGENCIA EN SEGMENTOS :      553076 CANTIDAD DE REGISTROS QUE CERRARON VIGENCIA EN SEGMENTOS :           0 CANTIDAD DE REGISTROS QUE INICIARON VIGENCIA EN RESERVAS :      199999 CANTIDAD DE REGISTROS QUE CERRARON VIGENCIA EN RESERVAS :           0 CANTIDAD DE REGISTROS QUE INICIARON VIGENCIA EN TICKET :      293094 CANTIDAD DE REGISTROS QUE CERRARON VIGENCIA EN TICKET :        1018 CANTIDAD DE REGISTROS QUE INICIARON VIGENCIA EN RESERVAS PAX :      328213 CANTIDAD DE REGISTROS QUE CERRARON VIGENCIA EN RESERVAS PAX :           0 CANTIDAD DE REGISTROS QUE INICIARON VIGENCIA EN DERIVADAS TICKET:     2284316 CANTIDAD DE REGISTROS QUE INICIARON VIGENCIA EN RESERVAS NT :      969803

Informe Final

Page 47: Mayo 2012. 2 Inicio Presentación  Contexto General  Preparación del ambiente  Estructura  Modelo de Datos  Requerimientos del Sistema  Procesos

47

Revisión tablas de control

Verificar que el número de secuencia de la ultima etapa ejecutada y su estado.

Debug del Sistema

Page 48: Mayo 2012. 2 Inicio Presentación  Contexto General  Preparación del ambiente  Estructura  Modelo de Datos  Requerimientos del Sistema  Procesos

48

Revisión DataStage Director

Verificar todos los jobs de la etapa se encuentren Finished

Debug del Sistema

Page 49: Mayo 2012. 2 Inicio Presentación  Contexto General  Preparación del ambiente  Estructura  Modelo de Datos  Requerimientos del Sistema  Procesos

49

Revisión Archivo Log (/dsdata/DSNHGPNR/LOG/LOG_TMP_$TIPOPROCESO_YYYMMDD.log)

Verificar output de las actividades para validar causa del error.

Debug del Sistema

Page 50: Mayo 2012. 2 Inicio Presentación  Contexto General  Preparación del ambiente  Estructura  Modelo de Datos  Requerimientos del Sistema  Procesos

50

Reintentar ejecución del proceso para verificar output de las actividades para validar causa del error.

Debug del Sistema

Page 51: Mayo 2012. 2 Inicio Presentación  Contexto General  Preparación del ambiente  Estructura  Modelo de Datos  Requerimientos del Sistema  Procesos

51