ProyectoGestión PNR V2

Introducción◦ Descripción General

◦ Alcance del Proyecto

Contexto del Sistema◦ Carga Diaria - Definición

◦ Carga Diaria – Etapas

◦ Control & Monitoreo – Definición

◦ Control Históricos – Definición

◦ Recarga – Definición

◦ Proceso Cutover - Definición

Bitácora

Ambienteo Tablas Control de Proceso

o Modelo de datos

o Pre-condiciones de Datastage Unix

o Requerimientos Archivos Shell

Ejecución de procesos y Anexoso Ejecución de procesos

o Nomenclatura utilizada

o Definiciones de Alto Nivel

o Screenshots

o Informes Vía Email

Objetivos◦ Bajo el contexto del Proyecto Host, GPNR debe adaptarse

a diferencias derivadas de la transición por lo que se decide desarrollar GPNR V2.

◦ El nuevo sistema ya no dependerá de BPNR sino de los archivos CDD enviados por Sabre. Se generarán nuevos procesos extracción, transformación y carga en la aplicación, así como también cambios menores en el modelo de datos.

Nombre del Proyecto New Host Gestión PNR V2

Patrocinador Daniela Baytelman

Líder de Frente Sergio Soza

Usuario Líder Jorge Mendoza

Jefe del Proyecto LAN Cristián Abaroa

Jefe de Proyecto Focus

Gastón Navea

Descripción General

El nuevo sistema se divide en los siguientes Módulos:

Proceso de Negocio:◦ Carga Diaria◦ Control Histórico ◦ Recarga.◦ Cut Over:

Cierre de Vigencias Carga Inicial

Proceso Administración: ◦ Control & Monitoreo.

Alcance Proyecto

5

◦ Proceso general de gestión PNR que permite volcar la información, correspondiente a un día de transacciones en el host, en el modelo Teradata de Gestión PNR. A continuación se describirán los sub procesos correspondientes a Carga Diaria.

Carga Diaria - Definición

6

Etapa 1:Validación (Datastage,Unix): Ejecuta validación de estructura de los archivos cdd, cantidad de columnas, validacion de tipo de dato, largo, nulo de columnas, validacion de existencia de archivos.

Etapa 2:Extracción (Datastage,Teradata,Oracle,Unix): Ejecuta extracciones de datos desde las bases operacionales de Lan (snapshot) para disponibilizar los datos hacia las posteriores etapas del proceso.

Etapa 3:Integridad (Datastage,Teradata,Unix): Ejecuta los subprocesos de integridad de PNR’s y transformaciones de datos complementarios.

Etapa 4:Transformación (Datastage,Teradata,Oracle,Unix): Ejecuta los procesos de transformación de PNRs en formato CDD files a Formato GPNR y transformaciones de PFS.

Etapa 5:Carga Intermedia (Datastage,Teradata,Unix): Ejecuta la carga intermedia de las tablas temporales correspondientes a entidades de PNR, y la carga en modelo productivo de las tablas lookup y PFS.

Carga Diaria - Etapas

7

Etapa 6: Cálculos complejos (Datastage,Teradata,Unix): Ejecuta las rutinas de cálculo de atributos complejos de PNRs para reservas y segmentos. Agrega la data impactada por PFS.

Etapa 7: Carga Cálculos Complejos (Datastage,Teradata,Unix): Ejecuta la carga final de entidades temporales en formato GPNR de los PNRs del día. 

Etapa 8: Tratamiento de Vigencias (shell,Teradata,Unix): Abre y cierra vigencias de los PNRs.

Etapa 9: Carga Final (shell,Teradata,Unix): Carga los datos previamente tratados de por vigencias a las tablas del modelo final.

Etapa 10: Tickets Derivados y Reservas NT (shell,Teradata,Unix): Ejecuta los tickets derivados y las Reservas NT

Etapa 11:Término de Procesos (shell,Teradata,Unix): Mueve los archivos a la carpeta de respaldo y genera informe final.

Carga Diaria - Etapas

8

Tablas nuevas

Modelo de Datos GPNR

Tablas originales

9

◦ El proceso de control y monitoreo para Gestión PNR se realiza sobre el procesos de carga diaria (o carga normal) y control de históricos de GPNR, pero puede ser usado para cualquier sistema que sea modelado a nivel de Procesos, Etapas y actividades.

Control y Monitoreo - Definición

Tablas nuevas

Tablas Control de Proceso

Tablas Control de Proceso

Tabla de ProcesosTabla de control que permite registrar el estado de ejecución de las shells pertenecientes a los diferentes tipos de procesos.

Tabla EtapasTabla de control que permite registrar el estado de ejecución de los jobs pertenecientes a cada etapa de un determinado proceso.

Tabla de ActividadesTabla de control que permite registrar el estado de ejecución de los jobs/shells pertenecientes a cada actividad de una determinada etapa.

Tabla de RecuperacionesTabla de control que permite registrar el estado de ejecución perteneciente a cada proceso de recuperación realizada.

12

◦ El Proceso de Control de Históricos es un proceso mensual encargado de borrar datos y archivos denominados como “historia” y se divide en tres etapas: Etapa I: Control histórico CDD files Etapa II: Control histórico de Tablas de Procesos Etapa III: Control histórico de Tablas de Negocio

Control de Históricos - Definición

13

◦ La función principal del proceso de recarga es disponibilizar una herramienta que permita ejecutar un proceso de carga diaria recibiendo como input una fecha del pasado

◦ Un proceso de Recarga realiza los siguientes pasos: Recupera del path de respaldo de CDD files, el zip

correspondiente a la fecha ingresada como input Descomprime el zip en el directorio base Ejecuta el proceso de carga diaria indicando que esa

carga es parte de una recarga.

Recarga - Definición

14

◦ El proceso de Cut Over, en el contexto de Gestion PNR está compuesto de 2 subprocesos:

Carga Inicial: Proceso que acumula, subdivide y carga una lista de PNR’s. La carga se realiza mediante el proceso de Carga Diaria.

Cierre de Vigencias: Proceso que cierra las vigencias de los PNR’s que se van a migrar según una fecha determinada.

Proceso Cut Over - Definición

15

Los TNS asociados a Instancia OPER, FAST asociados al ambiente

de instalación deben estar configurados en el archivo TNSNAMES. Para poder ejecutar dsjob es necesario poder actualizar siguiente

parámetro en ambiente Unix donde reside servidor DataStage:

cd `cat /.dshome`. ./dsenv

Debe existir el Proyecto DSNHGPNR en el Servidor DataStage versión 7.5 en los directorios:

/dsapp

/dsdata

Pre – Condiciones de DataStage Unix

16

Para la descarga de los archivos tipo Shell desde Harvest es necesario que ante cualquier migración vía FTP se deba utilizar el Modo de transferencia ASCII. Esto impide que se agregue el carácter ^M al final de cada archivo.

En caso de que los archivos contengan el carácter ^M, se debe ejecutar a nivel de línea comando en Unix, ‘vi’ para el archivo con problemas y luego ejecutar siguiente comando::1$s/^M//g

En caso de que lo anterior no funcione, el comando: “dos2unix –ascii (filename) (filename)” también limpia el caracter ^M.

Requerimientos Archivos Shell

17

Ejecución de procesosN°

Nombre proceso

Tipo

1Control

HistóricoSHELL_PROC_GPNR_CH.sh

(shell-Control M)

2 RecargaSHELL_PROC_GPNR_RC.sh

(On-Demand)

3.1 Carga InicialSHELL_PROC_GENERA_ACUMULADO_CI.sh

(Shell – Control M, On-Demand)

3.2 Carga InicialSHELL_PROC_ASIGNA_BLOQUE_CI.sh

(Shell – Control M, On-Demand)

3.3 Carga InicialSHELL_PROC_SUBDIVIDE_RES_TEMP.sh

(Shell – Control M, On-Demand)

3.4 Carga InicialSHELL_PROC_EJEC_PARALELO_CD_DAT.sh

(Shell – Control M, On-Demand)

4.1Cierre de Vigencias

SHELL_PROC_SEL_CIERRE_VIGENCIA.sh(Shell – Control M, On-Demand)

4.2Cierre de Vigencias

SHELL_PROC_UPD_CIERRE_VIGENCIA.sh(Shell – Control M, On-Demand)

5 Carga diariaSHELL_PROC_GPNR_CD.sh

(shell- Control M)

18

Nomenclatura utilizada

Código

Descripción Origen

0 Proceso termino Exitosamente

SHELL

1 Proceso termino con Errores

SHELL

Alertas del Sistema Tipo de Proceso

Código

Descripción Descripción de Referencia Origen

CD Carga Diaria

Se identifica con la letra CD al proceso de Carga Diaria.

SHELL

CH Control Histórico

Se identifica con la letra CH al proceso de Control Histórico.

SHELL

CI Carga Inicial

Se identifica con la letra CI al proceso de Carga Inicial.

SHELL

CV Cierre de Vigencias

Se identifica con la letra CV al proceso de Cierre de Vigencias.

SHELL

RC Carga Reproceso

Se identifica con la letra RC al proceso de Recarga.

SHELL

Estado de Proceso

Código

Descripción Descripción de Referencia Origen

0 RUNNING El estado del Job es “En Ejecución”

DTS

1 FINISHED El estado del Job es “FINALIZADO SIN WARNING”

DTS

2 FINISHED (See Log)

El estado del Job es “FINALIZADO CON WARNING”

DTS

3 ABORTED El estado del Job es “ABORTADO”

DTS

99 COMPILED El estado del Job es “COMPILADO”

DTS

21 HAS BEEN RESET

El estado del Job es “RESETEADO”

DTS

19

Proceso: ◦ Ejecución de un conjunto de etapas sucesivas que implementan

una necesidad de negocio

Etapa: ◦ Ejecución de un conjunto de actividades. Las etapas siempre

son secuenciales, y por lo tanto a cada etapa se le asigna un orden de secuencia dentro del proceso.

Actividad:◦ Unidad funcional mínima y a diferencia de las etapas no tiene

restricción de secuencialidad, por lo que eventualmente podrían ejecutarse de forma paralela

Definiciones de alto nivel

20

Recuperación:◦ Cuando un proceso es gatillado luego de ocurrida una falla, se

dice que es una recuperación del proceso.

Control: ◦ Conjunto de elementos que permiten identificar un proceso,

ejecutar sus etapas y en caso de falla reiniciar desde la última etapa ejecutada de forma exitosa.

Monitoreo: ◦ Este concepto se reduce al conjunto de elementos que permiten

monitorear un proceso. Entendiéndose como supervisión humana de los parámetros de monitoreo mientras un proceso está en curso con el objetivo de identificar posibles anomalías.

Definiciones de alto nivel

21

ScreenshotsAgrupación de Etapas Unix

22

ScreenshotsTabla Procesos Tabla Etapas

Tabla Recuperaciones Tabla Actividades

23

Informes vía Email – Informe Final

TIPO PROCESO : CI FECHA ARCHIVOS : 20111201 FECHA INICIO PROCESO : 2012-02-27 15:53:02 FECHA FIN PROCESO : 2012/02/27 18:38:29 CANTIDAD DE REGISTROS QUE INICIARON VIGENCIA EN SEGMENTOS :      553076 CANTIDAD DE REGISTROS QUE CERRARON VIGENCIA EN SEGMENTOS :           0 CANTIDAD DE REGISTROS QUE INICIARON VIGENCIA EN RESERVAS :      199999 CANTIDAD DE REGISTROS QUE CERRARON VIGENCIA EN RESERVAS :           0 CANTIDAD DE REGISTROS QUE INICIARON VIGENCIA EN TICKET :      293094 CANTIDAD DE REGISTROS QUE CERRARON VIGENCIA EN TICKET :        1018 CANTIDAD DE REGISTROS QUE INICIARON VIGENCIA EN RESERVAS PAX :      328213 CANTIDAD DE REGISTROS QUE CERRARON VIGENCIA EN RESERVAS PAX :           0 CANTIDAD DE REGISTROS QUE INICIARON VIGENCIA EN DERIVADAS TICKET:     2284316 CANTIDAD DE REGISTROS QUE INICIARON VIGENCIA EN RESERVAS NT :      969803

24

Informes vía Email – Informe error

----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- *** INICIO PROCESO  : 2012/02/27 10:54:14 ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- *** INICIO PROCESO VALIDACIÓN  :  2012/02/27_10:54:14 ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- *** REVISION UPTIME MAQUINAS ... ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- -----     --> * OK * La máquina 57.228.166.84 Se encuentra OPERATIVA     --> * OK * La máquina 57.228.166.80 Se encuentra OPERATIVA     --> * OK * La máquina 57.228.166.83 Se encuentra OPERATIVA     --> * OK * La máquina 57.228.128.8 Se encuentra OPERATIVA ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- *** REVISION UPTIME BASE DATOS ... ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- -----     --> Generando conexion  SID : ldsbdcros1_fast     -->                     USR : SRVMDCNHGPNR     -->                     LOG : /dsdata/DSNHGPNR/LOG/LOG_CONEXION_ORA_20120227.log     --> Revisando conexion SID : ldsbdcros1_fast  ...     --> * OK * La Base Datos ldsbdcros1_fast Se encuentra OPERATIVA     --> Generando conexion  SID : 57.228.128.8     -->                     USR : usr_dh_nhgpnrd     -->                     LOG : /dsdata/DSNHGPNR/LOG/LOG_CONEXION_TERA_20120227.log     --> Revisando conexion SID : 57.228.128.8  ...     --> * OK * La Base Datos 57.228.128.8 Se encuentra OPERATIVA 

----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- *** REVISION ESPACIO DISPONIBLE EN MAQUINA DATASTAGE ... ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- -----       --> Espacio Utilizado en (directorio dsdata)                             [92] %     --> Espacio Maximo a Utilizado en (directorio dsdata) No debe superar al [90] %     --> Espacio disponible en dsdata insuficiente [92] % el maximo utilizado NO debe superar al [90] %

25

Focus Business Solutions

Barros Errazuriz 1953 – Of 605.Providencia Santiago (Chile)

Tel: (56 2) 421 7390Fax:(56 2) 421 7390www.focusbs.com