<Insert Picture Here>

Integración de datos en Tiempo Real – Oracle

Golden Gate

Mauricio Gumiel Muñoz

Sales Executive

La necesidad de tomar decisiones en Tiempo real

Más datos que tratar y menor tiempo de respuesta

•Población

•Usuarios de IT e internet

•Sistemas de información

•Websites

El crecimiento exponencial

de los datos

•Muy difícil crecer vía

reducción de costes

Situación actual del mercado

•Comportamiento y preferencias de usuario•Compras producidas – stock, pedidos, etc.

Información actualizada

2

•Websites

•Dispositivos IT

•Repositorios de información

•Datos almacenados

•Potenciar la Generación y

Captación de Ingresos

pedidos, etc.•Ofertas complementarias

Evolución de los procesos de negocio:

Adaptación dinámica – Toma de decisiones en Tiempo Real

Business event

Toma de decisiones con Información en Tiempo RealIncrementando el Valor de la información

Para reducir los

tiempos de latencia y

generar valor, los datos

• La Información en Tiempo Real representa disponer de:

– Un nuevo factor diferenciador para competir

– Datos actualizados para analizar las situación y tendencias

– Información sobre las preferencias y peticiones de clientes y partners

– La posibilidad de operar en entornos 24x7

3

Action Time

Data

latency

Analysis

latency

Decision

latency

Business Value

Data captured

Information delivered

Action taken

generar valor, los datos

deben adquirirse en

Tiempo Real.

Los clientes solicitan Datos en Tiempo Real de forma

continuada a la vez que reducción de costes en IT y mejora en la

eficiencia operacional

Información en Tiempo Real Soporte a

Business Intelligence y Toma de Decisiones

• Disponibilidad instatánea de Datos para Reporting

• Acceso a información clave para su análisis

Operaciones

en

Tiempo Real

Disponibilidad Contínua de

Aplicaciones y Datos críticos

• Disponibilidad contínua en caso de desastre

4

• Acceso a información clave para su análisis

• Acceso a sistemas heterogéneos• Sin interrupciones en paradas planificadas

• Load balancing & Data distribution

Inversión reducida & Mejora operacional

• Selección del mejor sistema disponible

• Modernización de los sistemas Legacy

• Offload para reporting

• La información en Tiempo Real supone disponer de sistemas que

• Puedan Integrarse y Sincronizarse sin importar su dispersión, ubicación o tecnología

• Faciliten información en tiempo real

• No impacten en el rendimiento de los Sistemas de Producción

Oracle GoldenGateLa solución empresarial para las necesidades de Tiempo Real

Información

en Tiempo Real

Bases de datos y

aplicaciones, fuentes

heterogéneas,

combinadas,

sistemas distribuidos,

Datos y aplicaciones

Críticos,

Business Intelligence,

Reporting para

Clientes, Partners &

5

Oracle GoldenGate facilita el acceso en tiempo real a información en tiempo real,

permitiendo a las empresas mejorar dramáticamente la disponibilidad, fiabilidad,

y rendimiento de datos críticos distribuidos en sistemas heterogéneos.

sistemas distribuidos,

legacy, OLTP,

OLAP

Clientes, Partners &

Empleados

Acceso en Tiempo Real

Oracle GoldenGate permite captura con impacto muy bajo, enrutado,

transformación, y envío de datos transaccionales entre entornos heterogeneos

en tiempo real.

Aspectos diferenciadores:

No intrusivo, bajo impacto, latencia <1 segundo

¿Qué es Oracle GoldenGate?

Rendimiento

6

Abierto, arquitectura modular – Soporta orígenes

y destinos con tecnología heterogénea

Mantiene la integridad transaccional – Fiable

contra interrupciones y caídas de servicio

Flexible y Extensible

Fiable

GoldenGate es Estratégico para Oracle• Lider en soluciones de integración de datos en Tiempo

Real

• Complementa la oferta existente de productos Oracle

• Disponibilidad Contínua para sistemas

heterogéneos

• Acceso a datos en tiempo real para Reporting &

BI/EPM

• Migraciones y actualizaciones de bases de datos y

aplicaciones con “Zero-downtime”.

• 500+ clientes

7

• 500+ clientes

• 35+ países

• 4,000+ implantaciones en los sectores Financieros,

Comunicaciones, Sanitario, Público, Distribucion e

Industria:

• Top 4 de 5 de los mayores bancos comerciales

• Top 3 de 3 de las redes ATM más utilizadas

• Top 8 de 10 de compañías de información financiera

• Top 4 de 5 proveedores de telecomunicaciones

• Top 3 de 5 de las mayores compañías de

distribución

Oracle GoldenGate – Casos de UsoLa Integración en Tiempo Real – aplicaciones para la empresa

• Estandarización de una Unica

Tecnología para Múltiples

necesidades

• Permite la Disponibilidad

Continua y el acceso a datos en

Tiempo Real para Reporting / BI

Captura de datos

modificados, en

Tiempo Real,

de los logs

Disaster Recovery,

Data Protection

Zero Downtime

Migration and

Upgrades

Operational

Reporting

Standby

(Open & Active)

Reporting

DatabaseOGG

8

•Arquitectura muy flexible

• Implantaciones muy rápidas

•Bajo TCO & ROI muy rápido

Sistemas Origen

Heterogéneos

EDWODS

EDWReal-time BI

OGG

ETL

ETL

Query Offloading

Data Distribution

Oracle GoldenGate – factores diferenciales

Permite realizar operaciones de forma continuada para aplicaciones

críticas, eliminando paradas no planificadas y también reduciendo el

coste de paradas planificadas.

Disminuye los costes de IT gracias al soporte heterogéneo para

múltiples plataformas, permitiendo reducir el coste en infraestructuras

mediante query offloading.

Mejora la eficiencia operacional mediante el rendimiento, la

Oracle GoldenGate…

9

Reduce el riesgo asegurando la integridad de los datos y la

fiabilidad entre los sistemas Origen y Destino. Permite encriptar y

comprimir los datos cuando es necesario.

Mejora el análisis del negocio mediante Business Intelliigence, Data

Warehousing y report offloading en tiempo real.

Mejora la eficiencia operacional mediante el rendimiento, la

escalabilidad de las distintas fuentes de datos en tiempo real, y la

distribución de datos.

Reduce las barreras para compartir datos debido al nulo impacto en

las aplicaciones o bases de datos en la adquisición y transmisión de

datos en tiempo real.

Oracle GoldenGateEscenarios de aplicación de OGG

Escenarios en

Entornos Tecnológicos

10

Entornos Tecnológicos

Query Offloading – Reducción de costes

Creación de un nuevo entorno para consultas

Solución:• Crear una réplica en tiempo real del entornooperacional (legacy o mainframe) muy costososobre Oracle con RAC o Linux.

• Sincronización de la réplica en tiempo y real y envío de datos read-only

Beneficios:• Reduce/elimina las operaciones SQL en sistemastransaccionales

OLTP

TransactionsRead Only

Users

Query Offloading

OGG

Reducción de costes

11

transaccionales

• Directamente reduce el coste de sistemas legacy, mainframe, non-oracle

¿Qué productos posicionar?• Oracle GoldenGate soporte bases de datos, hardware y plataformas heterogéneas

Non-Oracle or

Legacy PlatformOracle Platform

Necesidad:

“¿Es necesario trasladar las capacidades de procesamiento de opraciones

SQL a BBDD estandar con menor coste en SW y HW, sin interrupción en

transacciones o procesos críticos y a la vez soportar el crecimiento de datos

generado por el incremento en el número de usuarios?”

Disponibilidad Contínua

Migraciones y actualizaciones de bases de datos y

aplicaciones con “Zero-downtime”

Solución :• Migrar desde bases de datos, hardware o plataformas heterogéneas a plataformaestandarizada Oracle11g con mínima disrupciónoperativa

• Actualización de aplicaciones certificadas Oracle a nuevas versiones (Siebel) sin downtime

Beneficios :• Estandarización del centro de datos y

Previous Version New Version

Continuous Availability

OGG

12

• Estandarización del centro de datos y modernización de las plataformas

• Zero down-time para aplicaciones críticas

• Migración segura de usuarios de un sistema a otro, manteniendo ambos operativos.

¿Qué productos posicionar?• Oracle GoldenGate

Necesidad:

“¿Hay que realizar una migración de base de datos o una actualización de

una aplicación critica pero no es posible realizar ninguna parada por su

impacto en los procesos de negocio?

Previous DB Version New DB Version

Disponibilidad ContínuaDistribución de datos / Sincronización

Solución :• Replicar datos entre aplicaciones distribuidas permitiendorealizar operaciones globales y mejorando la eficienciaoperacional.

• Distribuir datos en tiempo real entre entornos Oracle y no Oracle.

• Crear configuraciones Activo-Activo, permitiendo disponerde datos sincronizados entre Centros de datos.

Beneficios :

Oracle 9i Oracle 11g

Continuous Availability

OGG

13

Beneficios :• Alta disponibilidad en datos críticos

• Posibilidad de escalado y de manejo de grandesvolúmenes de datos

• Acceso a datos consistentes entre centros de datos, geográficamente dispersos

¿Qué productos posicionar?• Oracle GoldenGate

Oracle 10g SQL Server

Necesidad:

“¿Cómo responden tus datos ante peticiones realizadas 24x7? ¿Pueden todas

tus unidades de negocio acceder al mismo tiempo a la información más

actualizada contínuamente?”

Integración de datos en Tiempo RealReporting en entornos operacionales

Solución :• Informes sobre datos reales, inmediatos (live data), en sistemas transaccionales

• Sin necesidad de realizar una carga adicionalen el sistema origen – informes en una nuevainstancia de la base de datos sincronizados en tiempo real.

Beneficios :• Permite disponer de informes tácticos para la rápida toma de decisiones el seguimiento del estado de negocio.

Real Time Data Integration

Transactional Operational

OGG

14

estado de negocio.

• Elimina el impacto en los sistemas origen.

• Resuelve los retos de ejecutar informes en sistemas transaccionales (MIPs para ejecutartransacciones en vez de generar informes)

¿Qué productos posicionar?• Oracle GoldenGate para crear una replica operacial.

• BI Publisher para Reporting operational.

Transactional

Applications

Operational

Data Store

Necesidad:

“¿Dispone de la transparencia adecuada sobre los datos en los sistemas

transaccionales más sensitivos?”

Integración de datos en Tiempo Real Business Intelligence en Tiempo Real

Solución :• Poblar un almacén de datos operacionaldestinado a un BI operacional con datos en tiempo real.

• Ejecutar ELT desde ODS para cargar datos al warehouse con datos transformados

Beneficios :• Mejora la capacidad de análisis sobre el negocio

Real Time Data Integration

Enterprise Data Warehouse

Production

Real-time Integration + Bulk

Data Transformation

OGG

ODI

15

negocio

• Combina la capacidad de inteligencia de negocio sobre datos actuales e históricos

• Elimina la carga en los sistemas fuente

• Reduce los tiempos de latencia y las ventanasde tiempo por procesamiento batch

¿Qué productos posicionar?• Oracle GoldenGate y Data Integrator

Heterogeneous

Sources

Enterprise Data Warehouse

Oracle Database,

Oracle Exadata

Necesidad:

“¿Necesita analizar la situación y estado de su negocio con los datos más

actuales, sin necesidad de impactar en sus sistemas más críticos?

Oracle GoldenGateEscenarios de aplicación de OGG

Escenarios en

Procesos de Negocio

16

Procesos de Negocio

Oracle GoldenGateSoporte a los procesos de Negocio - I

Accounting

Billing

• Sincronización con datos de facturación, inventario, pedidos, etc.

• Integración con ERPs en tiempo real

• Integración de distintos sistemas de contabilidad

• Reconciliación de facturas mediante integración de información distribuida

• Facilitar a los clientes y proveedores el estado de sus pedidos, pagos y facturas.

Procesos de

Negocio

17

Reporting

Inventory managment

• Establece las bases para la colaboración B2B

• Generación de informes recopilados de sistemas heterogéneos

• Información actualizada al disponer de datos recopilados en Tiempo Real

• Creación de métricas para conocer el grado de cumplimiento de Objetivos, SLAs, etc.

• Actualización de inventarios distribuidos

• Información sobre pedidos a servir

• Información sobre materiales recibidos de sistemas heterogéneos

Oracle GoldenGateSoporte a los procesos de Negocio - II

Marketing

Pricing

• Información sobre el impacto de las campañas promocionales

• Según el perfil del usuario, sus compras realizadas y las campañas existentes, se ofrecen productos complementarios o nuevas versiones (Cross selling).

• Actualización de precios de acuerdo a los resultados de promociones, stocks, etc.

• Actualización y propagación de tipos de interés, tipos de cambio, etc.

Procesos de

Negocio

18

Cumplimiento Normativas

Purchasing forecast

• Soporte a la Auditoría: seguimiento en el cambio de los datos en vez más que los datos cambiados

• Backup de datos transaccionales en tiempo real

• Compras históricas

• Compras recientes o últimas compras

• Soporte al análisis estadísticos o de tendencias para establecer previsiones de compra

Oracle GoldenGateApéndice - Arquitectura detallada

Tecnología

19

Tecnología

GoldenGate - Arquitectura

Route: Datos comprimidos, encriptados para múltiples destinos.

Capture: Los cambios committed son capturados ( puedenser filtrados) según se producen, leyendo el log de transacciones.

Trail files: Almacena y encola los datos para su envío

Delivery: Escribe los datos con integridad

transaccional, transformando los datos

según sea necesario.

Pump: Distribuye los datos para su enrutado a multiples destinos.

20

Database(s)

Origen

Database(s)

Destino

LAN / WAN /

Internet(TCP/IP)

CaptureSource Trail Target Trail

Delivery

Bi-direccional

Source TrailTarget Trail

Delivery Capture

Pump

Pump

GoldenGate – Plataformas heterogéneas

Bases de datos O/S y Plataformas

Capture:

• Oracle

• DB2

• Microsoft SQL Server

• Sybase ASE

• Teradata

• Enscribe

• SQL/MP

• SQL/MX

•Windows 2000, 2003, XP

•Linux

•Sun Solaris

•HP NonStop

•HP-UX

•HP TRU64

•HP OpenVMS

•IBM AIX

21

• SQL/MX

• JMS message queues

• MySQL

•TimesTen

Delivery:

• All listed above, plus:

• HP Neoview, Netezza, Greenplum, and any

ODBC compatible databases

• ETL products

• JMS message queues

• MySQL

•TimesTen

•IBM z/OS

Componentes (Procesos)

• Log based

• VAM based

• Local/Remote Queuing

• Filtering

• Parallel Coordination

• Local/Remote*

• Native database API

• ODBC

• Batched Operations

• Filtering

• Transaction/Operations Grouping

• Parallel Coordination

• Local/Remote*

• Local/Remote

• Filtering

• Queue (Trail) Management

• Process Management (Dynamic)

CAPTURE DELIVERY

PUMP MANAGER

22

On-disk Components

• Filtering

• TCP/IP

• Compression

• Encryption

• Process Management (Dynamic)

• Monitoring and Administration (Lag reports)

• Reporting (Events, Errors, Thresholds)

• Receive/Route requests from UI

• Trail Files

• Checkpoint Files

• Capture, Pump, Delivery

• Data Definition Files

(SOURCEDEFS)

• Utility to generate definitions

• Configuration Files

• Output Files

• Report/Log Files

• Binaries

Oracle GoldenGate - Topologías

UnidireccionalQuery Offloading

Bi-DireccionalLive Standby or

Active-Active for HA

Peer-to-PeerLoad Balancing, Multi-Master

23

Broadcast Data Distribution

Integración/ConsolidaciónData Warehouse

En CascadaData Marts

Oracle GoldenGateApéndice – Capacidades extendidas

Golden Gate

Capacidades extendidas

24

Capacidades extendidas

• Start change data capture on Source Database• Current source Commit Sequence Number (CSN) is 222

GoldenGate Instantiation

Current CSN is 222 CSNs 222

through …

25

Capture PumpCommit Ordered

Source Trail

Commit Ordered

Target Trail

Source

Database Target

Database

• Wait for any open transactions to close

• Use a backup (or export/import) to copy source to target as of a

consistency point• Current source Commit Sequence Number (CSN) is 245

GoldenGate Instantiation

CSNs 222 through …

Consistent as of CSN 245Current CSN is

245

26

Capture PumpCommit Ordered

Source Trail

Commit Ordered

Target Trail

Source

Database Target

Database

Take Backup as of CSN

245

Apply Backup as of CSN

245

• Start delivery at or after given backup CSN (245 in this case)• Current source Commit Sequence Number (CSN) is 356

• Once Delivery is current the source and target are in sync

GoldenGate Instantiation

CSNs 222 through 356

Deliver transactions after CSN 245

Current CSN is 356

Consistent as of CSN 356In Sync!

27

Capture DeliveryPumpCommit Ordered

Source Trail

Commit Ordered

Target Trail

Source

Database Target

Database

Take Backup as of CSN

245

Apply Backup as of CSN

245

• Capture, Pump, and Delivery save positions to a checkpoint file so

they can recover in case of failure

GoldenGate Checkpointing

Begin, TX 1

Insert, TX 1

Begin, TX 2

Update, TX 1

Insert, TX 2

Commit, TX 2

Begin, TX 3

Begin, TX 2

Insert, TX 2

Commit, TX 2

Begin, TX 3

Insert, TX 3

Start of Oldest Open (Uncommitted) Transaction

Capture Checkpoint

28

CaptureCommit Ordered

Source TrailSource

Database

Insert, TX 3

Begin, TX 4

Commit, TX 3

Delete, TX 4

Commit, TX 3

Current Read Position

Current Write

Position

• Capture, Pump, and Delivery save positions to a checkpoint file so

they can recover in case of failure

GoldenGate Checkpointing

Begin, TX 1

Insert, TX 1

Begin, TX 2

Update, TX 1

Insert, TX 2

Commit, TX 2

Begin, TX 3

Begin, TX 2

Insert, TX 2

Commit, TX 2

Begin, TX 3

Insert, TX 3

Begin, TX 2

Insert, TX 2

Commit, TX 2

Start of Oldest Open (Uncommitted) Transaction

Capture Checkpoint

Current Read

Position

Pump Checkpoint

Current Write

Position

29

Capture PumpCommit Ordered

Source Trail

Commit Ordered

Target TrailSource

Database

Insert, TX 3

Begin, TX 4

Commit, TX 3

Delete, TX 4

Commit, TX 3

Current Read Position

Current Write

Position

• Capture, Pump, and Delivery save positions to a checkpoint file so

they can recover in case of failure

GoldenGate Checkpointing

Begin, TX 1

Insert, TX 1

Begin, TX 2

Update, TX 1

Insert, TX 2

Commit, TX 2

Begin, TX 3

Begin, TX 2

Insert, TX 2

Commit, TX 2

Begin, TX 3

Insert, TX 3

Begin, TX 2

Insert, TX 2

Commit, TX 2

Start of Oldest Open (Uncommitted) Transaction

Capture Checkpoint

Current Read

Position

Pump Checkpoint

Current Write

Position

Current Read

Position

Delivery Checkpoint

30

Capture DeliveryPumpCommit Ordered

Source Trail

Commit Ordered

Target TrailSource

Database Target

Database

Insert, TX 3

Begin, TX 4

Commit, TX 3

Delete, TX 4

Commit, TX 3

Current Read Position

Current Write

Position

Oracle GoldenGateApéndice – Otros Productos

Otros productos de

la familia Golden Gate

31

la familia Golden Gate

Oracle GoldenGate VeridataData Comparison without Downtime

• A high-speed, low impact data

comparison solution

• identifies and reports data discrepancies

between heterogeneous databases

• without interrupting their availability

• Benefits:

32

• Benefits:

• Reduce financial/legal risk exposure

• Speed and simplify IT work in comparing

data sources

• No disruption to business systems

• Improved failover to backup systems

• Confident decision-making and reporting

Veridata 3.0 Component Overview

33

• Existing product – Homogeneous Version (Oracle/Tandem)

• Java agent is one executable for all supported databases. Supports

heterogeneous cross database comparisons. (Beta)

• C agent is required for NSK and can be used for Oracle like-to-like

comparisons.

Oracle Management Pack for Oracle GoldenGateEasy Management of Oracle GoldenGate Solutions

• Manages, defines, configures,

and reports on Oracle

GoldenGate components

• Key features:• Centralized management of

34

• Centralized management of GoldenGate modules

• Rich-client and Web-based interfaces

• Alert notifications and integration with 3rd-party monitoring products

• Real-time feedback

• Zero-impact implementation

GoldenGate Director: Architecture Components

Director Server

• Live connections to each GoldenGate instance

• Database central repository

for user and GoldenGate information

Director Client

• GUI for creating custom

35

• GUI for creating custom network views and accessing the services provided by the Director Server

Director Web

• Browser-based UI that enables remote monitoring and control of GoldenGate

Director Administrator

• For configuring the Director Server

Oracle GoldenGateResumen de Golden Gate – Beneficios y Casos de uso

Resumen

36

Resumen

GoldenGate – Principales beneficios aportados

No hay pérdida de datos Integridad transaccional

Mínima parada / Rendimiento 99.99% Uptime

No Intrusivo Muy bajo impacto

Soporte heterogéneo Database, Hardware, OS

37

Muy baja latencia / Tiempo Real Segundos, no batch

Alto Rendimiento / Altos volumenesGrandes volúmenes de datos

Flexibilidad Varias topologías

Decrecimiento del TCO Query offloading

Operación Contínua Continuidad de Negocio

Oracle GoldenGate – Casos de uso

Application

Migration/Upgrade

Share infrastructure

resources

Business Intelligence

Datawarehouse

Dashboards

Reporting

Monitoring

Batch procesing

Query processing

Accounting

Reporting

Marketing

Pricing

Billing

Siebel

ERPs

ITIL processes

Mainframes, Production

environments

38

Zero Downtime Upgrade &

Migration, Data Distribution

Query Offloading , Reduce

MIP consumptionData Synchronization, Data

Replication

Real-time BI, Operational

Reporting

Disaster Recovery, High

Availability

Query offloading Continuous availability Real Time Integration

Monitoring

Contact local Sales Executive for Oracle Golden Gate

Mobile: +34 618 383 474

Iberia Sales Executive - Mauricio L. Gumiel Muñoz

39

Work phone: +34 916 312 641

email: mauricio.gumiel@oracle.com

Address: C/Jose de Echegaray, 6 - 28230 Las Rozas, Madrid

40