Integración de Datos Manejando Datos para mejorar el Negocio

Abril-2013

Engineered Together

Tested Together Certified Together

Deployed Together

Upgraded Together

Managed Together

Supported

Together

Engineered Together

Tested Together Certified Together

Deployed Together

Upgraded Together

Managed Together

Supported

Together

Como Integración de Datos Ayuda a mi Negocio? 5 Retos actuales para Integración de Datos

On-Premise, On Cloud

Data Quality

Any Data, Any Source

Real-Time Analytics

Zero Downtime, Maximum

Performance

Big Data = Big Ventajas

Transactions YOUR Data:

Decisions based on

your data

BIG Data:

Decisions based on all

data relevant to you Machine-Generated

Data

Social Data

Documents

Any Data, Any Source

Any Data, Any Source

Big Data – Mismas Técnicas de Integración

Big Data Transformation

Bulk Data, E-LT

OLTP OLAP Unstructured Legacy

On-Premise, On Cloud

Cloud – Sin Impacto y Sin Barreras

OLTP OLAP Unstructured Legacy

Big Data Transformation

Real-time Replication

Bulk Data, E-LT

Data Quality (Product & Customer Data)

Service-Oriented Architecture, BPM

Data Services, Federation

Cloud Application Foundation

Public

Cloud

Private

Cloud

Disponibilidad Continua – Clave en Negocio

OLTP OLAP Legacy

Oracle GoldenGate

Real-Time Replication

Eliminates planned and unplanned downtime

Bidirectional replication without distance limitation for Active-Active implementation

Supports heterogeneous databases and operating systems

Zero Downtime, Maximum

Performance

Engineered Systems – Sin impacto

• Optimized bulk loads, Leverages Infiniband, Smart Storage

• No data transfer to/from separate ETL server

• Transformations use Exadata optimized SQL

• Native Batch And Real-Time integration capability

• Zero down-time migrations to Exadata

• Bridge for your Enterprise data and Big Data Appliance

• Tightly integrated with Exadata, Exalytics

Real-Time Analytics

ODI and Exadata – Extrema Realidad

A Disruptive Improvement in Performance

A complex branch of the customer’s

tax allocation process runs 5 hrs 11

mins during quarter close

Exadata and ODI (E-LT) combined

is able to execute the process

42X faster (7mins 20 secs) 0

50

100

150

200

250

300

350

ODI on Exadata Conventional ETL

Jo

b e

xe

cu

tio

n t

ime

in

min

ute

s 5hrs 11mins

7min 20sec

42X

IMPROVEMENT

Calidad – Garantía de Eficiencia

Companies Individuals Products Data Quality

In one hour… In one hour… In one year…

• 240 businesses will change addresses

• 150 business telephone numbers will change or be disconnected

• 20 corporations will fail

• 12 new businesses will open their doors

• 5,769 individuals in the US will change jobs

• 2,748 individuals will change address

• 515 individuals will get married

• On average 20% duplicates in product data

• 90% product introductions fail

• Retailers lost 40 billion or 3.5% of total sales lost each year due to item info inefficiencies

Riesgos, Fraude, Logistica

Master data changes at rate of 2% per month

Source: D&B, US Census Bureau, US Department of Health and Human Services, Administrative Office of the US Courts,

Bureau of Labor Statistics, Gartner, A.T Kearney, GMA Invoice Accuracy Study

Compounded 27% per year 104% in three years

Calidad – Garantía de Eficiencia

Data Quality

Riesgos, Fraude, Logistica

Fuente: El Pais Internacional – 25 de Abril de 2013

“Tras varias pesquisa, la Agencia Federal no encontró nada de relevancia en esa sospecha y dejó

morir el caso. “No encontramos ninguna actividad terrorista, ni doméstica ni extranjera”, ha dicho el

FBI. Pero el nombre de Tamerlan Tsarnaev siguió en la lista clasificada del Antiterrorismo

estadounidense. Sin embargo, una lista tan inmensa –de las más de 540.000 entradas en realidad

solo son reales 450.000, ya que en ocasiones el mismo nombre está repetido por estar

deletreado de formas distintas o con pseudónimos- no ofrece la posibilidad de comprobaciones

continuas, por lo que el nombre de Tamerlan cayó en el olvido.”

Multiples

Origenes

Múltiples

Destinos

• Tiempo Real

• Alta Velocidad/Potencia

• Simplicidad Desarrollo

• Heterogeneidad en Fuentes

y/o Destinos

Oracle GoldenGate

Replica de Datos en Tiempo Real

Oracle Data Integrator

Transformación de Datos

Oracle Enterprise Data Quality

Calidad de Datos

Oracle – Integración de Datos Simplicidad y Heterogeneidad en el Movimiento y Transformación de Datos

Oracle Data Integrator

Transformación de Datos

Multiples

Origenes

Múltiples

Destinos

• Tiempo Real

• Alta Velocidad/Potencia

• Simplicidad Desarrollo

• Heterogeneidad en Fuentes

y/o Destinos

Oracle – Integración de Datos Simplicidad y Heterogeneidad en el Movimiento y Transformación de Datos

Oracle Enterprise Data Quality

Calidad de Datos

Oracle GoldenGate

Replica de Datos en Tiempo Real

Replica de información crítica con nulo impacto en rendimiento de los sistemas origen,

enrutado, transformación y envío entre entornos heterogeneos en tiempo real,

asegurando transaccionalidad y fiabilidad de los datos

Oracle GoldenGate Replica de Datos en Tiempo Real

1 Unica Tecnología Solución Múltiples Necesidades

Oracle GoldenGate permite captura con impacto muy bajo, enrutado, transformación, y envío de datos transaccionales entre entornos heterogeneos en tiempo real.

Aspectos diferenciadores:

No intrusivo, bajo impacto, latencia <1 segundo

Abierto, arquitectura modular – Soporta orígenes

y destinos con tecnología heterogénea

Mantiene la integridad transaccional – Fiable

contra interrupciones y caídas de servicio

Rendimiento

Flexible y Extensible

Fiable

Oracle GoldenGate Aspectos Diferenciadores

Oracle GoldenGate – Casos de Uso La Integración en Tiempo Real – aplicaciones para la empresa

• Arquitectura muy flexible

• Implantaciones muy rápidas

• Bajo TCO & ROI muy rápido

Arquitectura Técnica

Database(s) Origen

Database(s) Destino

LAN / WAN / Internet (TCP/IP)

Route: Datos comprimidos, encriptados para múltiples destinos.

Capture: Los cambios committed son capturados ( pueden ser filtrados) según se producen, leyendo el log de transacciones.

Capture

Trail files: Almacena y encola los datos para su envío

Source Trail

Delivery: Escribe los datos con integridad transaccional, transformando los datos según sea necesario.

Target Trail

Delivery

Bi-direccional

Source Trail Target Trail Delivery Capture

Pump

Pump

Pump: Distribuye los datos para su enrutado a multiples destinos.

Topologías Posibles

Unidirectional Query Offloading

Zero-Downtime Migration

Bi-Directional Hot Standby or

Active-Active for HA

Peer-to-Peer Load Balancing

Multi-Master

Broadcast Data Distribution

Integration/Consolidation Data Warehouse

BPM

BAM

CEP

Data Distribution via Messaging

Databases O/S and Platforms

Oracle GoldenGate Capture:

Oracle

DB2 UDB

DB2 v10 for z/OS

Microsoft SQL Server 2008 R1, R2

Sybase ASE, 15.5

Teradata

Enscribe

SQL/MP

SQL/MX

MySQL

JMS message queues

Oracle GoldenGate Delivery:

All listed above, plus:

TimesTen, IBM System I, Netezza & Greenplum

ETL product

Linux

Sun Solaris

Windows 2000, 2003, XP, 2008

HP NonStop

HP-UX

IBM AIX

IBM zSeries, iSeries

zLinux

27

Oracle GoldenGate 11g Supported Platforms

Oracle GoldenGate

Replica de Datos en Tiempo Real

Multiples

Origenes

Múltiples

Destinos

• Tiempo Real

• Alta Velocidad/Potencia

• Simplicidad Desarrollo

• Heterogeneidad en Fuentes

y/o Destinos

Oracle – Integración de Datos Simplicidad y Heterogeneidad en el Movimiento y Transformación de Datos

Oracle Enterprise Data Quality

Calidad de Datos

Oracle Data Integrator

Transformación de Datos

• Capacidad de Manejar Grandes Volumenes de Datos (Millones de Registros)

• Rapidez y Simplicidad de Desarrollo (Componer vs Desarrollar)

• Control en Ejecución

• Facilidad para Optimizar Transformaciones (Cargas Incrementales, …)

• Trabajo en Equipo (Documentación, Entornos, Repositorios compartidos, …)

• No costes adicionales (HW) , ni dependencia de Arquitecturas

Oracle Data Integrator – ODI Premisas de Partida

Diseño Declarativo

Change Data Capture (CDC)

Transformación E-LT

vs. E-T-L

Arquitectura modificable en caliente

Cualquier Data Warehouse

Cualquier Sistema de Planificación

Fuentes OLTP DB

Fuentes de Aplicaciones

Fuentes de Legacy

Modulos de Conocimiento (KMs)

conectables

Oracle Data Integrator – ODI Características

• Grandes Volumenes de Datos

• Rapidez y Simplicidad de Desarrollo

• Control en Ejecución

• Optimizar Transformaciones - CDC

• Trabajo en Equipo

• No costes adicionales (HW)

Oracle Data Integrator – Resultados Objetivos y Premisas de Partida

Oracle GoldenGate

Replica de Datos en Tiempo Real

Oracle Data Integrator

Transformación de Datos

Multiples

Origenes

Múltiples

Destinos

• Tiempo Real

• Alta Velocidad/Potencia

• Simplicidad Desarrollo

• Heterogeneidad en Fuentes

y/o Destinos

Oracle – Integración de Datos Simplicidad y Heterogeneidad en el Movimiento y Transformación de Datos

Oracle Enterprise Data Quality

Calidad de Datos

Los Datos contienen Errores e Inconsistencias

Multiculturalidad Incidencias en Interacción Humana

Polimorfismo – Multiples Fuentes

Impacto en el Negocio de la Calidad de Datos

Con Malos Datos Con Buenos Datos

• Incremento del riesgo, tiempo y coste

de iniciativas

• Efectos Intangibles peligrosos: Mala

Reputación, Perdida de Cuota

Mercado.

• Gastos adicionales para negocio:

Envios duplicados, Facturas

incorrectas, Pedidos duplicados, …

• Mejora en Beneficio:

• En sistemas Existentes

• Provoca extensión de Negocio

• Incrementa Agilidad

• Incrementa Eficiencia

• Incrementa Satisfacción Cliente

• Incrementa Escalabilidad

“Solo el 30% de implantaciones de

BI/DW son completamente exitosas.

Las dos razones: Limitación

Presupuesto y Calidad del Dato”

“Integración de Datos y Calidad de

Datos son prerequisitos esenciales para

la implementación de ERP´s, SCM´s,

MDM`s.”

“La primera razón de fallo en

los proyectos de CRM es la

Calidad de los Datos”

6 Dimensiones de la Calidad de Datos

•Que datos son incompletos o no utilizables? Completitud

•Que datos están guardados en formatos no estandarizados? Conformidad

•Que Datos dan información contradictoria? Consistencia

•Que datos están desactualizados? Exactitud

•Que Datos o atributos están repetidos? Duplicidad

•Que información falta o no está referenciada? Integridad

Propuesta Calidad de Datos

Oracle Enterprise Data Quality Fuentes Datos

Databases

Cobol copybooks

TXT files

Registros

Descartados

Destinos

Oracle Data Quality for Data Integrator

Global Data Router

Transformer Parser Postal Matcher

Relationship Linker

Enterprise Data Quality DataWarehouse

Proceso de Control

CALIDAD de DATOS

• PERFILADO

• REPARACIÓN

• CHEQUEO

• ALERTA

• INFORMACIÓN

43 | © 2011 Oracle Corporation

Capacidades Únicas

Oracle Enterprise Data Quality

Solución Integrada para Calidad de

Datos

Arquitectura

Moderna

Diseñado como

Plataforma

• Perfecta integración de todas las capacidades de Calida de Datos

(perfilado, reparación, control, automatización)

• Diseñada para Usuarios de Negocio

• Integra capacidades de colaboración

• Muy facil de configurar e integrar como ‘DQ Services’

• Arquitectura abierta y moderna (Java, SOA, etc.)

• Soporte Multi proyecto y Multi usuario

• Permite Innovación y Reutilización (reglas extensibles y reutilizables)

• Permite una unica solución para Negocio e IT

• Permite involucrar 3os de forma desacoplada en el proceso de

calidad

Resumen Ventajas Calidad Predictiva de Datos

Oracle Enterprise Data Quality

IT Manager

• Asegura SLA´s

• Aumenta Confianza en IT

• Mejora la capacidad de

atender con garantía las

necesidades de Usuarios de

Negocio

Usuario Negocio

• Mejores Decisiones

• Prevención Fraude

• Venta Cruzada

• Mejora Visión de Empresa

• Reduce Costes

• Identifica nuevas opp de

Negocio

44

Join the Data Integration Community

Twitter twitter.com/ORCLGoldenGate

Facebook facebook.com/OracleDataIntegration

Oracle’s Data GoldenGate YouTube channel youtube.com/oraclegoldengate

Oracle.com/goto/dataintegration

LinkedIn “Oracle Data Integration”

Oracle’s Data Integration blog blogs.oracle.com/dataintegration

Oracle.com/goto/dataintegration