View
175
Download
1
Category
Preview:
Citation preview
Engineered Together
Tested Together Certified Together
Deployed Together
Upgraded Together
Managed Together
Supported
Together
Engineered Together
Tested Together Certified Together
Deployed Together
Upgraded Together
Managed Together
Supported
Together
Como Integración de Datos Ayuda a mi Negocio? 5 Retos actuales para Integración de Datos
On-Premise, On Cloud
Data Quality
Any Data, Any Source
Real-Time Analytics
Zero Downtime, Maximum
Performance
Big Data = Big Ventajas
Transactions YOUR Data:
Decisions based on
your data
BIG Data:
Decisions based on all
data relevant to you Machine-Generated
Data
Social Data
Documents
Any Data, Any Source
Any Data, Any Source
Big Data – Mismas Técnicas de Integración
Big Data Transformation
Bulk Data, E-LT
OLTP OLAP Unstructured Legacy
On-Premise, On Cloud
Cloud – Sin Impacto y Sin Barreras
OLTP OLAP Unstructured Legacy
Big Data Transformation
Real-time Replication
Bulk Data, E-LT
Data Quality (Product & Customer Data)
Service-Oriented Architecture, BPM
Data Services, Federation
Cloud Application Foundation
Public
Cloud
Private
Cloud
Disponibilidad Continua – Clave en Negocio
OLTP OLAP Legacy
Oracle GoldenGate
Real-Time Replication
Eliminates planned and unplanned downtime
Bidirectional replication without distance limitation for Active-Active implementation
Supports heterogeneous databases and operating systems
Zero Downtime, Maximum
Performance
Engineered Systems – Sin impacto
• Optimized bulk loads, Leverages Infiniband, Smart Storage
• No data transfer to/from separate ETL server
• Transformations use Exadata optimized SQL
• Native Batch And Real-Time integration capability
• Zero down-time migrations to Exadata
• Bridge for your Enterprise data and Big Data Appliance
• Tightly integrated with Exadata, Exalytics
Real-Time Analytics
ODI and Exadata – Extrema Realidad
A Disruptive Improvement in Performance
A complex branch of the customer’s
tax allocation process runs 5 hrs 11
mins during quarter close
Exadata and ODI (E-LT) combined
is able to execute the process
42X faster (7mins 20 secs) 0
50
100
150
200
250
300
350
ODI on Exadata Conventional ETL
Jo
b e
xe
cu
tio
n t
ime
in
min
ute
s 5hrs 11mins
7min 20sec
42X
IMPROVEMENT
Calidad – Garantía de Eficiencia
Companies Individuals Products Data Quality
In one hour… In one hour… In one year…
• 240 businesses will change addresses
• 150 business telephone numbers will change or be disconnected
• 20 corporations will fail
• 12 new businesses will open their doors
• 5,769 individuals in the US will change jobs
• 2,748 individuals will change address
• 515 individuals will get married
• On average 20% duplicates in product data
• 90% product introductions fail
• Retailers lost 40 billion or 3.5% of total sales lost each year due to item info inefficiencies
Riesgos, Fraude, Logistica
Master data changes at rate of 2% per month
Source: D&B, US Census Bureau, US Department of Health and Human Services, Administrative Office of the US Courts,
Bureau of Labor Statistics, Gartner, A.T Kearney, GMA Invoice Accuracy Study
Compounded 27% per year 104% in three years
Calidad – Garantía de Eficiencia
Data Quality
Riesgos, Fraude, Logistica
Fuente: El Pais Internacional – 25 de Abril de 2013
“Tras varias pesquisa, la Agencia Federal no encontró nada de relevancia en esa sospecha y dejó
morir el caso. “No encontramos ninguna actividad terrorista, ni doméstica ni extranjera”, ha dicho el
FBI. Pero el nombre de Tamerlan Tsarnaev siguió en la lista clasificada del Antiterrorismo
estadounidense. Sin embargo, una lista tan inmensa –de las más de 540.000 entradas en realidad
solo son reales 450.000, ya que en ocasiones el mismo nombre está repetido por estar
deletreado de formas distintas o con pseudónimos- no ofrece la posibilidad de comprobaciones
continuas, por lo que el nombre de Tamerlan cayó en el olvido.”
Multiples
Origenes
Múltiples
Destinos
• Tiempo Real
• Alta Velocidad/Potencia
• Simplicidad Desarrollo
• Heterogeneidad en Fuentes
y/o Destinos
Oracle GoldenGate
Replica de Datos en Tiempo Real
Oracle Data Integrator
Transformación de Datos
Oracle Enterprise Data Quality
Calidad de Datos
Oracle – Integración de Datos Simplicidad y Heterogeneidad en el Movimiento y Transformación de Datos
Oracle Data Integrator
Transformación de Datos
Multiples
Origenes
Múltiples
Destinos
• Tiempo Real
• Alta Velocidad/Potencia
• Simplicidad Desarrollo
• Heterogeneidad en Fuentes
y/o Destinos
Oracle – Integración de Datos Simplicidad y Heterogeneidad en el Movimiento y Transformación de Datos
Oracle Enterprise Data Quality
Calidad de Datos
Oracle GoldenGate
Replica de Datos en Tiempo Real
Replica de información crítica con nulo impacto en rendimiento de los sistemas origen,
enrutado, transformación y envío entre entornos heterogeneos en tiempo real,
asegurando transaccionalidad y fiabilidad de los datos
Oracle GoldenGate Replica de Datos en Tiempo Real
1 Unica Tecnología Solución Múltiples Necesidades
Oracle GoldenGate permite captura con impacto muy bajo, enrutado, transformación, y envío de datos transaccionales entre entornos heterogeneos en tiempo real.
Aspectos diferenciadores:
No intrusivo, bajo impacto, latencia <1 segundo
Abierto, arquitectura modular – Soporta orígenes
y destinos con tecnología heterogénea
Mantiene la integridad transaccional – Fiable
contra interrupciones y caídas de servicio
Rendimiento
Flexible y Extensible
Fiable
Oracle GoldenGate Aspectos Diferenciadores
Oracle GoldenGate – Casos de Uso La Integración en Tiempo Real – aplicaciones para la empresa
• Arquitectura muy flexible
• Implantaciones muy rápidas
• Bajo TCO & ROI muy rápido
Arquitectura Técnica
Database(s) Origen
Database(s) Destino
LAN / WAN / Internet (TCP/IP)
Route: Datos comprimidos, encriptados para múltiples destinos.
Capture: Los cambios committed son capturados ( pueden ser filtrados) según se producen, leyendo el log de transacciones.
Capture
Trail files: Almacena y encola los datos para su envío
Source Trail
Delivery: Escribe los datos con integridad transaccional, transformando los datos según sea necesario.
Target Trail
Delivery
Bi-direccional
Source Trail Target Trail Delivery Capture
Pump
Pump
Pump: Distribuye los datos para su enrutado a multiples destinos.
Topologías Posibles
Unidirectional Query Offloading
Zero-Downtime Migration
Bi-Directional Hot Standby or
Active-Active for HA
Peer-to-Peer Load Balancing
Multi-Master
Broadcast Data Distribution
Integration/Consolidation Data Warehouse
BPM
BAM
CEP
Data Distribution via Messaging
Databases O/S and Platforms
Oracle GoldenGate Capture:
Oracle
DB2 UDB
DB2 v10 for z/OS
Microsoft SQL Server 2008 R1, R2
Sybase ASE, 15.5
Teradata
Enscribe
SQL/MP
SQL/MX
MySQL
JMS message queues
Oracle GoldenGate Delivery:
All listed above, plus:
TimesTen, IBM System I, Netezza & Greenplum
ETL product
Linux
Sun Solaris
Windows 2000, 2003, XP, 2008
HP NonStop
HP-UX
IBM AIX
IBM zSeries, iSeries
zLinux
27
Oracle GoldenGate 11g Supported Platforms
Oracle GoldenGate
Replica de Datos en Tiempo Real
Multiples
Origenes
Múltiples
Destinos
• Tiempo Real
• Alta Velocidad/Potencia
• Simplicidad Desarrollo
• Heterogeneidad en Fuentes
y/o Destinos
Oracle – Integración de Datos Simplicidad y Heterogeneidad en el Movimiento y Transformación de Datos
Oracle Enterprise Data Quality
Calidad de Datos
Oracle Data Integrator
Transformación de Datos
• Capacidad de Manejar Grandes Volumenes de Datos (Millones de Registros)
• Rapidez y Simplicidad de Desarrollo (Componer vs Desarrollar)
• Control en Ejecución
• Facilidad para Optimizar Transformaciones (Cargas Incrementales, …)
• Trabajo en Equipo (Documentación, Entornos, Repositorios compartidos, …)
• No costes adicionales (HW) , ni dependencia de Arquitecturas
Oracle Data Integrator – ODI Premisas de Partida
Diseño Declarativo
Change Data Capture (CDC)
Transformación E-LT
vs. E-T-L
Arquitectura modificable en caliente
Cualquier Data Warehouse
Cualquier Sistema de Planificación
Fuentes OLTP DB
Fuentes de Aplicaciones
Fuentes de Legacy
Modulos de Conocimiento (KMs)
conectables
Oracle Data Integrator – ODI Características
• Grandes Volumenes de Datos
• Rapidez y Simplicidad de Desarrollo
• Control en Ejecución
• Optimizar Transformaciones - CDC
• Trabajo en Equipo
• No costes adicionales (HW)
Oracle Data Integrator – Resultados Objetivos y Premisas de Partida
Oracle GoldenGate
Replica de Datos en Tiempo Real
Oracle Data Integrator
Transformación de Datos
Multiples
Origenes
Múltiples
Destinos
• Tiempo Real
• Alta Velocidad/Potencia
• Simplicidad Desarrollo
• Heterogeneidad en Fuentes
y/o Destinos
Oracle – Integración de Datos Simplicidad y Heterogeneidad en el Movimiento y Transformación de Datos
Oracle Enterprise Data Quality
Calidad de Datos
Los Datos contienen Errores e Inconsistencias
Multiculturalidad Incidencias en Interacción Humana
Polimorfismo – Multiples Fuentes
Impacto en el Negocio de la Calidad de Datos
Con Malos Datos Con Buenos Datos
• Incremento del riesgo, tiempo y coste
de iniciativas
• Efectos Intangibles peligrosos: Mala
Reputación, Perdida de Cuota
Mercado.
• Gastos adicionales para negocio:
Envios duplicados, Facturas
incorrectas, Pedidos duplicados, …
• Mejora en Beneficio:
• En sistemas Existentes
• Provoca extensión de Negocio
• Incrementa Agilidad
• Incrementa Eficiencia
• Incrementa Satisfacción Cliente
• Incrementa Escalabilidad
“Solo el 30% de implantaciones de
BI/DW son completamente exitosas.
Las dos razones: Limitación
Presupuesto y Calidad del Dato”
“Integración de Datos y Calidad de
Datos son prerequisitos esenciales para
la implementación de ERP´s, SCM´s,
MDM`s.”
“La primera razón de fallo en
los proyectos de CRM es la
Calidad de los Datos”
6 Dimensiones de la Calidad de Datos
•Que datos son incompletos o no utilizables? Completitud
•Que datos están guardados en formatos no estandarizados? Conformidad
•Que Datos dan información contradictoria? Consistencia
•Que datos están desactualizados? Exactitud
•Que Datos o atributos están repetidos? Duplicidad
•Que información falta o no está referenciada? Integridad
Propuesta Calidad de Datos
Oracle Enterprise Data Quality Fuentes Datos
Databases
Cobol copybooks
TXT files
Registros
Descartados
Destinos
Oracle Data Quality for Data Integrator
Global Data Router
Transformer Parser Postal Matcher
Relationship Linker
Enterprise Data Quality DataWarehouse
Proceso de Control
CALIDAD de DATOS
• PERFILADO
• REPARACIÓN
• CHEQUEO
• ALERTA
• INFORMACIÓN
43 | © 2011 Oracle Corporation
Capacidades Únicas
Oracle Enterprise Data Quality
Solución Integrada para Calidad de
Datos
Arquitectura
Moderna
Diseñado como
Plataforma
• Perfecta integración de todas las capacidades de Calida de Datos
(perfilado, reparación, control, automatización)
• Diseñada para Usuarios de Negocio
• Integra capacidades de colaboración
• Muy facil de configurar e integrar como ‘DQ Services’
• Arquitectura abierta y moderna (Java, SOA, etc.)
• Soporte Multi proyecto y Multi usuario
• Permite Innovación y Reutilización (reglas extensibles y reutilizables)
• Permite una unica solución para Negocio e IT
• Permite involucrar 3os de forma desacoplada en el proceso de
calidad
Resumen Ventajas Calidad Predictiva de Datos
Oracle Enterprise Data Quality
IT Manager
• Asegura SLA´s
• Aumenta Confianza en IT
• Mejora la capacidad de
atender con garantía las
necesidades de Usuarios de
Negocio
Usuario Negocio
• Mejores Decisiones
• Prevención Fraude
• Venta Cruzada
• Mejora Visión de Empresa
• Reduce Costes
• Identifica nuevas opp de
Negocio
44
Join the Data Integration Community
Twitter twitter.com/ORCLGoldenGate
Facebook facebook.com/OracleDataIntegration
Oracle’s Data GoldenGate YouTube channel youtube.com/oraclegoldengate
Oracle.com/goto/dataintegration
LinkedIn “Oracle Data Integration”
Oracle’s Data Integration blog blogs.oracle.com/dataintegration
Oracle.com/goto/dataintegration
Recommended