Upload
others
View
55
Download
0
Embed Size (px)
Citation preview
Copyright © 2012, Oracle and/or its affiliates. All rights reserved. Confidential – Oracle Restricted 1
Oracle数据集成 应用场景与案例分享
苏桦
Oracle数据集成方案事业部
Copyright © 2012, Oracle and/or its affiliates. All rights reserved. Confidential – Oracle Restricted 2
议程
Oracle数据集成解决产品简介
Oracle数据集成应用场景与案例
Copyright © 2012, Oracle and/or its affiliates. All rights reserved. Confidential – Oracle Restricted 3
Oracle数据集成解决方案总览 在整个企业中持续访问准确的实时数据
Oracle Enterprise Data Quality
MDM 管理软件
SOA平台 商业智能 活动监控 自定义
应用程序
Oracle GoldenGate
SOA 抽象层 服务总线 流程管理 数据服务
Oracle Data Integrator
数据 集成/转换
OLTP系统 Flat Files 数据仓库/ 数据集市
OLAP 多维数据集
Web 2.0 Web和事件服务 SOA
存储
数据联邦
全面的数据集成解决方案
Oracle 管理软件
实时 数据同步
数据 质量管理
Copyright © 2012, Oracle and/or its affiliates. All rights reserved. Confidential – Oracle Restricted 4
双向
捕获
捕获:通过读取事务日志,在事务发生时捕获(也可过滤)提交的事务。任何非实际事务均不被复制到目标,保证不传播错误。
队列
队列:准备数据,使数据排入队列以备路由。
传输
传输:分发数据以便路由到目标,可实现一次捕捉多次投递。
交付
交付:保证事务数据完整,根据需要转换数据。
源Oracle和 非Oracle 数据库
目标Oracle和 非Oracle 数据库
队列
路由:压缩、加密数据以便路由到目标,最小化的带宽占用。
LAN/WAN Internet
TCP/IP
GoldenGate 实时数据同步
Copyright © 2012, Oracle and/or its affiliates. All rights reserved. Confidential – Oracle Restricted 5
GoldenGate关键特征 实时、跨异构环境和保障事务完整性的数据同步
跨异构环境,对系统负载影响很低,对交易数据做实时抓取、路由、转换和传递
和其他产品关键差异点
非侵入式、低影响和秒级的延迟
开放和模块化的架构 – 支持异构数据源和目标
保持交易事务的完整性 – 对中断和失败容忍度高
性能
弹性、可扩展
可靠
Copyright © 2012, Oracle and/or its affiliates. All rights reserved. Confidential – Oracle Restricted 6
GoldenGate异构环境支持 支持所有主流平台,OS,RDBMS
Oracle GoldenGate Capture:
• Oracle
• DB2
• DB2 for v10 on z/OS
• DB2 on iSeries (AS/400)
• Microsoft SQL Server
• Sybase ASE
• Teradata
• SQL/MP
• SQL/MX
• MySQL
• JMS message queues
• Oracle Apps(E-Business Suite, JD Edwards, Peoplesoft)
Oracle GoldenGate Delivery:
• All listed in Capture, plus:
• TimesTen, IBM System I
• Netezza, Greenplum, & HP Neoview
• ETL products
OS & Platforms
• Linux
• Sun Solaris
• Windows 2000, 2003, XP
• HP NonStop
• HP-UX
• IBM AIX
• IBM z Series
• IBM iSeries (AS/400)
• zLinux
Copyright © 2012, Oracle and/or its affiliates. All rights reserved. Confidential – Oracle Restricted 7
• 各种故障的解决方法
• GoldeGate的故障
进程故障 -> 进程自动重启
Trail文件故障 -> Checkpoint
• GoldenGate以外的故障
服务器/DB/网络的故障 -> Checkpoint
Trail Trail Replicat 目标数据库
Network (TCP/IP)
Collector Extract (Capture)
Extract (Data Pump)
Checkpoint
源数据库
自动重启 自动重启
Checkpoint Checkpoint
GoldenGate事务完整性保障机制
Copyright © 2012, Oracle and/or its affiliates. All rights reserved. Confidential – Oracle Restricted 8
传统的 ETL 架构
Extract Load Transform
新一代的ELT架构
“ELT” Load Extract
Transform Transform
传统的ETL: 单独的ETL 服务器
• 私有的 ETL 服务器
• 性能差
• 需要购买单独的硬件服务器
• IBM & Informatica采用这种方式
ODI: 不需要单独的硬件服务器
• 费用低: 充分利用计算资源 & 有效分发工作负载
• 高效: 有效利用数据库的优化技术
• 速度快: 调用数据库的内部接口,如批量加载
• 高扩展: 可以在源端或者目的端加强计算能力,有效分发负载
优势
• 优化的效率和可扩展性
• 充分利用现有硬件资源
• 管理简单,费用低
Oracle Data Integrator 新一代的ELT架构
Copyright © 2012, Oracle and/or its affiliates. All rights reserved. Confidential – Oracle Restricted 9
传统ETL工具: 主要基于C++
– 过时的重量级体系架构
– SOA是系统的附加– 不是一体集成的
– 对Java的支持只是一个 “wrapper” – 不是内在的
ODI: 轻量级的 & 100% Java实现
– 轻量级的JAVA运行引擎
<36MB memory, 在任何支持JAVA的平台上
– 可以通过Web Service访问数据流程
开箱即用的数据访问服务,易于测试发布
将服务发布到UDDI (Service Registry)
– 数据清洗转化服务
可以部署成基于SQL的转化(结构化的数据源)
或者基于 XSL-T的转化(非结构化的数据源)
– 非常容易的实现SOA集成
在ESB中调用数据流
通过SOA调用工作流来进行错误处理
作为服务嵌入到Oracle SOA套件中,实现全面整合
ODI Agent Data Flow Conductor
Sources
CRM
Legacy
ERP
Custom Database
Files / XML
ESB
Targets
Custom DB
Apps
Data Warehouse
Files / XML
ESB
Staging
Any DB
Data
Data Access Service
Batch Data Service
Transformation
Service
SOA Clients Business Intelligence | Web 2.0 Mashups etc.
ODI 内在的SOA实现
Copyright © 2012, Oracle and/or its affiliates. All rights reserved. Confidential – Oracle Restricted 10
Journalize
Read from CDC Source
Load
From Sources to Staging
Check
Constraints before Load
Integrate
Transform and Move to Targets
Service
Expose Data and Transformation
Services
Source
Engineer Metadata
充分利用数据源、数据目标的优化功能: Native SQL; Native Functions; Native Loads; Native Journaling / CDC
针对企业的最佳实践可以对其进行优化 易于管理 性价比好
Journalize
Load
Check
Integrate Services
CDC
Sources
Staging Tables
Error Tables
Target Tables
SAP/R3
Siebel
Log Miner
DB2 Journals
SQL Server Triggers
Oracle DBLink
DB2 Exp/Imp
JMS Queues Check MS
Excel
Check Sybase
Oracle SQL*Loader
TPump/ Multiload
Type II SCD
Oracle Merge
Siebel EIM Schema
Oracle Web Services
DB2 Web Services
知识模块示例
好处
ODI 可热插拔的知识模块 组件化、可灵活扩展
封装底层技术实现 广泛支持结构化、半结构化、非结构化数据
Copyright © 2012, Oracle and/or its affiliates. All rights reserved. Confidential – Oracle Restricted 11
解决方案
• 分析散布在多个应用系统的同类数据
• 匹配业务逻辑上“相同”的记录
• 标准化数据格式,修复错误数据
• 缺失信息互补,合并生成“最佳”记录
• 发现和剔除重复记录
优势
• 在数据集成过程中加入数据质量管理,持续改善数
据质量,避免传播“垃圾”数据
• 丰富并不断扩展的规则库,基于先进的语义技术,
支持自定义规则
• 支持实时和批量处理
Oracle Data Integrator
目标
源
ETL/E-LT 流程
分析、清理、标准化、匹配
ODI + EDQ:集成并改善数据质量
Copyright © 2012, Oracle and/or its affiliates. All rights reserved. Confidential – Oracle Restricted 12
议程
Oracle数据集成解决产品简介
Oracle数据集成应用场景与案例
Copyright © 2012, Oracle and/or its affiliates. All rights reserved. Confidential – Oracle Restricted 13
场景一:数据库容灾/应急 低成本、低风险、高可用
主应用 灾备应用
主数据库 灾备数据库
实时增量数据复制
灾备接管期间反向数据复制
产品: • GoldenGate
方案特点: • 支持多种数据库
• 低延迟(亚秒级RPO)、低带宽要求,适合远程容灾
• 灾备端Active,实现快速接管(最小化RTO),消除切换风险
• 灾备端可灵活选择硬件、OS、数据库版本,支持利旧
• 支持部分核心数据应急、逻辑一备多、误删除保护
场景扩展: • 灾备库用于查询分载 • 双活数据中心
Copyright © 2012, Oracle and/or its affiliates. All rights reserved. Confidential – Oracle Restricted 14
案例:XX政府机关异地容灾
远距离容灾 – 2000KM
低带宽 – 2Mbps × 2
低延时 – 3秒
可随时接管的双业务中心 – 主备中心每4
个月互换一次
快速业务切换 – 业务切换过程为分钟级
Oracle 9i
RAC
Oracle 9i
RAC
Oracle 9i
RAC
决策支持库
GoldenGate单向复制
GoldenGate单向复制
H2000生产库
Oracle 9i
全国各地41个口岸H2000应用
GoldenGate双向复制
广州北京
H2000生产库
决策支持库
网络
Copyright © 2012, Oracle and/or its affiliates. All rights reserved. Confidential – Oracle Restricted 15
案例:XX移动电子渠道和BOSS系统应急
项目背景和数据规模
为配合春节保障工作以及满足未来业务连续性的需求,对BOSS核心系统及接入的网上营业厅、短信营业厅、自助终端、空中充值系统实施应急;
单个数据库平均每天日志增量300GB,高峰期单个数据库交易吞吐量超过2万笔/秒
项目实施成果
高峰期生产系统数据可在10秒内复制到应急库,以最低的代价获得接近“两段式事务提交”才具有的同步效果;
投入使用以来,在系统割接保障、故障应急方面发挥了重要作用,共启用应急系统8次,应急切换成功率100%,切换时间均小于10分钟;
批量数据查询、统计等非关健业务转移至应急数据库,有效减轻生产端负载压力,分担生产系统20%的压力
对于BOSS系统:目前采用1台IBM p595(40C)作为应急端的数据库服务器,
计划扩容至2台p595,采用RAC方式
对于网厅系统:采用两个24C的分区作为数据库服务器(IBM p595),两端
系统均采用DB2
对于短信、空中充值系统:采用2个22C的分区作为数据库服务器(IBM
p595),ORACLE RAC方式
对于自助终端系统:两端系统均为Solaris平台,均为Oracle数据库的RAC
Copyright © 2012, Oracle and/or its affiliates. All rights reserved. Confidential – Oracle Restricted 16
场景二:系统迁移/升级/维护 最小化停机时间
应用
数据初始化和增量同步
反向数据同步,保障失败回退
产品: • GoldenGate
方案特点: • 业务零中断或近似零中断
• 广泛适用于各种系统迁移/升级/维护需求
• 支持分段迁移
• 支持数据转换/映射
• 反向同步便于失败回退,降低风险
• 基于GoldenGate Veridata实现数据比对
场景扩展: • 旧库用于应急/查询分载
切换
Veridata数据比对
Copyright © 2012, Oracle and/or its affiliates. All rights reserved. Confidential – Oracle Restricted 17
案例:第一资讯数据库升级迁移
解决方案 • 使用 Oracle GoldenGate 实现 Oracle 8i
到 Oracle 10g 的升级、从 HP/UX 到 AIX 的操作系统迁移
• 历时 3 个多月的分段迁移方法
• 两个环境在 1 个月的时间内采用主动-主动配置同时联机
投资回报 消除了 Oracle Database 升级和操作系统
迁移期间的停机
改善基础架构的同时不会中断商户的业务运营
通过分段迁移将风险降至最低
业务挑战 • 网上订单和电话订单的商户服务基础架构需要从 Oracle 8i 升级到
Oracle 10g,同时迁移操作系统
• 为了支持商户的支付处理,不能容忍停机
Copyright © 2012, Oracle and/or its affiliates. All rights reserved. Confidential – Oracle Restricted 18
挑战 解决方案
• 在接近零停机的情况下按计划实现系统迁移。
• 尽可能减少业务中断,并在公司向企业和消费者提供高速和新一代电信服务的过程中杜绝业务中断带来的不利影响。
• 将停机时间减少 90%。
• 在将 HP-Tru64 迁移至 Oracle Linux 系统的过程中,在每分钟 40000 个事务和 2,000 并发会话的环境下保持系统可用性。
• 避免预计系统停机时间超过 20 小时,同时保证应有的灾难恢复能力。
案例:英国电信 将停机时间减少 90%
Copyright © 2012, Oracle and/or its affiliates. All rights reserved. Confidential – Oracle Restricted 19
场景三:查询分载/集中查询 有效提高生产数据库性能
产品: • GoldenGate
方案特点: • 实时数据复制,支持查询/只
读操作
• 降低/剥离OLTP应用后台数据库的查询负载,提高数据库性能
• 支持异构环境,以低成本、开放式平台分担昂贵生产系统或遗留系统的压力
• 可以集中/合并多个应用的数据,从而实现统一查询/报表
事务操作
只读操作
OLTP应用
实时增量数据复制
集中查询/报表应用
Copyright © 2012, Oracle and/or its affiliates. All rights reserved. Confidential – Oracle Restricted 20
来自业务的挑战:
在系统升级和迁移期间确保机票销售引擎(ATSE)系统的连续可用性
优化系统性能来应对业务的增长和扩张,同时通过改变系统平台来减少拥有成本
实现在 OLTP (“bookers”)系统和查询数据库 (“lookers”)
之间低延迟的交换数据
GoldenGate 解决方案:
实现迁移和升级ATSE期间数据库的零宕机
Database数量 的递增要确保高可用性,最好的性能和低成本
在低成本平台上为“lookers”系统的查询提供实时数据集成
结果:
减少了80%的拥有成本-节省了数百万美元
更高的客户满意度-提高了响应时间和可靠性
在Linux之上有156 个MySQL 数据库
Database 数目的增加提高了性能和无限的可扩展性
Schedule &
Availability Updates Fare & Rule Updates
Oracle Databases
“Lookups”
GoldenGate 的交易处理量达到800,000 /小时, 1.6 TB/天
机票销售 Schedule &
Availability Changes
账务和计费
案例:SabreHoldings
Copyright © 2012, Oracle and/or its affiliates. All rights reserved. Confidential – Oracle Restricted 21
场景四:双活/多主数据中心
中心A 应用 中心B 应用
双向数据复制,冲突侦测处理
产品: • GoldenGate
方案特点: • 亚秒级延迟、低带宽要求、
无距离限制的双向数据复制
• 分布式计算提高性能
• 任一中心计划/非计划停机时,保障业务的连续可用性
• 支持广泛异构环境
• 尽可能避免数据冲突和及时自动处理冲突是实现双活的关键:GoldenGate提供冲突侦测处理机制,发现和记录数据冲突,按照设定规则自动处理冲突 中心A 数据库 中心B 数据库
Copyright © 2012, Oracle and/or its affiliates. All rights reserved. Confidential – Oracle Restricted 22
案例:RIM 制造系统多主数据中心
• 在分布于全球的 5 个数据中心之间进行多主数据复制
• 实现具有冲突管理、无距离限制的完全双向的数据移动
• 确保全球制造/维修服务的全天候可用性
• 在全球范围同步设备制造信息
• 在不同的地区间共享新产品测试信息以支持全球制造
Copyright © 2012, Oracle and/or its affiliates. All rights reserved. Confidential – Oracle Restricted 23
RIM 制造系统QA分载
• 使用GoldenGate的“ALO”模式从灾备数据库上分流QA报表
Copyright © 2012, Oracle and/or its affiliates. All rights reserved. Confidential – Oracle Restricted 24
RIM 中心2迁移到SuperDome
• 跨操作系统从单节点迁移到具有自动存储管理功能的双节点 RAC
Copyright © 2012, Oracle and/or its affiliates. All rights reserved. Confidential – Oracle Restricted 25
RIM 运营报表分载到Exadata
• 实时从生产数据库集中到 Exadata,用于生成报表
Copyright © 2012, Oracle and/or its affiliates. All rights reserved. Confidential – Oracle Restricted 26
产品:
• GoldenGate
• ODI
• EDQ 解决方案:
• 提高业务分析能力
• 为决策提供实时数据
• 全天候业务运营,消除批处理时间窗口
• 分析和改善数据质量 收益: • 从OLTP系统获取最新的实时数据,更
好运营于市场决策 • 提供实时数据,不需要批处理窗口 • 对OLTP的资源和性能影响最小 • 高效率的数据移动和转化 • 操作性和分析性BI同时进行
场景五:实时数据仓库/BI
Copyright © 2012, Oracle and/or its affiliates. All rights reserved. Confidential – Oracle Restricted 27
• 使用复杂的适配器在 OLTP 系统上进行侵入式捕获
• 依赖批处理窗口 • 在昂贵的中间层服务器上通过 ETL 引擎进
行转换 • 通过在夜间/白天进行大批处理,将数据
批量加载到数据仓库
• 从运营系统连续传送 • 最大化源和数据仓库的可用性 • 非侵入式数据捕获 • 瘦中间层,在数据库平台(目标)上执行
转换 • 白天进行小批量处理或夜间进行大批量处
理
Oracle GoldenGate + ODI
暂存
少量
查找 数据
加载
提取
查找 数据
转换 转换 批量
GG
+ O
DI
GG
+ O
DI
异构
传统 ETL + CDC
ODS和企业数据仓库的最佳实时集成解决方案
Copyright © 2012, Oracle and/or its affiliates. All rights reserved. Confidential – Oracle Restricted 28
解决方案:
– 三个核心业务系统(CRM, Billing, 服务开通)之间数据同步
– 核心业务系统向ODS-A同步数据用于实时报表和统一客户视图
– 核心业务系统向ODS-D同步数据用于EDW
的数据转换和清洗
– 核心业务系统向服务监控管理同步数据用于服务监管
– 服务开通和资源管理之间数据同步
优势:
– 核心业务系统快速稳定的数据交互为6000万用户的提供可靠服务
– 通过ODS系统有效的降低了对业务系统的报表/批处理的压力
– ODS-A上形成有效的统一客户视图对客户行为分析和营销决策
– ODS-D获得实时数据为EDW提供数据源消
除了对核心业务系统的数据批处理窗口时间的要求
– 服务质量监控通过获得核心业务系统的数据可以有效地监控客户服务的各个环节
服务开通 客户关系管理 Service Level
Management
ODS-A
账务
Query & Reporting
GZ SZ
DG
FouSan
GZ SZ
DG
FouSan
GZ SZ
DG
FouSan
ODS-D
Resource
management
案例:XX电信MBOSS-ODS集成
Copyright © 2012, Oracle and/or its affiliates. All rights reserved. Confidential – Oracle Restricted 29 29
Oracle 10g
Linux
Enterprise
Data
Warehouse
Oracle 9i Oracle 10g
Linux AIX
业务挑战: • 电子商务系统在数据库&平台迁移期间宕机时间最短
• 通过减少数据仓库系统的数据获得延迟时间来提高商业智能的能力
• 通过统一客户视图更好地理解客户的订购习惯使市场活动更加有针对性来获得更大的业务
• 售货系统的报表分载
GoldenGate & Oracle Data Integrator解决方案:
• 2个关键业务迁移期间的零宕机时间
• 通过实时数据集成实现了操作型EDW
• 通过负载均衡实现高可用性
• 实时报表
“Accessing the data in real time using GoldenGate
we can immediately see if we’re profitable and if our
business processes are working.”
- Sam Peterson, SVP Technology, Overstock.com
High Availability & Real-Time Data
Warehousing
Oracle 9i Oracle 10g
Linux Linux
Read-Only
Reporting
Oracle Data
Integrator
Enterprise
Data
Warehouse
(H.A)
客户简介 Overstock.com 一家在线的高品质品牌商品清货零售商,其出售的商品包括床上用品,家庭用品,厨房用品,表,珠宝,电子产品,电脑,体育用品,服装以及各类折扣商品的附件
案例:Overstock实时数据仓库
Copyright © 2012, Oracle and/or its affiliates. All rights reserved. Confidential – Oracle Restricted 30
面向大数据的商务分析
Oracle 数据库、
Exadata
转换
通过 MapReduce
加载
激活
Oracle Loader
for Hadoop
Oracle Data
Integrator
Oracle Big Data Connectors
Hadoop 集群
Oracle
GoldenGate
实时事务
转换
Oracle Enterprise
Data Quality
Oracle Data
Integrator
清洗
产品: • ODI • GoldenGate • EDQ
方案特点: • 支持 Hadoop、
MapReduce、Hive、NoSQL、HDFS 标准
• 图形化界面,自动生成优化的HiveQL,简化MapReduce程序开发
• 统一非结构化、半结构化和结构化数据的集成工具
• 优化大数据加载到 Oracle 数据库的过程
• 包含事务数据实时集成和数据质量管理的整体解决方案
Copyright © 2012, Oracle and/or its affiliates. All rights reserved. Confidential – Oracle Restricted 31
场景六:数据变更消息集成/事件驱动
产品: • GoldenGate
方案特点:
• 实时数据变更(业务事件)驱动Java API
• 实时数据变更消息发布
• 订阅JMS消息
Copyright © 2012, Oracle and/or its affiliates. All rights reserved. Confidential – Oracle Restricted 32
案例:XX银行电子渠道风险监管平台
电子渠道风险监管平台
OAAM
网银数据库 监管平台在线库 监管平台离线库
网银应用 解决方案:
• GoldenGate实时捕获网银数据库已提交交易,通过Java接口交付到电子渠道风险监管平台进行风险管理
• 风险分析评估结果存入监管平台在线库
• 用户发起新的交易请求时,网银系统调用监管平台接口,结合在线库的现有交易信息进行风险控制
• GoldenGate将监管平台在线库的数据实时同步到离线库
• 监管平台从离线库生成风险管理报表
• 统一模式扩展到其它电子渠道系统
Copyright © 2012, Oracle and/or its affiliates. All rights reserved. Confidential – Oracle Restricted 33 2013/1/15 33
来自业务的挑战:
使用互联网、全球配送系统、在线旅行社代理和酒店的Websites等多种渠道优化获得酒店空闲房间的能力
实时的从各种源数据集成数据为酒店的管理层提供实时的数
据视图.
向消费者低延迟的提供酒店价格和实用性数据.
酒店渠道需要提供诸如JMS/XML的接口能力
GoldenGate 解决方案:
为在线订房系统提供从Oracle数据源获取最新的酒店房间订购情况的(ARI)数据
事件驱动的架构 (EDA) 支持多个订购者通过JMS主题获取相同的事件,系统可以方便地加入客户来扩展并且不增加基础架构的成本
价值:
可重用性:通过入住率、空房率的变化触发业务流程.
通过一个高效性和可扩展性的机制生成驱动SOA所需要的事件
Oracle 10g
Sun Solaris 9
Reporting App
Oracle 10g
Red Hat Linux 5
“GoldenGate可以确保通过实时渠道获得实时的、变化的数据—管理层可以获得精确的实时的信息,作出更好的愿景规划。我们也可以获得用户方使用GoldenGate产品的良好印象.”
- David Marshall, Chief Architect, TravelCLICK
把实时数据提供给消息中间件供商业伙伴使用
Channel
Partners
ARI Application
(Availability, Rates & Inventory)
Event Stream
(XML Message) Capture
Delivery
Source Trail
案例:TravelCLICK B2B集成
Copyright © 2012, Oracle and/or its affiliates. All rights reserved. Confidential – Oracle Restricted 34
数据集成应用场景小结
1) 数据库容灾/应急
2) 系统迁移/升级/维护
3) 查询分载/集中查询
4) 双活/多主数据中心
5) 实时数据仓库/BI
6) 数据变更消息集成/事件驱动
7) SOA数据服务(数据访问/转换/批处理)
8) …
Copyright © 2012, Oracle and/or its affiliates. All rights reserved. Confidential – Oracle Restricted 35
Q & A
Copyright © 2012, Oracle and/or its affiliates. All rights reserved. Confidential – Oracle Restricted 36
Copyright © 2012, Oracle and/or its affiliates. All rights reserved. Confidential – Oracle Restricted 37