View
3
Download
0
Category
Preview:
Citation preview
Copyright © 2009, Oracle. All rights reserved.
ORACLE 数据中心解决方案完整的、集成的、高效的
Copyright © 2009, Oracle. All rights reserved.
议程
数据中心概述
Oracle数据中心解决方案
数据集成方案
基础架构建设
数据展现方案
案例介绍
Copyright © 2009, Oracle. All rights reserved.
Oracle数据中心概述
Copyright © 2009, Oracle. All rights reserved.
现有业务系统存在的主要问题
应用和数据紧耦合
– 系统独立、分散
– 数据重复、零散
系统间信息同步采取点对点方式,接口复杂 ,数据准确性差
指标、口径存在差异
适应业务变化能力差
财务 库存
供应链销售
接口数量 = (n2-n)/2
新系统
Copyright © 2009, Oracle. All rights reserved.
面临的挑战
信息资源管理不规范,缺少统一标准
系统信息不能互通、数据不统一、信息不能有效开放
忽略历史数据价值
经营状况数据的全面性、及时性、准确性难以保证
如何保证平稳增长
Copyright © 2009, Oracle. All rights reserved.
解决方法:建设数据中心
财务 库存
供应链销售
数据中心 新系统
对企业的数据资源进行集中存储,统一管理,为企业各个应用系统提供数据层集中服务的数据环境。
Copyright © 2009, Oracle. All rights reserved.
数据中心的建设
Copyright © 2009, Oracle. All rights reserved.
数据中心的建设
Copyright © 2009, Oracle. All rights reserved.
数据中心的建设
Copyright © 2009, Oracle. All rights reserved.
数据中心的建设
Copyright © 2009, Oracle. All rights reserved.
数据中心架构和数据流
Copyright © 2009, Oracle. All rights reserved.
Oracle数据中心解决方案
Copyright © 2009, Oracle. All rights reserved.
信息共享信息存储与管理数据整合
抽取管理 作业调度 数据库管理 元数据管理 安全访问控制
客户
业务系统
核心系统
其它数据
用户
数据仓库
数据模型
数据源 ETL 数据存储管理 信息模型 数据展现
即席报表
企业内外网
生产报表
预测分析
门户集成
即席查询
报表
多维分析
数据挖掘
决策人员
管理人员
分析人员
业务人员
Sta
nd
ard
izatio
n &
Tra
nsfo
rm
Reco
ncilia
tion
ETL
解决方案
抽取
转换
Weekly
snapshot
Daily
changes
Daily
Month
Daily
Periodic
Oracle
ODI
Oracle 10g
Essbase
Oracle BIEE+
(Siebel +
Hyperion)
OEM
Oracle数据中心架构
Copyright © 2009, Oracle. All rights reserved.
数据中心数据集成方案
Copyright © 2009, Oracle. All rights reserved.
纯Java的设计环境 可以在任何平台上运行 通过瘦客户端浏览元数据
纯Java的运行环境 可以在任何平台上运行 协调执行数据流
元数据库 可以装在任何关系数据库上 便于开发 组件化的、可扩展的元数据
Design-Time
Metadata Management
Runtime
Agent
Data Flow Conductor
Service Interfaces and Developer APIs
User
Interfaces
Thin Client
Data Flow Generator
Knowledge Module Interpreter
Knowledge Modules
Master
Repository
Work
Repositories
Runtime
Repositories
Data Flow Generator
Runtime Session
Interpreter
Data Flow
Operator
Designer
数据中心数据集成方案– Oracle Data Integrator
Copyright © 2009, Oracle. All rights reserved.
E-LT 架构高性能
传统 ETL 架构
Extract LoadTransform
新一代架构
“E-LT”
LoadExtract
Transform Transform
E-LT架构为什么高效?
•数据库技术先进、成熟
•不需要在源、目标数据库之间交换数据
•批量操作,而不是按行操作
用户案例:
•数据抽取时间从63小时缩减到10分钟
Copyright © 2009, Oracle. All rights reserved.
变化数据捕获(CDC)
发布和订阅的CDC框架 数据库日志
触发器
第三方解决方案
确保多表读事务的一致性
CDC
步骤:1. 设计和生成映射
2. 选择需要捕捉变化数据的表
3. 开始捕捉
用户案例:
•项目一期使用批量ETL方式
•项目二期轻松过渡到准实时方式
Copyright © 2009, Oracle. All rights reserved.
ODIRepository(database)
ODI GUI
(Java)
ODI Agent(Java)
Sources Target(s)
Agent
Data
SQL orders
SQL orders
Oracle Data Integrator架构示例
Copyright © 2009, Oracle. All rights reserved.
实际案例证明
“加载销售渠道系统的数据需要执行128个复杂的转换程序,ODI可以完全自动化地完成全部过程,完成全部过程只需要不到4分钟!‖
Luc Scotts, Project Manager, OAG
―Oracle Data Integrator(ODI)加载和处理900万条记录并生成61万条汇总数据只需要3分钟.‖
Luc Scotts, Project Manager, OAG
―过去我们采用专有的ETL工具完成加载过程需要8小时,现在我们使用ODI,在数据量和转换的复杂度都大大增加的情况下,只用了不到 2小时。‖
Leon Schurgers, Dr. of Information Technologies, Interbank
Copyright © 2009, Oracle. All rights reserved.
数据中心基础架构建设
Copyright © 2009, Oracle. All rights reserved.
问题:当前的IT基础架构
为高峰负载而配置
有限的可伸缩性
可用性 < 99.x%
安全控制分散
Copyright © 2009, Oracle. All rights reserved.
数据库大小限制提高到Exabytes级
没有文件系统、磁盘和内存限制
Terabytes级的LOB列
单表可存储100TB的数据
Unlimited Database Size
数据中心海量数据支持– Oracle 10g EE
Copyright © 2009, Oracle. All rights reserved.
Oracle集群数据库技术 – RAC(Real Application Cluster)
Server A
1st Instance
Server B
2nd Instance
Database
共享磁盘技术高速内存通道技术可支持多节点配置
超过1000套生产环境, 上
海电力,江苏移动,浙江移动,黑龙江移动,北京社保等
秒级节点间应用切换
透明的应用容错-用户自动重定向到其他活动节点
节点内并行查询和节点间并行查询
自动的负载均衡
Copyright © 2009, Oracle. All rights reserved.
RAC的扩展性
3 6 9 12 15 18 21 24
Months
100%
200%
300%W
o
r
k
l
o
d
真实世界的业务增长
Copyright © 2009, Oracle. All rights reserved.
3 6 9 12 15 18 21 24
Months
100%
200%
300%W
o
r
k
l
o
d
可能应用负载超过系统的处理能力 !!!!
RAC的扩展性
Copyright © 2009, Oracle. All rights reserved.
3 6 9 12 15 18 21 24
Months
100%
200%
300%W
o
r
k
l
o
d
RAC 可以扩展适应工作量需求
RAC的扩展性
Copyright © 2009, Oracle. All rights reserved.
中国人寿数据中心POC测试
RX8620
nPar2
1.1G CPU
*8
32G
memory
192.168.25
4.46
DL585
4*CPU
4G memory
192.168.254.206
DL585
4*CPU
4G memory
192.168.254.207
DL380
2*CPU
2G memory
192.168.254.208
DL380
2*CPU
2G memory
192.168.254.210
„
Cabinet Number
HKP
48V
GSP
Attention
Remote
hp Integrity Superdome
Cabinet Number
HKP
48V
GSP
Attention
Remote
hp Integrity Superdome
Cabinet Number
HKP
48V
GSP
Attention
Remote
hp Integrity Superdome
Cabinet Number
HKP
48V
GSP
Attention
Remote
hp Integrity Superdome
nPar3
1.1G CPU
*8
32G
memory
192.168.25
4.46
nPar1
1.1G CPU
*8
32G
memory
192.168.25
4.46
nPar4
1.1G CPU
*8
32G
memory
192.168.25
4.46
nPar1
1.6GHz CPU *4
16GB memory
192.168.254.56
XP12000
FC Switch
nPar2
1.6GHz CPU *4
16GB memory
192.168.254.57
nPar1
1.6GHz CPU *4
16GB memory
192.168.254.58
nPar2
1.6GHz CPU * 4
16GB memory
192.168.254.59
RAC
China Life Data Center POC architect
PUSH
READY
ALARM
MESSAGE
hp Stor ageWor ks xp12000 di sk ar r ay
hp Stor ageWor ks xp12000 di sk ar r ayhp Stor ageWor ks xp12000 di sk ar r ay
SuperDome
RX7620
100-240VAC 1.0A 47-63Hz
!
hp StorageWorks SAN switch 2/8V
4
0
5
1
6
2
7
3
Load Runner 7.8
Windows 2000
DL380
2*CPU
2G memory
192.168.254.211
DL380
2*CPU
2G memory
192.168.254.212
Application Server
HP-UX 11.11
Java SDK 1.4.2.10
Oracle OC4J
DB Server
HP-UX 11.23
Oracle 10gR1
DL585
4*CPU
4G memory
192.168.254.214
DL585
4*CPU
4G memory
192.168.254.213
Copyright © 2009, Oracle. All rights reserved.
中国人寿数据中心POC测试
从一个节点到增加到两个节点时,平均响应时间减少到了一半多。增加到三个节点时,平均响应时间已经降到约0.1秒。增加到四个节点时,平均响应时间只是略微下降。
Copyright © 2009, Oracle. All rights reserved.
中国人寿数据中心POC测试
随着节点数量的增加,系统的扩展性很好。在系统增加到4个节点的时候,交易量相对于1个节点时的比率超过了3.7。
Copyright © 2009, Oracle. All rights reserved.
用户通过SSL向中间层提出认证
数字Digital IDs 返回,通过PKI和X.509 证书
代理服务器认证可使用户身份在各个层次内保持
登录服务器-使WEB用户作到一次登录
企业用户通过目录实现集中管理
中间层将用户身份(DN, PKCS12 Certificate)传给
数据库
Oracle Internet
Directory
(LDAP) 获得用户的认证,应用访问控制信息
用户身份,口令应用内容
数据中心安全控制方案– 强壮的三层安全结构
Copyright © 2009, Oracle. All rights reserved.
更细致的安全控制
Company C
Company A
Company B
Policy A
Policy C
Default
Policy
A
B
C
A
B
C
C
数据行级的访问控制
Oracle9i/10g
针对应用所定义的安全策略可以与数据表、视图相联系
系统生成数据行标签
通过PL/SQL or Java (JCA/JCE)对选择的数据加密
更细致的审计,包括查询结果
无须在应用级进行安全控制
应用和用户的安全策略
加密数据
Copyright © 2009, Oracle. All rights reserved.
生产数据库
延迟和零数据丢失模式(Both)
物理后备数据库
零数据丢失的灾难保护– 通过同步/异步的日志 log传输控制
排除人为错误
– 通过延迟提交
灵活的切换操作– 主数据库和备份数据库可以灵活的互换角色
Data Guard Manager
– 在OEM图形界面管理工具内,配置、监控和管理灾难保护系统
数据中心容灾方案– Oracle Data Guard
Copyright © 2009, Oracle. All rights reserved.
物理备份
生产系统
逻辑备份
主备系统双向切换
管理员控制台和统一管理平台
(Both)
延迟和零数据丢失模式(Both)
保持数据库打开状态
SQL提交
附加的索引和物化视图
数据中心容灾方案– Oracle Data Guard
Copyright © 2009, Oracle. All rights reserved.
Data Guard Vs 远程镜像
无距离限制
传输量小,对网络带宽要求低
更好的数据保护 (零数据丢失,可防止I/O及人为误操作)
多种方式灵活部署
灾备系统可用 (可作报表等查询)
高 ROI
Copyright © 2009, Oracle. All rights reserved.
资源调度程序
高优先级
中优先级
低优先级
营销业务分析
即席查询报表
ETL 作业
20 用户DOP 10
预见性地保护系统– 并发操作的最大数量
– 给定优先级分组的最大并行程度
数据库资源管理器功能的子集
200 用户DOP 4
5 用户DOP 6
数据中心管理方案– Resource Manager
Copyright © 2009, Oracle. All rights reserved.
为查询分配合适的资源
CPU– 关键业务应当获得较多 CPU
Database Resource Manager 允许 DBA 为不同组的用户制订不同的资源策略
Memory– Oracle基于每个查询的需求和现有内存来动态分配内存
Parallelism – 基于现有资源和每个查询的需求自动定义并行度
Copyright © 2009, Oracle. All rights reserved.
自动工作量信息采集– 采集和维护关键的系统数据:性能数据、SQL工作量、特性
使用情况等
自动SQL优化– 发现性能较差的查询并提交给优化器
– 可以对之后的运行应用改进后的执行计划
– 不改变原来的SQL语言
自动内存管理– 没有shared_pool, large_pool,这些参数
– 只有PGA, SGA两个参数
自动存储管理(ASM)– 不再需要在“文件”级来管理存储
– 通过“磁盘组”来简化存储管理
数据中心管理方案– Oracle 自动管理特性
Copyright © 2009, Oracle. All rights reserved.
少投入多回报Oracle10g 目标:降低DBA50%的工作量
关键功能:Workload Repository
Self Tuning SQL
Self Tuning Memory
Automated Storage Mgmt智能的基础库
应用和SQL
管理
系统资源管理
空间管理备份和恢复管理
存储管理
数据库管理
完整的底层架构使得管理和性能调优
简单自动
Copyright © 2009, Oracle. All rights reserved.
主机与硬件数据库
应用服务器
存储器
网络与负载均衡器
应用程序
管理监控诊断配置
企业管理器
数据中心管理方案– Oracle Enterprise Manager
Copyright © 2009, Oracle. All rights reserved.
数据展现方案
Copyright © 2009, Oracle. All rights reserved.
数据中心数据展现方案
OLTP和ODS系统
数据仓库数据集市
SAP、OraclePeopleSoft、Siebel、
定制管理软件
文件ExcelXML
业务流程
财务绩效管理软件
洞察力绩效行动
Set目标
计划
监控
分析
报告
调整
HyperionEssbase
Oracle商务智能服务器
通用企业信息模型
报表编制与发布
财务报表
商务智能发布软件
交互式报表
SQR生产报表
Web分析
即席查询
前瞻性的检测和报警
Microsoft Office
交互式信息显示板
安全管理 元数据智能缓存服务 集群 多进程 连接池多维计算和集成引擎 可伸缩性 高性能智能请求生成和优化的数据访问服务
Oracle BIEE
(Siebel Analytic)
Hyperion
BI
Copyright © 2009, Oracle. All rights reserved.
Oracle BI Server功能强大的跨源可伸缩智能
开放的 SQL 接口
Oracle BI EE
表示服务
其它第 3 方工具
• Oracle BI Server
原生 RDBMS• Oracle• SQL Server• DB2• Teradata
ODBC
多维• XMLA• Oracle OLAP Option• MS 分析服务• SAP BW
其它• XML、• Excel• 文本
• 简化的业务视图• 统一的元数据• 智能缓存• 高级计算• 聚合导航和创建• 联合查询和集成• 优化的 SQL / 功能传送
简化的业务模型视图
高级计算和集成引擎
智能请求生成和优化的分布式数据访问
统一的元数据管理
面向服务的体系架构(SOA)
Copyright © 2009, Oracle. All rights reserved.
通用企业信息模型支持一致性、安全性、重用性、灵活性
表示层
物理层
语义对象层
• 用户角色、偏好• 简化视图• 逻辑SQL接口
• 维度• 层次结构• 度量• 计算• 聚合规则• 时间序列
• 映射物理数据• 连接• 模式
跨任何数据源
一次建模,随处部署一致的业务度量、指标、计算定义
基于角色的信息视图
Copyright © 2009, Oracle. All rights reserved.
完善的洞察传递功能旨在普及智能
• 生动、直观、个性化的信息板
• 强大的信息板到信息板导航,以及动态、事件驱动的指导性分析
• 针对所有人的简单但强大的智能
Oracle 交互式信息板
Copyright © 2009, Oracle. All rights reserved.
交互式信息板中的指导性分析动态、事件驱动的分析驱动着正确行为 指导性导航
– 使用户能够快速导航特定于其职能和角色的分析发现标准路径– 提高可用性并降低新用户的学习难度
条件导航– 仅当条件满足时才会出现,警告用户注意潜在的非正常状况– 指导用户进行分析发现的下一个逻辑步骤
活动链接– 从记录直接导航到事务处理,同时保持上下文– 立即采取行动,而不必导航到其它屏幕
Copyright © 2009, Oracle. All rights reserved.
完善的洞察传递功能旨在普及智能
Oracle Delivers
• 自动检测和警报以实现预先洞察
• 将内容以多种格式发送给任何设备
• 多步骤分析和分析工作流
• 生动、直观、个性化的信息板
• 强大的信息板到信息板导航,以及动态、事件驱动的指导性分析
• 针对所有人的简单但强大的智能
Oracle 交互式信息板
Oracle Answers
• 完全通过 Web UI 进行强大的即席分析
• 创建和修改图表、数据透视表和信息板
• 真正的业务用户可通过直观、简化的业务模型自给自足
Copyright © 2009, Oracle. All rights reserved.
完善的洞察传递功能旨在普及智能
• 真正的“点对点”报告和发布
• 使用熟悉工具(如 Word、Adobe)的报表布局
• 单一产品可满足所有文档需求 — 发票、支票、财务报表、政府表单等
Oracle BI Publisher
Copyright © 2009, Oracle. All rights reserved.
完善的洞察传递功能旨在普及智能
• 真正的“点对点”报告和发布
• 使用熟悉工具(如 Word、Adobe)的报表布局
• 单一产品可满足所有文档需求 — 发票、支票、财务报表、政府表单等
Oracle BI Publisher
Oracle 离线分析
• 针对移动专业人员的完整分析
• 无论在线或离线都具有相同的体验
• 完整和增量式数据同步支持使用最小的数据集快速更新
Oracle MS Office 插件
• 交互式 Excel 和 PowerPoint 插件
• 支持在主要的 Office 应用程序中使用 BIEE 数据、业务模型和报表目录
• 本地电子表格中没有数据碎片
Copyright © 2009, Oracle. All rights reserved.
每个交互式信息板页面底部都有一个
“Add to Briefing Book‖链接,
可以自动生成电子简报。
提供了一个电子“简报”,这是您最重要的信息板的集合。简报非常
小,可以每日分发以实现企业协作。
简报“Pack & Go‖信息板
简报可以:
•保存
•携带到任何地方
•通过电子邮件发送/共享
•显示
•刷新/更新
•通过 Delivers 自动分发
Interactive Dashboards
Copyright © 2009, Oracle. All rights reserved.
案例介绍淘宝 20个节点的Linux数据中心
Copyright © 2009, Oracle. All rights reserved.
淘宝数据中心架构图
Copyright © 2009, Oracle. All rights reserved.
淘宝数据中心进化史
Copyright © 2009, Oracle. All rights reserved.
淘宝数据中心工作负载管理
Recommended