Ibm solid db overview v6.3 20090320

© 2008 IBM Corporation

IBM solidDB & solidDB Universal Cache

黄庆双 [email protected]

13911050825

IBM 软件部, solidDB

Ver. Dec. 2008

mailto:[email protected]

2

IBM SWG – Information Management Software

IBM Confidential © 2008 IBM Corporation

关于Solid….

92年成立， 10+年商用历程

Solid的客户包括Airbus、Alcatel、Cisco、HP、Motorola、Nokia-Siemens、NEC、Nortel等几百个知名企业

超过三百万的应用部署

在通信行业广泛使用

快速、灵活、高可靠

业界领先的内存数据库

3



Solid遍布各个行业的知名客户

Communications, 73

Cross-Industry, 64

Education, 24Healthcare, 23

Public Sector , 21

Financial Services, 20

Retail , 13

Transportation, 13

Manufacturing, 10

Gaming, 6

e-business, 5

Publishing, 5

Automotive, 3

Unclassified, 45BBUUSCSCOOMM

http://www.nortel.com/

http://www.turinnetworks.com/

http://managementsoftware.hp.com/products/

http://www.emc.com/

http://www.pinnaclesys.com/

http://www.adc.com/

4



Solid在电信行业的应用

Solid部分客户先进的OSS解决方案

– HP OpenView 系列

– Nokia Traffica– Nortel Shasta

高可靠性应用平台

– Siemens TSP7000– Nortel Siren– NEC

智能控制

– SIP 应用服务器、Class 5 软交换、媒体网关、

IMS 控制器 (HSS..)

关键应用

– VoIP– Push-to-Talk– E-911– Online Charging

http://www.nortel.com/

http://www.nokia.com/networks/product_catalogue/product_datasheet/1,23284,,00.html?prod_id=OSS00021&path=ann

http://managementsoftware.hp.com/products/

http://www.motorola.com/

http://www.turinnetworks.com/

http://www.pinnaclesys.com/

5



IBM solidDB (standalone)

IBM solidDB 产品系列

App

Universal CacheUniversal Cache

App App

IBM solidDB Universal Cache

Applications

http://www.oracle.com/index.html

6



IBM solidDB是…关系型数据库（RDBMS）

高性能数据库服务器– 可扩展性强

– 基于多线程

– 并发控制

– 支持标准：SQL、ODBC、JDBC

– 乐观锁和悲观锁

基于事务– 自动恢复

– 完整的事务处理（ACID）

可嵌入至应用程序– 小内存开销： ~5MB

– 广泛的平台支持

– 链接库或C/S模式

– 零维护

Client Application(s)

ODBC SA JDBC

7



solidDB: 全功能的关系型内存数据库

ANSI SQL89, SQL92 及SQL99 ODBC、JDBC 驱动, SA（Solid API) 存储过程触发器和事件完整的事务处理 (ACID) 并发控制事务级别控制

基于成本的优化器多线程数据库引擎Unicode 在线备份自动失败回滚批量加载数据数据导出工具内建计划调度图像管理工具对 BLOB和CLOB 数据类型的强大处理

能力支持多种平台

通讯: • Client/Server • 链接库

磁盘数据库• 完全的检查点• 完全的日志

ODBC SAJDBC

SolidSolid

永久数据

基于磁盘的

引擎

内存引擎

空间要求• 数据库程序：3M• 小RAM要求：5M• 小数据库文件：1M

8



特点：内存和磁盘混合型数据库

双引擎数据库内存数据库磁盘数据库表的存储位置确定基于应用考量对应用程序透明查询操作可以同时访问两种类型的表检查点机制相同，只有一份数据文件性能大化易于优化

第一款混合型数据库！第一款混合型数据库！

Client RPC

TCP/IP

solid

DB

In-memory tables

SQL engine

远程访问

ODBC SA JDBC

Server RPC

App App App App

In-memorydb engine

Disk storage manager

App链接式应用

App

Flow

连接其它

节点

Disk-based

db engine

HSB

连接HA 节点

数据库文件检查点日志

solid

DB

A

PI

9



solidDB 支持的表类型

表类型特点创建方式

持久型内

存表内存表默认类型，数据存储在内存中，并有磁盘

映象；支持Log和Checkpoint持久化机制；

支持行级锁、表级锁和事务隔离级别

CREATE TABLE tab_name (col_1 INT, xxxx) STORE MEMORY或DefaultStoreIsMemory=Yes

全局临时

内存表所以数据存储在内存中，没有磁盘映象；不支持

Log和Checkpoint持久化机制；

支持行级锁、表级锁和事务隔离级别；全局可见性能比持久型内存表好；数据不复制到HSB的备节点；

CREATE TRANSIENT TABLE tab_name (col_1 INT, xxxx)

局部临时

内存表所以数据存储在内存中，没有有磁盘映象；不支

持Log和Checkpoint持久化机制；

不支持行级锁，会话级可见；性能在所有表中好；数据不复制到HSB的备节点

CREATE TEMPORARY TABLE tab_name (col_1 INT, xxxx)

持久型磁

盘表

数据存储在磁盘中，支持Buffer Pool；支持Log和Checkpoint持久化机制；

支持行级锁、表级锁和事务隔离级别；

CREATE TABLE tab_name (col_1 INT, xxxx) STORE DISK或DefaultStoreIsMemory=No

10



TM1 v.4.0.1 基准测试(2008-2-6)，10分钟的预热和20分钟的采样。128 个并发客户端模拟10万个移动电话用户。solidDB使用异步日志，链接库模式，每5分钟执行检查点。IBM 刀片服务器：2个2.66GHz Intel Xeon双核CPU、4GB内存、Windows Server 2003 RR SP2。

IBM solidDB 内存数据库性能

0

20,000

40,000

60,000

80,000

100,000

120,000

140,000

160,000

0 100 200 300 400 500 600 700 800 900 1,000 1,100 1,200

时间 [s]

MQ

TH

solidDB 6.0 内存数据库企业级磁盘数据库

solidDB内存数据库能

高达10倍的性能

11



solidDB内存数据库引擎的性能与多处理器的扩展

TM1 基准测试：

模拟HLR 1百万用户数，

80: 20读写比例的工作负

荷； 8个双核AMD CPU；SuSe 10平台

与solidDB 6同一台机器上

32个客户端并发

MQTh = 每秒完成的事务

（TPS）

IBM solidDB 内存数据库引擎

6518

18449

36533

66910

010,00020,00030,00040,00050,00060,00070,00080,000

1 2 4 8

双核CPU数量

MQ

THsolidDB 6.0 内存数据库引擎

13



业界领先的高可用功能： Solid HSB（电信级的高可用集群功能）

高可用数据库– 满足5个9或6个9的高可用环境

– 同步的（或异步的）自动事务复制

– 1+1 冗余拓扑

– 对应用程序透明的失败切换

快速切换– 1秒内的失败切换

易于实施– 无需专门的硬件

– 可使用低配置的机器

支持轮替式升级

符合SAF规范 (www.saforum.org)

应用程序

主数据库从数据库

事务读写操作

事务

读操作

同步/异步复制

可选的数据安全级别

自动恢复功能

14



主节点数据库

从节点数据库

solidDB HSB 复制模式

1-safe

2-safe提交

OK

事务同步

OK

提交

OK 异步复制

+ 事务提交响应时间短

-失败接管时，可能会丢失事务

异步复制

+ 事务提交响应时间短

-失败接管时，可能会丢失事务

激活备用

事务同步

OK

同步复制

+ 失败接管时，不会丢失事务

- 事务提交响应时间稍长

同步复制

+ 失败接管时，不会丢失事务- 事务提交响应时间稍长

响应时间主节点数据库

从节点数据库

1-safe 及 2-safe 复制

15



solidDB HSB 性能 vs 单点数据库性能

TM1基准测试：– 单点solidDB数据库（同步日志模式）对比

– solidDB HSB双机架构（2safe同步复制模式）

solidDB HSB数据库比单点数据库更快

711

1465

2034

3269

0

500

1000

1500

2000

2500

3000

3500

单点数据库（同步日志） HA双机架构（同步复制模式）

事务

/秒（

TPS）

R20W80R80W20

16



应用程序

虚拟连接

ODBC/JDBC驱动

实际连接实际连接

主数据库从数据库

异常主数据库

HA

TF

solidDB HSB 透明失败切换

独有的独有的TFTF技术技术

Transparent Failover (TF)

在切换后，保留Connection或Session信息

ODBC/JDBC驱动自动识别可用数据库，无需虚拟IP

在API级自动完成失败切换和状态转换，对应用程序透明

即使数据库系统发生了Failover，应用程序也不会中断，不影响应用程序对外提供服务

17



solidDB HSB 自动负载均衡功能

集成负载均衡功能集成负载均衡功能

主数据库可读可写，从数据只读

对应用程序透明，由数据库驱动自动将部分只读事务分发到从数据库

充分利用从数据库的硬件资源

提高系统的吞吐率

应用程序

主数据库从数据库HA

读/写只读

18



solidDB HSB性能：负载均衡 (80% 读, 20% 写)

挖掘“备用”数据库的读性能以提高系统吞吐量 >60%(该测试)备数据库不再只是“空闲”的备用数据库…

TM1 - solidDB 6.0 Beta (DBE) - Test:R80/W20(2CPU/4core server)

0

5000

10000

15000

20000

25000

1 4 16 64

# of Concurrent Clients

Standard HSBClustered reads 25%Clustered reads 50%

19



solidDB HSB性能：负载均衡(100% 读操作)

读操作密集型的事务大量并发（C/S模式），更能体现solidDB负载均衡优势两个数据库节点能提供2倍吞吐量

TM1 - solidDB 6.0 Beta (DBE) - Test: R100(2CPU/4core server)

0

10000

20000

30000

40000

50000

60000

1 4 16 64

# of Concurrent Clients

Standard HSBClustered reads 50%

23



总结：IBM solidDB 关系型内存数据库

App App App

IBM solidDB

极高性能

– 微秒级的查询响应速度

– 每秒以数万计的事务吞吐量

超高可用性

– 失败识别和切换时间低于1秒

– 高达99.9999%的可用性

低成本

– 容易实施和部署，完全支持数据库标准和接口

– 零维护和管理

– 低开发成本、能充分继承现有的数据库经验和

技能

24



IBM solidDB (standalone)

IBM solidDB 产品系列

App


App App

IBM solidDB Universal Cache

Applications


25



IBM solidDB作为前端应用－ solidDB Universal Cache

solidDB作为前端内存数据库，提供...– 快速响应，加速访问关键数据

– 更高的事务吞吐率

– 读写操作

– 与后台数据库双向复制增量数据

后台数据库提供...– 存储所有数据

– 与前端solidDB双向双向复制增量数据

– 写事务的高吞吐量

– 其他应用、OLAP

场景...– 电子商务

– 股票交易

– 电信计费

– 数据采集

App


App App


26



solidDB Universal Cache 包括什么？


solidDB agent

backend database agent

management console

• solidDB 代理：读取内存数据

库的事务日志，并与指定的后台

数据库代理通信

• GUI 工具：用于配置和监

控数据的同步

1

2

3

4

• 内存数据库：关系型的内存数据库

提供高性能

• 后台数据库代理：读取后台数据

库的事务日志，并与solidDB代

理通信


27



solidDB Universal Cache 如何工作？

管理员确定关键性能的

数据，并配置Cache1

solidDB Universal Cache 从后台数据库加

载关键性能数据

2 应用可以同时连接到内存数

据库和后台数据库进行存取

和修改数据

3

solidDB Universal Cache与指定的后台数据

库之间双向复制数据

4

App


App App


28



Universal Cache 管理工具



29



solidDB Universal Cache – 复制模型

按条件Cache部分数据1:N 单表对应多份只读Cache1:N 单表对应多份可读写Cache

– 自定义冲突处理机制

30



solidDB Universal Cache – 双机部署

Default

Data server

Front-endActive

CDC

Back-end

CDC for solidDB

CDC management node

CDC Management

Console

JDBC driver

solidDB JDBC driver

solidDBPrimary

Front-endStandby

solidDBSecondary

HA

Data server

solidDB

Front-end

CDC

Back-end

CDC for solidDB

CDC management node

CDC Management

Console

JDBC driver

solidDB JDBC driver

NOTE THE

LOCATION

31



solidDB to solidDB 节点间复制

NN--ActiveActive复制复制

多节点扩展

表级复制

负载均衡

高可用

32



solidDB Cache在电子交易/订单系统中的应用

SolidDB：

– 查询有效的航班信息、酒店预订信息等等

– 查询价格、时间、座位等具体信息

– 预订、下达订单、更改、取消

DB2 or IDS :– 客户资料

– 订单信息、历史记录

– 报表、分析、商业智能

查询/在线预订订单/历史信息

/数据归档

Cache

34



IBM solidDB Universal Cache: 支持平台和后台数据库

App


App App 支持平台– AIX, HP-UX, Linux, Solaris, Windows

支持后台数据库– IDS V11.50.3 on AIX, HP-UX, Solaris, Linux,

Windows– DB2 LUW (V9.1, V9.5) on AIX, Windows,

Solaris, Linux, zLinux– DB2 z (V7, V8, V9) on z/OS – Oracle (9i, 10g, 11g) on AIX, HP-UX, Solaris,

Linux, zLinux, Windows– Sybase (V12.5.4, V15) on AIX, HP-UX,

Solaris, Linux, Windows– Microsoft SQL Server


35



客户案例：solidDB in PDSN

项目背景-- 中国某电信运营商 3G项目，全国20多个省公司在使用solidDB-- solidDB作为接入认证服务器的数据库

项目描述-- 采用标准的ODBC/JDBC接口开发

-- 整个开发周期很短

-- solidDB工程师提供现场开发支持辅导

-- 2008年10月份上线到现在，solidDB运行良好

solidDB的优势-- 基于标准的数据库语言和接口，开发、移植方便

-- 轻量、可嵌入

-- 极高的事物处理性能（传统数据库的数倍乃至10倍）

-- 同等性能要求情况下，硬件成本降低

-- 同时提供磁盘/内存数据库，软件成本降低

-- 多年电信系统的经验，数据库稳定可靠（1秒钟的切换时间适合电信应用）

-- 有竞争力的价格和合作方式

-- 非常好的技术支持和开发支持

36



路由：指定SIP应用服务的重定向目

标，如语音邮件系统，从某个用户的电话号码，通过SIP发送重定向目

标信息至终端设备（如移动电话）

用户信息存取：收到来自HLR的新用户信息后，solidDB为SIP应用服

务器提供用户信息快速存取服务

可便携号码：使得用户在不需要更换电话号码的情况下，在PSTN与IP网络之间切换服务变成可能

客户案例：IBM solidDB 支撑3千7百万的用户

3千7百万用户（每个城市）

20微秒的查询相应

24x7x365在线服务，上线后至今未出现异常和重启

SIP PROV MR

solidDB

UPS in City 1

HLR

MRS

KEY

PROV: 提供服务

MR: 媒体资源MRS: 媒体资源服务器UPS: 用户数据服务器

solidDBtells SIP module which MRS to connect

UPS 2 UPS n

Primary Server

Standby Server

城市 2 城市 n

SIPGateway

SIP PROV MR

UPS in City 1

HLR

MRS

语音相关服务

KEY

solidDB指示

SIP模块连接

哪个MRS

UPS 2 UPS n

Primary Server

Standby Server

SIPGateway

如语音邮件

37



Q&A

38



Technology

Ibm solid db overview v6.3 20090320