Oracle 在 Oracle Database 10g 群集上使用Reliable ......InfiniBand 上的 Reliable Datagram Sockets (RDS) Over InfiniBand 能够提供可水平扩展的高性能解决方案，可替代

59www.dell.com.cn/powersolutions

数据库：Oracle

过去，大型数据库系统通常与高成本的大型机

同步。但当今，采用商用服务器的网格计算

可为大型数据库提供许多优势，其中包括经济高效

性、可扩展性、高性能与可用性、网络整合及轻松

安装与管理。支持此类大型数据库系统的两个关键

技术为 Oracle Real Application Clusters (RAC) 以及

具有高效互连的业界标准网格组件，这些互连可在

组件间提供高吞吐量及低数据流量延迟。通过 Oracle 数据库10g及 Oracle RAC 可在低成本业界标准服务器

群集上创建可扩展、高性能、高可用性的共享数据

库，从而帮助增加投资回报并降低总体拥有成本。

群集互连会对 Oracle RAC 的性能产生极大影

响。在具有互连密集型工作负载的 Oracle RAC 系统

中，千兆以太网在针对许多应用程序的节点之间经

常会成为大量群集消息发送及 Oracle Cache Fusion 流量的瓶颈。相反，与千兆以太网相比，InfiniBand 可在原始带宽及更短延迟两个方面提供巨大优势，

并且一般可提供比用于 Oracle RAC 系统的千兆以太

网更高的性能。

尽管先前因支持问题以及标准协议的缺乏而难

以针对这种规模的群集实施 InfiniBand，但 Oracle 数据库 10g 版本 2 (R2) 及 10.2.0.3 补丁集支持由

Oracle 和 QLogic 专门针对称为Reliable Datagram Sockets (RDS) Over InfiniBand的 Oracle RAC 开发的

群集互连协议，RDS 与具有基本远程直接内存存取 (RDMA) 功能的设备无关，并且可简化实施。该协

议可彻底检查具有 RDMA 功能的以太网网卡 (NIC) 或 InfiniBand 主机通道适配器 (HCA)。

R D S协议使用可将端到端错误检查卸载到 InfiniBand 网络结构的 InfiniBand 传输功能，从而

释放了处理器周期以用于应用程序处理，并且与千

兆以太网实施相比，可极大提高处理器的性能。与

千兆以太网相比，将该方法与 Oracle 数据库 10g 及 Oracle RAC 共同使用的主要优势包括高带宽与可用

性、低延迟与处理器利用率、无丢弃或重发的可靠

包传输、易于使用，以及简化的基础设施。图 1 显示了传统互连协议与 RDS 之间的架构区别。

OracleRAC配置：千兆以太网与InfiniBand

典型 Oracle RAC 10g 配置（例如使用千兆以太网的

那些配置）需要三个完全不同的网络：

• 专用安全 Oracle RAC 群集互连：在多个服务

器间提供数据一致性，以便向外扩展数据库；

互连带宽、延迟及处理器开销为数据库扩展与

相关类别：

群集

数据库

Dell/EMC存储

InfiniBand

Oracle

可靠数据报套接字(RDS)

有关完整目录索引，请访问

www.dell.com/powersolutions。

在 Oracle Database 10g 群集上使用Reliable Datagram Sockets (RDS) Over InfiniBandInfiniBand 上的 Reliable Datagram Sockets (RDS) OverInfiniBand 能够提供可水平扩展的高性能解决方案，可替代

使用Oracle®数据库10g和OracleRealApplicationClusters(RAC)的企业的传统垂直扩展。本文将探讨使用InfiniBand上RDS来构建采用低成本、业界标准Dell™与QLogic组件的可

扩展高性能OracleRAC群集的优势。

作者：ZAFARMAHMOOD、

ANTHONYFERNANDEZ及GUNNAR

K.GUNNARSSON

数据库：Oracle

DELL POWER SOLUTIONS60

数据库：Oracle

性能方面的关键因素

• 存储区域网络 (SAN)：提供对支持数据库群集的共享存储

资源的访问；这些连接对延迟及每秒可用 I/O 敏感

• 客户端与应用程序层的共用网络：在数据库层与需要数据

的客户端和应用程序层之间提供网络通信；这些连接对来

自传输协议的处理器开销敏感

这三个不同网络具有冗余组件和连接，它们在数据库层

的每个服务器中可能需要 4 至 6 个 NIC 和主机总线适配器

(HBA)，从而增加了网络复杂性和成本。构建 Oracle RAC 群集

方面的额外挑战是机架安装式服务器和刀片服务器包含的 PCI 插槽数有限，因此一般难以或不可能构建具有必要 I/O 连接、

吞吐量及可用性的群集。由于这些相同服务器现在包含更高的

组件密度和多核技术，因此它们的处理能力会产生对群集互连

及 I/O 资源的高需求。

InfiniBand 基础设施可通过以下两种方式加以实施：

• 仅针对互连流量的 InfiniBand 上 RDS，对于 Oracle RAC 节点之间的群集消息发送和 Oracle Cache Fusion 流量，其可

缩短延迟并提高吞吐量

• 针对以下方面的 InfiniBand 上 RDS：互连流量，以及支持

在 InfiniBand 基础设施上运行的 SAN 的 SCSI RDMA 协议 (SRP)

在第二个实施中，光纤通道网关可使 SRP 将 InfiniBand 流量转变成光纤通道协议 (FCP) 框架，以利用光纤通道 SAN。

该架构有助于极大增加吞吐量，同时降低布线、组件复杂性及

延迟。此外，通过利用套接字直连协议 (SDP) 在应用服务器

与数据库服务器之间进行零复制数据传输，应用程序还可利用 InfiniBand 基础设施固有的 RDMA 功能。

测试环境中的 Oracle RAC 可扩展性

2006 年 8 月，通过在 Dell PowerEdge™ 1850 服务器上构建八

节点 Oracle RAC 10g 群集，然后利用千兆以太网和 InfiniBand 上 RDS 来运行事务处理性能委员会 TPC-H 工作负载以评估总

运行时间和平均响应时间，Dell 数据库与应用程序解决方案设

计团队评估了不同 Oracle RAC 配置的可扩展性。InfiniBand 上 RDS 测试使用了上一部分中所述的第二个实施，部署了针对以

下方面的 InfiniBand 上 RDS：互连流量以及支持在 InfiniBand 基础设施上运行的 SAN 的 SRP。在这两个测试中，存储由两

个 Dell/EMC CX700 阵列（每个均带有 60 个硬盘）组成。图 2 显示了最佳配置；千兆以太网在第一轮测试中用作互连，然后

使用 InfiniBand 上 RDS 来替代千兆以太网。图 3 概述了在这种

测试环境中使用的软硬件。

存储测试配置

Dell/EMC CX700 已进行了布置，以便使表空间横跨使用存储阵

列上的存储和处理器的最大磁盘数目，并且这两个存储阵列均

进行了配置，以便能够为预读分配 100% 缓存，从而适应数据

仓库构建查询的密集连续读取的性质。每个存储处理器均具有 4 GB 缓存，在数据加载后所有这些缓存均可用于读缓存。

图1：传统互连与ReliableDatagramSockets(RDS)OverInfiniBand协议的架构

图2：测试配置

www.dell.com.cn/powersolutions 61

Oracle 数据库 10g 执行由 DB_BLOCK_SIZE 和 DB_FILE_MULTIBLOCK_READ_COUNT 参数值指定的大小的 I/O。为实

现 1 MB 的 I/O 大小 (8 KB × 128)，这些参数被分别设为 8 KB 和 128。每个逻辑单元 (LUN) 均是使用条带大小为 64 KB 的 16 个硬盘创建的，从而匹配了 Oracle 数据库 I/O 大小，可优化较

大的连续读取性能。

测试

该测试团队执行了五次测试，如图 4 所示，并且比较了每个测试的总运行时间

和平均响应时间。测试 5 将 InfiniBand 上 RDS 用于群集互连，而不是使用千兆以

太网；有关该测试团队如何针对此次测

试重新配置该环境的更多信息，请参见

本文“实施 InfiniBand 上 RDS”侧栏。

该测试的目标是通过对每个测试均运行决策支持系统 (DSS) 工作负载，确定 Oracle 数据库 10g R2 群集的可扩展性，这涉及

了使用 Oracle 并行执行与分区，将 Oracle 群集从一个节点扩展

到八个节点。TPC-H 数据库大小为 300 GB，并且根据范围和散

列键对大型表进行了分区。数据分布在如上一部分中所述的两

个 Dell/EMC CX700 存储阵列中。

测试结果

图 5 和图 6 显示了当在该测试环境中将千兆以太网作为群集互

连时的总运行时间和平均响应时间。这些数据已进行了标准化

（通过根据常量划分所有数据），以显示相对的性能增益，但

没有显示实际测试结果。

当测试 4 正在执行时，该群集互连开始显示较大群集延迟

和 Oracle 一致性读取全局缓存传输时间。测试 5 重复了该测

试，但将 InfiniBand 上 RDS 作为群集互连，以替代千兆以太

网。图 7 显示了针对似乎为互连密集型的三个 TPC-H 查询的

测试 4（使用千兆以太网）和测试 5（使用 InfiniBand 上 RDS）的平均响应时间。这些数据也已进行了标准化（通过根据常量

划分所有数据），以显示相对的性能增益，但没有显示实际测

试结果。对于每个互连同时增加这三个查询的时间表明，与用

于这些查询的千兆以太网相比，InfiniBand 上 RDS 实现了 33% 的平均性能增益。

Oracle RAC 最佳实践做法

多种最佳实践做法可帮助管理员配置及扩展 Oracle RAC 群集，

以提高企业环境中的性能及可用性：

• 在一个节点上建立基线，以便在测量性能增加时提供比较

点。

• 使用 Oracle 并行执行来优化可实现并行的 I/O 子系统。

根据需要添加新的 I/O 路径 (HBA) 可迁移高 I/O 等待，

并且管理员可使用诸如 EMC® PowerPath® 及 Microsoft® Multipath I/O 应用程序等多路径软件在 I/O 路径间实现均

图3：在该测试环境中使用的软硬件

服务器八台DellPowerEdge1850服务器

处理器 2.8GHz单核英特尔®Xeon®处理器，具有2MB二级缓存及800MHz前端总线2.8GHz双核英特尔®Xeon®处理器，具有两个2MB二级缓存及800MHz前端总线

•

•

内存 8GB

I/O插槽两个PCI扩展(PCI-X)插槽

LANNIC 英特尔千兆*以太网PCI-X

主机总线适配器双端口QLogicQLA2342

群集互连 •千兆以太网测试：两个英特尔千兆以太网互连•InfiniBand上RDS测试：一个双端口QLogic

9000**双数据速率(DDR)HCA

交换机 •千兆以太网测试：DellPowerConnect™5224交换机•InfiniBand上RDS测试：QLogic9024**DDR交换机

存储两个Dell/EMCCX700阵列

操作系统 RedHat®EnterpriseLinux®AS4Update3

软件 •具有10.2.0.2补丁集的OracleDatabase10gR2EnterpriseEdition

•EMCPowerPath4.5•QLogicQuickSilver**主机访问软件版本3.3.0.5.2（用于InfiniBand上RDS测试）

•QuestBenchmarkFactory、SpotlightonRAC及ToadforOracle

•使用300比例因数的TPC-H300GB数据库

*该术语并不意味着实际的1Gbps运行速率。如欲实现高速传输，需要连接到千兆以太网服务器和网络

基础设施。

**在进行这些Dell测试时，QLogic9000HCA、9024交换机及QuickSilver软件为SilverStormTechnolo-

gies的产品。QLogic于2006年11月收购了SilverStorm。

图4：拥有评估OracleRAC群集针对不同配置的可扩展性的测试

测试并行流节点处理器群集互连

1 节点级 4 1 单核英特尔Xeon 千兆以太网

2 节点与群集级 4 4 单核英特尔Xeon 千兆以太网

3 节点与群集级 4 4 双核英特尔Xeon 千兆以太网

4 节点与群集级 4 8 双核英特尔Xeon 千兆以太网

5 节点与群集级 4 8 双核英特尔Xeon InfiniBand上RDS

数据库：Oracle

DELL POWER SOLUTIONS62

数据库：Oracle

Dell 数据库与应用程序解决方案设计团队

进行了五次测试，以便使用各种组件来比较

Oracle数据库10gR2群集的可扩展性。对

于测试5，使用InfiniBand基础设施替代千

兆以太网互连。使用InfiniBand替代千兆以

太网互连的过程很简单，无需重装Oracle二

进制来更改数据。实现InfiniBand上RDS网

络结构可通过以下步骤来完成：

1.在对 InfiniBand HCA 及交换机进行

了布线后，在每个主机上安装必要的

InfiniBand驱动程序和RDS支持库。这些

包括InfiniBand网络栈、快速网络结构、

InfiniBand上 IP (IPoIB)及RDS驱动程

序。使用 ifconfig命令来确保 InfiniBand

接口显示在主机网络接口列表中，如图A

的 ib1部分所示。Oracle数据库10g最

初应加以配置成使用IPoIB在InfiniBand

网络结构上验证OracleRAC功能。

2.定义将用于 Oracle RAC专用进程间通

信 (IPC)网络的主机名和相关 IP地址的

集合，并在 /etc/hosts中指定它们以及

IPoIB主机名，如图 B所示。注：图 B

假设每个主机有一个 InfiniBand连接；

但如果是在 IPoIB中加以配置，则冗余

InfiniBand连接会自动作为 RDS故障转

移。

3.定义组成OracleRAC群集的主机名集，

并启动Oracle数据库。

4.在千兆以太网上验证了OracleRAC群集

操作后，关闭Oracle数据库并修改每个节

点上的/etc/hosts文件，以便引用Oracle

RAC专用互连的IPoIB接口IP地址，如

图C所示。

5.通过 Oracle接口配置工具 (oifcfg)，使

用以下三个命令更改群集互连接口（注意，oifcfg要求 Oracle

ClusterReadyServices正在运行）：

oifcfg getif –global

oifcfg delif –global <ifname, ex. bond0>

oifcfg setif –global ib1/192.168.1.0:

cluster _ interconnect

然后重启Oracle数据库。OracleRAC现在应使用InfiniBand，

同时使用 IPoIB传递用户数据报协议 (UDP) IPC流量。通过

IPoIB接口统计或通过交换机图形用户界面检查交换机端口统

计，确认IPoIB的使用。

6.验证了 IPoIB 上的 Oracle RAC 群集操作后，通过在每个

OracleRAC节点上执行以下命令（作为用户“oracle”），关

闭Oracle数据库并构建OracleRACIPC库(libskgxp.so)：

[root@node3 ~]# cd $ORACLE _ HOME/rdbms/lib

[root@node3 ~]# make -f ins _ rdbms.mk

ipc _ rds

在INFINIBAND上实施RDS

bond0 Link encap:Ethernet HWaddr 00:00:00:00:00:00

inet addr:192.168.0.34 Bcast:192.168.0.255 Mask:255.255.255.0

inet6 addr: fe80::200:ff:fe00:0/64 Scope:Link

UP BROADCAST RUNNING MASTER MULTICAST MTU:1500 Metric:1

RX packets:0 errors:0 dropped:0 overruns:0 frame:0

TX packets:0 errors:0 dropped:0 overruns:0 carrier:0

collisions:0 txqueuelen:0

RX bytes:0 (0.0 b) TX bytes:0 (0.0 b)

eth0 Link encap:Ethernet HWaddr 00:14:22:21:E7:F1


inet6 addr: fe80::214:22ff:fe21:e7f1/64 Scope:Link

UP BROADCAST RUNNING MULTICAST MTU:1500 Metric:1




RX bytes:2979697141 (2.7 GiB) TX bytes:318248063 (303.5 MiB)

Base address:0xdcc0 Memory:fe4e0000-fe500000

eth0:2 Link encap:Ethernet HWaddr 00:14:22:21:E7:F1



Base address:0xdcc0 Memory:fe4e0000-fe500000

ib1 Link encap:Ethernet HWaddr 06:06:6A:00:6E:6D


inet6 addr: fe80::406:6aff:fe00:6e6d/64 Scope:Link





RX bytes:4786497450 (4.4 GiB) TX bytes:2947031664 (2.7 GiB)

图A：通过ifconfig命令显示的主机网络接口列表

www.dell.com.cn/powersolutions 63

7.重启 Oracle数据库。Oracle RAC现在应利用 InfiniBand及

RDS。

8.要确认Oracle数据库是否正在利用RDS，请在Oracle数据库

告警日志中查找IPCversion字符串，如下所示：

[root@node4~]#vi /opt/oracle/admin/dwdb/bdump/alert_dwdb2.

log

在这里，dwdb为OracleRAC10g数据库的名称。当对于Oracle

RAC启用RDS时，该日志包含类似于图D所示的条目，指示与

InfiniBandHCA相关联的互连协议和IP地址。

# GE RAC private network

# bond0 – Ethernet RAC private IPC

192.168.0.33 node3-ge node3-priv










# InfiniBand

# ib1 – InfiniBand IPC (not in use for RAC)

192.168.1.100 sst9024

192.168.1.33 node3-ib

192.168.1.34 node4-ib

192.168.1.35 node5-ib

192.168.1.36 node6-ib

192.168.1.37 node7-ib

192.168.1.38 node8-ib

192.168.1.39 node9-ib

192.168.1.40 node10-ib

192.168.1.41 node11-ib

192.168.1.42 node12-ib

图 B：主机名集、IPoIB主机名，以及用于 Oracle RAC专用 IPC网络的相关联IP地址

# GE RAC private network

# bond0 Ethernet RAC private IPC (no longer

used for RAC)

192.168.0.33 node3-ge

192.168.0.34 node4-ge

192.168.0.35 node5-ge

192.168.0.36 node6-ge

192.168.0.37 node7-ge

192.168.0.38 node8-ge

192.168.0.39 node9-ge

192.168.0.40 node10-ge

192.168.0.41 node11-ge

192.168.0.42 node12-ge

# InfiniBand

# ib1 – InfiniBand RAC IPC (now used for RAC)

192.168.1.100 sst9024

192.168.1.33 node3-ib node3-priv










图 C：经过编辑以引用 Oracle RAC专用互连的 IPoIB接口 IP地址的 /etc/hosts文件

Cluster communication is configured to use the

following interface(s) for this instance

192.168.1.34

Sat Aug 14 12:46:40 2010

cluster interconnect IPC version:Oracle RDS/IP

(generic)

IPC Vendor 1 proto 3

Version 1.0

图D：显示IPC版本字符串的Oracle数据库10g告警日志

64

数据库：Oracle

DELL POWER SOLUTIONS

衡及故障转移。

• 使用 Oracle 并行执行来实现每处理器两个并行线程的节点

级并行，以及添加节点和实现群集级并行。

• 对于处理器密集型查询，通过为现有节点增添处理能力(例如，通过升级到多核处理器)进行向上扩展，这会比通过添

加节点进行向外扩展更有效。相反，I/O 吞吐量瓶颈（一般

位于数据仓库中）需要更多 I/O 通道，这意味着向外扩展

会比向上扩展更有效。

• 使用 NIC 绑定来提供互连可扩展性。 • 如果使用千兆以太网，则将巨型帧用于群集互连。

• 使用针对具有八个以上节点的 Oracle RAC 配置的高带宽、

低延迟互连，例如 InfiniBand，或者使用针对具有高互连

需求（例如，Oracle Enterprise Manager 反映长时间群集

等待的应用程序）的数据库应用程序的高带宽、低延迟互

连。

可扩展的 Oracle RAC 群集

通过传统对称多处理平台，支持 InfiniBand 的可水平扩展的 Oracle RAC 10g 群集可替代垂直扩展。部署这些群集可使企业

利用低成本的业界标准商用服务器实现他们所需的处理能力，

以及在应用程序需求增加时通过添加群集节点逐渐添加容量。

采用 InfiniBand 的 Oracle RAC 群集还包括有效的高可用性特

性：与大型机不同，具有 n+1 或更多数据库服务器和一个冗余

配置的 InfiniBand 网络的 Oracle RAC 10g 群集可提供无单点故

障的可扩展、高性能数据库平台，从而可实现在无应用程序中

断或不会对用户造成影响的情况下更换故障服务器。实施这些

类型的配置有助于在企业数据中心内提供可扩展、高性能、高

可用性的数据库群集。

Zafar Mahmood为Dell产品集团企业解决方案设计部门的Dell数据

库与应用程序团队资深顾问。Zafar拥有纽约市立大学计算机通信专业

电机工程学士及硕士学位。

Anthony Fernandez 为Dell产品集团企业解决方案设计部门的Dell数

据库与应用程序团队资深分析师。他主要负责数据库优化与性能方面的

工作。Anthony拥有佛罗里达国际大学计算机科学学士学位。

Gunnar K. Gunnarsson 为QLogic公司项目经理兼Oracle全球联

盟经理。Gunnar拥有特拉华大学电机工程学士学位、宾夕法尼亚州

立大学计算机架构专业工程硕士学位以及宾夕法尼亚大学沃顿商学院

工商管理硕士学位。

图6：使用千兆以太网互连的测试中的标准化平均响应时间

图 7：使用千兆以太网和 InfiniBand上 RDS互连的三个 TPC-H查询的标准化平均响应时间

图5：使用千兆以太网互连的测试中的标准化总运行时间

Documents

Oracle 在 Oracle Database 10g 群集上使用Reliable ......InfiniBand 上的 Reliable Datagram Sockets (RDS) Over InfiniBand 能够提供可水平扩展的高性能解决方案，可替代