新型的网络架构

• Flex System网络概览

• 机箱内的交换机模块

• 节点的网卡适配器

• 柜顶交换机

Flex Systems网络概述

© 2012 IBM Corporation 3

Flex System机箱前视图 – 计算节点

• 计算节点从前方放入机箱进行连接

• 14个节点:

– 半宽，或者

– 全宽（2各节点宽度）

• 两种不同的节点:

– 计算节点

– 管理节点

节点1 节点2

节点13 节点14

状态灯

I/O 模块1

Flex System机箱后视图 – IO交换模块

• 至多4个I/O交换模块

• 2个集成的网口会自动的连接到IO模块1和模块2

• 每个机箱可以支持4个以太网模块

I/O 模块2 I/O 模块3 I/O 模块4

ScSE 可扩展交换机模块

服务器与机箱的连接

2种 I/O连接： 使用不同的连 接模块

LOM

10Gb 以太网

10Gb 以太网

10Gb 以太网

4 p Eth

FC/Ethernet/IB

1 3 2 4

FC/Eth/IB

Ethernet

FC/Infiniband 2 Ethernet 4 Ethernet 6 Ethernet 8 Ethernet

No FC

2 Ethernet onboard

(2 port LOM)

Two Eth onboard

+ 2 port Eth card

-OR-

LOM-less

+ 4 port Eth card

Two Eth onboard

+ 4 port card

LOM-less

+ 4 port Eth card

+ 4 port Eth card

2 FC/Infiniband

2 Ethernet onboard

+ 2 port FC card

LOM-less

+ 4 port Eth card

+ 2 port FC card

以太网交换机模块 • 可扩展的10Gb交换机 / 40Gb上连 • 可扩展的1Gb 交换机/10Gb上连 • 1/10Gb 直通

以太网卡 • 4 port 1Gb • 4 port 10Gb – Virtual Fabric • 2 port 10Gb – Low Latency

光纤交换机模块 • 20 port 8Gb • 20 port 8Gb直通 • 12 port 16Gb • Scalable 24 port 16Gb w/ ESB

光纤卡 • 2 port 8Gb • 2 port 16Gb

Infiniband •QDR Switch – Mellanox upgrade: FDR for investment protection •QDR & FDR Adapter - Mellanox

交换机模块插槽1-4

网络交换机模块

© 2012 IBM Corporation 8

计算节点连接交换机模块示意图

9

2-Port Adaptor 4-Port Adaptor

Net

wo

rkin

g In

fra

stru

ctu

re

Networking

“Pay as you grow” scalability ◊ Optimized for performance ◊ Efficient network automation ◊ Enhanced virtualization intelligence ◊ Lower TCO ◊ Seamless interoperability

Scalable 10Gb Ethernet with 10/40Gb Uplinks

IBM Flex System EN4093 10Gb交换机模块

Overview •Layer 2/3 Data Center design – upgrade in order •Base Switch: 14 x 10Gb server port & 10 x 10Gb uplinks •Switch upgrade 1: 28 x 10Gb server ports & 10 x 10Gb plus 2 x 40Gb uplinks. •Switch upgrade 2: 42 x 10Gb server ports & 14 x 10Gb plus 2 x 40Gb uplinks.

Leadership •Single ASIC Design •Proven Operating System •Exceptional Price/Performance •Investment Protections – scalable pay-as-you-grow design •FCoE convergence support planned Mid 2012 •VM aware & VM Mobility with VMready •Virtual Fabric – carve up virtual NIC’s and pipes •Seamless interoperability with other vendors switches •3 year warranty and 3 year software upgrade licenses

Recommended Top-of-Rack switch •Multiple chassis of 10Gb connection G8264

Base

10

x 10

Gb

E SFP+

#2

= 4

x10

Gb

E #1

= 2

x40

Gb

E 1

Gb

E Mgm

t

IBM

10

Gb

Vir

tual

Fab

ric

Swit

ch

更加灵活的连接方式来适应当前和将来的网络环境

IBM 10Gb交换机: 每个节点3个网络对内端口，及22个对外端口

• 默认配置: 14个10Gb对内端口激活（每个节点一个），10个10Gb对

外端口

14 internal ports Logical partition 1

Po

ol o

f u

plin

k p

ort

s

• 第一次升级FoD：激活第二组14个10Gb对内端口， 和2个40Gb对外

端口

• 每个40Gb端口可以单独使用或者“拆分”成4个10Gb对外端口使用

• 支持4端口的Virtual Fabric adapter

• 第二次升级FoD：激活第三组14个10Gb对内端口， 和4个10Gb对

外端口

• 支持6口卡（将来）

14 internal ports Logical partition 2

14 internal ports Logical partition 3 (future)

Net

wo

rkin

g In

fra

stru

ctu

re

Networking

“Pay as you grow” scalability ◊ Optimized for performance ◊ Efficient network automation ◊ Enhanced virtualization intelligence ◊ Lower TCO ◊ Seamless interoperability

IBM Flex System EN2092 1Gb 交换机模块

Scalable 1Gb Ethernet with 1/10Gb Uplinks

Overview •Layer 2/3 Data Center design – upgrade flexibility •Base Config: 14 x 1Gb server port & 10 x 1Gb uplinks

• Part Number: 49Y4294 •Upgrade: 2x ports - 28x1Gb server ports & 20x1Gb uplinks

• Part Number: 90Y3562 •Upgrade: 10Gb Uplinks Enables the 4 x 10Gb uplinks

• Part Number: 49Y4298

Leadership •Proven Operating System •Exceptional Price/Performance •Investment Protections – scalable pay-as-you-grow design •VM aware & VM Mobility with VMready •Seamless interoperability with other vendors switches •3 year warranty and 3 year software upgrade licenses

Recommended Top-of-Rack switch •Multiple chassis of 1Gb connection G8052 •Multiple chassis of 10Gb connection G8124E

Base

10

x 1G

bE p

orts

Ad

d 1

0x1

Gb

E A

dd

4x1

0G

bE

Net

wo

rkin

g In

fra

stru

ctu

re

Networking

Simple & Low Cost ◊ Unmanaged ◊ Ability to auto-negotiate ◊ Seamless interoperability

IBM Flex System EN4091 10Gb 以太网直通模块

Simple 1/10Gb Pass-through for seamless

connectivity to upstream networks

Overview •14 x 1/10Gb server port & 14 x 1/10Gb uplink ports

Leadership •Proven Operating System •Exceptional Price/Performance •Supports CEE and FCoE •Seamless interoperability with other vendors switches •3 year warranty and 3 year software upgrade licenses

Recommended Top-of-Rack switch •Multiple chassis of 1Gb connection G8052 •Multiple chassis of 10Gb connection G8124E

网卡适配器

© 2012 IBM Corporation

IBM Flex System CN4054 10Gb Virtual Fabric Adapter

•最新 支持最多32个虚拟网卡，提供10Gb的网络性能

可以被eXFabric Manager集中管理

•特性与价值 降低成本：每个物理端口运行多个虚拟端口，并且运行多协议。从而无需更多

的交换机模块和网卡适配器

降低复杂度：有效减少近70%的线缆复杂度

提高性能：利用FCoE，硬件iSCSI等提供10Gb性能，

•优势 降低 TCO：降低硬件及管理成本

更高的灵活性：利用软件升级达到FCoE及硬件iSCSI的功能

对核心应用提供更高的性能和最低的延迟

虚拟化

降低复杂性

降低成本和复杂度，为新一代IBM Virtual Fabric网络和10Gb网卡提高性能

每个服务器提供至多32个虚拟端口

单端口运行多协议

支持虚拟化技术，如：SR-IOV & UFP

IBM Flex System CN4054 10Gb Virtual Fabric Adapter

IBM Flex System EN4132 2-port 10Gb Ethernet Adapter

•最新 基于最新的CX3 asic提供2端口10Gb的性能

•特性与价值 支持10Gb，低延迟

支持RoCEE

•优势 对核心应用提供更高的性能和最低的延迟

提高CPU的性能降低电耗，以减少CPU计算时间

在以太网上为客户的高性能负载提供10Gb的性能和低的网络延迟

10Gb性能

小于1us的延迟

支持RoCEE功能

IBM Flex System EN4132 2-port 10Gb Ethernet Adapter

For IBM and Business Partner Education Use Only - Plans Subject to Change

IBM Flex System EN2024 4-port 1Gb Ethernet Adapter

•最新 基于Broadcom 5718 asic 的4口1Gb网卡适配器

•特性与价值 节能

I/O 虚拟化支持VMWare® NetQueue®, and Microsoft® VMQ

•优势 每个服务器的一个适配器支持4口的1Gb端口

连接到现有的1Gb网络，减少网络的复杂度

For IBM and Business Partner Education Use Only - Plans Subject to Change

更多选择

10Gb SFP+ Options

•Direct Attach Copper Cables – Low Cost, Low Power ideal for shorter distances

– IBM PN: 90Y9427 1m IBM Passive DAC SFP+ Cable

– IBM PN: 90Y9430 3m IBM Passive DAC SFP+ Cable

– IBM PN: 90Y9433 5m IBM Passive DAC SFP+ Cable

•Transceivers supported in SFP+ ports

– IBM PN: 81Y1618 IBM (1000BASE-T) SFP RJ45 Transceiver

– IBM PN: 81Y1622 IBM (1000BASE) SFP SX Transceiver

– IBM PN: 90Y9424 IBM (1000BASE) SFP LX Transceiver

– IBM PN: 46C3447 IBM (10GBASE) SFP+ SR Transceiver

– IBM PN: 90Y9412 IBM (10GBASE) SFP+ LR Transceiver

40Gb QSFP+ Options

•QSFP+ Direct Attach Cables – break out into four 10GbE connections

– IBM PN: 49Y7886 1m IBM QSFP+ DAC Break Out Cable

– IBM PN: 49Y7887 3m IBM QSFP+ DAC Break Out Cable

– IBM PN: 49Y7889 5m IBM QSFP+ DAC Break Out Cable

•QSFP+ Direct Attach Cables – for 40GbE connections

– IBM PN: 49Y7890 1m IBM QSFP+-to-QSFP+ Cable

– IBM PN: 49Y7886 3m IBM QSFP+-to-QSFP+ Cable

•Transceivers supported in SFP+ ports

– IBM PN: 49Y7884 IBM (40GBASE) QSFP+ SR Transceiver

1G

bE M

gmt

IBM 物理交换机

VMready™

VM 1

1. 为虚拟机创建虚拟端口，并可以配置VLANs, ACLs, QoS等

2. 虚拟端口的配置通过APIs与虚拟交换机进行同步

VM 2 VM X

Virtual Switch

Virtual Switch

Virtual port

VLAN 100

ACL filters

TX/RX limits 1

2 2

Virtual port

VLAN 100

ACL filters

TX/RX limits 3 VMready™

运行在交换机上

Physical Network

IBM DVS 5000V Controller

Physical Switch

ESXi5

VM-1 VM-N

Physical Switch

ESXi5

VMware vCenter

• IBM DVS 5000V Controller

– Manages distributed virtual switch 5000V across

multiple ESX hypervisors

• IBM DVS 5000V DPM

– Data Path Module: Layer 2 virtual switch

embedded in each ESX hypervisor

• VMware vCenter

– IBM DVS 5000V appears as a

distributed virtual switch

– Hypervisor administrators attach VMs

to IBM DVS 5000V

IBM Distributed Virtual Switch 5000V for VMware vSphere 5.0

IBM DVS 5000V DPM

VM-N VM-1

IBM DVS 5000V DPM

vNIC 8-1

vNIC 8-2

vNIC 8-3

vNIC 8-4

vNIC 10-1

vNIC 10-2

vNIC 10-3

FCoE / iSCSI VNIC

vNIC 10-4

pNIC

pNIC

vNIC, pNIC & VFA functionality is included with all x240 Emulex NIC options (LOM & Mez card)

• A vNIC allows a single physical NIC port (pNIC) to present to the OS as up to 4 “virtual” NIC ports (vNICs).

• Bandwidth can be changed on the fly.

• Depending on the vNIC mode, the amount of bandwidth assigned to each vNIC is managed either at the NIC card itself (Switch Independent Mode) or pushed down from the Ethernet switch (IBM Virtual Fabric Mode)

FCoE / iSCSI VNIC

IBM Virtual Fabric (vNIC)

小结

© 2012 IBM Corporation 22

智能，集成的灵活的网络架构 可以适用现有以及将来的网络环境

灵活的，整合的，标准的网络

可扩展，且按需付费 性能第一位：

– 支持 40Gb – 3x10Gb ↓ ports – 小于 1ms的延迟

互操作性 为未来而设计：

– Flat network – Convergence

物理/逻辑交换机 虚拟网卡，虚拟交换机 UFP, Trill及更多

通过FSM管理节点进行管理

Stacking & vLAG

从物理网络管理到工作负载的管理 （SNEM integration w/ FSM/Director）

灵活的工作负载部署及性能的最大化(UFM)

优化的虚拟机网络管理，虚拟交换机（5000v）

网络自动化，服务器自动部署以及负载均衡

虚拟机网络感知，轻松管理与监控（Vmready）

标准化（Qbg） OpenFlow - Future

整合的 自动的 优化的

网络

Flex Systems 网络优势

灵活性 为未来的网络而设计。按需购买。

高性能 第一个支持40Gb的网络交换机模块 第一个支持16Gb的光纤交换机模块 第一个支持56Gb的Infiniband FDR交换机模块 支持最高220Gb上连带宽，小于1ms延迟

集中管理 物理与逻辑网络管理 智能监控 将会根据工作负载进行智能的网络部署

虚拟化 通过IBM 5000v和IBM Fabric Manger进行网络的自动部署 通过Virtual Fabric提高网络资源利用率—每个服务器最多到32个虚拟网卡

标准网络 提供10Gb iSCSI 和FCoE 第一个提供40Gb 端到端的 FCoE

UCS HP

无

IBM Pure Systems

无

有 部分

有 部分

部分 部分

无 无