OpenStack VXLAN VTEP Gateway with Pica8 and …...VXLAN VTEP Gateway VXLAN VTEP Gateway with Pica8 and Midonet Page- | 4 Pica8 とMidoNetによる VXLAN VTEP ゲートウェイ ©

VXLAN VTEP Gateway

P a g e | 1

VXLAN VTEP Gateway with Pica8 and Midonet

Pica8 と MidoNetによる

VXLAN VTEP ゲートウェイ

© 2012-2015 Pica8 Inc. All Rights Reserved

OpenStack VXLAN VTEP Gateway with Pica8 and MidoNet

このドキュメントは、ホワイトボックス SDN スイッチ上で稼働する Pica8 のネットワーク OS(PicOS)がミドクラ社の

MidoNet と連携して、OpenStack の仮想環境と物理環境を接続するための VXLAN のレイヤー2 トンネルエンドポイント

(VTEP)としてどのように動作するか、概要を説明したものです。

Vitual eXtensible LAN(VXLAN)はスタンダードなレイヤー2 オーバーレイテクノロジーで、RFC 7348 で定義されていま

す。VXLAN は VLAN と同様に Ethernet Layer2 ネットワークサービスを提供しますが、VLAN と比べてはるかにスケー

ラビリティと、拡張性と柔軟性を持ち合わせています。VXLAN はレイヤー3 の境界を越えてレイヤー2 を提供し、デー

タセンター全体にマルチテナントを提供します。VXLAN を用いることで、1600 万のレイヤー2 セグメントを構築するこ

とができます。これに対し VLAN はわずか 4000 セグメントしか構築できません。このように、VXLAN は 4000 レイヤー

2 セグメントでは不足な広範囲な構築に適しています。VXLAN のよく知られたユースケースとしては、レイヤー3 を超

えた VM のマイグレーション、OpenStack とのインテグレーション、物理環境と論理環境を接続するためのゲートウェ

イなどの機能があげられます。

VXLAN

VXLAN はオーバーレイのテクノロジーの一つであり、UDP をレイヤー2Mac フレームを運ぶために使用します。UDP に

よる MAC のカプセル化を行い、オリジナルのレイヤー2 フレームは、図 1 のように、VXLAN ヘッダーを加えた、IP-

UDP パケットとしてカプセル化されます。

Figure 1. VXLAN パケットフォーマット

VXLAN ヘッダーは、8byte のヘッダー長で、24 ビットの VXLAN ネットワーク識別(VNID)をもち、1600 万のレイヤー2

セグメントを提供します。

VXLAN VTEP Gateway

P a g e | 2





VXLAN Tunnel Endpoint (VTEP)

VXLAN は VTEP を使用して、エンドデバイスもしくはテナントを VXLAN にマッピングし、パケットのカプセル化、も

しくはカプセルの取り外しを行います。VTEP には 2 つのインターフェイスがあり、一つはローカル LAN であり、もう

一つは、IP ネットワークを経由して他の VTEP に接続するための IP インターフェイスが含まれます。この IP インター

フェイスは、VTEP デバイスを定義するためのもので、そのインターフェイスにユニークに設定されます。VTEP はこの

IP インターフェイスを、レイヤー2 フレームにカプセル化し転送することで、カプセル化したパケットが IP ネットワー

クを通信することになります。

加えて、VTEP は関連した VXLAN セグメントをもつリモートの VTEP を発見し、IP インターフェイスを用いて関連付け

られた VTEP とリモートの Mac アドレスを学習します。VTEP の機能コンポーネントと論理インターフェイスに関して

は、図 2 に示しています。

Figure 2. VTEP

OpenStack

OpenStack はオープンソースのクラウドコンピューティングプラットフォームで、OpeStack 内のサービスセットを経由

して IaaS(Infrastructure as a Service)を提供します。OpenStack 内では、個々のサービスが API を提供して、サービスを

統合することができます。図 3 では Open のソリューションを示しています。

End System A Mac-A IP-A

VTEP-1 IP-1

VTEP-1

End System B Mac-B IP-B

VTEP-2 IP-2

VTEP-2

End

S

yste

m

VT

EP

-3

IP-3

VT

EP

-3

End

S

yste

m

Multicast Group

IP Network

VXLAN VTEP Gateway

P a g e | 3





Figure 3. OpenStack

VXLAN in OpenStack

OpenStack は Neutron プラグインのセットを使用して VXLAN をサポートしています。VXLAN を使用するにあたり、

Mac-VTEP や不明なユニキャストやマルチキャスト(BUM)トラフィックを如何に制御するかという問題があります。IP

マルチキャストを利用することは、手っ取り早い問題の解決方法ですが、全てのネットワークがマルチキャストをサポー

トしているわけではありません。この問題はノードの複製もしくはマルチキャストに依存しない、SDN コントローラー

を使用することでも解決します。VXLAN は 4000 のレイヤー2 ネットワークでは不足の場合、レイヤー2 オーバレイを拡

張するための唯一の手段となります。VXLAN は OpenStack 上のテナントと OpenStack の Neutron(仮想化された）ネッ

トワークとサーバやサービスを仮想化できない物理世界を接続される為に提供されます。

Using an SDN Controller to Manage the VXLAN Overlay Network

ネイティブの、OpenStack Neutron は VXLAN オーバレイを SDN コントローラーを使用せず、ML2OVS エージェントに

てサポートしますが、Neutron では以下の制限があります。

*ハードウェア VTEP の未サポート

*ルーティングの配布、NAT のサポートをしない。

VXLAN VTEP Gateway

P a g e | 4





これらの制限を解消するために、ネットワークコントローラーはネットワークトポロジーを理解する必要があります。例

えば、要求されたトンネルを設定するためには、仮想ネットワーク、代表されるべき VNI,マッピングされるべき物理サ

ーバーと、特定の MAC アドレスを転送すべき VTEP はどれかなどを決定する必要があり、これらの機能は SDN コント

ローラーを使用する必要があります。

Hardware VTEP

VXLAN は VXLAN VTEP となるホスト上の、仮想スイッチ/ハイパーバイザーとともに、IP ファブリックインフラストラ

クチャ上で、オーバレイとして用いられます。典型的なデータセンターでは、全ての機器が仮想化され、仮想スイッチを

使用しているわけではありません。「ベアメタルサーバー」－仮想化されていない物理機器－は実際のデータセンターに

存在ます。

このソリューションは、仮想ネットワークと接続する物理スイッチデバイス上に、ハードウェア VTEP 機能を構築する

ことです。SDN コントローラー配下で稼働し、VTEP は物理ポートと、そのポート上の VLAN を仮想ネットワークにマ

ッピングします。これにより、物理機器は、仮想ネットワーク上に接続された仮想ネットワークと通信できるロジカルネ

ットワークを付与されたことになります。

MidoNet SDN Controller

ミドクラの MidoNet はオープンな、ソフトウェアベースのハイスケラービリティと耐障害性のあるネットワーク仮想化

システムです。公開されている MidoNet のアーキテクチャーはエンタープライズやサービスプロバイダーに対して、ス

ケールとコントロール、セキュリティと柔軟性を兼ね備えた仮想ネットワークを設計、構築そして運用を可能とします。

ソフトウェア上で、マルチテナントネットワークを既存のネットワークハードウェアインフラ上にオーバレイすることで

構築することができます。MidoNet は OpenStack のニュートロンを完全にサポートしています。ミドクラ・エンタープ

ライズ・ミドネット(MEM)はミドクラによるサポートや運用ツールが追加された、商用版の MidoNet になります。

PicOS の VTEP レイヤー2 ゲートウェイは、MidoNet と MEM の双方で稼働します。(※このドキュメントでは MEM につ

いては範囲外となります）

VXLAN VTEP Gateway

P a g e | 5





図 4. MidoNet

Pica8 と MidoNetを用いた VTEPゲートウェイのデプロイ

Pica8 のオペレーティングシステム、PicOS は MidoNet OpenStack インフラストラクチャとスムーズに統合し、

OpenStack 内の MidoNet VTEP からの VXLAN トンネルの終端を行う VTEP ゲートウェイを提供します。MidoNet

OVSDB クライアントは、PicOS が稼働する SDN ホワイトボックススイッチ上の OVSDB サーバーと接続し、

OpenStack Neutron ネットワークに関連した VTEP と Mac アドレスに関する情報についてやり取りを行い、仮想と物理

インフラストラクチャ間での接続を提供します。

VXLAN VTEP Gateway

P a g e | 6





図 5. PicOS と MidoNet による OpenStack VTEP ゲートウェイ

テストベッドの設定について

テストベッドは、OpenStack Juno リリース（Ubuntu 14.04）と 3 つのホストとコントローラーから成り立っています。

コンピュートとネットワークノードは、3 つの仮想マシンが稼働しています。MidoNet はコンピュートノード上で動作し、

1 台の SDN ホワイトボックススイッチ上に PicOS 2.6 が稼働しネットワークのインフラを提供しています。VTEP ゲー

トウェイに関して言えば、MidoNet は OpenStack の Neutron プラグインとして稼働します。PicOS が稼働する SDN ホ

ワイトボックススイッチは、VTEP ゲートウェイとしての機能を果たし OpenStack Neutron ネットワークと物理ネット

ワークを接続します。スイッチは、ハードウェアベースの VXLAN カプセル化をラインレートで、かつ VTEP ゲートウェ

イ機能をサポートしている必要があります。（Broadcom 社のトライデント 2 もしくはトマホークチップセット）VM1 と

VXLAN VTEP Gateway

P a g e | 7





VM2 はサブネット 172.168.1.0/24 上のテナントのホストを示しています。加えて、ホストはサブネット 172.168.1.0/24

上の物理ノードを示しており、スイッチポート Te-1/1/43 の VLAN100 に接続しています。VXLAN トンネルは、ハイパー

バイザーノード上の MidoNet VTEP と Pica8 スイッチ（図では SW)との間で確立されるため、VM1 ならびに VM2 は物

理ノード（図は host)との間にレイヤー2 の接続性を確立します。図 6 はセットアップ図となります。

Figure 6. Pica8 OpenStack VTEP ゲートウェイテストベッド

Pica8 VTEP ゲートウェイ設定

Step コマンド詳細

1 edit configuration モードに入

ります。

2 set vlans vlan-id 100 VLAN 100 を設定しま

す。

3 set vlans vlan-id 1000 l3-interface vlan-1000

VLAN1000 向けのレイヤ

ー3 インターフェイスを

設定します。

VXLAN VTEP Gateway

P a g e | 8





Step コマンド詳細

4 set interface gigabit-ethernet te-1/1/33 family ethernet-switching native-vlan-id 1000

VLAN1000 をタグのない

VLAN として設定しま

す。

5 set interface gigabit-ethernet te-1/1/43 family ethernet-switching vlan members 1000

VLAN1000 を Te1/1/43 に

参加させます。

6 set interface gigabit-ethernet te-1/1/43 family ethernet-switching port-mode "trunk"

Te-1/1/43 をトランクイン

ターフェイスに設定しま

す。

7 set vlan-interface loopback address 10.10.10.1 prefix-length 32

ループバックインターフ

ェイスのための IPアドレ

スを設定します。

8 set vlan-interface interface vlan-1000 vif vlan-1000 address 192.168.10.1 prefix-length 24

VLAN インターフェイス

1000 のための IP アドレ


9 set vxlans source-interface vlan-1000 address 192.168.10.1

VTEP インターフェイス

のソース IPアドレスを設

定します。

10 set vxlan ovsdb-managed true

OVSDB による VXLAN の

管理をイネーブルにしま

す。

11 set protocols ovsdb management-ip 10.10.51.157

OVSDB のマネジメント

インターフェイスの IP ア

ドレスを設定します。

12 set protocols ovsdb controller c1 protocol ptcp

OVSDB コントローラー

のプロトコルの設定をし

ます。

13 set protocols ovsdb controller ovsdb port 6632 OVSDB コントローラー

のポートを設定します。

14 set protocols ovsdb interface te-1/1/43

OVSDB インターフェイ


VXLAN VTEP Gateway

P a g e | 9





MidoNet 設定

Step 詳細

1 VTEP 向けのトンネルゾーンの種類を設定します。

2 VTEP を MidoNet に加え、それを'vtep'トンネルゾーンとして定義します。

3 VTEP と MidoNet ブリッジの背後の Neutron ネットワーク間をバインディングします。

4 物理ホストの IP アドレスを VTEP として同じトンネルゾーンに加えます。

5 VTEP VLAN100 とブリッジの背後にある Neutron ネットワーク間をバインディングします。

6 VTEP 上のホストの IP アドレスをセキュリティグループに加えます。

Pica8 VTEP Gateway 設定と確認

set interface qe-interface-mode "SFP"

set interface gigabit-ethernet te-1/1/33 speed "1000"

set interface gigabit-ethernet te-1/1/33 family ethernet-switching native-vlan-id 1000

set interface gigabit-ethernet te-1/1/43 family ethernet-switching port-mode "trunk"

set interface gigabit-ethernet te-1/1/43 family ethernet-switching vlan members 100

set protocols ovsdb management-ip 10.10.51.157

set protocols ovsdb controller c1 protocol "ptcp"

set protocols ovsdb interface te-1/1/43

set vlan-interface interface 1000 vif 1000 address 192.168.10.1 prefix-length 24

set vlans vlan-id 100

set vlans vlan-id 1000 l3-interface "1000"

set vxlans source-interface 1000 address 192.168.10.1

set vxlans ovsdb-managed true

VXLAN VTEP Gateway

P a g e | 10





Horizon での OpenStack 設定

1. OpenStack Dashboard にて仮想イメージを追加

2. OpenStack Dashboard にてネットワークを作成

3. OpenStack Dashboard にて 2 つの VMを作成し、ネットワークをアサイン

VXLAN VTEP Gateway

P a g e | 11





Midonet の設定

1. VTEP 向けのトンネルゾーンの種類を設定します。

midonet> tunnel-zone create name vtep_zone1 type vtep

tzone0

2. VTEP を MidoNet に加え、それを'vtep'トンネルゾーンとして定義します。

midonet> vtep add management-ip 10.10.51.157 management-port 6632 tunnel-zone tzone0

name br0 description OVS VTEP Emulator management-ip 10.10.51.157 management-port 6632

tunnel-zone tzone0 connection-state CONNECTED

midonet> list vtep

name br0 description management-ip 10.10.51.157 management-port 6632 tunnel-zone tzone0

connection-state CONNECTED

3. VTEP と MidoNet ブリッジの背後の Neutron ネットワーク間をバインディングします。

midonet> bridge list

bridge bridge1 name vxlan state up

midonet> show bridge bridge1 id

85296f07-2235-4963-8160-fb66eca85675

midonet>

4. 物理ホストの IP アドレスを VTEP として同じトンネルゾーンに加えます。

midonet> tunnel-zone tzone0 add member host host0 address 192.168.10.2

zone tzone0 host host0 address 192.168.10.2

midonet>

5. VTEP VLAN100 インターフェイス te-1/1/43 とブリッジ 1 の背後にある Neutron ネットワーク間をバイン

ディングします。

midonet> vtep management-ip 10.10.51.157 binding add network-id 85296f07-2235-4963-8160-

fb66eca85675 physical-port te-1/1/43 vlan 100

Internal error: The server could not comply with the request since it is either malformed or

otherwise incorrect.

midonet> vtep management-ip 10.10.51.157 binding list

management-ip 10.10.51.157 physical-port te-1/1/43 vlan 100 network-id 85296f07-2235-4963-

8160-fb66eca85675

6. VTEP 上のホストの IPアドレスをセキュリティグループ ip-address-group0 に加えます。

midonet> ip-address-group ip-address-group0 add ip address 172.168.1.1

address 172.168.1.1

midonet>

VXLAN VTEP Gateway

P a g e | 12





Pica8 スイッチの確認

VXLAN table of SW1 の VXLAN テーブルの確認

admin@XorPlus# run show vxlan

Egress map:

egress_id 100009 MAC 0:c:29:23:31:9, port_id 1/1/33, vif_index 8 unicast

L3 tunnel mac map:

vlan id 1000, ref_count 1

Port vlan map mode map & Termination admin state map:

port id 1/1/43, ref_count 1

Tunnel Map:

tunnel id 0X4C000200, dst_vtep 192.168.10.2, nexthops (192.168.10.2 ), ecmp_id

100009, ref_count 1

tunnel id 0X4C000001, dst_vtep 224.0.0.1, nexthops (), ecmp_id 0, ref_count 1

Access ports:

id 0X80000002, vpn id 0X7000, port_id 1/1/43, vlan_id 100, egress id 100010

Network ports:

id 0X80000003, vpn_id 0X7000, port_id 1/1/33, egress_id 100009, tunnel_id 0X4C000200,

unicast

id 0X80000004, vpn_id 0X7000, port_id 1/1/33, egress_id 100011, tunnel_id 0X4C000200,

multicast

id 0X80000001, vpn_id 0XFFFFFFFF, port_id 1/1/0, egress_id 100006, tunnel_id

0X4C000001, multicast

BFD sessions:

admin@XorPlus#

注意:Show vxlan コマンドは、VXLAN エンドポイントの設定に関する情報と関連する対向の VTEP のネクストホップを

表示します。

SW1 の VXLAN Macテーブルの確認

admin@XorPlus# run show vxlan address-table

VNID MAC address Type Interface VTEP

----------- ----------------- ------- ---------------- ---------------

10001 00:1e:c9:bb:bb:ce Dynamic te-1/1/43

10001 fa:16:3e:00:0c:f3 Static 192.168.10.2

10001 fa:16:3e:28:aa:cd Static 192.168.10.2

admin@XorPlus#

Pica8 スイッチ上の OVSDBハードウェア VTEP テーブルのダンプ

root@XorPlus$ovsdb-client dump hardware_vtep

Arp_Sources_Local table

_uuid locator src_mac

----- ------- -------

Arp_Sources_Remote table

_uuid locator src_mac

----- ------- -------

Global table

_uuid managers switches

------------------------------------ -------------------------------------- ----------------------

VXLAN VTEP Gateway

P a g e | 13





4146166b-ad2e-4d05-857f-8ba4b3f0ac0d [bd6ac790-b304-4ed7-a77b-8ab7063b8132] [cfdcc9fa-0295-44b0-

81c3-c975b3d463cb]

Logical_Binding_Stats table

_uuid bytes_from_local bytes_to_local packets_from_local packets_to_local

----- ---------------- -------------- ------------------ ----------------

Logical_Router table

_uuid description name static_routes switch_binding

----- ----------- ---- ------------- --------------

Logical_Switch table

_uuid description name options

tunnel_key

------------------------------------ ----------- ----------------------------------------- -------

----------

e1e37b4a-37fe-43f2-a9f7-3a9925b6e92e "" "mn-85296f07-2235-4963-8160-fb66eca85675" {}

10001

Manager table

_uuid inactivity_probe is_connected max_backoff other_config status

target

------------------------------------ ---------------- ------------ ----------- ------------ -------

----------------------------------------------------- -----------

bd6ac790-b304-4ed7-a77b-8ab7063b8132 30000 true 3000 {}

{bound_port="6632", sec_since_connect="13921", state=ACTIVE} "ptcp:6632"

Mcast_Macs_Local table

MAC _uuid ipaddr locator_set logical_switch

--- ----- ------ ----------- --------------

Mcast_Macs_Remote table

MAC _uuid ipaddr locator_set

logical_switch

----------- ------------------------------------ ------ ------------------------------------ ------

------------------------------

unknown-dst 8c6b4993-7be8-4d85-811b-3255e15d2f92 "" 6d275247-2c1b-4c79-8f08-b17d93bd1e32

e1e37b4a-37fe-43f2-a9f7-3a9925b6e92e

Physical_Locator table

_uuid dst_ip encapsulation_type

------------------------------------ -------------- ------------------

d983943f-c791-4431-89a2-ec6a531a4d15 "192.168.10.1" "vxlan_over_ipv4"

09c0f3c2-d42a-406b-8644-3bffc472a247 "192.168.10.2" "vxlan_over_ipv4"

Physical_Locator_Set table

_uuid locators

------------------------------------ --------------------------------------

6d275247-2c1b-4c79-8f08-b17d93bd1e32 [09c0f3c2-d42a-406b-8644-3bffc472a247]

Physical_Port table

_uuid description name port_fault_status vlan_bindings

vlan_stats

------------------------------------ ----------- ----------- ----------------- --------------------

---------------------- ----------

35f008a2-e248-4330-a1e5-85f3f843bc68 "" "te-1/1/43" [] {100=e1e37b4a-37fe-

43f2-a9f7-3a9925b6e92e} {}

Physical_Switch table

VXLAN VTEP Gateway

P a g e | 14





_uuid description management_ips name ports

switch_fault_status tunnel_ips tunnels

------------------------------------ ----------- ---------------- ----- ---------------------------

--------------------------------------------------------------------------------------- -----------

-------- ---------------- -------

cfdcc9fa-0295-44b0-81c3-c975b3d463cb "" ["10.10.51.157"] "br0" [35f008a2-e248-4330-a1e5-

85f3f843bc68, 3d5eae61-46bc-4e3c-84f3-06aed7961ff5, c30d1ef4-b54a-4946-bd8c-460af234875e] []

["192.168.10.1"] []

SSL table

_uuid bootstrap_ca_cert ca_cert certificate external_ids private_key

----- ----------------- ------- ----------- ------------ -----------

Tunnel table

_uuid bfd_config_local bfd_config_remote bfd_params bfd_status local remote

----- ---------------- ----------------- ---------- ---------- ----- ------

Ucast_Macs_Local table

MAC _uuid ipaddr locator

logical_switch

------------------- ------------------------------------ ------ -----------------------------------

- ------------------------------------

"00:1e:c9:bb:bb:ce" f431e446-6c1c-4842-ad3a-19cd04a54952 "" d983943f-c791-4431-89a2-

ec6a531a4d15 e1e37b4a-37fe-43f2-a9f7-3a9925b6e92e

Ucast_Macs_Remote table

MAC _uuid ipaddr locator

logical_switch

------------------- ------------------------------------ ------ -----------------------------------

- ------------------------------------

"fa:16:3e:00:0c:f3" 0c6732d3-9e72-4444-9d8f-07abde993aa7 "" 09c0f3c2-d42a-406b-8644-

3bffc472a247 e1e37b4a-37fe-43f2-a9f7-3a9925b6e92e

"fa:16:3e:28:aa:cd" b1160e14-8e35-4293-a987-59ddc29f7304 "" 09c0f3c2-d42a-406b-8644-

3bffc472a247 e1e37b4a-37fe-43f2-a9f7-3a9925b6e92e

VXLAN VTEP Gateway

P a g e | 15





仮想マシンと、物理ホストの間の接続性の確認

ホストから VM1と VM2に対する Ping

root@Dev-45:~# ping 172.168.1.2 -c 5

PING 172.168.1.2 (172.168.1.2) 56(84) bytes of data.

64 bytes from 172.168.1.2: icmp_req=1 ttl=64 time=3.92 ms





--- 172.168.1.2 ping statistics ---

5 packets transmitted, 5 received, 0% packet loss, time 4006ms

rtt min/avg/max/mdev = 1.476/2.015/3.920/0.954 ms

root@Dev-45:~# ping 172.168.1.3 -c 5

PING 172.168.1.3 (172.168.1.3) 56(84) bytes of data.






--- 172.168.1.3 ping statistics ---

5 packets transmitted, 5 received, 0% packet loss, time 4006ms

rtt min/avg/max/mdev = 1.623/3.365/10.189/3.412 ms

root@Dev-45:~# arp -n

Address HWtype HWaddress Flags Mask Iface

172.168.1.3 ether fa:16:3e:28:aa:cd C eth1.100

本資料に関するお問い合わせは以下までご連絡ください。

Documents

OpenStack VXLAN VTEP Gateway with Pica8 and …...VXLAN VTEP Gateway VXLAN VTEP Gateway with Pica8 and Midonet Page- | 4 Pica8 とMidoNetによる VXLAN VTEP ゲートウェイ ©