Oracleホワイト・ペーパー 2012年6月

Oracle Real Application Clusters（Oracle RAC）および

Oracle Clusterwareインターコネクトの仮想ローカル・

エリア・ネットワーク（VLAN）配置時の考慮事項

Oracle RACおよびOracle Clusterwareインターコネクトの仮想ローカル・エリア・ネットワーク（VLAN）配置時の考慮事項

概要 .............................................................................................................................. 2 はじめに ...................................................................................................................... 2 オラクルが文書に記載しているインターコネクト配置要件 ........................................ 4 待機時間と帯域幅 ........................................................................................................ 5 共有イーサネット・スイッチ、VLAN、インターコネクト ......................................... 7 レイヤー2隣接 .......................................................................................................... 8 スパニング・ツリー ................................................................................................. 8 VLANプルーニング .................................................................................................. 9 統合とコンバージド・ネットワーク ....................................................................... 11 オーバーサブスクリプション .................................................................................. 11

結論 ............................................................................................................................ 12 付録 ............................................................................................................................ 13

A. スパニング・ツリー診断 ................................................................................... 13

Oracle RACおよびOracle Clusterwareインターコネクトの仮想ローカル・エリア・ネットワーク（VLAN）配置時の考慮事項

2

概要

このホワイト・ペーパーでは、オラクルのインターコネクトの要件（'プライベート'および'個別'）について説明し、共

有イーサネット・ネットワーク環境における待機時間と帯域幅の観点から、この要件を評価します。

Oracle Clusterwareインターコネクトのコンテキストにおける共有イーサネット・ネットワークとは、インターコネク

ト・トラフィックとは無関係のネットワーク・トラフィックを処理するように、スイッチ、ネットワーク・インタフェー

ス、またはネットワーク・セグメントが構成されているネットワークのことです。このような無関係のトラフィック

に当てはまるものとして、統合データベースや統合仮想環境からのプライベート・インターコネクト・トラフィック、

隣接するLocal Area Network（LAN）セグメントからのパブリック・トラフィック、ストレージ・トラフィック、バッ

クアップ/レプリケーション・トラフィック、その他のクラスタ・インターコネクトとは無関係のネットワーク・トラ

フィックが挙げられます。通常、共有イーサネット・スイッチ・ネットワークは、ブロードキャスト範囲を分離する

目的で、仮想ローカル・エリア・ネットワーク（VLAN）を使用してパーティション化されます。パーティション化は、

トポロジに応じてタグVLANまたはタグなしVLANを実現するために、スイッチ上のポート・レベルで構成される場合

があります（これが一般的な構成です）。また、タグVLANを使用してホスト・ネットワーク・アダプタ上でパーティ

ション化が行われる場合もあります。共有イーサネット・ネットワークでは、スイッチやNICリソースが共有されるた

め、競合が増加し、パフォーマンスが低下し、可用性が損なわれる可能性があります。

このホワイト・ペーパーでは、Oracle Clusterwareインターコネクトのパフォーマンスと可用性を最適化することを目

的とした、共有イーサネット・スイッチ、共有NIC VLAN構成、配置プラクティスに焦点を当てています。Oracle Real

Application Clustersインターコネクトの待機時間および帯域幅のベースラインについては、一般的な数値をガイドラ

インとして説明しますが、これらはOracleエンジニアド・システムに適用することを意図したものではありません。

これらのベースラインは、Oracle Clusterwareインターコネクトを共有イーサネット・ネットワーク・トポロジ内に配

置する場合に検討する必要のある事柄です。対象読者は、Oracle Clusterwareインターコネクトのネットワーク配置要

件に関心のあるすべての人であり、特に、アーキテクト、DBA、システム管理者、ネットワーク・エンジニアです。

このホワイト・ペーパーは、具体的なVLAN構成のガイダンスの提供を目的としたものではありません。

Oracle Clusterwareインターコネクトの要件、可変ワークロード、サポートするネットワーク・コンポーネントに基づ

いたネットワーク・アーキテクチャ設計を支援することを目的としています。

はじめに

Oracle Clusterwareでは、クラスタ・インターコネクトをノード間通信に対応するように構成する必要があります。この

クラスタ・インターコネクト通信には、基本的に次の2つのタイプが存在します。

1) ノード間クラスタ・ハートビート/メッセージング。クラスタ・トポロジ（ノードおよびグループ）を管理す

るために使用します。ノード間クラスタ・ハートビート/メッセージは通常、小さなサイズ（200バイト以下）

です。 2) ノード間グローバル・キャッシュ・バッファ転送。Oracle Real Application Clustersなど、クラスタ内のノード

全体でアクティブ/アクティブのノード間インメモリ・バッファ・アクセスを活用するアプリケーションのた

めに使用します。ノード間グローバル・キャッシュ・バッファ転送は、アプリケーションやデータ・アクセ

ス・パターンに応じて2K～16Kの範囲のブロック・サイズとなります。

Oracle RACおよびOracle Clusterwareインターコネクトの仮想ローカル・エリア・ネットワーク（VLAN）配置時の考慮事項

3

Oracle Clusterwareインターコネクトは非従来型のインターコネクトです。Oracle RACなどの共有グローバル・キャッ

シュ・アプリケーションにおいては、Oracle Clusterwareインターコネクトをノード間グローバル・キャッシュ・バッファ

転送のためのI/Oサブシステムであると認識する必要があります。このI/Oサブシステムには、高パフォーマンス・クラ

スタ・コンピューティングの待機時間および帯域幅の要件が伴います。 この理由から、Oracle RAC向けのOracle Clusterwareでは、信頼性に優れた、待機時間の短い高帯域幅の転送媒体を使用

して、高可用性と優れた効率性を備えるグローバル・キャッシュ・バッファ処理を可能にする必要があります。従来

はこの要件に対応するために、スタンドアロンの専用スイッチを使用し、分離によって待機時間やスループットを制

御していました。完全な分離を実現し、専用の帯域幅を確保するためには、専用のスイッチとNICが必要です。しかし、

共有イーサネット・ネットワークでは、クラスタ・インターコネクトをプライベート・ネットワークとしてサポート

するために、VLANを構成する必要があります。VLANによって、Oracle Clusterwareプライベート・インターコネクト

に求められる、短い待機時間、高帯域幅、ネットワーク分離という要件を満たすことができます。VLAN構成は、目的

のトポロジ、ホスト・ネットワーク・インタフェース上の共有の度合い、ネットワーク・トラフィック特性、必要な

分離レベルに応じて異なります。 このホワイト・ペーパーでは、最適なメッセージおよびOracle RACブロック処理のための、オラクルによるインター

コネクト待機時間の下限推定値について説明し、保守的な帯域幅の推定値に関するガイドラインを示します。これら

の推定値は、実際のアプリケーション実行時の待機時間およびスループットに関する要件を評価する際のベースライ

ンとなるものです。共有イーサネットVLANの配置時に、これらの推定値の測定と評価を行う必要があります。 クラスタ・インターコネクトの待機時間、帯域幅、可用性に関する要件では、標準的なイーサネット設計、配置、監

視のベスト・プラクティスを適用する必要があります。この適用によって、共有イーサネット・スイッチの一般的な

ネットワーク・イベントを原因とするクラスタの停止やパフォーマンスの低下から保護します。 このホワイト・ペーパーでは、スパニング・ツリーのイベント、ネットワーク・セグメント（スイッチやNIC）のオー

バーサブスクリプションが原因となるネットワークの輻輳、パケットのブロードキャスト伝播、VLAN構成について取

り上げます。脚注では、ネットワーク・ベンダーの各種ドキュメントへの参照を記載します。これらのドキュメント

では、Oracle Clusterwareインターコネクトのパフォーマンスおよび可用性に関連する、データセンター・イーサネット・

ネットワークの設計および配置のベスト・プラクティスについて詳細が説明されています。

Oracle RACおよびOracle Clusterwareインターコネクトの仮想ローカル・エリア・ネットワーク（VLAN）配置時の考慮事項

4

オラクルが文書に記載しているインターコネクト配置要件

オラクルが文書に記載しているインターコネクト配置に関する要件では、'プライベート'および'個別'のネットワークに

関する説明があります。インターコネクト配置に関する要件は'プライベート'および'個別'という観点で説明されていま

すが、これは、インターコネクト・トラフィック専用の分離されたネットワークであるとされています。オラクルの

ドキュメントには次のように記載されています。

「インターコネクト・ネットワークは、クラスタ内のノードのみがアクセスできる単一のスイッチ（または

複数のスイッチ）を使用するプライベート・ネットワークです。」1 および

「Oracle Clusterwareでは、クラスタ内のノードが、プライベート・インターコネクトを使用してプライベー

ト・ネットワークに接続されている必要があります。プライベート・インターコネクトは、クラスタ・ノー

ド間で構成する個別のネットワークです。Oracle RACで使用するインターコネクトは、Oracle Clusterwareで使用するインターコネクトと同じです。このインターコネクトは、プライベート・インターコネクトである

（クラスタ・メンバー以外のノードからはアクセスできない）必要があります。」2

'プライベート'および'個別'という語はこれまで、1つの専用スタンドアロン・スイッチ（または高可用性（HA）対応の

複数のスイッチ）を指すと解釈されてきました。このような構成は、完全な分離と専用の帯域幅を必要とするクラス

タ化環境では、現在でもインターコネクト配置におけるオラクルのベスト・プラクティスとなっています。 しかし、'プライベート'かつ'個別'の専用スイッチは、ネットワーク・エンジニアが一般的に必要とするような待機時間

および帯域幅の要件の定義とかならずしも一致しません。さらに、専用ハードウェアは、データセンター内で現在行

われているハードウェアとソフトウェアの統合の取組みとは相反するものです。 現在、もっとも一般的なOracle Clusterwareインターコネクトの配置では、1ギガビット・イーサネット（1GbE）リンク

またはアグリゲーション・リンク/ボンディング・リンク（HAベスト・プラクティス）を使用し、スイッチに対して

OSIレイヤー2隣接を適用する（例：1つのスイッチまたは複数のスイッチに直接接続する）傾向があります。このスイッ

チは一般的にはスタンドアロンのスイッチであり、インターコネクト・トラフィック向けの専用のブロードキャスト/マルチキャスト・ドメインおよび非ルーティングLANを構成する要素となります。 データセンターにおける統合の取組みによって、スダンドアロンのスイッチは管理不可能で、変化し続けるネットワー

ク配置標準とは相反するものとなりました。また、1ギガビット・イーサネットは、統合されたネットワークの負荷に

対応するため、徐々に10ギガビット・ネットワークに置き換えられています。このような統合および管理の容易さが

動機付けとなって、ネットワーク・エンジニアは従来のOSIレイヤー2スイッチから、より高い帯域幅に対応するエン

タープライズ・クラスのマルチレイヤー管理スイッチへと切り替えています。これらのマルチレイヤー管理スイッチ

は豊富な機能を備え、VLAN、可変MTU、リンク・アグリゲーション、サービス品質（QoS）をサポートしています。

VLANはデータセンター内部のネットワーク統合の取組みにおいて重要な役割を果たしています。そのため、ここでは、

オラクルの'プライベート'および'個別'というインターコネクト配置に関する要件をVLANのコンテキストで評価します。

1 『Oracle® Clusterware管理およびデプロイメント・ガイド11gリリース2（11.2）』 原本部品番号：E10717-03 http://download.oracle.com/docs/cd/E14072_01/rac.112/e10717/intro.htm#sthref24 2 『Oracle® Database 2日でReal Application Clustersガイド, 11gリリース2（11.2）』 原本部品番号：E10743-01

Oracle RACおよびOracle Clusterwareインターコネクトの仮想ローカル・エリア・ネットワーク（VLAN）配置時の考慮事項

5

待機時間と帯域幅

Oracle Clusterwareインターコネクトの待機時間に関する要件はある程度予測可能です。一方、帯域幅の要件を配置に先

だって計算することは困難です。待機時間と帯域幅の要件は両方ともそれぞれのアプリケーションによって異なり、

ブロック・サイズ、転送媒体、ネットワーク・スタック、ハードウェア（ドライバ、PCIバス）、サーバーCPU（数量

や速度）、割込み処理、ワークロード（OLTPまたはDSS）、RDBMS処理の効率性に大きく依存します。UDPについて

の、 1ギガビット・イーサネットのOracleキャッシュ・フュージョン・ブロック処理におけるラウンドトリップ待機時

間の下限については公表されています。表1に、さまざまなブロック・サイズにおける数値（ミリ秒単位）を示します。

表1：1GbEのUDPのさまざまなブロック・サイズにおけるOracleキャッシュ・フュージョン・ ブロック処理の待機時間

ブロック・サイズ 2K 4K 8K 16K ラウンドトリップ（ms）UDP/1GbE 0.30 0.31 0.36 0.46

これは、双方向メッセージングまたは3方向メッセージングでの最小の待機時間を表します3。これらの値は、データベー

スで測定したエンド・ツー・エンドの待機時間の下限であり、ワイヤー・レートに近い最適な待機時間となります。ま

た、期待される値に非常に近い値です。待機時間の上限は、アプリケーションのパフォーマンスおよび可用性に関す

るサービス・レベル要件によって決まります。多めに設定されている待機時間上限のしきい値は、デフォルトで30秒です。 ネットワーク・メッセージがこの上限のしきい値以内で処理されない場合、Oracle Clusterwareではこの状況がネット

ワーク障害と認識され、スプリット・ブレイン防止のためのノード・フェンシングが起動される可能性があります。

待機時間の長い状態が継続すると、深刻なパフォーマンス低下が引き起こされ、その結果、クラスタのパケット再送

やパケット損失が発生し、さらにパフォーマンスの問題が悪化することもあります。パケット処理の待機時間が長い

問題、特に待機時間の長い状態が持続する問題については、徹底的に調査する必要があります。 Oracle Database 11g Release 1以後、AWRでは表2に示すようなさまざまなメッセージ・サイズにおけるインターコネク

ト・データベース間のping待機時間が表示されます。これらのping待機時間は、さまざまなデータベース・ブロック・

サイズにおける平均値と標準偏差としてレポートされます。ソース・インスタンスから他のインスタンスに対する1つのラウンドトリップ・メッセージの待機時間がミリ秒単位で測定されます。また、ソース・インスタンスからそのイ

ンスタンス自身へのループバック・メッセージの待機時間が、制御用の時間として使用されます。メッセージの待機

時間には、メモリやCPUなどのネットワーク以外のリソースに対する待機時間も含まれるからです。本番運用の前に

これらの統計値を評価することによって、テスト中の環境におけるインターコネクトおよびインスタンスの待機時間

を正確に推定できます。レポートされる待機時間を定期的に監視することが、早期の問題検出、傾向分析、統合予測

のための一般的なプラクティスとなります。

3 AWRおよびStatspackのレポートには、正規分布であると仮定した上での平均値がレポートされます。10.2のStatspackおよび11gのAWRに含まれるセッション待機履歴に、実際の数量が示されます。この表の最小値は、双方向または3方向のブロック転送における

最適な値ですが、期待値であると仮定することもできます（すなわち、双方向ブロックで10msとなった場合は、非常に高い値です）。

Oracle RACおよびOracle Clusterwareインターコネクトの仮想ローカル・エリア・ネットワーク（VLAN）配置時の考慮事項

6

表2：AWRには、さまざまなメッセージ・サイズにおけるデータベース・インターコネクト間のping待機時間がミリ秒単位で表示される

Target Instance

500B ping 回数

平均待ち時間（500Bメッセージ）

標準偏差（500Bメッセージ）

8K ping 回数

平均待ち時間（8Kメッセージ）

標準偏差（8Kメッセージ）

1 145 1.30 5.07 145 1.30 5.07

2 145 1.01 4.50 145 1.01 4.50

3 145 1.16 4.79 145 1.01 4.50

4 145 1.16 4.79 145 1.16 4.79

Oracle Clusterwareインターコネクトのイーサネットでの帯域幅要件は、通常、転送媒体のワイヤー・レートによって規

定されます。このワイヤー・レートは、現在の一般的なもので1GbEであり、さらに帯域幅や可用性の向上のために集

約された10GbEのものも増加傾向にあります。帯域幅の計算によってわかるのは、帯域幅に関する要件の大まかな推

定値だけであり、この推定値はクラスタ内のデータ・アクセス・パターンに大きく依存します。一般的には、1GbEリンクは約80～90%で飽和状態となり、それ以降はパケット損失が発生する可能性が高くなります。あらゆるアプリケー

ションやワークロードの組合せで、インターコネクトのトラフィック・パターン、ピーク時のバリエーション、輻輳、

潜在的なブロック損失について慎重に確認する必要があります。Oracle AWRのGlobal Cache Load Profileには、推定の

インターコネクト・トラフィック4がキロバイト単位で表示されます。Oracle Database 11 Release 2 AWRには、CURバッ

ファおよびCRバッファのグローバル・キャッシュ転送に関連する、より詳細な統計情報が示されます。これは、直近

のビジー状態にある輻輳の処理や、ソフトウェア・コンポーネント（グローバル・キャッシュ、パラレル問合せ、DBロック、DBストリームなど）によるインターコネクトのスループットに関する情報です。 AWRに示されるOracle RACの'Cache Transfer Statistics'を、本番運用前のテストで評価することによって、インターコネ

クトのスループット効率に関する信頼性の高い推定値を得て、ブロック・クラス5（データ・ブロック、UNDOヘッダー、

UNDOブロック）ごとのノード間ブロック処理についてより詳細に分析できます。AWRに加え、Cloud Control 12cでは、

クラスタのインターコネクト転送速度の集計値（MB/秒単位で測定）を得ることもできます。Cloud Control 12cでは、

クラスタ内の各ノードの状態、プライベート・ネットワーク・インタフェースの総スループット率、インタフェース

上の総エラー割合についても示されます。このデータは、グラフィカルに表示することも、特定の期間を指定して表

形式で表示することもできます6。以下の図1に、クラスタ・インターコネクト指標をレポートする、Oracle Enterprise Manager Cloud Control 12cのClusterページのスナップショットを示します。

4 計算方法については、$ORACLE_HOME/rdbms/admin/sprepins.sqlを参照してください。 5 クラスごとに集計された転送に関する統計情報は、変数cache_xfer_per_instance = 'Y'を定義している場合のみレポートされます。 6 クラスタ・インターコネクトの統計情報/指標およびしきい値の警告に関する12c Cloud Controlのスナップショットについては、付

録Xを参照してください。

Oracle RACおよびOracle Clusterwareインターコネクトの仮想ローカル・エリア・ネットワーク（VLAN）配置時の考慮事項

7

図1：12c Cloud Control Clusterインターコネクト・レポート - 重要な指標については赤色で強調表示

任意のアプリケーションや、統合された複数のアプリケーションに必要となる帯域幅および期待される待機時間を測

定するには、テストを行うのが最適です。OSレベル（CPU）、ネットワーク・レベル（NIC/スイッチ）、アプリケー

ション・レベル（データベース、Oracle RAC、非データベース）で測定されたスループットの組合せによって、必要

となる帯域幅とスループット効率に関するもっとも信頼性の高い推定値を得ることができます。

共有イーサネット・スイッチ、VLAN、インターコネクト

共有イーサネット・ネットワーク環境におけるクラスタ・インターコネクトの待機時間および帯域幅の要件を理解す

ることは、VLANを使用してスイッチやネットワーク・アダプタをパーティション化する場合に不可欠です。VLANは、

ネットワーク内部のブロードキャスト/マルチキャスト・ドメインを論理的にパーティション化する仕組みです。VLANの一般的な使用目的は、ネットワーク内部にある、正規の位置にないホストに対して、物理的にまとめて配置しなく

ても、共通のブロードキャスト・ドメイン内で稼働できるようにすることです。これは、ネットワーク内部のVLANの一般的な使用方法です。VLANをサポートするように構成されたスイッチ・ポートにホスト・アダプタをケーブルで

接続し、ネットワーク・フレームの修正を行わない場合、そのVLANはタグなしVLANでかまいません。これが、今ま

でのOracle Clusterwareインターコネクト配置におけるもっとも一般的なVLAN構成です。また、フレームを修正して

VLANIDを含めるようにすることで、タグVLANとすることも可能です。タグVLANは、VLANが複数のネットワーク・

デバイスを横断する必要がある場合に一般的に使用されます。タグVLANは通常、冗長スイッチ間のトランクなど、ネッ

トワーク・デバイス間の'トランク'に対して使用されるか、アクセス・レイヤー・スイッチからコア・スイッチまたは

分散スイッチへのアップリンクに対して使用されます。タグVLANをホスト・ネットワーク・アダプタに対して構成し、

アダプタを別々のネットワークにパーティション化することもできます。VLANが実現するセグメンテーションおよび

Oracle RACおよびOracle Clusterwareインターコネクトの仮想ローカル・エリア・ネットワーク（VLAN）配置時の考慮事項

8

ブロードキャスト/マルチキャストの分離は、インターコネクトを配置する目的としては十分であり、クラスタ・イン

ターコネクトの'プライベート'および'個別'というネットワーク要件を満たします。ただし、次のような注意点があります。

レイヤー2隣接

Oracle Clusterware内に構成されたサーバーでは、OSIレイヤー2隣接となるようにOracle Clusterwareインターコネクトを

配置する必要があります。クラスタ内の任意のノードとの通信が同じブロードキャスト・ドメイン内で発生し、その

通信が通常1回のホップで実行できる場合に、サーバー同士が隣接していると見なされます。それぞれのサーバーは、

1台のアクセス・レイヤー・スイッチまたは複数の冗長スイッチに直接接続されます。標準的なVLAN構成とは異なり、

オラクルが示す要件として、クラスタ内のすべてのサーバーをアクセス・レイヤー・スイッチに直接接続する必要が

あります。以下の図2に、必要となるレイヤー2隣接について示します。

スパニング・ツリー

Oracle Clusterwareインターコネクトを共有イーサネット・アクセス・スイッチ内に構成することは、次のことを意味し

ます。それは、大規模にブリッジ化された企業イーサネットLANトポロジ（一般的に階層化されており、パブリック・

トラフィック、ストレージ・トラフィック、プライベート・トラフィック、管理ネットワーク・トラフィックを配信

するアクセス・スイッチ、分散スイッチ、コア・スイッチが含まれるトポロジ）にスイッチが属するということです。 スパニング・ツリー・プロトコル（STP）は、ブリッジ化されたイーサネットLocal Area Networkでループの発生しな

いトポロジを保証するネットワーク・プロトコルです。STPの基本的な機能は、ブリッジ・ループの発生を防止し、そ

のループが原因となるブロードキャスト・ラジエーションを防止することです。また、スパニング・ツリーを使用す

ると、冗長リンクを含むネットワーク設計が可能になります。そのため、ブリッジ・ループが発生する危険を冒さず、

また、バックアップ・リンクの有効化/無効化を手動で行う必要なく、アクティブ・リンクに障害が発生した場合に、

自動的なバックアップ・パスを用意できます7。 ブリッジ化されたネットワークに属するネットワーク・スイッチやルーティング・デバイスに障害が発生した場合、

ネットワーク・トポロジの変更が検出され、ブリッジ化されたネットワーク全体に通知されます。このSTPイベントが

ネットワークで氾濫し、ブリッジ化されたネットワーク内のすべてのデバイスで、ネットワークのパケット処理が一

時停止状態になる可能性があります8。そのようなイベントによってOracle Clusterwareインターコネクトのトラフィッ

クが遮断され、重大なパフォーマンス低下が発生することもあります。さらにほとんどの場合、インターコネクトの

ネットワーク障害によってOracle Clusterwareノードが除外されます。 VLANのSTPを無効化するか、ベンダー固有のSTP再収束のための最適化（PortFast定義、RootGuard、BPDUフィルタリ

ングなど）を実装することによって、STPイベントを抑制する必要があります。STP収束イベントを軽減しなければ、

クラスタ規模の停止が発生する可能性があります9。STP収束はすべて、Oracle Clusterwareのハートビートしきい値（デ

フォルトで30秒）以内に完了させる必要があります。一部のアプリケーションでは可用性に関する厳しい品質保証契

約（SLA）が締結されているため、障害の検出を最適化するために、より短いハートビートしきい値が設定されます。

付録Aに、STPネットワーク・トポロジの変更が発端となったクラスタ規模の停止が発生した場合のWiresharkの出力を

示します。

7 Wikipedia：http://en.wikipedia.org/wiki/Spanning_tree_protocol 8 Understanding Spanning-Tree Protocol Topology Changes, Cisco Document ID:12013 9 スパニング・ツリー収束は、関係するデバイス数とSTPルートからの距離の影響を受けます。Oracle Clusterwareのデフォルトのノー

ド・ミスカウント設定（30秒）よりも長くかかる可能性があります。たとえば、スイッチ間リンク（ISL）で一般的に使用されるPer-VLAN Spanning Tree（PVST）では、45秒以上の収束時間がかかることがあります。

Oracle RACおよびOracle Clusterwareインターコネクトの仮想ローカル・エリア・ネットワーク（VLAN）配置時の考慮事項

9

注：デフォルトで、スパニング・ツリーはすべてのポート上で稼働します。一般的に、スパニング・ツリー機能をス

イッチ内でポートごとにオフにすることはできません。STPは、VLANごと、またはスイッチ全体に対してオフにでき

ます。ネットワーク・エンジニアは、適切なスイッチ・ベンダーと連携してSTPのベスト・プラクティスについて把握

する必要があります。

VLANプルーニング

スイッチ・ベンダーによっては、CiscoのVTPなどのベンダー独自のトランキング・プロトコルや、Ciscoのスイッチ間

リンク（ISL）およびIEEE 802.1q標準などのVLANタギング・プロトコルによって、複数のスイッチ間でVLANを拡張

する機能を提供しているところもあります。これらの機能は、ブリッジ化されたネットワーク全体にVLAN定義を伝播

するためのVLAN認識型のネットワークを定義します。VLAN認識型のネットワークは、冗長アクセス・レイヤー・ス

イッチにマルチホーム（複数のネットワーク・アダプタ）を構成することによって、サーバー・ネットワーク冗長性

を構成している場合にもっともよく見られます。両方のスイッチで、ネットワーク・セグメントに関する定義済みの

VLANを認識しており、適切なプロトコルの使用をサポートしている必要があります。以下の図2に、冗長スイッチに

構成されたマルチホーム・サーバーについて示します。この構成では、複数のアクセス・レイヤー・スイッチ間、さ

らにアップストリームの分散スイッチやコア・スイッチにまでVLANが拡張されています。サーバーのネットワーク・

アダプタにタグVLANを構成することも可能ですが、これは現在のコンテキストでは必須ではありません。このユース

ケースでの重要な点は、スイッチ間リンクまたはトランク上でタグVLANを使用していることです。 VLANトランキングまたはVLANタギングの使用は、Oracle Clusterwareインターコネクト構成でサポートされています。

トランクは、デフォルトでトランク・リンク上のすべてのVLANがアクティブとなっている場合に、すべてのVLANと

スイッチ間でトラフィックを運搬します。VLANトランクまたはISLには、必要なすべてのトラフィックを処理し、ボ

トルネックを発生させないような十分な帯域幅が必要になります。VLANでは、VLAN全体に対して複製されるブロー

ドキャスト/マルチキャスト・プロトコルを使用します。VLANが定義されているネットワーク内のすべてのスイッチ

で、すべてのブロードキャスト/マルチキャスト通信を受信することになります。ブリッジ化されたネットワークで

VLANを容易に構成するために、ベンダーのVLAN拡張を使用して、ブリッジ化されたネットワーク全体に、VLAN定

義をデフォルトで自動的に伝播させることが可能です。この自動的な伝播は、パブリック・トラフィックの場合は有

用ですが、Oracle Clusterwareプライベート・インターコネクト・トラフィックに対しては使用しないことを強くお勧め

します。VLANプルーニング10を使用するか、あるいはトランク内のOracle Clusterwareプライベート・インターコネク

トVLANを無効化するように構成する必要があります。これは、アクセス・レイヤーを超えてプライベートなブロード

キャスト/マルチキャスト・トラフィックが伝播されないようにするためです11。

10 Understanding VLAN Trunk Protocol (VTP) ? VTP Pruning, Cisco Document ID:10558 11 アクセス・レイヤー・スイッチの配置トポロジは、データセンターの配置標準に応じて異なります。トランクまたはISLがアクセ

ス・レイヤーにおいてケーブルで接続される場合（Uトポロジ）、分散レイヤーにおいてケーブルで接続される場合（逆向きUトポ

ロジ）、その両方の場合（ボックス・トポロジ）があります。VLANプルーニングを有効化すべきかどうかについては、社内のネッ

トワーク・エンジニアに問い合わせてください。

Oracle RACおよびOracle Clusterwareインターコネクトの仮想ローカル・エリア・ネットワーク（VLAN）配置時の考慮事項

10

図2：ネットワークVLANトポロジ・マッピング、レイヤー2隣接、トランキング

図2に、4ノード・クラスタ環境の一般的なVLAN配置方法について示します。この配置では、冗長アクセス・スイッチ

における高可用性と、アクティブ/スタンバイ・サーバーNICアグリゲーションを構成しています。ネットワーク・イ

ンタフェースは、タグVLAN（静的）を構成したスイッチ・ポートとケーブルで接続されています。VLANは1台の冗

長スタンバイ・スイッチに対してトランキングされており、Public VLANは上方の分散スイッチまたはコア・スイッチ

に対してトランキングされています。インターコネクトVLANは上方のトランクからプルーニングされています。サー

バー・リンクは1ギガビット・イーサネット、10ギガビット・イーサネット、または集約されたインタフェースを表し

ています。インタフェース上のネットワーク・トラフィックは、トラフィック・タイプ別に統合できます（パブリッ

ク・アプリケーション・トラフィック、プライベート・インターコネクト・トラフィック、ネットワーク・ストレー

ジ・トラフィックなど）。また、ネットワーク・アダプタ、ドライバ、OSでVLANトランキング・プロトコルがサポー

トされている場合は、タグVLANを構成できます。タグVLANが構成された共有ネットワーク・インタフェース上で、

性質の異なるネットワーク・トラフィックを統合することはお勧めしません。 ネットワーク冗長性を実現するためのトポロジは、さまざまなものが存在します。このトポロジでは、VLANトランキ

ングを使用して、複数のアクセス・スイッチ間にVLANを拡張する様子を表しています。VLANは、2台のアクセス・

レイヤー・スイッチ間でのタグVLANであり（または、VLANがトランキングされており）、このトランクは、アクセ

ス・レイヤーを起点として企業LANまで続きます。この図では、赤で表示されたインターコネクトVLAN11はアクセ

ス・レイヤー・スイッチ間でのタグVLANですが、アグリゲーション・レイヤーまたは分散レイヤーへのアップリンク・

トランクには属していないことに注意してください。そのため、インターコネクトVLANは、アクセス・レイヤーを離

れる前に、フィルタリングされるか、VLANトランクから'プルーニング'される必要があります。 VLANトランクからこのトラフィックを'プルーニング'しなければ、待機時間が長くなり、パフォーマンスの低下や、

STPイベントを原因とした停止につながる可能性があります。

Oracle RACおよびOracle Clusterwareインターコネクトの仮想ローカル・エリア・ネットワーク（VLAN）配置時の考慮事項

11

VLANプルーニングに加えて、STPコスト計算やポート・ブロッキングを構成し、STPトポロジの変更による影響を除

去するか、その影響を最小限に抑える必要があります。

統合とコンバージド・ネットワーク

Oracle RACデータベースの統合は、ネットワーク・トラフィックを統合できることを意味します。Oracle Clusterwareインターコネクト配置の場合、ネットワーク・トラフィックの統合は完全に実現可能です。オラクルでは、Oracle RACデータベースと、関連するプライベート・インターコネクト・トラフィックを、専用のネットワーク・アダプタに統

合する構成をサポートしています。一般的な統合としては、データベースをOracle RAC環境に移行し、それと同時に

ネットワーク・インタフェースを1GbEから10GbEにアップグレードします。Oracle RAC環境に統合されたデータベー

スでは、同じネットワーク・インタフェースを共有できます。ネットワーク・インタフェースは、専用の非ルーティ

ング・サブネットの、同じインターコネクト要件に従う必要があります。1GbEの配置と同じように、統合されたイン

ターコネクトも1つのVLANに配置できます。インターコネクトのための分離されたネットワークが必要な環境の場合、

インタフェース上でタグVLANを使用してネットワークを分離できます。ネットワーク統合の一般的な効果として、必

要なIPサブネットが減少し、同様のトラフィックを複数のサブネットから1つのサブネットに統合したVLANがサポー

トされます。よくあるユースケースは、1つのキャビネット内に統合されたOracle RACデータベースで、スイッチ上の

1つの静的VLANにマッピングされた1つの非ルーティング・サブネットを共有するような構成です。 それ以上の統合トラフィックを受け入れる十分な帯域幅があると認識されている場合でも、パフォーマンス、セキュ

リティ、可用性に関連する問題は存在します。そのため、クラスタ化されたパブリック・トラフィックやプライベー

ト・トラフィックを1つのインタフェースまたは複数の集約されたインタフェースへの統合が難しくなります。現場で

の経験によれば、ネットワーク・トラフィックの統合は、同じようなパフォーマンスおよび可用性の特性を持つネッ

トワーク・トラフィックのみ（統合されたパブリック・トラフィック、統合されたプライベート・トラフィック、統

合されたネットワーク・ストレージ・トラフィックなど）に制限することをお勧めします。共有リソースとしてのネッ

トワーク・セグメントに対するあらゆる不適切な処理が、無関係のプライベート通信にも悪影響を及ぼす可能性があ

ります。 各ベンダーは、統合ネットワークとは異なるコンバージド・ネットワーク・ソリューションを提供しています。これ

は、Fibre Channel over Ethernet（FCoE）などを使用した、高帯域幅で待機時間の短いネットワーク・ソリューションで

す。このようなコンバージド・ソリューションはベンダー固有のものであることが多く、イーサネット・フレーム内

にファイバ・チャネルをカプセル化できる専用のアダプタが使用されます。ベンダー独自のソリューションには、イ

ンタフェースの仮想化（仮想NIC、仮想HBA、仮想スイッチ）を行うものや、データセンター・ブリッジング12（DCB）プロトコルをサポートするものなどがあります。DCBプロトコルは、ネットワーク帯域幅の割当てと管理のための、

優先フロー制御、輻輳管理、拡張送信選択の機能を備えるプロトコルです。FCoEソリューションの認定やサポートに

ついては、Oracle Technical Networkの認定マトリックスに記載しています。イーサネットの帯域幅が拡大するにした

がって、オラクルでは、より大規模で多様な統合をサポートするために、DCBフレームワークの広範な一般化作業に

ついて評価する予定です。

オーバーサブスクリプション

Oracle RACのIPトラフィック、および一般的なイーサネット環境におけるネットワーク・トラフィックは、本質的に

集中して発生する傾向があります。そのため、オーバーサブスクリプションの設計が必要になります。計算された上

でのオーバーサブスクリプションはスイッチ構成において、特にネットワーク境界付近のデバイスから離れた場所に

12 802.1ワーキング・グループのData Center Bridging Task Groupを参照 - http://www.ieee802.org/1/pages/dcbridges.html

Oracle RACおよびOracle Clusterwareインターコネクトの仮想ローカル・エリア・ネットワーク（VLAN）配置時の考慮事項

12

あるほど一般的です。 共有のスイッチ、ポート、ネットワーク・アダプタ、ネットワーク・セグメントを使用する共有ネットワーク環境で

は、インターコネクトの使用法や、使用法のバリエーション、ネットワーク効率について慎重に評価し、さらに定期

的に評価する必要があります。一時的なオーバーサブスクリプションの影響はごくわずかかもしれませんが、ネット

ワーク・デバイスでオーバーサブスクリプションが持続的に発生すると、パフォーマンス低下、ネットワーク・デバ

イスやサーバーの障害につながり、さらにその後、サービスの中断がビジネスにまで影響する可能性があります。

結論

オラクルのインターコネクト配置に関する要件は、歴史的に見て保守的です。この理由は、パフォーマンス低下やイ

ンターコネクト障害が発生すると、コストが高く付くためです。オラクルでは、インターコネクトをプライベートの

専用LANまたはVLAN（タグVLANまたはタグなしVLAN）上に構成することを求めています。このLANまたはVLANは非ルーティング構成であり、インターコネクト以外のトラフィックからは分離されます。また、オラクルでは、ア

プリケーションのパフォーマンスと可用性に関する要件を満たすために、短い待機時間と低帯域幅を必要としています。

これらの要件は、これまでに説明した標準的な待機時間以内に収め、RDBMSまたはOracle Clusterwareに対して構成さ

れたタイムアウト値（アプリケーションによって求められるタイムアウト値）を超えないようにする必要があります。

タイムアウト値を超えると、インスタンスやノードが除外される可能性があります。最低でも、アプリケーションの

可用性と応答時間（サービス時間）によって品質保証契約（SLA）を定義する必要があります。さらに、このSLAによっ

てネットワーク要件を定義します。ネットワーク・テクノロジーは、データセンター内で移り変わるダイナミクスに

対応するように進化を続けていますが、オラクルでもその進化に合わせて、Oracle Clusterwareインターコネクト要件の

評価を継続していきます。

Oracle RACおよびOracle Clusterwareインターコネクトの仮想ローカル・エリア・ネットワーク（VLAN）配置時の考慮事項

13

付録

A. スパニング・ツリー診断

VLANが氾濫し、停止につながった際のSTPのWiresharkログ：

4:49:36 -2011-10-03 14:50:06 = 30 (24+6)秒の停止。このため、クラスタ規模の停止が発生した。

Oracle RACおよびOracle Clusterwareインターコネクトの仮想ローカル・エリア・ネットワーク（VLAN）配置時の考慮事項

14

STP停止時のWiresharkグラフ

Oracle Real Application Clusters（Oracle RAC） および Oracle Clusterware インターコネクトの 仮想ローカル・エリア・ネットワーク（VLAN） 配置時の考慮事項 2012 年 6 月 著者：John P. McHugh 共著者：Michael Zoll、Kevin Reardon Oracle Corporation World Headquarters 500 Oracle Parkway Redwood Shores, CA 94065 U.S.A. 海外からのお問い合わせ窓口： 電話：+1.650.506.7000 ファクシミリ：+1.650.506.7200 www.oracle.com

Copyright © 2011, Oracle and/or its affiliates.All rights reserved. 本文書は情報提供のみを目的として提供されており、ここに記載される

内容は予告なく変更されることがあります。本文書は、その内容に誤りがないことを保証するものではなく、また、口頭による明示的

保証や法律による黙示的保証を含め、商品性ないし特定目的適合性に関する黙示的保証および条件などのいかなる保証および条件も提

供するものではありません。オラクル社は本文書に関するいかなる法的責任も明確に否認し、本文書によって直接的または間接的に確

立される契約義務はないものとします。本文書はオラクル社の書面による許可を前もって得ることなく、いかなる目的のためにも、電

子または印刷を含むいかなる形式や手段によっても再作成または送信することはできません。 Oracle および Java は Oracle およびその子会社、関連会社の登録商標です。その他の名称はそれぞれの会社の商標です。 AMD、Opteron、AMD ロゴおよび AMD Opteron ロゴは、Advanced Micro Devices の商標または登録商標です。Intel および Intel Xeonは Intel Corporation の商標または登録商標です。すべての SPARC 商標はライセンスに基づいて使用される SPARC International, Inc.の商標または登録商標です。UNIX は X/Open Company, Ltd.によってライセンス提供された登録商標です。 1010