150212 summit発表用資料公開用

Copyright © 2015 Nippon Information and Communication Corporation

複数データセンターを活用して作る高可用性システム

日本情報通信株式会社

2015年2月12日

Japan SoftLayer Summit 2015

- 1 - Copyright © 2015 Nippon Information and Communication Corporation

AGENDA

自己紹介会社案内 SoftLayer 特長のおさらい弊社ユーザ様の特徴複数データセンターを利用した冗長構成複数データセンターを用いたネットワーク


自己紹介

氏名吉川裕樹（よしかわゆうき）趣味 Surfing、子守り、釣り所属日本情報通信株式会社（NI+C）クラウド＆マネージドサービス事業部

クラウドサービス部クラウドサービスグループサービス推進部クラウド推進グループ兼務

仕事システム運用サービス、DCサービス、技術支援サービスのソリューションセールスクラウド事業の企画、ソリューションセールス


会社案内日本情報通信株式会社略称：NI+C(エヌ・アイ・アンド・シー)

設立 1985年12月18日

資本金 40億円

株主日本電信電話株式会社(50%)

日本アイ・ビー・エム株式会社(50%)

売上高 422億円(FY13連結ベース)

社員数 976名(グループ会社計:FY14 4月現在)

代表取締役

代表取締役社長廣瀬雄二郎代表取締役副社長三浦浩

事業内容・システムインテグレーションサービス

・ハードウェア機器、ソフトウェア製品の販売

お取引先約2,400社

本社(築地) 開発拠点(門前仲町)

東北開発室(仙台)

中部支店(名古屋)

大阪支店

全国主要都市の支店／拠点の営業・サポート体制により、きめ細かなプロジェクト運営をご提供します。

国際規格 ISO/IEC27001 情報セキュリティマネジメントシステム国際規格 ISO14001 環境マネジメントシステム本社・門前仲町開発センター・大阪支店エヌアイシー・ソフト株式会社/本社

エヌアイシー・ネットシステム株式会社/本社

国際規格 ISO9001 品質マネジメントシステムソフトウェア開発部門

JNX 認定サービス・プロバイダー

NTTコミュニケーションズ・ビジネスパートナー

NTT東日本Tm@Partner

JPNIC正規会員インターネット・サービス・プロバイダー

IPアドレス管理指定業者

AT&Tグローバル・サービス特約店

Microsoft認定パートナー

ORACLE Partner Network Certified Partner

Novellソリューションパートナー

IBMプレミア・ビジネス・パートナー

届出電気通信事業者（総務省）

一般建設業（電気通信工事業）

主な会社資格

サポート体制システム開発

システム運用

ネットワーク技術

パートナー支援

http://f.hatena.ne.jp/wata300/20060312041602

http://www.google.co.jp/imgres?imgurl=http://www.ehime-u.ac.jp/ICPC/images/logos/ibm.jpg&imgrefurl=http://plaza.rakuten.co.jp/get123/diary/200711050001/&usg=__lkjq_dnDlSNyLxi7XNM-xNc3BPg=&h=404&w=826&sz=58&hl=ja&start=5&zoom=1&tbnid=U5vdWjN7Zlva4M:&tbnh=70&tbnw=144&ei=n8uIT-3CEKnwmAXgscjrCQ&prev=/search?q=IBM%E3%80%80%E3%83%AD%E3%82%B4&hl=ja&lr=lang_ja&sa=X&sout=1&biw=1024&bih=625&tbs=lr:lang_1ja&tbm=isch&prmd=imvns&itbs=1


NI+Cのクラウドサービス

ネットワークサービス 2000 JNXサービス .ComExchange

2008 NICインフォトレード社設立

1998 NMS Plus サービス

2006 EGWサービス (EDI GateWayサービス)

1985 IBM NMS IE/EXサービス

運用ツール 1998 監視・運用ソフトウェア (Tivoli)の取り組みの本格化

2006 ITIL準拠サービスデスクツール Resso発売開始

2013 Resso on Cloud 発表

運用サービス・データセンターサービス 2000 川崎DC

2010 横浜DC開設

2012 大阪DC開設

2005 運用技術支援Bellevue

2008 監視サービス開始

仮想化環境構築・クラウドサービス 2005 IA仮想化環境構築開始

2009 NI+Cクラウドサービス

2013 SoftLayer 取り扱い開始

• 2013年10月よりSoftLayer販売開始


NI+CのSoftLayer事業の取り組み

• SoftLayer リセラー • エンドユーザ企業様向け

• 2013年10月にファーストユーザ様へご提供

• パートナー企業様向け

• 2015年1月15日ニュースリリース • パートナー企業への支援体制作り、クラウドビジネスの体制強化

• SoftLayer普及促進活動 • 日本SoftLayerユーザー会（JSLUG） • 技術検証

• 雑誌への寄稿（Software Design） • Web媒体への寄稿（Think IT）



• リセラー事業 • エンドユーザー様向けにSoftLayerをご提供

• 2013年10月にファーストユーザ様へご提供

• 2015年2月9日受賞



• リセラー事業 • パートナー企業様向け支援体制

• 提案・見積・契約・手配 • 技術支援


• 普及促進活動 • 日本SoftLayerユーザー会（JSLUG）

• 勉強会での講演/LT

• 技術検証

• 雑誌への寄稿 • Software Design

• Web媒体への寄稿

• Think IT

NI+CのSoftLayer事業の取り組み検証もやってます

slideshare http://goo.gl/ePb1zR

slideshare http://goo.gl/TTfWU4


今日はブースも出展しています

ホールＢ

この会場

ルームB

ルームA

この会場

ここで展示中です

Copyright © 2015 Nippon Information and Communication Corporation

SoftLayer特長のおさらい

日本情報通信株式会社

常田秀明


SoftLayerの特長

ネットワーク転送料が無料！

上手に使おう

もっと使い道がないの

東京データセンターからその他のデータセンターまでの距離

プライベートネットワークをもっと有効に使える


SoftLayerのグローバルネットワーク

London

Amsterdam NYC

Washington,D.C.

New Location

Network PoP

Datacenter & Network PoP

Private Network

Private Network Expansion


東京DCを起点とした各DCとのレイテンシ

• レイテンシの単位はms • 距離はhttp://www.softlayer.com/data-centersを参考にNI+Cが独自算出した参考値を100km単位で表示

• 2015年2月6日(金)時点のhttp://lg.softlayer.com/のレイテンシの値を昇順に並び替え

http://lg.softlayer.com/


SoftLayerのグローバル間の通信速度イメージ図

New Location

Network PoP

Datacenter & Network PoP

香港 43

シンガポール82

シドニー113 メルボルン128

サンノゼ100 ダラス 130

ワシントン 170 50msec

100msec 130msec

170msec

ロンドン248

フランクフルト265

265msec

• 2015年2月6日(金)時点のhttp://lg.softlayer.com/のレイテンシの値を基に作成

http://lg.softlayer.com/


弊社ユーザ様の特徴


弊社のお客様・・・製造業や流通業のお客様が多い

イントラネット向けのサービスが多い

インターネット向けのサービスではない

Privateのみで利用する事を前提にしている

社内データセンターにホストなどがあり、クラウドと既存データセンター間の通信量が多く発生することが予想される

海外拠点からの利用がある

海外に何らかの拠点がある

海外にデータセンターを用意する法的な要因を持っている

すでに国際WAN回線を維持している


SoftLayer利用上のポイント

Privateネットワークで利用可能な負荷分散／冗長化構成を考えて行きたい。

世界中の複数の拠点から利用するPrivateネットワークの利用をどうするのか。


SoftLayerサービスの整理

SoftLayerのネットワークは、「Public」と「Private」があります。

そして、提供される機能（サービス）も「Public」と「Private」で違いがあります。


SoftLayerサービス群と対応ネットワーク（抜粋）

→Public側は機能が豊富。

⇒機能が少ないPrivate側でいかに構築するかが課題。

№ サービス名 Public Private

1 DNS ○

2 Load Balancer（Local） ○

3 Load Balancer（Local & Global） ○

4 High Availability Dedicated Load Balancers ○

5 Gateway Appliance ○ ○

6 Citrix NetScaler ○ ○

7 Hardware Firewall ○

8 Hardware Firewall (Dedicated) ○

9 Fortigate Security Appliance. ○ ○

10 SSL Certificates ○

11 Email Delivery（SendGrid） ○


複数データセンターを利用した冗長構成


専用線・IPSEC等

1.複数データセンターを利用した冗長構成をとるケース

複数のデータセンターを活用し、縮退運転用途にも利用可能なサイトを構築する。

1. 普段は、縮退兼負荷分散サイト

2. 障害時にはBCPサイト

server1

Client

東京データセンター

server2

お客様拠点

server1

server2

要件に応じて対向データセンターを選定・東京DCと距離的に一番近いのは香港DC(50ms)の距離 → 50Mbps程度の速度で通信が可能


複数データセンターを利用した冗長構成【データの同期】

システムの用途によりデータの同期を考える


server1


server2

お客様拠点

server1

server2

データはどの様に同期されるべきか・適切なソリューションを選択する。

iSCSI iSCSI 30分間隔

ブロック単位

データ単位



複数データセンターを利用した冗長構成【サーバの切り替え】

サーバをどのように切り替えることが出来るか。

server1

server2

お客様拠点

server1

server2

どうやって切り替えるか？



複数データセンターを利用した冗長構成【サーバ切り替えの考慮点】

データセンターが異なるとVLAN(Subnet）が異なる。

SoftLayerのプライベートIPはSubnetに紐づくため利用できない。

IP-MuluticastもIGMPが利用できないためVXLAN等のネットワークオーバーレイも難しい。

Server1 （Active)

server2

Server1 （Standby)

server2

IPアドレスでの切り替えは難しいため、ホスト名等で解決する必要がある。

またサーバ単位の切替だけでなく、DC全体の切替が発生する事を考慮する必要もある。



当初の構想は・・・

DCをまたがるオーバーレイネットワークを作ってみたかった。

OpenVswich、Vyatta等の機能を利用してトンネリング出来るとSoftLayerらしい。

Server1 （Active)


server2

Server1 （Standby)

server2

VyOS

実際のネットワークアドレス体系とは別に、別のIPアドレス体系を付与する

VyOS

IP Multicast : 24.0.0.115-224.0.0.250 (IGMP禁止)


サーバ切替方法① ローカルで分散制御を行う

ap1

db2 db1

ap2

東京データセンター香港データセンター

専用Load Balancer

Sorryサーバ

ローカルサイトにてLoad Balancerの機能により制御を行う（ユーザはLBのアドレスが固定となっているため分散が可能）

SoftLayerのメンテナンス時などでもSorryサーバを内部に持ち、振り分けが可能

Client

お客様拠点

VPN Router

(pop-tok02)


サーバ切替方法② SoftLayer側のLoad Balancerで制御する

ap1

db2

VPN Router

(pop-tok02)

Client

db1

ap2

お客様拠点

SoftLayerのGlobal Load Balancerの機能により分散を行う

GLBに対しての名前解決が必要

内部にDNSサーバ等の解決策が必要

Global – Load Balancer

社内DNSサーバ

DNSに登録される Aサーバ： IP1 , IP2

IP1 IP2



通信経路の考慮

データセンターを跨いだデータ通信はしない事も考慮する。

DCを跨いでAPサーバとDBサーバと通信する事は、通信経路としては可能だが、「server2＠東京」が停止した場合「server2＠香港」に切り替えると通信速度が遅くなる。

Server1 （Active)

server2

Server1 （Standby)

server2 <1ms 50ms<



データセンターに問題が生じた際の考慮

ap1

db2 db1

ap2

SoftLayerはどのPoP、DCに接続してもネットワーク的に接続が可能

この特性を利用してバックアップ経路を用意する

vyatta

Client

お客様拠点


vyatta


複数データセンターを用いたネットワーク


2.複数データセンターを利用したスター型広域ネットワーク

グローバルのWANの代わりにSoftLayerのGlobal Netwrokを利用する。

オンプレミスでは国際WANサービスを活用するか、各地にDCを個別に建て、個別にInternet接続を準備するなど、費用や管理ノウハウが・・・

Client Client

Global WAN

専用線

Client Client Client Client

DC

国内/国際接続

欧州 DC

アジア DC

日本 DC

北米 DC

Internet

国内 WAN


SoftLayerのネットワークの特長

世界中のデータセンターが同一環境の扱いとして利用可能

東京DC

Client

クライアントがどのPOPやデータセンターに接続しても同じサーバにアクセス可能。

世界規模のプライベートネットワーク環境が手に入る。

ユーザーが利用できるプライベートネットワーク環境

SoftLayer Global Network


メインのDC

プラン１）単一のDCを「センター」として考える

東京データセンターに全てのサーバを集中して配置した場合

東京POP

お客様拠点お客様拠点

Internet環境や、閉域網から接続

ダラスPOP

お客様拠点

世界中の拠点から近くのPOPに接続すれば良い



プラン2）SoftLayerを網として考える

東京POP

お客様拠点お客様拠点


ダラスPOP

お客様拠点


お客様拠点

Mass Storage Servers / QuantaStor

ストレージサーバでデータを同期する

Mass Storage Servers / QuantaStor


各地域をSoftLayer中心に結ぶ

ラストワンマイルは同じ

世界中の地域で各POPを中心にスター型ネットワークを構成

PoP

Client Client

メインのDC

各地のDC Vyatta

Gateway Appliance

Client Client

SoftLayer Global Network

Direct Connect

PoP

Client Client Client

IP-Sec

各地のDC

Client

IP-Sec

WAN

Internet


各地域をSoftLayer中心に結ぶ

ラストワンマイルは同じ

世界中の地域で各POPを中心にスター型ネットワークを構成

拠点


よもやまばなし

問題

東京DCが出来たのでサンノゼのサーバから1TByteのデータを送る必要があります。一番簡単な方法は何でしょうか？

ところでデータセンター間の通信速度は？

最大スループットはWindowサイズとRTTに影響される。

実測してみましょう。

スループットは送信元のサーバの通信速度（契約）に影響される。

送信元のNICの速度を1Gbpsにする


サンノゼ

実際の速度を計測

Iperfで測定 (東京⇔サンノゼ）

東京

RTT：100ms 程度

1Tのデータ

1.普通にFTPで送信をすると1Tを送信するためには 25時間必要 2.送り先のサーバ起動や転送ソフト準備が必要。

IF 100Mbps IF 1000Mbps

転送速度（TCP) : 9.6851 Mbps

転送速度（TCP) : 86.2422 Mbps

サーバを起動して？ストレージ設定して、転送ソフトを用意する？


サンノゼ

答え

• 対象のImageから好きなデータセンターでBootするだけ。

SoftLayerのImage Templateは別データセンターへCopy可能

東京

RTT：100ms 程度

Image Template

Templateから復元してみる

Image Template

1Tのデータ

テンプレートから復元してしまえばワンクリックで転送してデータが利用可能に！


まとめ

SoftLayerが持つ特徴が、クラウドが持つ特性をより引き立てます

世界各地に存在するDC、PoP

DCを結ぶ強靭なネットワーク

ネットワークを活かした各種機能

クラウドの利用はネットワーク設計があってこそ

クラウド上での設計・考慮

既存システムとの接続・考慮

ユーザからの接続

日本情報通信にお任せ下さい。


重要事項是非ブースへお越しください

ホールＢ

この会場

ルームB

ルームA

この会場

絶賛展示中


Speed and Change

SoftLayerの構築から運用まで

ご清聴ありがとうございました

[email protected]

Technology

150212 summit発表用資料 公開用

150212 summit発表用資料公開用