【Interop Tokyo 2016】リコーのサービス基盤を支えるジュニパー

リコーのサービス基盤を支えるジュニパー

2016/6/10 Copyright 2016 © Ricoh Company Ltd. All Rights Reserved. 1

株式会社リコー

システムインフラグループ

和久利智丈

2016年6月10日(金)

はじめに


本日の内容

1. リコーグループの紹介

2. 事業分野と主な商品・サービス

3. サービス基盤のあゆみ

4. サービス基盤の更新

5. 基本方針を決める

本資料は、リコーの共通基盤に関する担当者の意見であり、リコーおよびリコーグループの今後の方向性を約束するものではありません。

6. 構築後の姿（全体）

7. 構築後の姿（DC内）

8. 基本構成とサービス移行

9. 方針変更

10.現在のトラフィック

11.トラブル/要望

12.目指す姿

リコーグループの紹介


株式会社リコー– 設立：1936年2月6日

– 資本金：1,356億円

リコーグループ概要– グループ企業数：230社

– グループ従業員数：109,361名• （国内：35,779名、海外：73,582名）

– 連結売上高：22,090億円• （国内：34.5％、海外：65.5％）

＊グループ企業数は（株）リコーを除く2016年3月31日現在（連結売上高は2016年3月期）

事業分野と主な商品・サービス


画像＆ソリューション分野– オフィスイメージング– ＭＦＰ（マルチファンクションプリンター）、複写機、プリンター、

印刷機、FAX、スキャナ等機器及び関連消耗品、サービス、サポート、ソフトウェア等

– プロダクションプリンティング– カットシートPPC（プロダクションプリンター）、連帳PP等– 機器及び関連消耗品、サービス、サポート、ソフトウェア等– ネットワークシステムソリューション– パソコン、サーバー、ネットワーク関連機器、関連サービス、サ

ポート、ソフトウェア等

産業分野– サーマルメディア、光学機器、電装ユニット、半導体、

インクジェットヘッド等

その他分野– デジタルカメラ等

複合機プリンター

ユニファイドコミュニケーション

システム

プロジェクションシステム

MDS（マネージド・ドキュメント・サービス）

半導体ＩＴサービス

サーマルメディア

プロダクションプリンター

デジタルカメラ

サービス基盤の歩み


2011/07 : サービス基盤の内製化の決定

2011/09～2011/12 : 構築、テスト

2012/01 : サービス開発用に一部リリース

2012/05 : 正式サービス開始

2012/12 : 拠点、リソース追加の決定

2013/02～2013/04：拠点、リソースの追加、構築

2014/11 ：基盤再整備の決定

2014/12～2015/04 : 拠点、インフラ更新

2015/04～2015/09 : サービス移行

• 5年間、ずーっと、構築ばかり• いつになるとサーバ増加がおわるのか…

0

200

400

600

800

1000

1200

1400

1600

1800

2000

全体

日本（メイン）

アメリカ（メイン）

ヨーロッパ

仮想サーバの推移

サービス基盤の更新


1. 増え続ける要求に対応できない1. CPU、メモリリソース枯渇

2. DISK IO性能、容量不足

3. ネットワークの拡張性、性能強化

2. データセンターセンターが手狭

3. セキュリティ面の強化も必要

• 2013年冬に大規模にサービス基盤を見直しが必要と現場は判断• 基盤更新の検討を開始

533Mbps

201Mbps

775Mbps

0Mbps

100Mbps

200Mbps

300Mbps

400Mbps

500Mbps

600Mbps

700Mbps

800Mbps

900Mbps

95th Percentile Avg Maximum Linear (95th Percentile) Linear (Avg)

基本方針を決める


1. システム全体をN+1以上の冗長構成とする。– ルータ、ファイアウォール、スイッチ等は冗長構成を基本

– ストレージ装置も複数台構成

2. コアネットワーク、仮想化部分は10G x Nを基本構成とする。– VMware vMotion / Storage vMotion がストレスなく動作する環境

– East-Westトラフィック対策➡ QFabricを導入

3. マルチテナント対応を目指す。– 会社毎、部署毎、製品（サービス）毎に異なるネットワーク(DMZ)を提供

– 関連部署、製品毎の不要な調整を削減

• ユーザに仕様を聞いても要望は分からないと判断し方針を自ら決定

構築後の姿（全体）


2015年に更新した基盤

2013年に構築したバックアップ用基盤

専用線 VPN

The Internet

WAN(JP)

TokyoOsaka CA VA

WAN(US) WAN(EU)

Global WAN

• 東京 , バージニア（アメリカ）の2拠点を更新• 全ての拠点をTier1 ISPと冗長接続• DC間を相互接続（専用線とIPsec VPNの2重化）• リコーグループWAN拠点と相互接続

構築後の姿（DC内）


1. 日米2拠点に仮想基盤を構築

2. ルータ– 1台のハードウェアレベルでルーティングエンジンを2重化

3. コアスイッチ– MC-LAG(Multichassis Link Aggregation)による2重化

4. ファイアウォール– chassis clusterによる冗長化

5. 仮想基盤ネットワーク– QFabricによる冗長化

– QFabricのノード間 40G@4(160G)

– QFabric⇔ストレージ間 10G@4/台

ｄ

ｄ

NFSFC-SAN

QFabric

ｄ

MX

EX

SRXChassis Cluster

ADC

VirtualChassis

VMware

The Internet

基本構成とサービス移行


1. サービス毎に新旧の基本NWを構成

2. サービス単位に移行を実施

3. ストレージ機能、VMwareの機能を利用し移行

日本アメリカ

VM数 1,200弱 500弱

データ量約150TB 約100TB

期間 2015/04～08約5か月

2015/06～09約4ヶ月

10G

MirrorStorage

DC間

VirtualMachine

vMotionStorage vMotion

旧環境新環境

DMZ1:WWW DMZ2:DATABASE

TheInternet

R-WAN

サービス毎の標準構成

運用/管理利用者

1. 専用NWを提供

2. 2つのDMZ– Internetアクセス許可

– R-WANアクセス許可

方針変更


1. 社外向けサービス基盤から社内も含めた基盤へ– お客様向けのサービス以外の利用を開放

– システム数が急増する原因2015年は約30システム追加

2. プライベート空間の提供– R-WANアドレス以外の完全な閉領域空間を提供

– R-WANアドレス不足から解放

– ユーザが自由に採番できるアドレス空間

• サービスメニューを大幅に更新• Express、Standard、Professionalの3エディションを提供• 用途、性能、機能に応じた柔軟なサービスを提供

Internet

R-WAN DC間専用線-C

NAT

専用線-D

専用線-A

NAT

専用線-B

現在のトラフィック


• エンタープライズ向けサービスはトラフィックが日中帯に集中• 社内向けサービスのトラフィックは勤務時間(09:00～12:00/13:00-17:30)と相似• VPNは速い

インターネット国内DC向けVPN

WAN 海外DC向けVPN

8:00～10:00頃にかけ急激にトラフィック増加

8:00～10:00頃にかけ急激にトラフィック増加

深夜帯のトラフィックが少ない時間帯を利用してバックアップ400Mbps近いスループット

海外DCとの間で80Mbpsを越えるスループット

トラブル/要望


【トラブル系】1. ネットワークが遅い

インターネット側のことなので分かりません。ユーザ環境は分かりません。サーバが遅いようです。転送データが大きすぎます。帯域を占有しているユーザ/アプリがいます。

2. アプリケーションが止まる/切れるファイアウォールセッションがタイムアウトしただけです。経路切り替えが発生しています。サーバが再起動しています。

3. 通信ができないユーザ側環境の問題なので分かりません。IPアドレスを教えていました。ファイアウォール設定(申請)が間違っています。デフォルトルートが違います。

【要望系】1. 専用領域が欲しい、専用線、VPNが欲しい

IPアドレス空間が不足しています。VLANが足りません。それなりに時間がかかりますよ。誰が構築、運用するの？セキュリティはどうするの？

2. BCP/DR対策が必要どうやって切り替えるの？拠点がありません。

3. Publicクラウドを活用したい今の環境との接続はどうするの？WANとの連携はどうするの？

目指す姿

2016/6/10 14

【具体的な検討項目】1. インターネット接続環境の強化、高可用性、高信頼性の確保2. Public Cloudとの接続性3. 既存のWAN環境との共存、相互接続4. 拠点（DC）間の通信の柔軟性、広帯域、高信頼性の確立

【テクノロジー】1. VXLAN2. BGPによるルーティングの再整備3. 仮想化（Virtual Router)の活用

ネットワーク柔軟性のさらなる強化

Copyright 2016 © Ricoh Company Ltd. All Rights Reserved.

The Internet

DC間接続

Public Cloud

移動移動

DC-A DC-B

広帯域

Technology

【Interop Tokyo 2016】 リコーのサービス基盤を支えるジュニパー

【Interop Tokyo 2016】リコーのサービス基盤を支えるジュニパー