FUJITSU. 62, 3, p. 311-318 （05, 2011） 311

あ ら ま し

クラウド・コンピューティングという新しいICTモデルの活用も，企業の新事業用インフラや第一次産業や医療・介護などの分野で，いよいよ本格的な展開フェーズを迎えつ

つある。このようなクラウドの拡大に向けて，富士通では高い利便性，そして安心して

利用できる信頼性を高い次元で両立させることを目指し，データセンター向けのクラウ

ド基盤技術をアーキテクチャレベルから見直し，設計・開発に取り組んできた。その成

果を本格的なパブリックサービス「オンデマンド仮想システムサービス」として商品化し，

2010年10月より商用サービスを提供している。さらに，このMade in FUJITSUの基盤技術を世界5箇国の拠点データセンターにも展開し，グローバルなクラウドサービス展開を進めている。

本稿では，富士通のクラウド基盤技術とそのグローバルなサービスの展開について紹

介する。

Abstract

Application of a new ICT model called cloud computing is now moving into the full-scale deployment phase in fields including infrastructure for new businesses, primary industry, medical services and nursing care. To expand these cloud computing environments, Fujitsu has been striving to achieve both excellent convenience and reliability that allows these environments to be used at a high level. Specifically, Fujitsu has reviewed cloud infrastructure technology for data centers from the architectural level and worked on design and development. The results of Fujitsu’s activities have been made into a full-scale public service called On-demand Virtual System Service, and this has been offered as a commercial service since October 2010. In addition, this “Made in Fujitsu” infrastructure technology has been deployed to hub data centers in five countries around the world to offer global cloud services. This paper presents Fujitsu’s cloud infrastructure technology and the global expansion of its services.

● 木野　亨

クラウドサービス基盤技術

Infrastructure Technology for Cloud Services

FUJITSU. 62, 3 （05, 2011）312

クラウドサービス基盤技術

これらの経験の中で，クラウドのメリットをより広範囲にかつ継続してお客様が享受できるようになるためには，クラウド基盤技術をデータセンター向けにアーキテクチャレベルから見直し，最適化することが不可欠と判断した。そのために，サーバ，ストレージ，ネットワーク，ソフトウェア，サービスマネジメントなど必要な技術を全社横断的に集約・統合し，基本コンセプトに基づいて新規開発および再構築を行った。基本コンセプトは，誰でも簡単に利用できる高い利便性，そして安心して利用できる信頼性を高い次元で両立させることを目指した。● 利便性クラウドサービスは，米国ベンダがコンシューマ向けに検索やメールなどの便利なサービスを無料，または低料金で使えるようにしたことから広まった。スマートフォンなどネットワーク接続された多機能モバイルデバイスの急激な普及やソーシャルネットワークサービス（SNS）の利用者拡大により，多くの人々が無意識のうちにクラウドの世界に足を踏み入れている。これら米国ベンダによる，いわゆるパブリックサービスの特徴は，・圧倒的な利便性で多数のユーザの支持を得ている・圧倒的なボリュームとサービスの均一化で低価格化を図っているという，企業ごとに専用システムを構築・運用してきた従来のICTモデルとは大きく異なるものである。そのために，数十万台規模のデータセンター専用サーバを収容するメガデータセンターで均一サービスのボリューム運用に特化した徹底的な自動化，省電力化を追求する技術革新も行われている。● 信頼性一方で，利便性の高いパブリックサービスは，多くのユーザが利用する共用環境であるため，企業での利用においては，以下のような信頼性の不安要因が挙げられていた。・複数の利用者システムが物理的な資源を共有する際に，利用者間を確実に分離できるか。

・インターネット上のシステムでは，企業のイントラネットに置くようなデータは置けない。またイントラネットのシステムとの連携も難しい。

・クラウドの中はブラックボックスなので，何か問

ま　え　が　き

本号のこれまでの論文にあるように，クラウド・コンピューティング（以下，クラウド）という新しいICTモデルの活用もいよいよ本格的な展開フェーズを迎えつつある。例えば，ものづくりを事業コアにしてきた企業が直接エンドユーザに対するネットワークサービスを提供したり，あるいは経験や人材が頼りだった第一次産業や医療・介護の分野で，クラウドを適用して社会的な課題である少子高齢化時代での生産性向上に取り組むなど，多くの事例が進行している。このような新しいICT活用事例を支えるのが，先行的に設備投資を行うことなく，必要なときに必要なだけ使え，使用量に応じて利用料金を支払うクラウドの本質的な経済特性である。このようなクラウドによるICTの社会的な活用分野の拡大に向けて，富士通では2009年よりデータセンター向けのクラウド基盤技術をアーキテクチャレベルから見直し，設計・開発に取り組んできた。プロトタイプ開発による社内実践での運用経験と利用部門からのフィードバックを通じてクラウド基盤技術を成熟させ，その成果を本格的なIaaS（Infrastructure as a Service）型パブリックサービス「オンデマンド仮想システムサービス」として商品化し，2010年10月より商用サービスを提供している。前述の多くの活用事例もこのIaaSの上で，従来のICTインフラよりも迅速・容易・スケーラブルにかつコスト効率良く構築している。本稿では，富士通のクラウド基盤技術とそのグローバルなサービスの展開について紹介する。

クラウド基盤に求められる要件

クラウドとして企業向けに提供されるサービスには，業務アプリケーション機能を利用するSaaS（Software as a Service），アプリケーション開発・実行環境を利用するPaaS（Platform as a Service），サーバやストレージといった基本的なICT資源をサービスとして利用するIaaSなどがある。富士通も，各種の業務・業種向けSaaSや，物理リソースのオンデマンドホスティグ型IaaSなどクラウドサービスの黎

れい

明期からいち早く取り組んできた。

ま　え　が　き

クラウド基盤に求められる要件

FUJITSU. 62, 3 （05, 2011） 313

クラウドサービス基盤技術

ビスを実現する管理ソフトウェアによって構成される。ハードウェア資源は，多数のサーバとストレージをIPネットワークで均質に接続したものである。管理ソフトウェアは，ハードウェア資源の仮想化と，仮想資源を連携させテンプレートで指定されたシステムモデルに合わせて配備する管理機構を中心に，運用管理やサービス管理を実現するコンポーネントを含む。このようなSOPのアーキテクチャの基本となるのは，以下に述べる「サーバセントリック仮想化」と「進化指向アーキテクチャ」の二つの考え方である。● サ ー バ セ ン ト リ ッ ク 仮 想 化（ScV：Server

centric Virtualization）SOPでは，サーバ，ストレージ，ネットワークのすべてを全面的に仮想化することにより，利用者に提供するICT資源をハードウェアから分離するとともに，これらをサーバを中心とした視点で再構成し利用できるようにする。利用者は論理的なサーバ台数，ネットワーク接続関係，およびストレージ容量を意識するだけで済み，これらを実現するための物理的なネットワーク設定やストレージ設定を意識する必要はない。これがScVの考え方である。一般的な仮想化ソフトウェアの目的は物理サーバの仮想化であるが，SOPにおける仮想化ソフトウェアはストレージとネットワークの仮想化をも担う。すなわち，サーバ，ストレージ，ネットワークそれぞれ別々の仮想化機能を組み合わせるのではなく，SOPがサーバ，ストレージ，ネットワークを含めた仮想化の全体を一元管理する。また，ネットワーク仮想化は，サブネット分割構成をオンデマンドで構築する機能を提供する。これはファイアウォールやサーバロードバランサなど，富士通のネットワークサーバIPCOMで蓄積した技術と，それと連動して動的にネットワークを制御する管理技術の組合せにより実現している。● 進 化 指 向 ア ー キ テ ク チ ャ（EoA：Evolution

oriented Architecture）クラウドサービスのように動きながらも常に拡大・発展し続けるサービスのためのプラットフォームでは，多数の利用者に継続性のあるサービスを提供していくことが必要とされる。スケーラビリティやサービス種類の拡大を実現するために進化

題があったときにどう対応すれば良いか分からない。このような状況は，インターネットの普及期とよく似ている。1990年代，インターネットはコンシューマ向け情報提供・交換手段として急速に普及した。一方，企業利用の観点では，共用ネットワークであるためのセキュリティやレスポンスなどが不安視され，企業用には専用ネットワークや，超強度だが複雑なセキュリティ技術が利用されていた。しかし，セキュリティ技術の進歩や実際の利用実績から不安は数年で解消され，EC（電子商取引）やインターネットバンキングなど，インターネットで急速に拡大した。

サービス指向プラットフォーム（SOP）

利便性の高いサービスは不安が解消され安心感が得られれば必ず普及する。富士通ではこのようなパブリックサービスならではの高い利便性，そして安心して利用できる信頼性を高い次元で両立させることを目指し，クラウド基盤をアーキテクチャレベルから練り直し，サービス指向プラットフォーム（SOP）を完成させた。（1），（2） SOPは富士通が国産コンピュータベンダとしてこれまで長年蓄積したサーバ，ストレージ，ネットワーク，ソフトウェア技術を統合したクラウド時代のサービスに最適なプラットフォームであり，仮想化技術と運用技術を融合している。また，富士通のソフトウェア製品と共通の技術を用いることによりハイブリッドクラウドを構成する場合の相互接続性の向上を図っている。クラウドサービスを実現するためには，データセンター内に多数のサーバ群，ストレージ群，ネットワーク機器群を設置して仮想資源プールを構築するとともに，これらの物理資源の運用管理を自動化し，その上に多数の利用者ごとの仮想システムを動的に配備（仮想資源プールから必要な資源を割付け）することが必要となる。さらに，クラウドサービス利用者に対しては仮想システム運用管理環境を，センター運用者に対してはクラウド基盤全体の運用管理環境を見せる仕組みを提供している。

SOPのアーキテクチャ概要を図-1に示す。SOPは基盤となるハードウェア資源と，その上でサー

サービス指向プラットフォーム（SOP）

FUJITSU. 62, 3 （05, 2011）314

クラウドサービス基盤技術

し続け，継続性を持ってサービスを提供し続けるための仕組みがEoAである。EoAは，アイランド構成による成長性と運用ノウハウ蓄積フレームワークによって実現されている。（1） アイランド構成均一性の高い物理構成をスケーラブルに展開することにより運用コストを下げることは，クラウド向けプラットフォームの基本である。しかし，年数が経過するに伴い，新しいハードウェアやソフトウェアの追加，既存のハードウェアやソフトウェアへの修正適用などで均一性が崩れ，運用の複雑性が増大することが懸念される。長期間にわたって，システム全体が複雑化することを回避していくために，SOPでは，アイランドと呼ぶ構成単位（物理サーバ数で100台から1000台程度）を並べることによりプラットフォーム全体を形成する。各アイランド内のハードウェア素材，ソフトウェア世代を均質化することによ

り運用・管理・制御の複雑度を小さくする一方で，異なるアイランド間では素材の世代が異なることを許容し，よりコストパフォーマンスの高い新世代素材の導入も可能とする。アイランドは新陳代謝の単位でもあり，新しい資源の追加や古い資源の廃棄はこの単位で行われる。（2） 運用ノウハウ蓄積のフレームワーク運用ノウハウの蓄積は，クラウドサービス提供者にとって大きな価値となる。ノウハウが蓄積されて運用の自動化が進展することで，サービス品質の向上と運用効率化が実現できる。運用ノウハウの蓄積と活用のために，SOPでは，経験を形式知化するための言語と，その言語で書かれた運用ポリシーの実行エンジンを実現している。ここで重要な要素となるのは，均質なアイランド構造によって管理対象の構成パターンが絞り込まれていることであり，これが自動化とノウハウ蓄積の進展を加速させている。

利用者ビュー

プレゼンテーション

仮想化ソフトウェア

運用管理 利用者管理/課金 VSYS管理

ダイナミックリソース管理

クラウドAPI

管理ソフトウェア

アプリケーションシステム

配備テンプレート

インターネット

ハードウェア資源仮想ストレージ仮想マシン（VM） 仮想ネットワーク

コアスイッチ

VMVMVM

VMVMVM

ラック サーバPRIMERGY

スイッチ

スイッチ

FEN

ICS

......

IPCOM

... ......

...

...

スイッチ

IPCOM

スイッチ

スイッチ

仮想スイッチ

仮想スイッチ

ストレージETERNUS

コアスイッチ

スイッチ

図-1　SOPの構造Fig.1-Structure of SOP.

FUJITSU. 62, 3 （05, 2011） 315

クラウドサービス基盤技術

製することもできる。これはアプリケーションのバージョンアップを行う場合に必要な開発環境や検証・テスト環境の作成などで効果を発揮する。（2） オンデマンド富士通では必要に応じてICT資源を利用できるオンデマンドホスティングサービスを提供してきた。これを更に進め「使いたいときに使いたいだけ」を実現した。例えば従来利用資源を増設する場合など，手続きを含めて数日を要していた。また利用契約期間も通常は1年であった。オンデマンド仮想システムサービスでは資源が必要となったときから数十分程度で資源配備が完了し，以降1時間単位で利用できるようになる。このような俊敏性を実現するために，以下のような動的リソース管理の機能を持つ。・仮想資源プール機能仮想資源を共用資源として管理し，利用者からの配備要求に応じて必要な資源を迅速に払い出す。・資源オーケストレーション機能サーバ，ストレージ，ネットワークの関係を維持・管理することにより，業務の特性や変化に合わせて柔軟にアプリケーションシステムを配備する。・資源自動最適化機能サーバなどの物理機器故障に対して，代替となる機器を準備し自動的にフェールオーバを行う。（3） セルフサービス完全なオンデマンドを実現するのに欠かせないものがセルフサービスと自動化である。従来のサービスでは，電子メールによる申込書のやりとりなどにより，どのようなICT資源をいつからどれだけ利用するのかという情報伝達を行っていた。最終的に資源配備を行うまでに，利用者とサービスプロバイダの双方で多くの人的作業が必要となっていた。ICT資源の利用・提供プロセスにおける人的作業を極小化することにより，最短の時間で利用できるようになる。セルフサービスの窓口となるのが図-2に示すサービスポータルである。このサービスポータルを通じて前述のシステムテンプレート適用操作や資源の利用開始・終了を受け付け，その後の処理をすべて自動制御することにより，タイムラグのないICT資源提供を実現している。サービスポータルは人が操作しやすいように，

オンデマンド仮想システムサービス

このSOPをエンジンにして，富士通データセンター内に設置されている大規模リソース上に，お客様専用の仮想システム環境を割り当てて提供するIaaSタイプのパブリックサービス「オンデマンド仮想システムサービス」を2010年10月より開始した。本サービスは，パブリックサービスならではの高い利便性に加え，Web3階層システムと呼ばれる高いセキュリティレベルのシステムが容易に構築可能な信頼性を備えた，世界にも例のないクラウドサービスである。（3）

オンデマンド仮想システムサービスは以下の特長を持つ。● 利便性（1） 設計レス

IaaSを利用した場合，機器のラック位置やLANケーブル接続，冗長構成などの物理的な設計・運用はすべてクラウドプロバイダが行うため，物理的な機器や結線の設計が不要となる。一方，仮想マシンなどの仮想ICT資源を用いた構成設計や論理接続設計が必要となる。その設定にはIaaSプロバイダごとに異なる流儀に従いコマンド発行や操作を行う必要があった。これには従来の物理的なICTインフラの設計とは違うクラウド特有のシステム構築スキルが必要となる。富士通では多くのシステムインテグレーションやアウトソーシング事例を通じ，企業内で使われる様々なシステムにおけるサーバやネットワークの構成，相互接続性に対する事例やノウハウを蓄積してきた。そのノウハウをもとに企業の規模や業務種別，セキュリティレベルにより，いくつかの典型的な構成を抽出した。オンデマンド仮想システムサービスではこの構成に基づいたシステムテンプレートを提供する。システムテンプレートを選択して必要な情報を入力するだけで仮想ICT資源の接続関係や性能を自動設定し，簡単に業務システム用の仮想プラットフォームを作ることを可能にしている。これにより，利用者は業務アプリケーションの開発に専念することができる。一度作成したシステムを利用者独自のシステムテンプレートとして保存し，類似のシステムを簡単に複

オンデマンド仮想システムサービス

FUJITSU. 62, 3 （05, 2011）316

クラウドサービス基盤技術

環境で実現できたサービスはこれまでなかった。一般のクラウドサービスでは，すべての仮想サーバがグローバルIPアドレスを持ち，インターネットにさらされることになる。インターネットから遮断するためには，仮想サーバの設定によりポートを閉じるなどの工夫が必要であるが，完全にプライベートゾーン化できるわけではない。この特長により，企業の本格的な業務システムでもパブリッククラウドのすぐに使えるメリットを利用することが可能となった。（2） 仮想プライベートシステムとハイブリッド構成インターネット上に置くことが困難な企業の業務システムでも，パブリッククラウドのメリットを享受したいというニーズは強い。富士通では，企業向けのネットワークサービスであるFENICSと，クラウドサービスをつなげ，利用企業のイントラネットに接続するバーチャルプライベートクラウドサービスも可能な構成をとっている。インターネットVPNだけでなく，IP-VPNや広域イーサネット，さらにはモバイルネットとの統合認証サービスなどと組み合わせて，パブリッククラウド上の業務システムにセキュアにアクセスすることができる。また，お客様の業務システムは，多種多様なサブシステムが連携してできている。標準化されたクラウド環境を利用することで大きなメリットを享受できるサブシステムもあれば，個別の構成や運用要件のあるサブシステムもあり，全体としてはクラウドだけではお客様のすべての業務を構築することはできない。このため，クラウド上のシステムと専用環境でのシステムが混在し連携したハイブリッド環境が必要となる。そのために，富士通のクラウドサービスは，同じデータセンター内にあるお客様専用ホスティングゾーンと構内接続するサービスを標準で用意している。さらに，このハイブリッド環境で，業務全体で最適に統合されたインテグレーションおよびサービスマネジメントを行えるのも富士通が長年蓄積してきたデータセンターサービスとの融合によるものである。（3） Made in FUJITSUでグローバルなクラウド

SOPは富士通の多方面の技術を集約して開発した。核となるサーバ仮想化技術やネットワーク技

アイコンを多用したグラフィカルなユーザインタフェースを備えている。人がサービスポータルを操作したのと同じことをプログラムからでもできるよう，サービスAPI（Application Programming Interface）を提供している。決まったスケジュールや実際のアクセス数に応じて仮想マシンの起動・停止を行い処理負荷の増減に対応する，あるいは定期的にバックアップを取得する，といったことが無人自動化できる。富士通ではサービスAPIの標準化活動を通じオープンなクラウドを目指してい る。 現 在，DMTF（Distributed Management Task Force）やOGF（Open Grid Forum）など，複数の標準化団体でクラウド基盤のAPIの標準化作業が進んでいる。富士通では，このような標準化の場への参画・提案をするとともに，その標準仕様を実装し，アプリケーションのポータビリティとクラウド間の連携性を向上させている。● 信頼性（1） セキュアな3階層仮想システム

SOPでは，サーバ，ストレージ，ネットワークをシステム単位で統合仮想化できる。よって，グローバルIPアドレスを持つDMZゾーン（注）内の仮想サーバとプライベートIPアドレスを持つセキュアゾーン内の仮想サーバを仮想ファイアウォールで確実に分離できる。このような構成は，従来の物理環境でのシステムでは当たり前の構成であるが，クラウドの仮想

（注） ファイアウォールによって内部・外部の両方のネットワークからも隔離された区域。

図-2　サービスポータルFig.2-Service portal.

FUJITSU. 62, 3 （05, 2011） 317

クラウドサービス基盤技術

術，統合技術などでサードベンダ製品を使用していないため，問題解決やセキュリティ強化にも迅速にかつ柔軟に対応できることで，お客様の安心感も増している。このMade in FUJITSUのクラウドであるからこそ，富士通はSOPを基盤としたクラウドサービスを，自信を持ってワールドワイドへ展開を進めている。2011年にまず世界5箇国（オーストラリア，シンガポール，イギリス，アメリカ，ドイツ）でサービスを開始する。各国のクラウドデータセンターに均質な構成のSOPアイランドを設置することにより，同じ機能のサービスをどこからでも提供することが可能である。すべてのSOPアイランドは集約されたコントロールセンターから一元的にリモートモニタリングされており，クラウド環境に対する高い専門知識を持った専任オペレータにより運用されている。また，コントロールセンターとSOP開発部門が密接に連携することにより，運用の効率化や問題解決のスピードを高めている。

グローバルなクラウドサービスに向けて

オンデマンド仮想システムサービスはサービス開始後，予想を上回るスピードで利用が拡大している。また，グローバルデータセンターへの展開作業も本格化している。このような中で，今後のグローバル規模でのクラウドサービスを提供していく上で，さらに取り組んでいかなければならない課題も見えてきている。● キャパシティ管理

SOPは，アイランドという単位で増設していくアーキテクチャとなっている。このアイランドの中には，サーバ，ストレージ，ネットワーク機器が一定のキャパシティの比率で構成されている。実際に利用ユーザが増えてくると，このバランスが当初の想定よりもストレージの消費量が多いことが見えてきた。今後のアイランドの設計において，ユーザ数とVM（仮想化マシン），ストレージ容量，ネットワーク帯域のキャパシティバランスをどう最適化していくか，本サービスの貴重な運用経験を生かして取り組んでいく。● グローバル規模での変更管理，構成管理コントロールセンターは，ITIL v3をベースに

グローバルなクラウドサービスに向けて

サービスマネジメントをしているが，大規模共用および分散環境での実践のためには，ITILのプロセスやツールをクラウド向けに最適化していくことが必要と認識している。例えば，グローバルに点在するSOPアイランドをリモート一元管理していくためには，全アイランドの機器構成，ラック構成，ソフト版数管理などが同一であることが望ましい。初期構築時は，構成を合わせやすいが，その後の増設タイミングは拠点ごとのビジネス状況により実際にはばらついていくため，機器版数，ソフト版数も複数共存していく。このような環境での構成管理や変更管理，さらにはセキュリティ監査などは，グローバルに分散した複数の部門によるバーチャル組織での管理プロセスを確立していく必要がある。● グローバルなビジネスインフラグローバルにSOPを共通基盤として展開し，その上で，グローバル共通に均質なクラウドサービスを提供していくと同時に，拠点ローカルの市場ニーズに応じたローカルサービスも提供していくことが重要となる。例えば，ポータルのマルチ言語対応や，課金時のマルチ通貨対応，さらには複数拠点のサービスを利用されるグローバル企業向けのマルチサイト連結課金やID管理など，SOPのアーキテクチャもグローバル共通部分とローカライズ可能部分をより柔軟にし，かつ最適なアーキテクチャに洗練させていく。

む　　す　　び

クラウド・コンピューティングは様々な技術が発展的に融合したものであり，これらをサービスとして簡単にかつ安心して利用可能としたことにより，多くの利用者から支持されている。（4）クラウドサービスの利用者は必要な期間や量のICT資源を効率的に利用することによりサービス利用料を最適化することができる。多額の初期投資が不要になったことにより，これまでICTが活用されていなかった業務や産業においても活用が広がりつつある。クラウドの利用には国境がない。したがって，今後，広く相互接続性を備え，標準技術を活用したクラウド基盤をオープンイノベーションにより

む　　す　　び

FUJITSU. 62, 3 （05, 2011）318

クラウドサービス基盤技術

実現する必要がある。富士通は，このような方向も踏まえて，今後もクラウド基盤技術を継続して強化していく。

参 考 文 献

（1） 吉田　浩：仮想化の進展と富士通の取組み．FUJITSU，Vol.60，No.3，p.216-220（2009）．

（2） 吉田　浩ほか：サービス指向プラットフォーム．FUJITSU，Vol.61，No.3，p.283-290（2010）．

（3） 谷内康隆：オンデマンド仮想システムサービス．FUJITSU，Vol.61，No.3，p.291-296（2010）．

（4） N. Carr：The Big Switch：Rewiring the World, From Edison to Google．W. W. Norton & Company，Inc., 2008．

木野　亨（きの　とおる）

クラウドビジネスサポート本部クラウドサービスインフラ開発室 所属現在，クラウドサービスの企画・開発・デリバリに従事。

著 者 紹 介