日本OpenStackユーザ会　Atlantaサミット報告会 Swift関連報告

Copyright©2014 NTT corp. All Rights Reserved.

日本OpenStackユーザ会アトランタサミット報告会（第18回勉強会）

Swift関連報告（2014/6/19)

日本電信電話株式会社ソフトウェアイノベーションセンタ露崎浩太

Copyright(c)2009-2014 NTT CORPORATION. All Rights Reserved.

2 Copyright©2014 NTT corp. All Rights Reserved.

会議名：

• OpenStack Summit

会場・期間：

• Georgia World Congress Center,

Atlanta, GA, United States

• 5/12～5/16

内容：

• 企業展示 (OpenStack Marketplace)、Keynote

• 一般向けの事例紹介などのGeneral Session (Mon~Thu)

• Juno向けのDesign Summit (Tue~Fri)

OpenStack Summit 概要


[プロフィール]

氏名：露﨑浩太 (28)

Launchpad: tsuyuzaki-kota

IRC: kota_

所属：日本電信電話株式会社 (NTT)

ソフトウェアイノベーションセンタ (R&D部門）

[OpenStackとの関わり]

2012年(Folsom） : Swift

2013年(Grizzly, Havana): Swift

2014年(Icehouse, Juno): Swift

自己紹介


今回の報告

General Session

(use case)

Design Summit Session

(Juno Design)


• 注目度

• 19セッションと発表数が多く、聴講者も多かったことから注目度は高い

• 特にSwiftStackのCase Study*ではLicense Fee, DC費を含めても$0.013/GB/monthとAWSよりコストが安いとのことで、聴講者が多かった

• ユースケース

• Scalabilityの必要なPrivateクラウド向けのデータ置場が中心

• 小中規模向けのAll-in-one OpenStackではCephが主流になりつつある（Canonical, RedHatがサポート）が、とにかくデータ量が多い、速度が必要といったケースに対してSwiftが強いというのを主張

• Ceph, Swift双方で競合というより補完関係のような構図、主張となっていた

• 最近の動向・方向性 • NFS Gateway, dropbox like usecaseなど既存のシステム、サービスとの結合、及び、Kinetic drive等の新アーキテクチャへのシームレスな以降の２つが主軸。Swift自体の新機能というより、既存システムのコスト削減、容量対応を目的としたソリューションの色が強く、特にSwiftStackはSwiftの第一人者としての影響力を持っている**

Swift General Session（事例・動向）

*http://www.slideshare.net/dirkpetersen/bio-it-fhcrceconomyfileproject0430

**https://swiftstack.com/blog/2014/05/22/openstack-summit-atlanta-we-are-in-the-majors-now/


Big Pictures:

• Storage Policies

• Erasure Coding

• Pluggable Backend

Operation/Efficiency:

• Dev/Ops session

• More Efficient Replication

• Swift Distributed Tracing Methods and Tools

Swift Design Summit


What is Storage Policies:

- 冗長度、ディスク構成等の異なるSwiftを1クラスタで提供する機能

Why Storage Policies:

- 既存のSwiftに新しい構成をシームレスに追加できる

- 複数のポリシーを1クラスタ内に持てるので資源の効率化ができる

How it works:

- Swift内部ではポリシー毎に異なるobject ringを持つ

- 運用者がポリシーをデプロイしユーザにポリシー名を公開する

- 利用者はコンテナ作成時に公開されているポリシーを設定する

7月上旬頃 Release予定

Storage Policies

SSD HDD

SSD Policy

Container

HDD Policy

Container


What is Erasure Coding:

- データを分割、符号化して保存するストレージ方式

Why Erasure Coding:

- 分割したデータを保存するためReplica方式より容量削減できる

- 符号化を用いることにより、ディスク故障時にも復旧できる

How it works:

- Storage Policyの1種として組み込み

- PyECLib* を用いてProxyが符号化、複合を行う

- EC用のバックグランドプロセスも作成予定

Junoサイクル中に Release予定

Erasure Coding (EC)

* https://pypi.python.org/pypi/PyECLib

EC fragments

Erasure Coding

Policy Container


What is Pluggable Backend:

- ディスクへの読み書き部分を抽象化し、プラガブルにする方式

Why Pluggable Backend:

- ユースケースに応じた柔軟なバックエンドの選択

- Swiftの汎用ルーチンとバックエンド依存部分の切り離し

How it works:

- 抽象化されたファイルとしてdiskfileクラスをSwift内で定義し、read/writeに相当する操作をdiskfile内で実施する

既存実装のdiskfile抽象化は実装済

Seagate Kineticドライブ、GlusterFS等、

バックエンド別には、各ベンダが対応予定

Pluggable Backend

Object-Server

Kinetic Drive GlusterFS

diskfile abstraction layer


• Dev/Ops Session • ログの監視、ディスク交換頻度、Regionの活用方法などの話題

• Pain Points as an Operator

• 監視がstatsdなので、real-time(not persistent) pluggableなものが欲しい

• Failure Driveのチェックが大変（一括管理や定期チェックなど）

• RingのDeployが大変（ring-masterをcoreかecosystemで作れないか）

• SLA監視にinformant-middlewareを使う等

• Authのintegrationなど新規ユーザがDeployで問題になる部分に関してはコミュニティも課題意識を持ち始めている

• More Efficient Replication • 広域分散時のReplicationの効率化

• 従来のReplicaを全部のPrimaryにpushする方式にAffinityの概念を追加

• マージに向けて改良案を実装中

• Swift Distributed Tracing Methods and Tools • リクエストの開始からデータ読み書き完了までの実行パスをTraceするツール

• 従来のTransaction IDを置き換えてまで導入する意義があるかで議論中

Operation/Efficiency

提案


•性能、容量、コストが両立できるオブジェクトストレージとしてSwiftの導入、成功事例が増えてきた

• 2014秋のJuno版ではStorage Policies、Erasure Codeと新機能が多数導入され、より幅広いユースケースに対応できるようになる見込み

• Ops対応についてもコミュニティは意識している

Presenter Info:

Kota Tsuyuzaki

[email protected]

まとめ

Technology

日本OpenStackユーザ会 Atlantaサミット報告会 Swift関連報告

日本OpenStackユーザ会　Atlantaサミット報告会 Swift関連報告