2012.2.18第5回JAWS-UG大阪 勉強会

cloudpack監視システムについて

　　後藤 和貴　@kaz_goto　

　facebook.com/kaz.goto　

自己紹介プロフィール

アイレット株式会社 cloudpack エバンジェリスト

出没するJAWS-UG: 東京、大阪、福岡、宮崎、　　　　　　鹿児島、沖縄、名古屋、札幌、北陸

次に行きたいJAWS-UG: 京都、四国のどっか

好きなAWSサービス: プレミアムサポート

好きなオーディエンス: 大阪ｗ

職歴

データベースベンダー(Oracle) → ウェブ制作会社(bA) → IT・サイエンス系ニュースサイト運営(WIRED VISION) → フリーのテクニカルディレクター → クラウド大好き(cloudpack)

@kaz_gotofacebook.com/kaz.goto

2

お礼3

4

第4回JAWS-UG大阪≒

cloudpack 無双！！今回もよろしくお願いします。

祝5

1

6

祝7

2

#安産なう8

9

祝10

3

成人11

12

13

皆さんおめでとうございます！

AWSの足りない部分を補完した月額費用固定型フルマネージドホスティング

時間365日サーバー運用・保守

電話/メールによるサポート

初期費用なし(移行作業含む)月額5万円からのスタート

日本円で請求書発行未成年の方、クレジットカードをもってない方も安心

15

16

続きはウェブでamazon  EC2  運⽤用保守

17

ステマ

感想の書き方テンプレート

18

「わぁ、本当に #cloudpackってすごいですね #jawsug 大阪」

「○○つかってるんだ、なるほど #cloudpack #jawsug 大阪」

「○○さん、ステキですね。 #cloudpack #jawsug 大阪」

「ウケルｗ #cloudpack #jawsug 大阪」

「橋下頑張れ！ #cloudpack #jawsug 大阪」

本題

19

フルマネージドサービス/リソース監視

ディスク使用量、メモリ使用量、プロセス数、Webサーバー・DBサーバー死活...

バックアップ/リストア

EBSスナップショットを利用した二世代（過去二日分）バックアップ

アクセス制御(ファイアーウォール)

適切なセキュリティグループを設定、OS・ミドルウェアレベルでさらに細かな設定も対応可能

cloudpack監視サービスとは

21

300に迫るサーバー群を監視するcloudpack監視サービスの裏側見せちゃいます

1. 監視サービス概要

2. 実装方法（基本構成）

3. 独自の追加機能

4. ノウハウ

5. 今後やりたいこと

22

監視サービス概要

23

監視サービス概要Nagios

各リージョン毎に一括管理

監視サーバー(cloudpack)

監視対象サーバー(各アカウント)

24

実装方法（基本構成）各リージョンのNagios同士は相互監視

エージェント

導入可能な場合は入れて、多くのポイント監視

導入不可の場合は、外部から確認可能なポイントのみ監視

URL監視以外は基本的に内部IPで確認

cloudpackのセキュリティグループからのアクセス許可個別アカウントのセキュリティグループでポート追加などはしない

25

独自の追加機能プラグイン・カスタマイズ

ログ監視

• syslog系• PostgreSQL• Tomcat• アプリケーションログ（キーワードのキャッチ）

26

独自の追加機能プラグイン・カスタマイズ

S3

• URL監視• バケットサイズチェック

※ AWS SDK for PHPではS3サイズチェック関数があった（他のSDKではないらしい）

※ 参考: get_bucket_filesize関数http://docs.amazonwebservices.com/AWSSDKforPHP/latest/#m=AmazonS3/get_bucket_filesize

27

独自の追加機能プラグイン・カスタマイズ

CloudWatch連携(check_cloudwatch)

• EC2 → CPU使用率• RDS → メモリ、ディスク、コネクション数、swap...• Tomcat• アプリケーションログ（キーワードのキャッチ）

※参考:

• CloudWatchのCustom Metricsを使ってみた(二番煎じ)http://d.hatena.ne.jp/j3tm0t0/20110517/1305651359

• NagiosとCloudWatchを組み合わせてみたhttp://blog.cloudpack.jp/2011/05/aws-news-nagios-cloudwatch-combination.html

28

独自の追加機能プラグイン・カスタマイズ

DNS関係

• ホスト名とIPアドレスの変化チェック• RDSフェールオーバーもチェック

※ RDSフェールオーバーは意外と問題になるケースがあります例: ゾーンまたぐとアプリサーバーとの間のレイテンシが大きくなる

29

独自の追加機能メール関係

メール送信はAWS SDK for PHPでSES利用ただ使ってみたかったｗ

アラート内容毎にテンプレートをわけるアカウント毎の連絡先・対応方法など付記

31

32

サーバー名・IPアドレスサーバー名・IPアドレス

顧客名顧客名

連絡メールアドレス担当者名＋電話番号連絡メールアドレス担当者名＋電話番号

ノウハウ？可能なものはすべてCloudWatchのメトリクスにして監視システム全体の信頼性を上げる

個別対応時のプログラム実装上のミスを防ぐ

CloudWatchアラーム使わずNagiosでアラート

英語メッセージ＝ヒューマンエラーの可能性

連絡先・対応方法をのせた日本語のメッセージ

バッチ処理正常終了監視

キュー処理開始・終了時刻の確認

および一定時間で処理している数をチェックして正常動作確認

33

今後やりたいことPHP SDKでSES利用からSMTPリレー(Postfix)→SESに変更信頼性アップ＆パフォーマンスアップ

データ転送量チェック

cloudpackのサービスモデルとしては必須

ELBレイテンシチェック

ウェブサイト全体が重たくなっているとレイテンシが大きくなるので傾向をつかみやすい

VPC内サブネットavailable IPs

ELBがスケールアウト時にIPを消費されるので観測したい

CloudFront動画再生ログチェックどれだけ動画を見られているか、動画再生箇所（開始・終了時間）

34

失敗談AWS側の局所的なトラブルでCloudFront URL監視で検知失敗したことあり

同一URL複数のアクセス元でアクセス可・不可がタイミングによって分かれた

RDSセキュリティグループ指定のUIが変更になり、他アカウントのセキュリティグループが選べなくなった

セットアップが一切できなくなったのでプレミアムサポートへ連絡したら、あとで直ったｗ

35

まとめオープンソースの監視システムでも十分に使えます

CloudWatchにないものや、個別に必要な機能はプラグインをさくっと書いちゃましょう

監視だけじゃなく、その後の対応も考慮しておくとヒューマンエラーもでなくてより安心

AWSの挙動（仕様）もモニタリングすれば安心

→面倒な方はcloudpackで監視サービスを！監視のみ監視職人もありますｗhttp://www.cloudpack.jp/spin-off/monitoring.html

36

告知イベント

2/28,29 日経BP Cloud Days Tokyo 2012出展

3/8,9 日経BP Cloud Days Tokyo 2012出展

3/2,3 JAWS Summit

3月中 cloudpack Night #2

情報発信

http://www.cloudpack.jp/

@cloudpack_jp

http://facebook.com/cloudpack.jp

人材募集中

37

Nagiosカスタマイズしたい人集まれ！

最後に

38

応援感謝 プレゼント！

39

@j_nakada中田さん

@letkun山崎さん

@u_matumoto松本さん

@AP2_SHIN田代さん

Thanks!

http://www.cloudpack.jp/suuport@cloudpack.jp

@cloudpack_jp

40