Embed Size (px)
DESCRIPTION
2013/12/13 OSC .Enterpriseでのセミナー資料
Citation preview
Open Programmable Infrastructure Environment
JobSchedulerでCD（継続的デリバリ）
2013/12/13
日本JobSchedulerユーザーグループ @satoruf
自己紹介
l 船井 覚（ふない さとる）
l OSSラボ株式会社 代表取締役 l 日本JobSchedulerユーザーグループ l 日本openQRMユーザーグループ l その他、Hadoop、XtreemFS、Ceph, Fabric etc.を企業向けに提供
2013/12/13 OSC .Enterprise 2013 2
継続的デリバリとは
l 継続的にソフトウェアを改善し、顧客の価値を増大させる
l リリース頻度を高くし、開発~リリースサイクルを短縮する
l 開発~テスト~デプロイを可能な限り自動化する
のことではない 2013/12/13 OSC .Enterprise 2013 3
システム運用の目的
l サービスの継続的提供 ビジネスに価値のあるサービスを、 l より素早く ⇨計画~リリースの期間を短く l 欠陥を減らし ⇨性能低下、障害発生の防止 l 効率を改善し ⇨サポートコストの削減 継続的に提供する
l 障害対応 障害発生時に l 迅速にサービスを復旧し l 再発を防止する
2013/12/13 OSC .Enterprise 2013 4
リリース作業の現状
2013/12/13 OSC .Enterprise 2013 5
１ヶ月~半年
運用手順書による手作業が前提
手作業の運用の問題
l 撲滅できない操作ミス l タイプミス l 手順書のタイポ l エラー時のロールバック手順不備
l 原因不明の障害 l 開発環境、検証環境、本番環境が微妙に異なる（ライブラリやOS設定） l 環境によって操作手順が異なる l そもそも手作業なので、再現が困難
l 非効率、非人間的な作業 l 端末操作、手順書読み上げ、作業確認の3人体制 l 長時間にわたる操作の緊張と重圧
l リリースサイクルの長期化 l 変更が適用されるまでに、次の変更要求が滞留 l 変更頻度が少ないため、変更箇所が増え、変更のリスクが増大
l 環境の複雑化への対応が困難 l 仮想化、クラウド化によってシステム環境が複雑化し、動的な変更／変化が発生 l それに伴い作業手順も複雑化し、メンテナンスが困難に
2013/12/13 OSC .Enterprise 2013 6
CDはシステム運用にも有効 l 継続的デリバリーの実現
l リリースの多頻度化により、リリースのリスクを低減 l ビジネスサイクルの高速化に適応
l 構築~実装~サービス稼働までプログラム化 l コスト低減、ミスの削減、期間短縮
l 運用管理の集中化 l 人に依存しない標準化、品質向上
l 広域分散環境に対応 l AWS等のクラウドサービスから、オンプレミスの既存物理サーバまで一元管理
l リソースの最適化 l 目的に応じて最適なプラットフォームにアプリケーションを移動
l DR/BCPへ対応 l DR/BCPの自動化
2013/12/13 OSC .Enterprise 2013 7
CDの位置づけ
2013/12/13 OSC .Enterprise 2013 8
要件定義
設計 コーディング
テスト
継続的 インテ
グレーション
開発サイクルの高速化
ジョブ管理
監視 検知
リカバリ
運用 サイクル
運用サイクルの自動化
運用引き継ぎの自動化
バージョン管理 構成管理 自動デプロイ 自動テスト
• 全てプログラム化 • どの環境でも同じ手順 • 何度実行しても同じ結果を再現 • 作業結果をログに保存
構成管理及びリリース管理の成熟度モデル 「継続的デリバリー 信頼できるソフトウェアリリースのためのビルド・テスト・デプロイメントの自動化」David Farley (著), Jez Humble (著), 和智 右桂 (翻訳), 高木 正弘 (翻訳) アスキー・メディアワークス (2012/3/14)
2013/12/13 OSC .Enterprise 2013 9
レベル -1 レベル 0 レベル 1 レベル 2 レベル 3
プラクティス
リグレッションエラー多発：プロセスは繰返せず管理も貧弱、そして対症療法を行っている。
繰返し可能：プロセスは文書化され、一部は自動化されている。
一貫している：自動化されたプロセスが、アプリケーションのライフサイクル全体に適用されている。
定量的な管理：プロセスが計測可能で制御されている。
最適化：プロセスの改善に注力する。
ビルド管理及び継続的インテグレーション
ソフトウェアのビルド手順が手動である。成果物やビルド結果の管理をしていない。
普段のビルドやテストを自動化している。全てのビルドはソース管理システムを使って自動化された手順で再現できる。
自動ビルドと自動テストのサイクルを、変更がコミットされるたびに実行する。依存関係を管理する。スクリプトやツールを再利用する。
ビルドメトリクスを収集して可視化し、それに基づいて作業する。ビルドを壊れたままにしない。
チームで定期的に話し合いの場を持ち、統合時の問題やその自動化による解決、素早いフィードバック、そしてより良い可視化について議論する。
環境及びデプロイメント
ソフトウェアのデプロイ手順が手動である。バイナリが環境に依存する。環境の配布が手動である。
一部の環境ではデプロイを自動化している。新しい環境を手軽に作成できる。全ての構成情報を外に出してバージョン管理する。
ソフトウェアのデプロイは完全に自動化され、ボタンを押すだけで完結する。全ての環境に対して同じ手順でデプロイする。
統合したデプロイ管理、リリースやリリース取消の手順もテストしている。
全ての環境がうまく管理されている。プロビジョニングは完全に自動化、仮想化を適切に活用する。
リリース管理及びコンプライアンス
リリース頻度が低く、しかも信頼できない。
面倒で頻度も低く、信頼できないリリース、リリース要件に関するトレーサビリティも限定的。
変更管理とその承認プロセスが定義され、それを守っている。規約を遵守している。
環境はアプリケーションの健康状態を監視し、能動的に管理している。サイクルタイムを監視している。
運用チームとデリバリーチームが協力し、リスク管理やサイクルタイム削減を行う。
テスト
開発をした後に手作業でのテストを実施する。
ストーリーの開発の一環として自動テストを書く。
ユニットテストや受入テストを自動化する。受入テストはテスターが書く。テストが開発プロセスに組み込まれている。
品質のメトリクスとその傾向を追跡する。非機能要件を定義し、計測する。
本番環境への変更の取消は滅多に発生しない。問題があればすぐに見つかり、すぐに修正される。
データ管理
データのマイグレーションはバージョン管理されておらず、手作業で操作する。
データベースへの変更は自動化したスクリプトで行い、スクリプトはアプリケーションと共にバージョン管理する。
データベースの変更はデプロイメントプロセスの一環として自動的に行う。
データベースの更新やロールバックはデプロイの度にテストされる。データベースのパフォーマンスを監視、最適化する。
リリースのたびに、データベースのパフォーマンスやデプロイメントプロセス自体についてのフィードバックを得る。
構成管理
バージョン管理システムを使っていない、あるいは使っていても滅短チェックインしない。
バージョン管理システムを使って、ソフトウェアの作成に必要な物を全て管理する。ソースコードや設定ファイル、ビルドやデプロイ用スクリプト、データのマイグレーション等。
ライブラリや依存関係を管理する。バージョン管理システムの利用ポリシーは、変更管理プロセスで定義する。
開発者は、少なくとも1日1度はメインラインにチェックインする。ブランチはリリース作業のときだけ使う。
変更管理のポリシーを常に検証し、効率的な共同作業や素早いデプロイができているかを確かめる。また、変更管理プロセスの可監査性もチェックする。
概念アーキテクチャ
2013/12/13 OSC .Enterprise 2013 10
運用ポータル
ジョブモニタ リソースモニタ チケットモニタ カレンダ
イベントモニタ
ニュース
監視／アラート
サービスデスク／ 構成管理／変更管理
チケット作成 障害通知
プロジェクト管理 作業依頼
ソースコード管理
コード 作成／修正
デプロイツール
ジョブ管理
クラウドAPI
テスト デバッグ リリース
クラウド プロバイダ
リソース 結果登録
オーケストレーションレイヤ
イメージ置場
レポジトリ
CMDB
メール
ネットワーク管理
アプリケーション フレームワーク
監視
資源管理 （クラウド／VM／実機）
OSインストール 初期設定／構成管理
アプリケーション構成
コマンド自動実行
openQRM Cobbler
LinuxCOE Clonezilla
Puppet Ansible
Nag
ios
Zabb
ix
Fabric
運用管理自動化基盤構成スタック
2013/12/13 OSC .Enterprise 2013 11
JobScheduler
openvswith
ジョブ管理
サービスデスク／工程管理／リポジトリ
Red
min
e G
it/sv
n O
TRS
JobSchedulerの特長 l オープンソース（GNU Public License）
l ドイツのSoftware- und Organisations-Service社 製 l Linux/Windows版は、全ての機能が無料で使用可能。 l サポートライセンスを購入すれば、HP-UX/Solaris/AIX版の利用に加えて、障害対応、バグフィックス／ワークアラウンドの提供、新機能の早期提供、チケットシステム(OTRS)、JIRAの利用が提供される。
l プログラマブル l ジョブ定義は全てXML形式のテキストファイル l ジョブの中で、Java, Perl, JavaScript, VBScript, Powershell, javax.scriptの内部APIを使ったロジックを記述可能
l 外部API（XML形式）によりRESTまたはコマンドラインからジョブの実行制御、実行状況の取得が可能
l エンタープライズ・グレード l ファイル転送やログローテンション等豊富なテンプレート機能
l リモートジョブ実行、冗長化機能、ロードバランス、外部認証等、エンタープライズ向け大規模システム対応
l JasperReport（ジョブ実行レポート）やNagios（ジョブ実行監視）との連携機能 l MySQLの他、Oracle, DB2, MS SQL Server, PostgreSQL, Firebirdに対応
2013/12/13 OSC .Enterprise 2013 12
JobSchedulerのユーザ
2013/12/13 OSC .Enterprise 2013 13
ドイツ eBankやカード決済サービス会社
イギリス 財務アプリケーションのプロバイダ
オーストリア (イタリアの)大手金融グループ
アメリカノースカロライナ州 保健福祉サービス機関
ヨーロッパを中心に金融・産業・政府・大学 などの様々な機関で使用されている
ドイツ 大学図書館
JobSchedulerの概要 - 機能 -
l ジョブ定義 l ジョブ実行（時間指定/繰り返し） l スケジュール l 多重実行・排他制御 l 先行・後続制御 l 優先度設定 l イベント監視 l メール通知 l 外部パラメータ設定 l 開始/終了遅延検知
2013/12/13 OSC .Enterprise 2013 14
• クライアント / サーバ • バックアップクラスタ • 負荷分散クラスタ • SOAP/RESTの外部API • 独自の内部API • Javascript / Perl / Java / Shell
Script / Powershell / VBScript / javax.scriptでのジョブ定義
高度なジョブ管理機能 Devの使い慣れた言語でのJob定義
アーキテクチャ
JobSchedulerはC++とJavaで開発されており、以下のコンポーネントで構成される。 l JobScheduler Engine
l ジョブの制御と管理を司るサービス。以下の機能を包含する。
l バックアップフェイルオーバー機能
l RDBMSを使用したジョブ履歴、ログ管理機能（JDBC接続）
l JobScheduler Agent l ジョブのリモート実行エージェント
l JOC (Job Operation Center) l WEB UIのジョブ管理画面
l JOE (JobScheduler Object Editor) l ジョブ定義を作成するための、Javaで稼働するスタンドアロンアプリケーション。
l JID (JobScheduler Information Dashboard) l 待機中、実行中、完了したジョブの状態、ログを一覧できるJavaで稼働するスタンドアロンアプリケーション。
l JITL (JobScheduler Integrated Template Library) l ファイル転送やログローテンション等、予め含まれるテンプレート。以下のものが用意されている。
l Logging and Cleanup l Sanity Checking l Mail Forwarding l Remote Job Execution l File Transfer l File Operations (rename, copy, remove, check existence, ...)
2013/12/13 OSC .Enterprise 2013 15
JOC
JOE
JID
2013/12/13 OSC .Enterprise 2013 16
JobSchedulerのジョブ
2013/12/13 OSC .Enterprise 2013 17
Standalone Job
Job Chain
Schedule
• JobSchedulerの特徴 – ジョブ関連の全ての定義がXMLファイルで管理 – 様々な操作を行うジョブがSOS社から提供されている
• ファイル操作、ファイル転送、DB制御、SQL操作、エージェントレス実行、 メール制御、レポーティング機能 などなど
• Standalone Job – 単体で稼動するジョブを定義
• Job Chain – 複数ジョブに対して順序関係を考慮して組み合わせるジョブ(order job)を定義
• Schedule – ジョブの稼動予定を定義
• ジョブ定義はshellscript, windows bat以外にJava,JavaScript,VBScript, javax.scriptで定義可能
Order Job
Order Job
定義ファイル例（XML）
2013/12/13 OSC .Enterprise 2013 18
Order Job ⇒ order_job.job.xml <?xml version="1.0" encoding="ISO-8859-1"?> <job order="yes" stop_on_error="no"> <script language="shell"> <![CDATA[ echo $SCHEDULER_JOB_NAME ]]> </script> <run_time/> </job>
Standalone Job ⇒ simple.job.xml <?xml version="1.0" encoding="ISO-8859-1"?> <job name=“simple"> <script language="shell"> <![CDATA[ echo $SCHEDULER_JOB_NAME ]]> </script> <run_time schedule="my_schedule" /> </job>
Job Chain ⇒ my_job_chain.job_chain.xml <?xml version="1.0" encoding="ISO-8859-1"?> <job_chain orders_recoverable="yes" visible="yes"> <job_chain_node state="test" job=“order_job"/> </job_chain> Schedule ⇒ my_schedule.schedule.xml
<?xml version="1.0" encoding="ISO-8859-1"?> <schedule > <period single_start="10:00"/> </schedule>
ジョブ定義例(スクリプト)
2013/12/13 OSC .Enterprise 2013 19
// print my hostname spooler_log.info(‘Hello World. I run at ' + spooler.hostname()); // kick next job spooler.job(‘path/to/kicked').start();
• Java ※class定義などを省略し、簡単化しています
# print my hostname $spooler_log->info(' Hello World. I run at ' . $spooler->hostname); # kick next job $spooler->job('path/to/kicked')->start();
• Perl
// print my hostname spooler_log.info(‘Hello World. I run at ' + spooler.hostname); // kick next job spooler.job(‘path/to/kicked').start();
• JavaScript
WEB API
2013/12/13 OSC .Enterprise 2013 20
# curl 'http://localhost:4444/<start_job%20job="sos/dailyschedule/CreateDaysSchedule "%20/>' <?xml version="1.0" encoding="ISO-8859-1"?> <spooler> <answer time="2013-07-08 17:51:19.202"> <ok> <task job="/sos/dailyschedule/CreateDaysSchedule" id="27" task="27" state="none" name="" enqueued="2013-07-08 17:51:19.211" start_at="2013-07-08 17:51:19.203" steps="0" log_file="/home/scheduler/sos-berlin.com/jobscheduler/scheduler/logs/scheduler-2013-07-08-161409.scheduler.log" force_start="yes"> <log level="info"/> </task> </ok> </answer> </spooler>
PHPのライブラリがSOSより提供 ⇒プログラムからジョブ制御が可能
コマンド実行デプロイ：Fabric l Fabric は、Python 製のデプロイ・コマンド実行ツール。 l 類似のツールとして Ruby 製の Capistrano がある。 l sshを使用した、エージェントレス型のツール l 最大の特長は、シェルスクリプトとしてまとめていたコマンドをそのまま run() メソッドや
sudo() メソッドで囲むだけで使うことができ、複数ホストに対して同時に実行や複数コマンドを順番に実行が可能。
l Linux環境確認のスクリプト例
2013/12/13 OSC .Enterprise 2013 21
from fabric.api import env, task, run from envassert import file, process, package, user, group, port, cron, detect, service def check(): print('1:MySQL Process Check') if process.is_up('mysqld'): print(' MySQL Running\n') else: print(' Not MySQL Running\n') print('2:NTP Process Check') if process.is_up('ntpd'): print(' NTP Running\n') else: print(' Not NTP Running\n') print('3:SELinux Check') selinux=run('getenforce') if selinux == 'Disabled': print('SELinux Disable\n') else: print('SELinux Enable\n’)
サービスデスク：OTRS l OTRS (Open-source Ticket Request System)は、ドイツのOTRS AG社が開発しているオープンソース(APGPL V3)のサービスデスクシステム
l ヘルプデスク管理機能（OTRS Help Desk）とITIL（v3）に対応した運用管理機能（OTRS ITSM）にわかれている
l OTRSヘルプデスクでは、顧客からの問い合わせを電話やメールなどで受信するインバウンド業務と、その問い合わせなどを返答したり、顧客に連絡事項を通知したりするアウトバウンド業務において、トラブルチケットの発行、配信、回答、管理、保管といった顧客対応の一連の流れを管理する機能が備わっている
l OTRS ITSMとしては、インシデント管理、問題管理、変更管理、要求実現、サービス資産管理・構成管理、ナレッジ管理がある
l 利用可能言語が32もあり、全世界で165万ダウンロード、11万以上のインストール実績がある
2013/12/13 OSC .Enterprise 2013 22
クラウド自動化基盤：openQRM
2013/12/13 OSC .Enterprise 2013 23
オンプレミス （物理・仮想マシン）
プライベートクラウド （仮想マシン）
パブリッククラウドサービス （仮想マシン）
IPMI API API
システム イメージ
システム イメージ
クラウド管理 ダッシュボード
ユーザ ポータル
AMI VMware, KVM, Xen, etc.
プロビジョニング
OSインストール
各種
設定 アプリインストール
運用
監視
移行
HA/DR ユーザ管理
課金管理
• ベアメタル • VMware • KVM • Xen • LXC • OpenVZ
• LinuxCOE • Cobbler • Clonezilla • FAI, OPSI
• Puppet • Ansible
• Kickstart • preseed
• ZABBIX • Nagios/Icinga • Collectd • idoit
• Live Migration • イメージインポート／エキスポート • LCMC • Pacemaker, Corosync, Heartbeat,
DRBD • OpenLDAP
移行 移行
openQRMシステム概要
2013/12/13 OSC .Enterprise 2013 24
サーバイメージ・ストレージ
openQRMサーバ
DHCP
PXE 仮想化環境 VMware, Xen, KVM, lxc, OpenVZ
DNS
プラグイン・マネージャ
Linux Windows
NFS SAN
iSCSI GlusterFS他
物理環境 Intel/AMD x64アーキテクチャ
Linux Windows
クラウド・サービス
その他 プラグイン API
クラウド 管理者 コンソール
ユーザ 管理者 コンソール
Solaris
Solaris PXE ブート 構成情報取得
サーバイメージ ダウンロード
tftpd, SAN Local, 他
サーバイメージ変換 REST API
Enterprise Cloud
AWSインテグレーション l openQRMコンソールから、EC2/S3の操作が可能 l AMIとローカルイメージのインポート／エキスポート l Nagios/Puppet等と併用でインスタンス設定も自動化
2013/12/13 OSC .Enterprise 2013 25
運用管理機能
2013/12/13 OSC .Enterprise 2013 26
Zabbix監視システム 連携
i-doit構成管理システム 連携（エンタープライズ版）
LinuxCOE+Puppet/Ansibleで全自動セットアップ
l LinuxCOE l HP社が開発したOSSのLinux OS自動インストール／設定システム l http://linuxcoe.sourceforge.net/
l openQRMとの連携の仕組み 1. openQRM上でイメージ作成時に、LinuxCOEのプロファイルを選択
2. アプライアンスを起動すると、LinuxCOEからtftpブートされる 3. LinuxCOEでのインストール／基本設定完了後、openQRMサーバから再起動
4. 起動時にPuppet/Ansibleのマニフェストが実行される
2013/12/13 OSC .Enterprise 2013 27
Fabricと組み合わせてCD
ログイン インスタンス作成
OSインストール／設定 アプリケーションインストー
ル／設定 データアップロード アプリケーション実行 実行結果ダウンロード インスタンスシャットダウン
2013/12/13 OSC .Enterprise 2013 28
Fabric
ジョブ制御 パラメータ制御 エラー制御
スケジューリング
API コマンド発行
クラウドコントローラ
チケット管理 構成管理／変更管理
工程管理
ソースコード管理 バージョン管理
構築作業の流れ
2013/12/13 OSC .Enterprise 2013 29
作業依頼受領
OTRS構成管理確認 チケット作成 Svn/gitリポジトリから最新版入手、修正
OTRSコードレビュー／承認
開発環境でテスト／コミット
Fabric(設定内容の投入、設定確認) JobScheduler(エラー制御）
OTRS作業スケジュール調整 JobScheduler作業スケジュール設定
JobScheduler作業実施／ログ確認 openQRMでVM作成、OSインストール、アプリケーション設定まで自動実行
OTRS構成管理更新 チケットクローズ
サービス管理者 作業担当者
構成例
2013/12/13 OSC .Enterprise 2013 30
リポジトリ
チケット管理 構成管理 開発
デバッグ／テスト リリース／監視 スケジューリング
開発環境 検証環境 本番環境
管理サーバ
テスト デバッグ 自動リリース 自動リリース
ssh
サービスデスク／構成管理：OTRS
ソースコード管理：svn/git デプロイツール：Fabric ジョブ管理：JobScheduler クラウド自動化：openQRM
CDの効果
l リリースサイクルの短縮
l オペミス撲滅による品質の向上 l 自動化による属人化排除 l 集中化によるコスト削減
リソース最適化による付加価値増大 2013/12/13 OSC .Enterprise 2013 31
プロビジョニング
OSインストール
各種
設定 アプリインストール テスト 運用引渡
プロビジョニング
OSインストール
各種
設定
アプリインストール
テスト 運用引渡
日本JobSchedulerユーザーグループ
l 2013/4発足 l JobSchedulerいけるやん、という人の集まり l 独SOSサイトにも掲載 “Company News : Japanese language JobScheduler user group on Facebook” http://www.sos-berlin.com/modules/news/article.php?storyid=42
l 会則／会費ありません l 会員資格ありません、Google Groupsに参加して下さい https://groups.google.com/forum/?fromgroups#!forum/jobscheduler-ja
l 現在メンバー３０名 l JobSchedulerを使う上での疑問やノウハウの共有 l 勉強会と言う名の飲み会
2013/12/13 OSC .Enterprise 2013 32
活動内容
l グループサイトの運営 https://sites.google.com/site/jobschedulerja/home
l Wiki, tips, ドキュメントを掲載
l Facebookページ http://ja-jp.facebook.com/pages/Jobscheduler-Japan-ユーザーグループ/
594469610565511
l 各種告知 l いいね！をお願いします！！
l 普及活動 l July Tech Festa 2013 l Open Source Conference Tokyo/Fall
2013/12/13 OSC .Enterprise 2013 33
@IT記事 絶賛連載中!!
2013/12/13 OSC .Enterprise 2013 34
最後に
l Please join us!!
https://groups.google.com/forum/?fromgroups#!forum/jobscheduler-ja
2013/12/13 OSC .Enterprise 2013 35
ご清聴ありがとうございました
