Docker管理もHinemosで！～監視・ジョブ機能を併せ持つ唯一のOSS「Hinemos」のご紹介～

Copyright © 2016 NTT DATA Corporation

株式会社ＮＴＴデータ技術革新統括本部

石田純一

Docker管理も「Hinemos」で！～監視・ジョブ機能を併せ持つ唯一のOSS 「Hinemos」のご紹介～

2 Copyright © 2016 NTT DATA Corporation

自己紹介

氏名：石田純一

所属：株式会社NTTデータ Hinemos担当

Hinemosの開発・製品保守・導入支援に関わっています

Hinemosの製品プロモーションも担当しています

Hinemos開発日記http://d.hatena.ne.jp/hinemos_dev/

Hinemos公式twitter @Hinemos_INFO


お知らせ

Hinemosに関する情報発信を強化しています！

Software Design 「Hinemosで学ぶジョブ管理超入門」茶納佑季、眞野将徳、山本未希著定価: 本体1,220円＋税 B5判: 204ページ出版社: 技術評論社発売日： 2014/9/18

Software Design plusシリーズ「Hinemos 統合管理［実践］入門」倉田晃次，澤井健，幸坂大輔著定価: 本体3,700円＋税大型本: 520ページ出版社: 技術評論社発売日： 2014/8/5

Hinemosポータル http://www.hinemos.info/ 技術情報「クラウド運用管理特集」 Hinemosクラウド管理スタートアップ Hinemosで始めるクラウド管理パブリッククラウドの操作ログ管理 ...


お知らせ

Hinemos World 2016を、11/17(木)～11/18(金)に秋葉原で開催します

開催日 2016年11月17日(木)～11月18日(金)

会場秋葉原コンベンションホール

主催 Hinemosアライアンス(株式会社NTTデータ他)

内容事例・ソリューションなどの展示/セミナ

参加費無料(要事前登録)


目次

1. 統合運用管理ソフトウェア「Hinemos」とは

2. Hinemos機能概要

3. HinemosによるDocker管理

4. おわりに

Hinemos公認キャラクター「もにた」

Copyright © 2016 NTT DATA Corporation 6

1. 統合運用管理ソフトウェア「Hinemos」とは


Hinemosとは

システム運用管理で要求される幅広い機能を備えた統合運用管理ソフトウェア

監視ジョブ環境構築


運用管理分野のOSS製品

ZABBIX Nagios

Sensu

OpenNMS

Xymon

Ganglia JobScheduler

監視ジョブ

cron

タスクスケジューラ


Hinemosを選ぶ理由

• ワンパッケージ

• 監視・ジョブ・環境構築機能をワンパッケージで提供

• 物理・仮想・クラウド環境の一元管理を実現

• シンプル

• 設計から構築・運用にいたるまで、シンプルに実現

• 監視・ジョブツールの連携方式検討は不要

• 内部DBもオールインワンでインストール

• 簡単

• 日本語ドキュメントを完備

• コマンド数個でインストールでき、即時に利用可能


機能拡充・対応プラットフォームの拡充・性能改善に取り組み、より大規模、多様なシステム、ミッションクリティカルなエンタープライズシステムの運用要件を満たすツールに成長

Hinemosの歩み

Ver3

Ver4

Ver2

Ver1

2005.08

2006.03

2008.10

2012.04

IPA公募によりHinemos誕生

監視機能充実監視対象プラットフォームの拡張

より進化した稼働状況の見える化より大規模な環境への対応強化

よりスマートな統合運用管理の実現

クラウド管理の実現ジョブ管理の進化

Ver5.0 2015.5

10周年！

Ver5.0.2 2016.2


数字で見るHinemos

583,065 + Downloads

700+ Systems

(2016年7月現在)

証券・金融系システム、公共系インフラシステムデータセンタ、クラウドサービス、社内システムなど

多種多様・様々な規模システムの運用管理に Hinemosをご活用いただいています！


管理DB

Hinemosの基本構成

Hinemosを構成する3つのコンポーネント

運用管理サーバ (Hinemosマネージャ)

管理対象システム (Hinemosエージェント)

運用管理端末 (Hinemosクライアント)

設定追加・変更

結果の表示

稼動監視ジョブ実行指示

ログ送信トラップ送信

リッチクライアント or

Webブラウザ


インストール

Hinemosマネージャは1行コマンドでインストールできます

RPMパッケージ

Hinemosエージェントは、環境構築機能の画面より複数サーバに対し1クリックで、一括インストールできます


運用管理端末

各種操作は、専用GUIアプリケーション・Webブラウザどちらからも可能です

単一のHinemosクライアントから、複数のHinemosマネージャに接続可能


Hinemosの環境構築

以下環境でHinemosをインストールし、 Ping監視を設定してみたところ…

インターネット作業端末(Windows) インストール先サーバ(Linux)

SSH HTTP

※インターネット接続無し

サーバルーム

※インターネット接続有

ICMP

検証環境の概要

作業者 Hinemos v5.0

ソフトウェアX

担当者A (Hinemosインストール経験あり、監視ソフトウェアXインストール経験なし)

7分 (参考)

420分

担当者B (Hinemosインストール経験なし、監視ソフトウェアXインストール経験なし)

16分 308分

インストール手順探し、パッケージの準備、初期設定の作業時間を含む


Hinemosによるノード管理

オンプレミス環境仮想化環境クラウド環境 Hinemos マネージャ

ノード登録

運用管理対象の管理情報は、ノードとして登録します

ハードウェア情報仮想化関連情報 OS情報デバイス情報ネットワーク情報管理者情報

Hinemosを用いた運用管理のスタートライン


ノードの登録

管理対象機器は、迅速かつ容易に登録できます

ＩＰアドレスを範囲指定複数ノードの情報を、SNMPを用いて一括で取得・登録可能

ノードのデバイス情報は、自動で更新されます

デバイス追加

②デバイス設定変更（自動）

Hinemos マネージャ

変更不要

Hinemos クライアント

管理対象ノード

①デバイス変更検知

誰でもできる！


ノードをグルーピングする概念「スコープ」

ユーザ定義のグループ階層

OS

Windows

Windows 7

Windows Server 2012

業務

コールセンタ営業支援

端末端末

サーバサーバ

AP DB

※Hinemosの機能（監視、ジョブ等）ではスコープ単位で設定・実行する

ノードは、スコープとしてグルーピングします

スコープは、システム内での利用用途、管理手法、関係性

等に応じてユーザが自由に定義

動的に変化する仮想マシンやクラウドインスタンスは既存のスコープに自動で割り当てすることも可能


仮想化・クラウド環境の管理

自動検知・登録されたインスタンス・仮想マシンに対する運用は自動で開始

HTTP監視

夜間バッチジョブ

Webサーバスコープ

自動割り当て

新規生成されたインスタンスや

仮想マシン(タグ付き)

既存の監視設定既存のジョブ設定

登録済の監視設定やジョブ設定

管理DB

クラウド・仮想環境のインスタンス・仮想マシンも、自動検知・登録

自動検知・登録 Auto-Scaling等の機能を用いて動的に変動するシステム構成の管理も自動でできる！


仮想化・クラウド環境の一元管理

仮想化・クラウド混在環境に対する操作は、 Hinemosで一元的に管理できます

パブリッククラウド

プライベートクラウド

起動・停止・マイグレーションなどの操作

ジョブとして定型化・自動化ジョブネットとして

バッチ処理に組み込みも可


2. Hinemos機能概要


Hinemosの機能概要

統合運用管理を実現する3つの基本機能をワンパッケージで提供

③ 環境構築機能

システムの構築や変更を行うためのファイル配布や、コマンド実行を制御

① 監視機能

システムの稼動状況を確認し、異常を検知するための様々な種類の監視を実行

② ジョブ機能

システム運行に必要な様々な処理を、「ジョブ」として一元的に管理・実行


監視機能の概要

管理対象システム Hinemosマネージャ

①各種監視

②応答

③何かあったら即座に通知！

システムの稼働状況を確認するための様々な種類の監視を実現

アプリケーション監視

OS監視

HW監視

HTTPシナリオ監視 SQL監視サービス・ポート監視、Windowsサービス監視 JMX監視、ログファイル監視、Hinemosエージェント監視カスタム監視プロセス監視、 Windowsイベント監視、システムログ監視 SNMPTRAP監視、リソース監視、PING監視


エージェントレスで利用可能な監視機能

監視機能(Linux) 監視項目(Windows)

Ping監視プロセス監視 Ping監視プロセス監視

リソース監視サービス・ポート監視リソース監視(※1) サービス・ポート監視

SNMP監視 JMX監視 SNMP監視 JMX監視

HTTP監視 HTTPシナリオ監視 HTTP監視 HTTPシナリオ監視

SQL監視 SNMPTRAP監視 SQL監視 SNMPTRAP監視

システムログ監視 Windowsイベント監視 Windowsサービス監視

多くの監視機能は、エージェントレスで利用可能

エージェントレスで利用できる監視機能

エージェントの導入が必要な監視機能

監視機能(Linux) 監視項目(Windows)

Hinemosエージェント監視

ログファイル監視 Hinemosエージェント監視

ログファイル監視

カスタム監視 Windowsイベント監視カスタム監視

(※1) エージェントレスの場合、取得項目に一部制限あり


監視設定の登録

（例）リソース監視

監視設定の登録は、GUIから容易に行えます

「リソース監視」を選択

プルダウンメニューラジオボタンが使えて

簡単！

必須項目はピンク色で表示

プルダウンで監視対象リソース

を選択

監視対象を指定

判定閾値を入力

利用する「通知設定」を

選択


監視コンソールで視覚的に通知

監視結果の通知

Hinemosマネージャ

イベント通知ステータス通知

ジョブ通知コマンド通知

監視結果に連動して

処理実行

監視結果を外部に通知

メール通知ログエスカレーション通知

✔

✔

▲

syslog

監視結果は運用者に様々な手段で通知できます


通知設定の定義

重要度変化後の初回通知(赤丸部分に数値を設定) 同じ重要度の監視結果が○回以上連続した場合に初めて通知する重要度変化後の二回目以降の通知(以下から選択) ・常に通知する・前回通知から○分間は同一重要度の通知はしない・通知しない

1. 通知するタイミングを定義

2. 通知実施時に実行する動作（コマンド）を、監視結果の重要度毎に定義

情報：実効ユーザ, 実行コマンド警告：実効ユーザ, 実行コマンド危険：実効ユーザ, 実行コマンド不明：実効ユーザ, 実行コマンド

複雑な条件式を頑張って考えなくても大丈夫！

複雑難解な条件式

（例）コマンド通知の場合

通知設定は、簡単に定義できます

登録済みの推奨設定も使える！


監視結果の確認

レイヤ2/レイヤ3の自動結線も可能

ノードの状態をマップ上で確認

監視結果の詳細まで GUI上で確認可能

監視結果はグラフィカルに確認できます


業務カレンダによる監視の制御

毎月第3月曜日のみ稼働

平日09:00～19:00のみメール通知

毎月最終日のみ稼働

所定のメンテナンス日のみ非稼働

稼働スケジュールを視覚的に確認

監視A 監視B

バッチ処理

日中帯夜間帯

日中帯・夜間帯の監視・通知の自動制御も簡単に実現できます

高度なカレンダ制御が、監視設定や通知設定に適用可能です

通知A 通知B


Hinemosによるジョブ制御

多種多様な環境に対し実行が必要なジョブを一元管理できます

• システム平常運行に必要な処理

• システム異常発生時に必要な処理

大量ノードに対する処理

連続・複雑な処理

実行結果の管理

定時実行

Job1 Job4

Job3

Job2

Job1 Job4

Job3

Job2 障害

Job1

Job1

zzz...

細やかなカレンダ制御

多様な実行契機

Job1

日月火水木金土1 2 3

4 5 6 7 8 9 1011 12 13 14 15 16 1718 19 20 21 22 23 2425 26 27 28 29 30 31

第3月曜日のみ実行したい

障害


ジョブの新規作成

ジョブは、GUIから容易に設定可能です

画面を右クリック

実行処理を定義

実行対象を指定

作成ボタン押下

ジョブの実行対象は、リポジトリ機能で定義済みのスコープを利用ジョブは、ノード単位でもスコープ単位でも実行可能


実行契機

ジョブは、5種類の任意の契機で実行することが可能です

ジョブ実行

即時実行（手動実行）

スケジュール実行（定期実行）

ファイルチェック

ファイル（作成、変更、削除）

スケジュール

カレンダ

監視・ジョブの結果

ジョブ通知

障害

Hinemos API コマンドライン


ジョブの試験実行

複雑なジョブを定義した上で、ジョブの一連の流れを簡単に確認することが可能です

ダミーのコマンドを指定し実行時に置換可能

一連のジョブの流れを、実際の時刻に依存させず

短時間で確認可能

試験実施のために、試験時間を調整したり

試験用に設定を変更するといった対処が不要に


実行条件の制御

Job1 Job2-1 Job4

Job3-2

Job3-1 ノードＡ

Job2-1の正常終了と時刻契機によるジョブネット起動

Job2-1の終了を契機とした複数ジョブの同時実行

複数ジョブの終了を契機としたジョブの実行

先行ジョブの正常終了を契機とした

ジョブ起動

Job2-2 先行ジョブの異常終了を契機とした

ジョブ起動

ノードＡ

ノードＡ

ノードB

ノードB

細やかな実行条件が定義可能です

「先行ジョブの実行結果」や「時刻」でジョブ実行を制御

Job4-2 先行ジョブの実行結果に依らず終了を契機としたジョブ起動


ジョブ実行の制御

ジョブ実行時の制御は細かく指定可能

ジョブの多重実行数に制限をかけることが可能

細かく自動で制御できる！


ジョブ実行の制御

カレンダ

スケジュール

（例）第4月曜日の指定が可能

（例）第4月曜日の3日後という指定が可能

日跨ぎジョブ（48時間）にも対応

スケジュールにあわせた詳細なジョブ実行制御も可能です


ジョブの実行結果の通知

監視コンソールで視覚的に通知


イベント通知ステータス通知

ジョブ通知コマンド通知

監視結果に連動して処理実行

監視結果を外部に通知

メール通知ログエスカレーション通知

✔

✔

▲

syslog

監視と同様に、ジョブの実行結果は、運用者に様々な手段で通知できます


ジョブ実行状況の確認

ジョブの実行状態を視覚化

ビューア画面から再実行操作が可能

ジョブ実行状況は、ジョブマップで視覚的に確認可能です

ジョブ実行結果の管理・詳細確認もGUIから容易に行えます

実行履歴を蓄積管理

詳細情報を確認


環境構築機能

一連の作業

クリックで実行

詳細

環境構築の定義体

WEBサーバの構築 DBサーバの構築など

管理対象機器に対する一連の作業の定型化や、一括実行が可能


環境構築機能でできること

複数機器に対し、Hinemosエージェントを導入することなく必要な操作を一括で実行可能

Hinemos マネージャ

Hinemos クライアント

HTTP Linux

Windows

SSH

WinRM

ファイルの情報は、配布先に応じて内容を置換できます


既存ファイルとの差分確認

host=node001 ip=%IPADDR% Charset=SJIS Hinemos

マネージャ

host=node001 ip=192.168.0.4 Charset=UTF-8



配布時に既存のファイルとの差分を確認

設定ファイル

管理対象ノード

Hinemosクライアント画面より、設定ファイルの差分を確認可能

Hinemosクライアント(環境構築機能)

ファイルの情報は、配布時に差分をＧＵＩで確認できます


3. HinemosによるDocker管理


HinemosによるDocker管理

Hinemosでは、Dockerのエンタープライズシステム導入に向けて Dockerコンテナを活用したシステム運用管理における技術的な課題の整理・実現方式の検討に取り組んでいます


Hinemosで実現したい運用管理

①構成管理コンテナの構成変更に合わせて、管理対象機器の情報を更新

②監視管理 Dockerコンテナ、Dockerホストの状態を監視

③ジョブ管理コンテナに対し実行が必要なコマンドを、ジョブ管理

Dockerホスト

コン

テナ

コン

テナ

コン

テナ

コン

テナ

コン

テナ

追加・変更・削除構成変更の検知

管理対象機器の情報更新

Dockerホスト

コン

テナ

コン

テナ

コン

テナ

コン

テナ

状態監視

状態監視

コン

テナ

コン

テナ

コン

テナ

Dockerホストコ

ンテ

ナ

コン

テナ

コン

テナ

コン

テナ

コンテナ内でのコマンド実行

コンテナの起動・停止・再起動・削除

コン

テナ

コン

テナ


①構成管理


構成管理における課題

Dockerコンテナの構成変更に振り回されない運用管理を実現したい

Dockerホスト

コン

テナ

コン

テナ

コン

テナ

コン

テナ

コン

テナ

コン

テナ

起動停止削除

管理対象機器の情報更新

管理対象の動的な構成変更に自動で追随する仕組みが必要

コンテナの動的な構成変更よる運用負荷の増大は避けたい

リソース使用の最適化には、動的な構成変更は不可欠


Hinmosを用いた構成管理の実現

コンテナ・ホストの情報は、Hinemosに自動登録できます

コンテナ一覧

コンテナをまとめるスコープ

ホストをまとめるスコープ

ホスト一覧

ホストとコンテナを対応付けるスコープ

コンテナ一覧

コンテナやホストは、「ノード」としてHinemosに登録されますノードとして登録されたコンテナ・ホストは、自動定義された「スコープ」に、自動でグルーピングされます


構成変更への追随

登録されたコンテナは、状態遷移時にも自動で追随します

管理対象フラグを自動的にON

Hineomsのリポジトリ[スコープ]ビュー

Dockerホスト1

コン

テナ

Ａ

起動

コン

テナ

B

コン

テナ

C

コン

テナ

D

(例)コンテナ起動時

起動

対応するノードをリポジトリから自動削除

Hineomsのリポジトリ[スコープ]ビュー

Dockerホスト1

コン

テナ

Ａ

削除

コン

テナ

B

コン

テナ

C

コン

テナ

D

(例)コンテナ削除時


構成変更に影響されない監視・ジョブの実現

DockerホストA

コン

テナ

コン

テナ

コン

テナ

コン

テナ

コン

テナ

コン

テナ

DockerホストAスコープ

監視設定

ジョブ設定

コンテナの状態遷移に自動で追随するため、状態遷移毎に、監視・ジョブ設定を更新する必要はありません

追加・変更・削除

動的に変化する環境に対する監視やジョブ運用を自動化できる！


実現方式

コンテナの構成情報取得・Hinemosのリポジトリ情報更新は、Hinemosのサンプルスクリプトで実現できます

Dockerホスト

コン

テナ

コン

テナ

コン

テナ

コン

テナ

コン

テナ

コン

テナ

DB

リポジトリに反映

Dockerサーバ運用管理サーバ

スクリプト実行

コンテナの情報を取得

Docker API

取得結果をマネージャへ送信 Hinemos

エージェント

実行

RepositoryDockerNode.sh

RepositoryDockerNodeAdd.py

RepositoryDockerNodeDelete.py

RepositoryDockerNodeUpdate.py

サンプルスクリプトは Hinemosのジョブや cronで定期的に実行


ホスト・コンテナ側にエージェントは不要


②監視管理


監視管理における課題

Dockerホスト

コン

テナ

コン

テナ

コン

テナ

ホスト・コンテナの監視

ホスト・コンテナ側にエージェントを導入せずに、必要な情報を収集する、従来とは別の仕組みが必要

コン

テナ

コン

テナ

コン

テナ

コンテナ技術を活用するメリットを犠牲にせずに、コンテナ運用管理に必要となる監視を実現したい

コンテナ技術の活用で最小化したリソース消費を、運用で浪費したくない

リソース配分の最適化を実現するためにも、コンテナ単位のリソース情報が知りたい

従来の監視プロトコルでは必要な値を収集できない


Hinemosを用いた監視の実現

コンテナ間でのリソース利用状況の偏りも Hinemosで把握できる

従来の監視プロトコル(SNMPなど)では取得が難しいリソース情報も、 Hinemosで収集し、監視・可視化できます

Dockerデーモンの正常性

Docker コンテナ数

Dockerが使用しているディスク容量

Dockerホストのイベント

Dockerコンテナの CPU使用率

Dockerコンテナのメモリ使用率

DockerコンテナのディスクIO量

Dockerコンテナ内の起動プロセス(数)

Dockerコンテナ内の起動状態

Dockerコンテナのネットワーク転送量

(例) DockerコンテナのCPU使用率


監視の実現方式1

(概要)Dockerが使用しているディスク使用量や、コンテナ数、コンテナのリソース使用状況の監視方式

Docker

docker_host1

コンテナA

コンテナB

コンテナC

Docker

docker_host2

コンテナE

コンテナF

コンテナG


Hinemosエージェント

サンプルスクリプト(Python)

コンテナD

運用管理サーバ

PC

Hinemosクライアント ①監視設定投入

⑦監視結果確認

⑤監視結果の計算

②カスタム監視実行 (周期的に実行)

⑥計算結果送信

③スクリプト実行

④情報を取得



監視の実現方式2

Docker

docker_host1

コンテナ

コンテナ

コンテナ


サンプルスクリプト(python)

コンテナ

運用管理サーバ

PC

Hinemosクライアント

①監視設定投入

⑤パターンマッチング処理(システムログ監視)

②コンテナの状態・イベントを取得

④受信したsyslogメッセージを転送

①定期的に実行

Docker

docker_host2

コンテナ

コンテナ

コンテナ

ジョブcron

rsyslog

③取得した情報を syslog形式で送信

⑥監視結果確認

(概要) Dockerコンテナ、Dockerホストの状態やイベントの監視方式



③ジョブ管理


ジョブ管理における課題

Dockerホスト

コン

テナ

コン

テナ

コン

テナ

ホスト・コンテナに対するジョブの実行

ホスト・コンテナ側にエージェントを導入せずにジョブを実行する仕組みが必要

コン

テナ

コン

テナ

コン

テナ

コンテナ技術を活用するメリットを犠牲にせずに、コンテナ運用管理に必要となるジョブを実現したい

コンテナ・ホストにエージェントを導入するとプロセス・リソースを消費してしまう

リソース配分の最適化を自動化するためにも、コンテナの起動・停止操作はジョブ化したい

コンテナ内でのコマンド実行もジョブ制御したい


Hinemosを用いたジョブ管理の実現

Dockerコンテナに対する起動・停止操作や、コンテナ内でのコマンド実行操作は、ジョブとして実行できます

「JobDockerContainerStart.py」を使って、DB、アプリケーションを順番に起動

起動順の制御条件分岐や、スケジューリングもできる！！！


ジョブ管理の実現方式


Hinemosエージェント

サンプルスクリプト(python)

Manager_server

①ジョブ設定投入

⑨ジョブ実行結果確認

②ジョブ実行 ⑧実行結果を転送

③スクリプト実行

⑤コマンド実行・コンテナの起動/停止操作

Docker

docker_host1

PC

Hinemosクライアント

⑦標準出力、標準エラー出力戻り値を返却

④APIコール ⑥APIの応答を返却

Pro

cess

実行結果

(概要)Dockerコンテナに対するジョブの実行方式



HinemosによるDocker管理

Docker管理に活用頂けるサンプルスクリプトや、技術的な課題・実現方式の検討結果をまとめた技術情報・報告書を、Hinemosポータルサイトで公開中です！

Hinemosポータルサイト (技術情報)

Docker の監視・ジョブ運用検証報告書

サンプルスクリプト (Python)

ぜひお試しください！


(補足)HinemosマネージャのDockerイメージ

Hinemos ver.5.0(日本語版)インストール済みDockerイメージも、 Docker Hubで公開しています！

https://hub.docker.com/r/hinemos/hinemos-5.0-jp/

docker pullコマンドで Hinemosが

すぐ使える！


4. おわりに


おわりに

Hinemosは、シンプル、使いやすさを損なわずに、

監視とジョブの両方の機能を使うことを可能とする、

統合運用管理ソフトウェアです。

Hinemosでは、エンタープライズシステムの統合運用管理はもちろん、

Docker環境をはじめ、多種多様・先進的な環境に対する運用を、

ツールの使いこなしに苦労することなく実現できます。

ぜひダウンロードして、Hinemosをお試しください。

Hinemos ダウンロード



Technology

Docker管理もHinemosで！ ～監視・ジョブ機能を併せ持つ唯一のOSS「Hinemos」のご紹介～

Docker管理もHinemosで！～監視・ジョブ機能を併せ持つ唯一のOSS「Hinemos」のご紹介～