[data analytics showcase] A15: デジタルデータの可視化基盤「ENdoSnipe」を使った、システムトラブルの未然防止、経営判断につながる可視化の実践

デジタルデータの可視化基盤を使った、

システムトラブルの未然防止、経営判断につながる可視化の実践

2016/10/04

Acroquest Technology 株式会社

山本大輝

目次

1. 会社・自己紹介

2. ENdoSnipeのご紹介

3. Elasticsearchを使った分析基盤

4. 相関分析によるKPI/KRIの影響範囲の特定

5. 最後に

Copyright © Acroquest Technology Co., Ltd. All rights reserved.2

今回のSessionの概要

1. ENdoSnipeを使った分析をご紹介します。

2. ENdoSnipeがElasticsearchを分析基盤とした理由をご紹介します。

3. 相関分析を使った分析方法をご紹介します。

① ENdoSnipeでKPI/KRIの関係性を見つけます。


会社・自己紹介


1-1. Acroquest Technologyのご紹介

5

1. 監視/制御分野で20年を超える実績があります。

2. 技術の専門家集団です。

3. プロジェクト管理・品質管理も実績あり。

米JavaOneでの発表(2013、2015)

大学等で教科書としての採用実績多数「なぜ、あなたはJavaでオブジェクト指向開発ができないのか」(2013)

「Javaパフォーマンス」の監訳を担当 (2015)

鉄道、電力、通信業界の監視制御システムの構築を担ってきました。培ったノウハウは、ENdoSnipeのKPI/KRI監視に活かされています。

CMMI Lv. 3を達成

Copyright © Acroquest Technology Co., Ltd. All rights reserved.

1-2.データ分析の実例

1. 不動産賃貸物件推薦サービス

① 二者択一型不動産賃貸物件推薦サービスの開発(情報処理学会「デジタルプラクティス」Vol.5 No.2)

② 日経BP社が運営する大手IT情報サイト「ITPro」などで紹介されました。

2. IoT研究開発（設備予知保全・人流分析）

① 富士山チャレンジ2016

安心・安全な富士登山を目指して、小型ビーコンを活用した富士山登山者の動態データを収集・可視化https://www.facebook.com/fujisanchallenge/


1-3.データ分析の実例

3. 大規模ネットワークのトラフィック監視／分析

① 約80万台の機器から、常時通知される情報をリアルタイムに処理

② 約20,000メッセージ／秒のデータを処理しつつ、ネットワーク機器の障害の監視や、障害の要因判定を実施


1-4.自己紹介

1. 名前：山本大輝（やまもとひろき）

2. 出身：東京大学大学院情報理工学系研究科

3. Twitter：@tereka114

4. Blog:のんびりしているエンジニアの日記

① http://nonbiri-tereka.hatenablog.com/

5. 専門：分析系、画像処理、異常検知

6. 普段はCV勉強会やPyData等で活動しています。


http://nonbiri-tereka.hatenablog.com/

ENDOSNIPEのご紹介


2-1. 私たちが目指すシステム

• 私たちが目指すものは、ビッグデータから、即座に有益な知見を見出し、顧客のビジネスを支援するシステムの実現です。

• 長期的なトレンドも、日々の変化も手に取るように理解し、その影響を把握し、対処が打てる、そんな未来を想像してください。高度に洗練された「Intelligent OperationalExcellence」の世界、それをENdoSnipeが実現します。

• ENdoSnipeを使うことで、企業はビジネス変革を確信をもって、高速に進める事が可能になります。



BV

M

UXM

APM

Insight

• User eXperience Management(ユーザ体感/業務効率可視化) エンドユーザ体験を向上させ、ECサイトでの売り上げを向上。社内システムから情報を収集、ボトルネックポイントを明確にし、

業務効率を向上します。

• Application Performance Management(サービス/システムレベルの可視化) システムの性能を可視化し、改善のための内部診断情報を提

供する。

• Elasticsearch 強力なビッグデータの蓄積、分析を機能を持つ

Elasticsearchを基盤に採用しています。開発元であるElastic社とも提携しています。(国内初)

• Insight(データ分析基盤) ENdoSnipeの基盤となるデータ分析エンジンです。

ビッグデータを対象にした相関分析、差異分析機能を備えます。可視化・分析用のUI基盤を提供します。

• Business Value Management(経営貢献度の可視化)

KPI/KRIの可視化・予測を通じた企業ビジョン/戦略実現の制御、改善のためのInsightを提供する。

2-2. 一貫した可視化を提供する

2-3.事業におけるPDCAを実現するために


可視化分析予測

対応型積極型予見型

改善進化

損失最小化 Value創出 Highest &Effective Value

Operationにおける優位性を構築し、速度/コスト面での卓越した競合優位性を獲得する。

GOAL（OE実現）

Operational Excellence獲得のためには、PDCAサイクルの実現がかなめ。その足掛かりとして、柔軟、機敏な可視化が非常に有効であり、不可欠！


KPI

間の相関・因果の理解が重要

2-4. 企業のVisionを支えるKPI/KRIを可視化する

収益向上

KPI/KRI

Syst

em

&Application

メモリ使用量/率

ロードアベレージ

ディスク使用量/率

スロークエリ

接続数 CPU使用率

ROI Gross Margin

Busi

ness

会員数成約数/CVR

チャネル別獲得率リピート率

従業員稼働率（生産性）

顧客満足度

Strategy

利用者拡大

Vision

自社サイトでの予約獲得

在庫管理の精度向上

リピーター獲得

顧客満足度向上

生産性向上

スマホ対応

UX向上

キャパシティ向上

スケーラビリティ向上

Experience

エラー率 User Agent

最大/平均レスポンスタイム

閲覧数（PV）訪問数（VU）

総リクエスト数

セッションハイジャック

DOS攻撃

不正ログイン試行業務外利用

ファイル UL/DL

バリデーションエラー等で滞留・離脱となっている機能とその理由を特定できます。



収益向上

KPI/KRI

Syst

em

&Application




スロークエリ


ROI Gross Margin

Busi

ness




顧客満足度

Strategy

利用者拡大

Vision





生産性向上

スマホ対応

UX向上



Experience






DOS攻撃


ファイル UL/DL




収益向上

KPI/KRI

Syst

em

&Application




スロークエリ


ROI Gross Margin

Busi

ness




顧客満足度

Strategy

利用者拡大

Vision





生産性向上

スマホ対応

UX向上



Experience






DOS攻撃


ファイル UL/DL




収益向上

KPI/KRI

Syst

em

&Application




スロークエリ


ROI Gross Margin

Busi

ness




顧客満足度

Strategy

利用者拡大

Vision





生産性向上

スマホ対応

UX向上



Experience






DOS攻撃


ファイル UL/DL




収益向上

KPI/KRI

Syst

em

&Application




スロークエリ


ROI Gross Margin

Busi

ness




顧客満足度

Strategy

利用者拡大

Vision





生産性向上

スマホ対応

UX向上



Experience






DOS攻撃


ファイル UL/DL




収益向上

KPI/KRI

Syst

em

&Application




スロークエリ


ROI Gross Margin

Busi

ness




顧客満足度

Strategy

利用者拡大

Vision





生産性向上

スマホ対応

UX向上



Experience






DOS攻撃


ファイル UL/DL

成約率が悪化しているのはエラー率

が増えているため




収益向上

KPI/KRI

Syst

em

&Application




スロークエリ


ROI Gross Margin

Busi

ness




顧客満足度

Strategy

利用者拡大

Vision





生産性向上

スマホ対応

UX向上



Experience






DOS攻撃


ファイル UL/DL

成約率が悪化しているのはエラー率

が増えているため


エラー率が増えて

いるのはスローク

エリがあるから

20

2-5. ENdoSnipe APMの特徴

Copyright © Acroquest Technology Co., Ltd. All rights reserved.

システムの稼働状況や負荷状況が手に取るように分かります。

• サーバやプロセス毎のCPU使用率やメモリ使用量を記録します。

• 機能やSQL毎の呼び出し回数や処理時間を記録します。システムの処理フローを図示し、コードレベルで問題を特定すること

ができます。

• 障害解析の効率を飛躍的に向上させる事が可能になります。

• デバッグログの出力を不要にできるため、処理速度の向上も見込めます。

プログラムの改善箇所を自動診断で見つけます。

• 非効率な処理や隠れて発生している例外を検出します。

• 時間のかかるSQLや非効率なSQLを検出し、改善ポイントを抽出します。

2-6. APM

システム全体で負荷が高い個所を即座に把握可能です。

負荷が高い個所のリソース使用状況や、問題個所を把握可能です。


2-7. UXMの機能およびメリット


顧客の販売行動やスタッフの業務のボトルネックとなっている機能を特定し、

優先的に改善することができます。

• Webビーコンを用いて、ユーザの利用状況を収集し、よく使う機能を特定します。

• 収集した情報は、ユーザ毎や画面毎、機能毎と様々な軸で、集計や可視化し、どの機能がボトルネックに

なっているか特定します。（ユーザの位置や端末種別毎の集計も可能です。）エンドユーザの操作毎にレスポンスタイムを収集、分析することで、顧客満足度を把握で

きます。

• レスポンスタイムを1秒改善するごとに、コンバージョン率が2%向上するという調査結果が示す通り、レスポ

ンスタイムの把握とボトルネックの特定はECサイトの収益向上に直結します。

• 同じく、業務システムのレスポンスタイムは、業務の生産性に直結します。利用頻度が高く、レスポンスタイ

ムが大きい機能が特定できれば、企業の生産性を大きく向上させる可能性があります。

ユーザ端末側とサーバー側の処理時間を把握することで、問題がどこにあるか切り分ける

ことができます。

• ユーザ端末側、ネットワーク側、サーバー側、それぞれの処理時間を紐づけることで一気通貫して性能を可

視化することができます。

2-8. UXM


2-9. 分析者の心の中

1. 分析すると結構色々わかって面白い。

① CPU使用率とSQLとの関係性– 実行が重いSQLをひと目で可視化することができる。

② サイトからの離脱率とAPIの関係性– 改善すべきAPIがわかり、注力すると離脱率を改善できるかもしれない。

2. しかし、分析するにあたって問題も出てきた。

① データの多様化・大量化が進んだ。

② データの系列が多すぎて思うように分析が進まない。

3. 今回はこれら分析の問題点についてお話します。


ELASTICSEARCHを使った分析基盤


3-1. 従来まで

1. PostgreSQLを使ってENdoSnipeのデータを管理していた。

2. しかし、RDBMSだと次のようなケースに対応しづらくなってきた。

① ログ対応などデータの多様化

② ビッグデータになったことによる性能問題


3-2. 抱えていた問題点

1. データの構造が多様化してきた。

① 決められた構造を使うRDBMSでは対応が厳しくなった。

2. データの量も膨大になった。

① 収集するデータが多様になったと共に、データの量もそれに伴い膨大となった。



3-4. Elasticsearch（今、最も注目されている検索エンジン）


2016年3月から、ElasticsearchはDB-ENGINESのランキングにて、検索エンジン中、最高位の評価を得ています。

3-5. UberのElasticserchの事例


3-6. Elasticsearchの特徴

1. Elasticsearchはスケーラブル、高信頼、容易な管理を特徴とする分析エンジンである。

2. 全文検索の速度及び分析機能を持つ。

3. 高度なクエリ言語で、構造、非構造、時系列データの解析が可能となる。


3-7. スケーラブルな検索エンジン

1. Elasticsearchは簡単にスケールアウトできる。

① 性能が不足、データの増加に、即時対応ができる。

2. クラスタが自動的に増えた分のハードウェアを活用し、ノードがいくつあっても問題がない。


3-8. 全文検索の速度及び分析機能

1. 非常に検索が高速となっている。

① 膨大なデータからの処理速度が簡単である。

2. 検索結果から簡単に分析を行うことができる。

① 非常に高速なため、一部の分析を簡単に高速化できる。

② 平均、分散を計算させ、かつ、スクリプトを組み合わせてそれらを一度のクエリで計算できる。


3-9. 高度なクエリ言語

1. Elasticsearchは高度なクエリ言語を持っている。

2. JSONベースで記述し、様々なことが実現できる。

① 例えば、平均値と分散の計算をJSONで表記でき、かつ、スクリプトの記述によるカスタマイズが可能である。

3. REST APIでのやり取りが可能である。



1. 右図のクエリは異常検知をする為のスコアを計算するクエリです。内部にどれだけのロジックが含められているでしょうか。



1. 右図のクエリの中には次の処理が含まれている。① データの取得

② 取得期間の設定

③ 一定間隔日付ごとにグルーピング

④ 平均値の計算

⑤ 移動平均値の計算

⑥ 平均と移動平均の差分

⑦ ⑥の結果の90パーセンタイルの計算

①②

③

④

⑤

⑥

⑦


3-12. 本章のまとめ

1. ENdoSnipeのデータ管理をElasticsearchに切り替えました。

① データの多様化

② データの大量化

2. Elasticsearchの利点としては次の3点ある。

① スケーラビリティ

② 全文検索の速度とその分析機能

③ 高度なクエリ言語


相関分析によるKPI/KRIの影響範囲の特定


4-1. ENdoSnipeの分析で見たいもの

1. KPI/KRIの間の関係性を発見する。

① 改善するのに必要な情報を得たい。

2. 関係性をひと目で確認したいが、難しい。

① 膨大なデータがある。

② 膨大な系列がある。

3. 分析を工夫して、KPI/KRIの関係性を見つけ出した。


4-2. 相関分析の説明

1. 2変数の関係性を見るための一つの指標が相関分析である。

2. 一般的には相関が1の場合は正の相関、-1の場合は負の相関がある。

① 正の相関は一方の変数の値とともにもう一方の変数の値も関連して上昇する関係

② 負の相関は一方の変数の値とともにもう一方の変数の値も関連して下降する関係



変数A

変数B

変数B

変数A

変数A

変数B



変数A

変数B

変数B

変数A

変数A

変数B

正の相関負の相関

無相関


4-4. 相関分析可視化全体像


4-5. ENdoSnipe APMの相関分析


4-5. ENdoSnipe APMの相関分析

系列

系列名

系列が画面内に収まらなくなっている


4-6. 相関分析の問題点

1. ひと目で関係性を見つけることができない。

① 数が多すぎて一画面に収まらず、描画すら難しい。

–APMの系列だけで900系列、UXMと合わせて2400程度

② 仮に描画ができたとして人力で発見できるデータではない。

2. 特定の変数間を探ることはできるが、その変数と更に別の変数を見つけるのが難しい。


4-7. Graph

1. Graphはデータの関係性をKibanaで可視化するためのPlugin（X-packのインストールが必要）

2. 関連性があるデータに対して非常に有効

① 購買履歴等の推薦

② IPアドレス等のつながり


4-8. Kibanaとは

1. ElasticsearchにIndexされたデータについて簡単に可視化することできる。

① Elasticsearchとの親和性が高い。

2. データをわかりやすい形で簡単に表示できる。

3. セットアップが非常に簡単


4-9. Kibanaによる可視化


4-10. Graph


Kibanaの中にGraph機能がある。（X-pack必要）

4-11. Graphの説明


エッジ：つながり、太いほど、強い関係性がある。

ノード：１つ１つの単語色は属性（おかし名、概要etc.）

4-12. Graphの工夫ポイント

1. Graphは数値データをエッジにできない。

① 数値を頻度回数に変換して描画した。

2. 相関は負の値と正の値がある。

① 「１」を解消する際に絶対値でしか表現できなかったので工夫ができない。


4-13. エッジの表現について

1. エッジの関連性（スコア）の計算には2種類の方法がある。

① 単純な要素の出現頻度を計算する。

② 一定のスコアリングを用いた重要度スコアの計算（=Significant terms Aggregation）をする。

2. 今回の相関分析では①を利用する。

3. 因みに、Significant terms aggregationを使ったスコアの計算もでき、文書データでやると面白い。


4-14. Graph機能の工夫

1. 数値表現を頻度表現に変化する前処理を行った。

① 例えば、0.8の数値を0.2の区切りで頻度として表現する。 0.8であれば、エッジとして4つ表現する。


4-15. Graphの工夫

項目A 項目B 相関値

cpu

usage

memory

usage

0.8

cpu

usage

disk io -0.2

項目A 項目相関値

cpu

usage

memory usage 0.8

cpu

usage

memory usage 0.8

cpu

usage

memory usage 0.8

cpu

usage

memory usage 0.8

cpu

usage

disk io -0.2


4-16. Graphの工夫

項目A 項目B 相関値

cpu

usage

memory

usage

0.8

cpu

usage

disk io -0.2


cpu

usage

memory usage 0.8

cpu

usage

memory usage 0.8

cpu

usage

memory usage 0.8

cpu

usage

memory usage 0.8

cpu

usage

disk io -0.2

同じデータを４つ


4-17. 表現において問題が出てくる

1. 方向が表現できない。

① 頻度表現のため正と負の表現を行うことができない。

2. 現状はElasticsearchのIndexを別々して回避している。

① 正は正、負は負の関係性を別々に見ることができる。


4-18. 投入先の工夫（正負の相関）


cpu

usage

memory usage 0.8

cpu

usage

memory usage 0.8

cpu

usage

memory usage 0.8

cpu

usage

memory usage 0.8

cpu

usage

disk io -0.2

負の相関

正の相関

正・負別々のIndexに入れる。


4-19. APM

SQLと他のAPIの処理時間に正の相関がある。SQLが改善すると、APIの処理時間が短くなる可能性がある。


SQLと他のAPIの処理時間に正の相関がある。SQLが改善すると、APIの処理時間が短くなる可能性がある。（複数のボトルネックを確認することができる。）

4-20. APM

ファイルの読み込みとCPU使用率の関係性がある。ファイル読み込み処理がCPUに負荷をかけて重い可能性がある。


4-21. APM


APIとSQL実行時間に関係性がある。SQLの実行時間の改善がAPIの改善につながる可能性がある。

APIとAPIの間に関係性がある。たどると共通の原因を発見できる可能性がある。

4-23. UXM


平均アクセス回数とサイトからの離脱率に関係性がある。ただページに飛んだが、離脱する人が増える傾向な可能性がある。

4-24. APM + UXM

離脱率とAPIのレスポンスとの相関が高い。当該APIを改善すると離脱率が低くなる可能性がある。


APIがお互いに関係している。お互いが呼び出しているコードに問題があるかもしれない。

4-25. Graphを用いた相関分析のメリット

1. 可視化が容易である。

① マトリクス表記するよりも可視化が簡単である。

② 必要に応じてノードを追加できるのでシンプルに可視化ができる。

2. Graphでの可視化で探索的に広げられる。

① 関係性のその先の関連を見ることができる。


4-26. ENdoSnipeの相関分析表現①


正の相関のGraph 負の相関のGraph

相関が強いKPIを結ぶ線を太く表示されます。

コンバージョン率と強い相関がB-レスポンス時間にあります。B-レスポンス時間を改善すれば、コンバージョン率が上がることが分かります。

4-27. ENdoSnipeの相関分析表現②

正の相関が高い変数ランキング着目するポイントを探すことができる。

負の相関が高い変数ランキング

負の相関の一覧表正の相関の一覧表、実際にはどのような値かを見ることができる。


4-28. 本分析のまとめ

1. 相関分析を使い関連性を分析したがヒートマップの可視化が見づらい、検索しづらい問題点があった。

2. Graph機能を工夫して使って可視化することで関係性を見出すことができた。

3. 売上と関係ある「離脱率」と関係のあるAPMのパラメータを検知することができた。


最後に


5-1. 最後に

システム効率化や分析したい方はENdoSnipeを構築してください。

Elasticsearchをやりたい人はぜひ、Acroquestへ応募をお願いします・

ENdoSnipeを構築したい人はぜひ、Acroquestへお問い合わせください。


6. Elastic使いを募集してます！

70

当社は国内最大の30名を超えるElastic使いが在籍しており、国籍問わずスタッフの募集をしております。

ぜひ興味がある方はご連絡ください。

https://www.wantedly.com/companies/acroquest/projects

Elastic勉強会での発表や、JJUGセミナーでの登壇

Elastic Technical Workshopも開催しております。

一緒にElasticを盛り上げましょう！

本日B11で講演していました。


ご清聴、有難うございました。アンケートご協力お願いします。

Infrastructures Evolution