(2017.4.27) IBM watson developer cloudのアプリケーションログを可視化する

Copyright ⓒ2017 CREATIONLINE, INC. All Rights Reserved

IBM Watson Developer Cloudのアプリケーションログを可視化する

2017.4.27

クリエーションライン株式会社シニアコンサルタント木内満歳

Bluemix User Group ミートアップ in Watson Summit 2017

1


自己紹介木内満歳（きうちみつとし）

クリエーションライン株式会社シニアコンサルタント

Slideshare: http://www.slideshare.net/mkiuchi4

各種寄稿

a. gihyo.jp: “Mesosphere DCOSでつくるクラウドアプリケーション”

b. 日経クラウドファースト2016年6月 “Azure IoT Suiteの評価”

c. Codezine: “機械学習をクラウドで手軽に体験！ BluemixのApache Sparkで異常

なセンサーデータを洗い出す”

各種講演a. Developer Summit 2016 Summer

b. 日経BP社 “パブリッククラウド導入の企画提案力養成講座”

c. Cloudweek Hokkaido 2015/2016

d. 政策研究大学院大学科学技術イノベーション政策研究センター「科学技術イノベーション政策のための科学オープンフォーラム」

専門分野：Apache Mesos, Apache Spark, 分散コンピューティング, クラウドコンピューテ

ィング, NoSQL DB, グラフDB

O’reilley Certified Developer on Apache Spark

Docker Certified Technical Trainer

2

http://www.slideshare.net/mkiuchi4

http://gihyo.jp/admin/serial/01/dcos

http://itpro.nikkeibp.co.jp/NCF/

http://codezine.jp/article/detail/9391


クリエーションライン株式会社

3


主な取り扱い製品

クラウド基盤・アジャイル開発支援

データ分析基盤

4


人材募集中です

• クリエーションラインでは「われこそは！」という人材を募集しています– クラウド・Docker

– IoT

– データ分析– DevOps/構成自動化(Chefなど)

https://www.creationline.com/recruit

5


本題：IBM Watson Developer Cloudのアプリケーションログを可視化する

6



・・・って要するにどういうこと？

7


Watson Developer Cloud

8


Elastic{ON} 2016キーノートにて

9



つまりWatsonのログはElasticsearch

で管理されている・・・が

10


Watsonのコンポーネント

11


Watsonのコンポーネント

ユーザから見えるログはない

12



終了・・・だとあまりに悲しいので

13



14



この人

15



Jason McGeeIBM Fellow, VP and CTO,

IBM Cloud Platform

IBM CloudにおけるElasticsearchの活用事例は３つある。

①Watson Developer Cloudでの活用

② IBM Twitter Insights for Bluemixでの利用

③ IBM Bluemix multi-tenancyでの利用

16


IBM Twitter Insights for Bluemix

17


IBM Bluemix multi-tenancy

18



IBM Bluemix multi-tenancyでコンテナのログを可視化する

19


改めて IBM Bluemix multi-tenancy

20


改めて IBM Bluemix multi-tenancy

つまりBluemixコンテナのログ出力が勝手にElasticsearchに蓄積され

Kibanaで可視化できる仕組み

👆ここはユーザが作る 👆ここはBluemixがいい感じに勝手に作ってくれる

21


これの何がいいのか？

[kiuchi@x1carbon ~]$ docker ps

CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES

2689449a3b60 mkiuchicl/frontend-centos7 "/start.sh" 9 seconds ago Up 7 seconds 0.0.0.0:32768->22/tcp tiny_allen

[kiuchi@x1carbon ~]$ docker logs 2689449a3b60

ADD user account

Changing password for user root.

passwd: all authentication tokens updated successfully.

start sshd

--------------------

SSH PASSWORD - please change immediately

username: root , password: e988ce764e3bad34ddac957e6e64e83e5424af97

--------------------

[kiuchi@x1carbon ~]$

通常Dockerコンテナのログは“docker logs”コマンドで見る。見るためにはコンテナIDを指定する必要がある

22


これの何がいいのか？

[kiuchi@x1carbon ~]$ docker ps

CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES

2689449a3b60 mkiuchicl/frontend-centos7 "/start.sh" 9 seconds ago Up 7 seconds 0.0.0.0:32768->22/tcp tiny_allen

[kiuchi@x1carbon ~]$ docker logs 2689449a3b60

ADD user account

Changing password for user root.

passwd: all authentication tokens updated successfully.

start sshd

--------------------

SSH PASSWORD - please change immediately

username: root , password: e988ce764e3bad34ddac957e6e64e83e5424af97

--------------------

[kiuchi@x1carbon ~]$

通常Dockerコンテナのログは“docker logs”コマンドで見る。見るためにはコンテナIDを指定する必要がある

数個ならまだ手作業でなんとかなる

数10個でもスクリプトなどを組んだりrsyslog

で集約すれば・・・検索は気合のgrep

で・・・

数100個になったら・・・大量のログの中からキーワード検索するには・・・

ログ集約・スケーラブルな検索の必要性

23


実際にやってみましょう

24



25



26


ログとして記録されるもの

• time(ログのタイムスタンプ)

• timestamp(elasticsearchに記録された日時)

• ALCH_TENANT_ID

• group_id

• host(コンテナのホスト, コンテナ名ではない)

• instance

• log(ログ本体)

• message(JSON化されたパースされる前のデータ)

• path

• stream(stdout, stderr)

27


syslogっぽく出すことも可能

28


まとめ

• BluemixではElasticsearchを活用したサービスが提供されています

– Twitterのツイート検索ができる “IBM Twitter Insights for Bluemix”

– Bluemixコンテナのログ管理ができる “IBM Bluemix multi-tenancy”

• “IBM Bluemix multi-tenancy”はコンテナを作成すると勝手にelasticsearch,

kibanaのセットが作成され、ログを集約し、検索することができるように

なります

29

Copyright ⓒ2017 CREATIONLINE, INC. All Rights Reserved 30

Internet

(2017.4.27) IBM watson developer cloudのアプリケーションログを可視化する