Yahoo! JAPAN MeetUp #8 （インフラ技術カンファレンス）LT①

Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.

OpenStack関連セッション

1

OpenStack Summit Barcelona 2016 参加報告

神尾皓立見祐介

Ansibleによるおっちょこちょいの運用自動化

高橋拓也

4年間、OpenStackをデプロイしてみた

北田駿也

OpenStack on Kubernetes

木下裕太


2017年1月30日

2

高橋拓也（24）

サイトオペレーション本部インフラ技術１部クラウドイノベーション

Ansibleによる

おっちょこちょいの運用自動化


自己紹介


自己紹介

4

• 高橋拓也

• インフラ技術１部クラウドイノベーション所属• プライベートクラウド（OpenStack）の運用・開発を担当

• 2016年度新卒入社

• インフラの基礎技術について、目下勉強中です


つらかったこと



6

• はじめての既存システム運用• しかもものすごく大規模システム

• 一つのミスが複数のサービスに大影響を

• しかし、そんな自覚が足りなかった新人1ヶ月目



7

• (ô^)。。( 本番環境にアクセスっと



8


• (ô^)。。（Haproxyあがってないな、 $ sudo service haproxy start



9



• (´・ω・`) < 高橋くん、それheartbeatだよ。。。



10




• (´・ω・`) < もうちょっと確認してから sudoは打とうね。。。



11




• (´・ω・`) < もうちょっと確認してから sudoは打とうね。。。

はじめてのオペミス (運用業務開始2日目

本番環境こわい

対策: 本番環境では気を引き締めよう



12

• (ô^)。( 今度は慎重にやるぞー



13


• (ô^)。( だんだん疲れてきたな。。



14



• (ô^)。( VMのnicを削除するぞ！



15




• (ô^) < あ！削除するnicを間違えた！！



16





• (´・ω・`) < 事故



17





• (´・ω・`) < 事故

• 必要ないポートだったため事故とはならず

• 対策: 目grepはやめてマシンにgrepさせる



18

• (ô^)。( このDB書き込みオペはミスできないな。。



19


• (ô^)。( 手順書からしっかりコピペして、２回チェックして

• (ô^)。( 出力結果も残したし、完璧だ！！



20




• (´・ω・`) < 高橋くん、それslaveだよ。。。



21




• (´・ω・`) < 高橋くん、それslaveだよ。。。

• 先輩社員の神業オペレーションにより、影響を残さず処理できた

• 対策: hostnameをターミナルに出力し続ける

• もしhostnameを見逃したら。。。 → あまり対策になってない


気づいたこと

22

• オペミスする確率はエンターを押す回数と比例する

• 「対策: 気をつける」は、必ず失敗する


気づいたこと

23

• オペミスする確率はエンターを押す回数と比例する

• 「対策: 気をつける」は、必ず失敗する

オペミスが起きないインターフェースを使おう！


脱オペミス！


オペミスが起きないIFとは？

• オペミスが起きないIFとは• 実行のたびに状態が変化しない

• 冪等性を保つ or 保つ仕組みがある• 作業内容が見える

• 第三者によりチェックされた作業しか実行できないようにする

• 入力が少ない• 固定の設定値はツールで保持する

• 人力作業が少ない• 単純作業は自動化させる

25

Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.26



Ansibleによる運用自動化

28

• なぜAnsible?• 実行のたびに状態が変化しない

• 冪等性を保つ仕組みを持つ• →作業実行に迷わない

• 作業内容が見える• 作業内容をコード化して管理できる• タスク実行が逐次処理となる• →やり方のわからない作業がなくなる

• 入力が少ない• 変数として値をplaybookに保持できる• →どの変数を利用するかを入力として与えれば良い

• 人力作業が少ない• 単純作業は自動化させる• →エンターの叩かれる回数は確実に減る


活用例


活用例

30

• OpenStackを操作してFlavorを追加する• Flavor … インスタンスのスペック情報


実行手順手順

1. クラスタのユーザー情報を読み込む

2. Clientをロードする

3. nova flavor-create を実行し、flavoを作成する

4. nova flavor-key を実行し、flavorのextra_spec(quotaなど) を追加する

実行コマンド

1. $ source cluster/adminrc

2. $ source /os/liberty/activate

3. $ nova flavor-create 2v-1024M-40G auto 1024 40 2

4. $ nova flavor-key set drive_type=ssd


実行手順手順

1. クラスタのユーザー情報を読み込む


3. nova flavor-create を実行し、flavoを作成する

4. nova flavor-key を実行し、flavorのextra_spec(quotaなど) を追加する

実行コマンド

1. $ source cluster/adminrc

2. $ source /os/liberty/activate

3. $ nova flavor-create 2v-1024M-40G auto 1024 40 2

4. $ nova flavor-key set drive_type=ssd


活用例

33

• OpenStackを操作してFlavorを追加する• Flavor … インスタンスのスペック情報

• OpenStackのクラスタ毎に追加するスペックが異なる• SSD機のクラスタはｄisk quotaをゆるめたりとか

• 想定されるオペミス• 同名のフレーバーを作ろうとしてしまう

• extra_specの値を間違えて設定してしまう

Ansibleでワークフロー化


活用例

34


活用例

35

add_flavor.yaml

- hosts: work

user: takutaka

roles:

- nova/flavor-create


活用例

36

vars/flavor-create.json

{

"flavor_name": "2v-1024M-30G",

"cluster_name": “cluster1"

}


活用例

37

vars/flavor-create.json

{

"flavor_name": "2v-1024M-30G",

"cluster_name": “cluster1"

}

add_flavor.yaml

- hosts: work

user: takutaka

roles:

- nova/flavor-create

$ ansible-playbook add_flavor.yaml –i hosts ¥–-extra-vars “@vars/flavor-create.json”


活用例

38

flavor-create/tasks/main.yaml

- name: parse flavor name to machine spec

flavor2spec:

flavor: '{{flavor_name}}'

register: spec

- name: check flavor name

shell: |

nova flavor-list |grep {{flavor-name}}

register: result

failed_when: result not in [0, 1]

- name: create flavor

shell: |

nova flavor-create "{{flavor_name}}" auto ¥

{{spec.mem}} {{spec.disk}} {{spec.vcpu}}

when: result.rc == 1

- name: set extra_spec to flavor

shell: |

nova flavor-key "{{flavor_name}}" set ¥

"{{item.key}}"="{{item.value}}"

with_dict: "{{vars[cluster_name]}}"


活用例

39

Library/flavor2spec.sh

#!/bin/bash

name=`cat $1|awk -F'flavor=' '{print $2}'|awk -F' ' '{print $1}' `

vcpu=ècho $name|awk -F'-' '{print $1}'`

mem=ècho $name|awk -F'-' '{print $2}'`

disk=ècho $name|awk -F'-' '{print $3}'`

echo -n

{"name":"${name}","vcpu":"${vcpu}","mem":"${mem}","disk":"${disk}"

}


活用例

40



flavor2spec:


register: spec


shell: |


register: result



shell: |





shell: |





活用例

41



flavor2spec:


register: spec


shell: |


register: result



shell: |





shell: |





活用例

42

Flavor-create/vars/main.yaml

cluster1:

'quota:disk_write_bytes_sec': 1536000000

'quota:disk_read_bytes_sec': 1536000000

'quota:vif_outbound_average': 64000

'quota:vif_inbound_peak': 64000

'quota:vif_inbound_average': 64000

'quota:vif_outbound_peak': 64000

'drive_type': ssd

cluster2:

'quota:disk_write_bytes_sec': 153600000

'quota:disk_read_bytes_sec': 153600000

'quota:vif_outbound_average': 64000

'quota:vif_inbound_peak': 64000

'quota:vif_inbound_average': 64000

'quota:vif_outbound_peak': 64000

'drive_type': sas


確認項目が減少

43

自動化前確認項目(11項目) 自動化後確認項目(2項目)

フレーバー名フレーバー名

vcpu クラスタ名

Memory

Disk

quota:disk_write_bytes_sec

quota:vif_outbound_average

quota:vif_inbound_peak

quota:vif_inbound_average

quota:disk_read_bytes_sec

quota:vif_outbound_peak

drive_type


運用手順も減少1. クラスタadminrcを読み込む


3. 手順書を元にコマンドを作成する

4. コマンドを実行する

5. 追加するextra_spec分コマンド実行する (7回)

計 11手順

1. フレーバー名とクラスタ名をjsonに書き込む

2. Playbookを実行する

計 2手順


運用手順も減少1. クラスタadminrcを読み込む


3. 手順書を元にコマンドを作成する

4. コマンドを実行する

5. 追加するextra_spec分コマンド実行する (7回)

計 11手順

1. フレーバー名とクラスタ名をjsonに書き込む

2. Playbookを実行する

計 2手順

脱オペミス完了！


自動化の懸念

46

• Playbookの信憑性は誰が担保する？• 冪等性の保たれたPlaybookを書く• ベテラン運用者に確認してもらう• 検証環境で試す

• 運用のための知識が身につかないのでは？• 運用の知識を伴わないとそもそもPlaybookが書けない• 空いたリソースで他の問題が解決できたらそれが一番


運用フロー

47

Push & PR

おねがい

Merge

Webhook

pullexecute

cluster

cluster

Playbook開発者

Playbook開発者


自動化の懸念

48

• Playbookの信憑性は誰が担保する？• 冪等性の保たれたPlaybookを書く• ベテラン運用者に確認してもらう• 検証環境で試す

• 運用のための知識が身につかないのでは？• 運用の知識を伴わないとそもそもPlaybookが書けない• Playbookを見れば、「正しいやり方」を身につけられる• 空いたリソースで他の問題が解決できたらそれが一番


まとめ

49

• 手動の運用はつらいよ

• 自動化すると改善できることがあるよ

• Ansibleなら、始めやすいしシンプルでおすすめだよ

• 自動化に振り回されないように気をつけよう


他の構成管理ツールとの比較

50

実装言語設定言語冪等性モジュール言語エージェント

Fabric Python Python ☓ python ☓

Capistrano Ruby DSL(Ruby) ☓ Ruby ☓

Chef Ruby DSL(Ruby) ○ Ruby ○

puppet Ruby 独自 ○ 独自 △

Ansible Python Yaml ○ なんでも ☓

Technology

Yahoo! JAPAN MeetUp #8 （インフラ技術カンファレンス）LT①