Embed Size (px)
Citation preview
@k_nishijima
AWS Lambda in Golang
JAWS-UG沖縄 真夏の熱すぎるサーバレス祭り！ 2016年08月 @k_nishijima
The Go gopher was designed by Renee French. (http://reneefrench.blogspot.com/) The design is licensed under the Creative Commons 3.0 Attributions license.
@k_nishijima
皆さんこんにちは！ Go言語でコード書いてますか？
2
@k_nishijima
仕事で書いてる人？ 趣味で書いてる人？
書いてない人？
3
@k_nishijima
今日は実践 「Go言語でLambda関数を書く」
をお届けします
4
@k_nishijima
あんた誰？
5
西島 幸一郎 / にしじま こういちろうアールスリーインスティテュート ソリューションアーキテクト https://www.r3it.com大阪の会社に所属、宜野湾の自宅から100%リモートワーク
okinawa.goのコアメンバー JAWS−UG沖縄のコアメンバー ハッカーズチャンプルー実行委員長
ご質問などあればFacebook/Twitterなどでお気軽に〜♪
@k_nishijima
nishijima.koichiro
@k_nishijima
アジェンダ
6
๏ AWSとGolangの関係をおさらい ๏ 利用ツールの紹介 ๏ 実際のLambda関数の書き方 ๏ 簡単なハンズオン
@k_nishijima
AWSとGo言語7
@k_nishijima
AWSとGo言語
8
๏ AWS SDK for Go あります https://aws.amazon.com/jp/sdk-for-go/
๏ 新サービスにもかなりの勢いで追随してます https://github.com/aws/aws-sdk-go
๏ ただし今のところ公式にはLambdaの対応言語ではありません 【Node.js (JavaScript)、Python、および Java (Java 8 互換)】https://aws.amazon.com/jp/lambda/faqs/
@k_nishijima
え、じゃあどうやって LambdaをGoで書くの？
9
@k_nishijima
利用ツールの紹介
10
@k_nishijima
三種の神器：利用ツールの紹介
11
๏ APEX : Lambda関数のデプロイ管理http://apex.run/https://github.com/apex/apex
๏ Simple API Gateway : API Gatewayの設定 https://github.com/horike37/simple-api-gateway
๏ Terraform : インフラの管理 https://www.terraform.io/
@k_nishijima 12
๏ Lambda関数の管理に特化したツール
๏ 環境構築はTerraformを組み合わせて使うことを想定
๏ Node.jsのshimの魔法によりGo言語の実行をサポート→このおかげでGoでLambdaが書ける！
APEX
@k_nishijima 13
๏ 個人的にも支援中 ๏ コードで貢献したかったがGoスキルが足りず…
ひとまずお金で支援することにした(^_^;)
APEX
@k_nishijima
Simple API Gateway
14
๏ API Gatewayの設定をCLIで行うツール
๏ マネコンの設定画面は罠が多すぎるので…API作る際にはこれを利用して作るととても楽です
@k_nishijima
Simple API Gateway
15
๏ こっちはコードで貢献できた！
@k_nishijima 16
๏ みんな大好きHashiCorp社謹製のインフラ管理ツール
๏ JSONライクな設定ファイルからインフラを自動生成/破棄
๏ 組み合わせとしては、IAMの権限設定やLambda以外のリソース管理に利用すると吉
Terraform
@k_nishijima
この辺のツールを使って 実際に何かLambdaを使ってWeb APIを作ってみましょう
17
@k_nishijima
お題
問い合わせフォームをDynamoDBに保存する
API
18
@k_nishijima
実際には
管理者にメールしたり 送信元にメールしたり Slackに通知したり 色々やりたいけど
その辺は簡単に実装できるので各自！
19
@k_nishijima 20
๏ https://github.com/k-nishijima/lambda-handson-jawsug-okinawa-201608
๏ infra以下にTerraformのtfファイル ๏ lambda以下にLambda関数のファイル
ソースリポジトリ
@k_nishijima 21
๏ Terraformで作られたAWSの環境（IAMロール、DynamoDB） ๏ API GatewayでホストされるWeb API ๏ Goで書かれたLambda関数（APEXでデプロイ） ๏ Goで書かれたコアライブラリ（AWSリソースを利用する実体）
全体構成
Goで書かれたLambdaSimple API Gatewayで設定
HTTPリクエスト Lambdaで動いてるところにAPI GatewayでHTTP経由で呼び出すインターフェイス
をつけるイメージ
@k_nishijima
実際の開発の流れ
22
1. Terraform でDB環境・IAM実行権限などを設定 2. Goでコーディング、テスト 3. APEXでLambda関数としてデプロイ 4. Simple API GatewayでAPI作成、デプロイ（はじめの1回だけ） 5. APIを叩いてテスト。OK?
問題があれば、2と3と5をぐるぐる繰り返す…
@k_nishijima 23
๏ インストールはhttps://www.terraform.io/intro/getting-started/install.html
๏ リポジトリのinfraディレクトリのREADME.mdを確認の上、“terraform apply"
๏ DynamoDBのテーブルとIAM Roleが作られる
Terraformで環境構築
@k_nishijima
さあGoでコーディング
24
๏ その前に！プロジェクト構成をどうすべきか考える必要がある。
๏ 自分の場合は、GOPATH配下にコアライブラリを置き、Lambda関数側からはそれを呼ぶ、という形にした。ベストかどうかは分からんです・・・教えて偉い人！
@k_nishijima
プロジェクト構成（例）
25
コアライブラリ： ~/gopath/src/github.com/k-nishijima/lambda-handson
APEX管理配下のLambda関数：
~/lambda-handson/functions/funcname/
importして使う
๏ コアライブラリはそれだけで単体テスト ๏ APEX管理配下の関数からimportして利用
@k_nishijima
この構成のメリット
26
๏ コアライブラリ側の、通常のGo言語のコーディング・デバッグでほとんど作業は完結する（Lambda関数としてのデバッグはほぼ不要）
๏ AWSのサービスを呼び出すものもローカルで完結 ๏ DynamoDB local、GoAws（未使用だけどSNS/SQSエミュレータ）
@k_nishijima
コアライブラリのコーディング、テスト
27
๏ https://github.com/k-nishijima/lambda-handson-golang-201608/blob/master/dao.go
๏ 普通にGoでAWSを利用するコーディング（制約はさておき、Lambdaから呼ばれるからといって特殊なコーディングはない）
๏ HTTPリクエストを構造体経由で受け取る想定で書くと良い
@k_nishijima
コアライブラリのコーディング、テスト
28
๏ 構造体はJSONとvalidateのアノテーションに注目
๏ AWSの権限を取る部分をProfile指定とロール指定
の両対応にしておくと後で便利 （svcメソッドの部分）
@k_nishijima
コアライブラリのコーディング、テスト
29
๏ テストが終わったら、”go install” しておく※これでAPEX管理下のLambdaから呼び出す準備が整う
๏ コアライブラリを改修したら 再度go installをお忘れなく
@k_nishijima 30
やっと本題(?)
GoでLambda関数を書く
@k_nishijima
APEXでプロジェクトひな形作成
31
๏ $ apex -p lambda-handson-201608 init でプロジェクト雛形作成（-pはプロジェクトを作るときに使うAWS profile名）。
๏ Lambda関数の実行用ロールなんかも作ってくれる （が、今回はTerraformで作ったロールを使う）
@k_nishijima
APEXでプロジェクトひな形作成
32
├── functions │ └── hello │ └── index.js └── project.json
── 関数ディレクトリ ── ディレクトリ名が関数名suffix ── 実装 ── プロジェクト全体の設定ファイル
๏ Node.jsならそのままindex.jsをいじっていけばhello関数が出来上がる（が、今回は削除する）
@k_nishijima
project.json重要
33
๏ project.jsonはプロジェクト全体の設定ファイル
๏ name: 各関数のprefixになる ๏ メモリ量とかタイムアウトとかここで書ける
๏ Lambda関数実行時のroleもここで指定 ๏ 同じような書式で関数ごとの設定もfunction.jsonで可
@k_nishijima
GoでLambda関数作成時の注意点
34
๏ APEXではSTDINとSTDOUTをNodeとGo言語のやり取りに使うので、例えばロギングなどは必ずSTDERRに出力しないといけない。 os.Stderr.WriteString(“hoge”) みたいな
@k_nishijima
実際のソース： イベントから構造体への変換
35
func main() { apex.HandleFunc(func(event json.RawMessage, ctx *apex.Context) (interface{}, error) { // リクエストを格納する構造体 var request lambdaHandson.AddValueRequest if err := json.Unmarshal(event, &request); err != nil { return nil, err }
@k_nishijima
実際のソース： json.Unmarshalするときに、JSONアノテーションが効く
36
type AddValueRequest struct { Stage string `json:"stage" valid:"required"` Email string `json:"email" valid:"email,length(1|512),required"` Message string `json:"message" valid:"length(1|1024),required"` }
{ "stage": "dev", "email": "[email protected]", "message": "hello golang"}
まあunmarshalだけなら アノテーション書かなくても
大丈夫だけど・・・
JSONをレスポンスするときアノテーション重要
リクエストのJSON
@k_nishijima
実際のソース： validateはgovalidatorを使ってみました
37
type AddValueRequest struct { Stage string `json:"stage" valid:"required"` Email string `json:"email" valid:"email,length(1|512),required"` Message string `json:"message" valid:"length(1|1024),required"` }
๏ https://github.com/asaskevich/govalidator
๏ 他にも同種の便利なパッケージはあると思うので探してみて！
@k_nishijima
実際のソース： 実行したいメソッドを呼ぶ
38
err = dao.Put(request) if err != nil { return nil, err }
๏ Lambda関数側はほぼ定形的なコーディングとするように仕向け、可能な限りシンプルにしておく
๏ Lambda上にロジックやら条件分岐やらを書き出すと・・・(^_^;)
@k_nishijima
Lambda環境で動かす時のTIPS：必要な権限の取り方
39
๏ LambdaはIAM Roleを使って動くので、権限はAccessKeyなどを 指定などする必要はない= 「Profile指定とロール指定の両対応にしておくと便利」の件
๏ このコードの実装では、Lambda関数が読む設定ファイルから、 Profileの指定を削除しておけばOK
@k_nishijima
ダメ・ゼッタイ(^^;
40
@k_nishijima 41
$ apex -p lambda-handson-201608 deploy contact
๏ これで contact関数をデプロイ。コードを修正してテストを通したらデプロイ、そして確認。これを何度も繰り返す。
๏ これをマネコンのGUIでやってたら死んじゃいます(^_^;)
APEXでデプロイ
@k_nishijima
APEXでデプロイ
42
関数名がproject.jsonのname + functionディレクトリ名になっているのが分かる
@k_nishijima
APEXでLambda関数実行
43
$ apex -p lambda-handson-201608 invoke contact < request_contact.json
๏ JSONファイルを引数としてcontact関数をinvoke。 上手く動けばレスポンスが返ってくる。
@k_nishijima
今回はDynamoDBの中身を見る関数を作ってないので
44
๏ 手動でマネージメントコンソールからDynamoDBの中身を見てください(^_^;)
๏ コアライブラリにGetItemsというメソッドを付けておきましたので、データ取得APIもすぐ出来ると思います！
@k_nishijima
APEXで実行時ログを見る
45
$ apex -p lambda-handson-201608 logs contact
๏ 動かなかったりした時はログをチェック
@k_nishijima 46
以上です！
@k_nishijima
ここまでで
47
๏ Goで書いた自前のライブラリを利用する、Goで書かれたLambda関数が動くようになりました。
๏ このような関数を例えばスケジューリング実行やS3のイベントに反応して実行するようにすれば、実務にもそのまま使えます。
@k_nishijima
だがしかし まだWeb APIになってない><
Lambda関数はそのままではHTTPS経由で呼べない…
48
@k_nishijima
ここで
API Gateway
の登場です
49
@k_nishijima
Web APIになれば ブラウザから普通に叩ける。
HTMLだけホストしておけば大丈夫になる！
50
@k_nishijima
Simple API GatewayでAPI作成
51
๏ インストールは“npm install -g simple-api-gateway”
๏ ES6のコードなのでNodeは4以上、勿論AWS CLIも必要です。詳しくはhttps://github.com/horike37/simple-api-gateway
@k_nishijima
Simple API GatewayでAPI作成
52
@k_nishijima
実際作ってみる
53
๏ POST /contactにリクエスト投げると ๏ Lambdaが呼ばれてよろしく処理される ๏ そんなAPIを作りましょう
@k_nishijima
利用するAWSの権限の設定は？
54
๏ https://github.com/horike37/simple-api-gateway/issues/5
๏ コントリビュートチャンス！！お待ち申し上げております(^_^;)
@k_nishijima
実際作ってみる
55
west-mbp:lambda-handson-jawsug-okinawa-201608 nishijima$ apigw create ? Please select Region for API Gatway ap-northeast-1 ? Please input API Name Handson API API Create Success!! Please action `apigw edit` and set up API
@k_nishijima
実際作ってみる
56
west-mbp:lambda-handson-jawsug-okinawa-201608 nishijima$ apigw edit ? Please select Region for API Gatway ap-northeast-1 ? Please select API Handson API
? Do you want to use an existing Resources on Handson APIor create a new one? Create A New Resouce
? Please select parent Resource / ? Please input Resouce Path contact
? Please select method POST ? Please select backend lambda function lambda-handson-jawsug-okinawa-201608_contact
? May I set enable CORS? Yes ? Set up mapping template? (y/N) y で、エディタが開くのでマッピングテンプレートを入れて? Please edit mapping template Received
? May I create the API? Yes Create Success!! Resource and Method on Handson API API.
@k_nishijima
マッピングテンプレートって何？
57
๏ Integration Requestに指定できる、URLパラメータ/パスパラメータ/HTTPヘッダなどをLambda関数のコードに渡すためのテンプレート
๏ 想定するURLパラメータとともに、APIGWのステージやHTTPヘッダなどをLambda関数に渡すことが出来る
@k_nishijima
APIを作ったら、ステージ名をつけてデプロイ
58
west-mbp:lambda-handson-jawsug-okinawa-201608 nishijima$ apigw deploy ? Please select Region for API Gatway ap-northeast-1 ? Please select API Handson API ? Please input Stage Name dev Deploy success! Endpoint:https://あなたの.execute-api.ap-northeast-1.amazonaws.com/dev
๏ これでステージ「dev」のAPI完成。ステージ = 環境と言い換えてもOK。 ๏ ステージごとURLが発行されるので、まったく別の環境として利用可能。 ๏ Lambdaのエイリアスと連動したり、このコードの例のように環境変数と
して扱ってプログラムの動作を切り替えたり、いろいろ利用できます。
@k_nishijima
呼び出してみる
59
$ curl -H "Content-Type: application/json" -X POST -d "[email protected]&message=hello world via curl" https://あなたのURL.execute-api.ap-northeast-1.amazonaws.com/dev/contact "ok"
@k_nishijima 60
出来た!?
@k_nishijima
はじめに戻って：サーバレスアーキテクチャとは？
61
๏ Q: 開発は楽になった？ ๏ A: 1関数の責任範囲がとても狭くなるので、相対的に楽にな
る。デバッグも楽。また、とにかく繰り返しになるデプロイが楽なのがいい。
@k_nishijima
はじめに戻って：サーバレスアーキテクチャとは？
62
๏ Q: スケールする感じする？ ๏ A: 極力ステートレスな実装にして、バックエンドのデータ
ソースも速度で詰まらないDynamoDBなどを活用すれば、スケールしないほうがおかしい
@k_nishijima
セッションとか クライアント側の状態管理は！？
63
๏ 何を言っとるんですか、時代は21世紀ですよ。そんなものはありません（建前
๏ JavaScriptでAWS SigV4を実装した話を聞きたいですか、
そうですか（イラネw
@k_nishijima
おや、こんなのも…
64
๏ A Go framework for AWS Lambda microservices http://gosparta.io/
๏ 誰か試してLTしてくださいな(^^)/
@k_nishijima
まとめ
65
๏ AWS SDK for Go があるのでAWSリソースを使ったLambdaを書くのはとても簡単
@k_nishijima
まとめ
66
๏ Goは非常にパワフルな言語なので、生産性高くサクサクLambda関数が書ける
@k_nishijima
まとめ
67
๏ きっとAWS CLIがGoでリライトされる未来が来る！（来ないかもw ๏ それはどうでもいいとして(^_^;)
現状でまったく不満はないですが、公式にLambdaでサポートされると更に嬉しいですね！
@k_nishijima 68
Thank you so much!Any questions?
![[Laws] Meetup - AWS Lambda](https://img.dokumen.tips/doc/110x75/58ef2b011a28ab50758b45f1/laws-meetup-aws-lambda.jpg)
