データから導くABテスト手法
@haegwankim
テスト 超重要
なんで?
リリースはスタート。エンドではないです。
(最後のは実話)
ユーザー数が思ったように増えない
広告からの流入が、なかなか購入に結びつかない
お客さんから「CVR*を50%上げて!」とか言われた
*コンバージョン
テスト*するための3つの要素
Object Metric Method
*お気づきかもしれませんが、話すのは機能テストではなく、改善テスト
Object
PricingInterface
CommunicationShipping and Payment
Metric
Visits thorough XConversion Rate
Abandonment RateRecommendation Rate
Method
vs the current with small / proven dataRandomization - 50:50SaaS - e.g. OptimizelyAgency
課題は 優先順位
売上アップ or
コスト削減
トライ中フロー
2. アトリビューション探索:回帰分析
1. データ集積 : GA, Logなどから
3. モデル調整:はずれ値、stepwise、 AIC
4. テスト導入(80:20 / random select)
0. テスト対象決定:ビジネス要件から
トライ中フロー
2. アトリビューション探索:回帰分析
1. データ集積 : GA, Logなどから
3. モデル調整:はずれ値、stepwise、 AIC
4. テスト導入(80:20 / random select)
0. テスト対象決定:ビジネス要件から
トライ中フロー
2. アトリビューション探索:回帰分析
1. データ集積 : GA, Logなどから
3. モデル調整:はずれ値、stepwise、 AIC
4. テスト導入(80:20 / random select)
0. テスト対象決定:ビジネス要件から
トライ中フロー
2. アトリビューション探索:回帰分析
1. データ集積 : GA, Logなどから
3. モデル調整:はずれ値、stepwise、 AIC
4. テスト導入(80:20 / random select)
0. テスト対象決定:ビジネス要件から
トライ中フロー
2. アトリビューション探索:回帰分析
1. データ集積 : GA, Logなどから
3. モデル調整:はずれ値、stepwise、 AIC
4. テスト導入(80:20 / random select)
0. テスト対象決定:ビジネス要件から
まとめ
実際のテストと同じくらい
プロセス(データを使った上司、同僚、クライ
アントの説得)が重要。
サービスの改善に欠かせない
ABテストについて話しましょう!
Recommended