怎么学习 AB 测试（A/B Testing）？

[cqcn1991]

这是之前自己的总结，原文更详细一点，见 https://www.douban.com/note/698028685/

---

因为没发现特别好的 AB 测试学习指南，而没用过的话，又很容易踩坑，因此花时间看了看相关内容。这里把一些好的东西分享给大家，更详细的可以看上面的原文

目标读者：产品经理、数据分析师、机器学习工程师

1. Airbnb - Growth Talk

https://youtu.be/T9ikpoF2GH0?t=2634 （ 44min 起）

前 Airbnb 增长负责人讲增长时对 AB Testing 的介绍. 算很好的入门

• 介绍了 AB Testing 对产品的意义，在 Airbnb 内部很受重视（实质是产品决策的方法）。在增长这个框架下讲，也更有实质

• 介绍了一些更亲切的 AB 测试案例（比如上图哪个效果更好？），以及内部 Experiment Review 的工作习惯（每个月会总结试验结果，让大家猜那个版本好）

2. Google - Udacity A/B Testing Course

https://cn.udacity.com/course/ab-testing--ud257

那怎么学习 AB Testing 呢？

目前市面上其实只有 Google 的课程（视频），内容挺好，而且免费

• 提供了一个简单、有效的 Framework: Metrics -> Experiment Design -> Result Analysis. 这样初学者对整体能有很好的把握

• 细节方面也讲了不少，比如实际工作中选择 Metrics 的经验（ Lesson 3, 29-30 ），Simpson's Paradox, A/A 测试等等

• 最后给了一个实际案例，很好，能让你实际上手，也是很好的检验自己的办法

不过遗憾的是，课程没有讲义, 因此难复习、快速学习

笔记

• https://towardsdatascience.com/a-summary-of-udacity-a-b-testing-course-9ecc32dedbb1

• https://rpubs.com/superseer/ab_testing

最后 project 的解答（非常重要，因为涉及到 significant level 计算等等，不看真不知道自己算的对不对）

• https://github.com/shubhamlal11/Udacity-AB-Testing-Final-Project

• https://github.com/jasonicarter/DAND_AB_Testing/blob/master/final_project.md

3. MS - Ron Kohavi KDD 2015 Talk

这其实是我最喜欢的了，MS ExP Platform 负责人的讲座，业内大牛，主要讲的 Bing 的经验，比一般的 AB testing 讲座更有深度，真正能学到东西

• 一系列试验案例，很好玩（比如上图，哪个产生的搜索点击率更多）

• 对 OEC （试验指标）的选择讲得很深入（ 38min 起）。比如，如果以盈利为广告邮件的指标，那么会导致 spam，更好的做法是减去 unsubscribed lifetime value; 如果 Bing 的优化指标是用户的搜索量，那把搜索算法做差不就行了？人们搜索得更多，才能得到他们想要的结果，但这样真的对吗？（实际需要区分 query/session, session/user ）

• 规模化的思维方式。大多数时候我们接触的都是小产品，但到 Bing 这个体量，1%的提升都是看重的，以及对应的处理方式

---

看了上面这些，就能对 AB 测试有不错的了解，也会发现很有意思，因为核心其实还是在数据分析 /Analytics 上. 比如 Bing 搜索指标的设定, 对 churn 的考虑, 都很有启发性

哪些场景不适合 AB 测试呢？这个我就不多写了，再写就太长了

最后，想请问各位大佬，AB 测试的工具方面有什么值得读的内容、代码？因为没看到特别好的开源工具