Udacity-A/B TEST

这个是之间在Udacity参与数据分析课程的项目之一。完成了有一阵子了，想着发上来以后方便复习。

一．项目说明

在进行此试验时，优达学城当前的主页上有两个选项：“开始免费试学”和“访问课程资料”。如果学生点击“开始免费试学”，系统将要求他们输入信用卡信息，然后他们将进入付费课程版本的免费试学。14天后，将对他们自动收费，除非他们在此期限结束前取消试用。若学生点击“访问课程材料”，他们将能够观看视频和免费进行小测试，但是他们不会获得导师指导支持或验证证书，无法提交最终项目来获取反馈。在此试验中，优达学城测试了一项变化，如果学生点击“开始免费试学”，系统会问他们有多少时间投入到这个课程中。如果学生表示每周5小时或更多，将按常规程序进行登录。如果他们表示一周不到5小时，将出现一条消息说明优达学城的课程通常需要更多的时间投入才能成功完成，并建议学生可免费访问课程资料。在这里，学生可选择继续进行免费试学，或免费访问课程资料。我们的假设是这会为学生预先设定明确的期望，从而减少因为没有足够的时间而离开免费试学，并因此受挫的学生数量， 同时不会在很大程度上减少继续通过免费试学和最终完成课程的学生数量。 如果这个假设最后为真， 优达学城将改进整体学生体验和提高导师为能够完成
课程的学生提供支持的能力。转移单位为cookie，尽管学生参加的是免费试学，但在登录后他们的用户 id 便被跟踪。同一个用户 id 不能两次参加免费试学。对于不参加免费试学的用户，他们的用户 id 不会在试验中被跟踪，即使他们在访问课程概述页面时登录了网站。

二.  指标选择

2.1   不变指标

在此项目中，作者选择以下指标作为不变指标：

cookie 的数量：即访问课程概述页面的唯一 cookie 的数量。（d 最小=3000）

点击概率： 即点击“开始免费试学”按钮的唯一 cookie 的数量除以查看课程概述页的唯一 cookie 的数量所得的比率（ d 最小=0.01）

点击次数：即点击“开始免费试学”按钮的唯一 cookie 的数量（在免费试学筛选器触发前发生）。（ d 最小 =240）(在本文后续的计算过程中并未使用此指标)

根据项目说明，不难发现优达学成所测试的变化是在学生点击“访问课程材料”后产生的。因此，对于cookie数量，点击次数和点击概率这两个访问前和访问进行中的指标，在测试过程中不应因测试变化而发生改变，故选作为不变指标。

 

2.2   评估指标

在此项目中，作者选择以下两个指标作为评估指标：

总转化率：即完成登录并参加免费试学的用户 id 的数量除以点击“开始免费试学”按钮的唯一 cookie 的数量所得的比率。（ d 最小 =0.01）

净转换率：即在 14 天的期限后仍参与课程的用户 id 的数量（因此至少进行了一次付费）除以点击了“开始免费试学”按钮的唯一 cookie 的数量所得的比率。（ d最小 =0.0075）

根据项目说明，此次测试是为探究点击“开始免费试学”后所出现的提示消息对学生是否参与课程的影响。因此，通过对总转化率和净转换率的试验组/对照组的数据分析，可以在一定程度上反应测试的效果，故作为评估指标。

用户ID虽然被记录在事件发生之后，但可能受到分组的影响所导致评估效果产生误差，故不选用。留存率则是因为在后续的计算过程中发现所需的页面浏览数量过多，并导致实验时间过长，故不选择作为评估指标。

此次试验的目的是为减少因时间不足而选择放弃课程的学员，但又不会太大的影响付费学员的数量。因此：总转化率预期减小，净转化率基