机器学习的演进之路

数据和模型是很重要,但是正确的演进之路更加不容忽视,通常正确的演进之路是这样的:

1. 首先提出一个假设,可以通俗的说是对问题的一个猜想;
2. 针对假设,我们需要选择使用什么模型;
3. 模型选定后训练它,离线测试,如果验证通过就要上AB测试.否则要么换个模型,要么重新审视下自己的假设是否站得住脚;
4. 上AB测试,测试结果明显提升的话就上线,否则回滚,再看看最开始自己的那个假设是否靠谱;

这个过程中有如下几个比较困难:

1. 离线模型评价指标的选择.不同的指标可能包含不同的意义,例如同样是learn to rank的排序评价,MRR和NDCG这两个指标对于排序靠前的项目权重就会更大,而FCP(Fraction of Concordant Pairs)就更看重排序靠中间的项目.所以选择什么指标要仔细思考,离线评价表现好才有机会有必要上AB测试;
2. 离线评价(通常是技术性或者学术性的,比如准确率和召回率)和在线产品指标(通常是商业性的,比如留存率)之间通常是存在鸿沟的.模型的离线评价效果可能很好,但是在线去测试,产品指标可能表现不好,可以离线的时候换一个与直接产品指标更相关的评价指标.
3. AB测试的时候一定注意要有一个总体评价指标(Overall Evaluation Criteria),很多人(通常是产品经理)会同时关注一个AB测试的很多指标,点击率上去了,多样性又下去了,这种测试结果你很难说是该上线还是不该上线.所以说需要一个OEC,如果你有多个目标,就想办法把多个目标整合成一个数值指标,这样才能够最终决定AB测试是成功的还是失败的.OEC通常是更接近商业目标和平台长期价值的数值,要定义出来需要深度的思考.