灰度发布与ab测试

灰度发布

我们通常在两种场景下使用灰度发布：一是新功能上线后先对内部用户开发测试，二是按流量逐步扩大访问新功能。

通常我们提到的小流量上线可以分成两种方式。一是只有部分服务器上线新功能，所有打到这些服务器上的流量将访问到新功能，所有打到未上线服务器的流量使用老功能。二就是灰度实验，这种方式新功能会上线到所有的服务器上，在代码中使用if else的方式，选择性的使用新功能。使用第一种方式通常在稳定性验证、或者性能验证阶段，通常持续时间不长（一天左右），对验证流量无法进行选取。使用第二种方式是在已经验证稳定性、性能ok的基础上，同时加上对于流量的选取。因此二者的使用场景是不同的。

灰度发布支持逐步放量的方式，这在某些场景下是非常有用的。比如我们新上线的一个产品，初始阶段其实并不清楚它内部是否存在逻辑问题，也不清楚它的受欢迎程度。一旦全部放量，存在的问题都完全暴露给外部，使用小流量放量的方式，可以在筛选出一部分用户先进行验证，缩小潜在的受影响面；同时如果非常火爆的活动很容易突破服务器能承受的极限，造成系统崩溃服务中断，使用小流量放量可以控制流量上升的速度。

AB测试

AB测试是数据驱动中常用的一种实践。 AB测试是指"将需求的多种解决方案同时发布给不同人群，收集数据，计算出统计显著的指标结果进行对比。

AB测试主要分为两个环节，一是流量分组，二是实验报告。线上的服务需要记录下流量对应的分组信息，然后将这些记录上传到实验平台上。实验报告除了依赖于上传的流量分组信息，还需要创建一组实验指标。实验的目的就是对比不同分组流量在实验指标上的差异性。