当达到最小样本量的时候,我们能否再积累两天样本,使得P值发生改变,然后选择改变后的P值作为我们的结论?
不能!
背景:在做AB实验的时候我们根据MDE计算出了最小样本量,根据最小样本量我们规划了一个7天的实验,但是7天后我们评估发现p-value>0.05,这个时候我们能否再积累两天样本使得p-value<0.05的时候再做结论?
不能,我们是“在保证犯第一类错误的概率<0.05的前提下,尽量的使得power越大越好”,虽然继续积累样本量可以保证power越来越大,但是我们就没办法保证我们犯第一类错误的概率了。
总之,必须按照规划的最小样本量来,当时间到了我们最好就下结论。