Mean teachers are better role models: Weight-averaged consistency targets improve semi-supervised

Mean Teacher 这篇文章一上来就说“模型成功的关键在于 target 的质量”。而提高 target 的质量的方法目前有两：
1.精心选择样本噪声；
2. 找到一个更好的 Teacher model。而论文采用了第二种方法。

怎样提高 Teacher Model 的质量呢 ？

就是通过对 Teacher model 做 EMA （指数平均） ， 每一次迭代都会对 teacher network 进行更新，这样的话会提升 teacher network 的性能，所以会得到一个更好的 target 让 student network 去学习，最终得到一个不错的效果。

就稍微写两句，最近 NAS 的任务比较重，溜了。