深度学习中Batch_size相关问题汇总

1.Batch_size的使用意义及大小的选择

    Batch_size不宜选的太小，太小了容易不收敛，或者需要经过很大的epoch才能收敛；也没必要选的太大，太大的话首先显存受不了，其次可能会因为迭代次数的减少而造成参数修正变的缓慢。

    http://blog.csdn.net/ycheng_sjtu/article/details/49804041这篇文章很详细的介绍了Batch_size的使用意义和选择原则，并且进行了试验来比较Batch_size对训练结果的影响情况，非常值得一看。

2.Batch_size有时候明明已经很小了，可显存还是很紧张，还有就是同样的图片大小，同样的Batch_size，为啥有时候显存够用有时候就不够用呢，目前我所知道的可能是如下四个问题：

（1）模型的复杂度，复杂的模型占的内存比简单的模型要大很多，这一点容易被忽略；

（2）电脑可能还在运行其他占显存的任务，使用nvida-smi命令来查看，并关闭它们；

（3）不光