深度学习学习基本概念：batch_size、epoch、 iteration

Note:以识别为例，输入RGB图像，batch=16,在全部训练样本中随机不重复的抽取16张图像作为一个批次，在批次中单独一张图像进行卷积（卷积向下取整），比如卷积层滤波器个数为32，经过卷积之后输出32个特征图，假如类别个数位1万类，这张图像经过整个网络输出得到1万个值，最大的值对应的类别就是这个图像训练出的结果（网络训练的结果：图像对应的类别），16张图像最后都会学到一个结果，作为本次迭代的结果。迭代一次（完成一次batch_size个数据样本迭代，通常一次前向传播+一次反向传播）。所有批次都训练完成我们成为1epoch。

batch_size:
单次训练用的样本数，通常为2^N，如32、64、128...
相对于正常数据集，如果过小，训练数据就收敛困难；过大，虽然相对处理速度加快，但所需内存容量增加。
使用中需要根据计算机性能和训练次数之间平衡。
 

epoch :

1 epoch = 完成一次全部训练样本 = 训练集个数 / batch_size。

 

iterations :

完成一次batch_size个数据样本迭代，通常一次前向传播+一次反向传播。

 

在合理范围内，增大 Batch_Size 有何好处？

内存利用率提高了，大矩阵乘法的并行化效率提高。 跑完一次 epoch（全数据集）所需的迭代次数减少，对于相同数据量的处理速度进一步加快。 在一定范围内，一般来说 Batch_Size 越大，其确定的下降方向越准，引起训练震荡越小。