2. 换算关系
实际上,梯度下降的几种方式的根本区别就在于上面公式中的 Batch Size不同。
*注:上表中 Mini-Batch 的 Batch 个数为 N / B + 1 是针对未整除的情况。整除则是 N / B。
3. 示例
CIFAR10 数据集有 50000 张训练图片,10000 张测试图片。现在选择 Batch Size = 256 对模型进行训练。
- 每个 Epoch 要训练的图片数量: 50000
- 训练集具有的 Batch 个数:
- 每个 Epoch 需要完成的 Batch 个数: 196
- 每个 Epoch 具有的 Iteration 个数: 196
- 每个 Epoch 中发生模型权重更新的次数: 196
- 训练 10代后,模型权重更新的次数:
- 不同代的训练,其实用的是同一个训练集的数据。第 1 代和第10代虽然用的都是训练集的五万张图片,但是对模型的权重更新值却是完全不同的。因为不同代的模型处于代价函数空间上的不同位置,模型的训练代越靠后,越接近谷底,其代价越小。