- 博客(2)
- 收藏
- 关注
RSS订阅
原创 理解 Batch Normalization
参考链接： https://zhuanlan.zhihu.com/p/26138673 https://blog.csdn.net/hjimce/article/details/50866313 https://blog.csdn.net/myarrow/article/details/51848285 原理 BN的本质是解决了反向传播过程中的梯度消失问题。 梯度消失/爆炸问题 ...
2018-05-09 21:31:26
308
原创 理解正则化（regularization）（贝叶斯角度还不清楚）
结构风险最小化：结构风险（structure risk）对应于经验风险（empirical risk）。在选择最优模型过程中，我们希望模型不仅能够很好地预测训练数据，更希望它能够很好地预测未参与训练的测试数据。前者对应于最小化经验风险，后者对应于最小化结构风险。结构风险与模型复杂度正相关，所以加正则项的本质是减小模型的复杂度。 防止过拟合：添加正则化项相当于添加惩罚项，趋向于让模型复杂度降低，可...
2018-05-09 21:49:41
1249
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人