zj15939317693的博客

网上一位CSDN博主总结的，在此转载：点击打开链接

原文地址：原文地址 

转载：https://blog.csdn.net/stdcoutzyx/article/details/49022443开篇明义，dropout是指在深度学习网络的训练过程中，对于神经网络单元，按照一定的概率将其暂时从网络中丢弃。注意是暂时，对于随机梯度下降来说，由于是随机丢弃，故而每一个mini-batch都在训练不同的网络。dropout是CNN中防止过拟合提高效果的一个大杀器，但对于其为何有...

原文地址：首先我们来看一个线性回归的问题，在下面的例子中，我们选取不同维度的特征来对我们的数据进行拟合。  对于上面三个图像做如下解释：选取一个特征，来拟合数据，可以看出来拟合情况并不是很好，有些数据误差还是比较大针对第一个，我们增加了额外的特征，，这时我们可以看出情况就好了很多。这个时候可能有疑问，是不是特征选取的越多越好，维度越高越好呢？所以针对这个疑问，如最右边图，我们用5揭多项式使得数据点...

百度文库链接：点击打开链接维基百科链接：点击打开链接方便的话直接看百度文库那个，维基百科那个比较全（英文看的头大），但是维基百科那个“Ax对x的偏导是A的转置”有点懵，不应该是Ax的转置对x的偏导是A的转置么？百度文库那个就是。不要看那个什么还有列向量对列向量求导那个，网上很多都是那个，但那个不对，我看底下评论也很多指出不对，说去看维基百科。

CSDN上的一篇文章：点击打开链接这篇文章的符号标注的十分清晰，有助于理解。其中风险函数直接用了代价函数，没有考虑正则项，不过影响不大。伪代码部分的梯度下降更新权值的公式里符号的上标和下标有点乱。总之很浅显易懂了。

链接：点击打开链接点击打开链接点击打开链接还是没彻底懂，先放在这。

转载一篇关于logistics回归的文章：http://blog.csdn.net/dongtingzhizi/article/details/15962797CSDN竟然没有一键转载，不过好像涉及侵害版权啊，但是有的作者不经常上可能不会及时给予转载的权限...不喜欢用收藏！

梯度下降法：点击打开链接随机梯度下降法：点击打开链接这个Gitbook上的Machine learning讲的很好，可以多翻翻。

ufldl里写的很好：点击打开链接这篇是对风险函数的求导：点击打开链接这篇是对softmax函数求导：https://blog.csdn.net/behamcheung/article/details/71911133

首先主要看这篇博客：点击打开链接，还配有小练习让你理解更清晰；其次是看这篇博客：点击打开链接，主要是对点到超平面距离的公式推导。

原文地址：https://blog.csdn.net/johnnyconstantine/article/details/46335763最近学习的时候用到了最优化理论，但是我没有多少这方面的理论基础。于是翻了很多大神的博客把容易理解的内容记载到这篇博客中。因此这是篇汇总博客，不算是全部原创，但是基础理论，应该也都差不多吧。因才疏学浅，有纰漏的地方恳请指出。      KKT条件是解决最优...