CS231n学习笔记
kkklern
这个作者很懒,什么都没留下…
展开
-
CS231n学习笔记八
RNN一到多:图像描述:图像---->词语序列多到一:情感分类:词语序列---->情感多到多:机器翻译:词语序列---->词语序列多到多:帧级视频分类RNN包含如下单元:ht=fW(ht−1,xt)h_t=f_W(h_{t-1},x_t)ht=fW(ht−1,xt),在每一步都是用相同的函数和参数。最简单的例子:ht=tanh(Whhht−1+W...原创 2020-01-05 21:07:49 · 92 阅读 · 0 评论 -
CS231n学习笔记七
更好的优化方法前面随机梯度法,当损失函数沿一个方向改变很快而沿另一个方向改变很慢时,此时更新方向会很曲折,收敛速度很慢。而且更新过程可能会停在损失函数的局部最小值点或者鞍点,一般在维度低的时候更可能停在局部最小值处,维度高的时候停在鞍点处的可能性更大。带动量的梯度法从物理的角度看:随机的初始化参数相当于在某个位置初始速度为零的粒子。优化过程可以看作是模拟参数向量(即粒子)在山坡上滚动的过程,...原创 2020-01-01 15:19:41 · 131 阅读 · 0 评论 -
CS231n学习笔记六
激活函数sigmoid : σ(x)=1/(1+e−x)\sigma(x)=1/(1+e^{-x})σ(x)=1/(1+e−x)特点:将输入的值压缩到[0,1][0,1][0,1]之间通常很流行,因为它有一个很好的解释,可以表示一个神经元的饱和“放电率”存在的问题:会使梯度消失,当输入xxx为很大的正数或很小的负数时,他们位于sigmoid函数的平滑区域中,梯度接近于0,只有...原创 2019-12-31 12:41:46 · 297 阅读 · 1 评论 -
CS231n学习笔记五
神经网络前面线性分类器中得分函数s=Wxs=Wxs=Wx,xxx是输入图像的像素值,如在CIFAR-10中,是3024×13024 \times 13024×1的列向量,W是10×302410 \times 302410×3024的矩阵,得到的sss是10×110 \times 110×1的列向量,是10个类别的得分。2层神经网络:s=W2max(0,W1x)s=W_{2}\max (0...原创 2019-12-29 14:20:36 · 136 阅读 · 0 评论 -
CS231n学习笔记四
首先回顾一下前面所学内容:得分函数:;SVM loss: ,这里取1;data loss + 正则化:,这里正则项取L2范数。在得到损失函数后,我们需要计算L对当前点的梯度,得到使得L下降的新的,从而更新权重W,当L的表达式很简单时,我们能利用微积分的知识直接计算出的表达式,但当L很复杂的时候,直接写出很困难,因此我们改用反向传播求解梯度。反向传播(通过递归应用链式法则来计算...原创 2019-12-14 10:12:23 · 101 阅读 · 0 评论 -
CS231n学习笔记三
优化前面学习了图像分类任务的两个关键要素,一是得分函数,将原始图像像素映射到类分数;二是损失函数,根据得分函数与训练数据中的真实标签的差异来衡量一组特定参数的好坏。我们需要找到使得损失最小的一组参数,这个过程称为优化。梯度下降法在极小化一个函数时,当前点的负梯度方向是函数下降最快的方向。将一阶泰勒展开: ...原创 2019-12-10 14:59:04 · 99 阅读 · 0 评论 -
CS231n学习笔记 一
cs221n学习笔记sift feature:基于特征的目标识别,在该目标上确认某些关键特征,然后把这些特征与相似目标进行匹配。金字塔匹配:从图片的不同部分提取特征放在一起,在此基础上做SVM。hog特征(方向梯度直方图):计算和统计图像局部区域的梯度方向直方图构成特征,适合做人体检测K-最近邻算法(KNN)距离度量: L1距离和L2距离改变坐标轴对L1距离有影响,对...原创 2019-11-28 16:09:36 · 352 阅读 · 0 评论 -
CS231n学习笔记二
线性分类器1.得分函数(该函数将图像的像素值映射到每个类的置信分数)线性分类器:其中参数W是权重,参数b是偏差向量。需要注意的几点:输入数据是给定的,我们可以控制参数W,b的设置。我们的目标是在整个训练集中,以这样的方式计算分数匹配标签,直觉上我们希望正确的类有一个评分的得分高于不正确的类。 这种方法的一个优点是使用训练数据来学习参数W,b,一旦学习完成,我们可以丢弃整个训...原创 2019-12-09 21:49:20 · 154 阅读 · 0 评论