CS231n学习记录Lec3 linear classification notes线性分类器

Lec3 linear classification notes线性分类器

---

1. 评分函数（score function）
它是原始图像数据到类别分值的映射。这个函数将图像的像素值映射为各个分类类别的得分，得分高低代表图像属于该类别的可能性高低。

2. 损失函数（loss function）
它是用来量化预测分类标签的得分与真实标签之间一致性的。我们将使用损失函数（Loss Function）（有时也叫代价函数Cost Function或目标函数Objective）来衡量我们对结果的不满意程度。直观地讲，当评分函数输出结果与真实结果之间差异越大，损失函数输出越大，反之越小。
折页损失：
针对第i个数据的多类SVM的损失函数定义如下：

$$Li = \sum_{j\neq{y_i}} max(0,s_j-s_{y_i}+\Delta)$$
SVM的损失函数想要正确分类类别 $y_i$的分数比不正确类别分数高，而且至少要高 $\Delta$。如果不满足这点，就开始计算损失值。

3. 正则化（Regularization）
一个简单的例子：如果W能够正确分类所有数据，即对于每个数据，损失值都是0。那么当\lambda>1时，任何数乘\lambda W都能使得损失值为0，因为这个变化将所有分值的大小都均等地扩大了，所以它们之间的绝对差值也扩大了。
我们希望能向某些特定的权重W添加一些偏好，对其他权重则不添加，以此来消除模糊性。这一点是能够实现的，方法是向损失函数增加一个正则化惩罚。其中最好的性质就是对大数值权重进行惩罚，可以提升其泛化能力，因为这就意味着没有哪个维度能够独自对于整体分值有过大的影响。
接下来要做的，就是找到能够使损失值最小化的权重了。

4. SVM分类器和Softmax分类器的比较
分别对应折页损失（hinge loss有时候又被称为最大边界损失max-margin loss）和交叉熵损失（corss-entropy loss）。
交叉熵损失:

$$Li = -log(\frac{e^ {f_{y_i}}}{\sum_j e^{f_i}})$$ 利用Softmax分类器第一次迭代时 $e^{f_i}$可能都很小，这时候减去（ $-lnC$？）。
Softmax分类器为每个分类提供了“可能性”，SVM的计算是无标定的，而且难以针对所有分类的评分值给出直观解释。Softmax分类器则不同，它允许我们计算出对于所有分类标签的可能性。举个例子，针对给出的图像，SVM分类器可能给你的是一个[12.5, 0.6, -23.0]对应分类“猫”，“狗”，“船”。而softmax分类器可以计算出这三个标签的”可能性“是[0.9, 0.09, 0.01]，这就让你能看出对于不同分类准确性的把握。和SVM一样，数字间相互比较得出的大小顺序是可以解释的，但其绝对值则难以直观解释。
而SVM分类器在分类对象正确的得分比其他的高出一定阈值后就不在关心这个类别。

5. 总结

先通过评分函数得到各个类别的得分，再损失函数来衡量这次分类的正确性，同时利用优化完成找到权重 w w <script type="math/tex" id="MathJax-Element-7">w</script>的“简单性”这个过程。