[MOOC学习笔记]机器学习基石 Lecture02 Learning to Answer Yes/No

最近，Cousera公开课上又多了一门优质的ML课程，尤其对于华语圈的朋友是学习机器学习的福音。由于本人之前对ML有一定的学习和理解，所以从一个观察者or评论者的角度，来看林老师讲的ML课程，客观的评价是，讲的非常清楚，没有国内大学ML相关课程的照本宣科，问题的引入、算法的描述以及推理都很清楚，非常值得好好学习，不管是刚接触ML的朋友，还是有一定ML经验的朋友。

本次Machine Learning Foundations课程主要沿着四个大问题构成的主线来阐述机器学习的，四个大问题分别是：① 何时机器能够学习？② 机器为什么能够学习？③ 机器该如何去学？④ 怎样能让机器学的更好？

第二讲：Learning to Answer Yes/No

本讲主要是使用感知机学习算法(PLA)来解决信用卡是否发放问题？一个典型的Binary Classification问题。

1. Perceptron分类器的构成

就信用卡二分类问题，输入x是用户的特征，用向量表示，x=(x1, x2, ..., xd)

输出y:{+1(approve)， -1(deny)}

如何计算？ compute a weighted 'score' 使之满足：① approve credit if ∑w'x > threshold; ② deny credit if ∑w'x < threshold;

计算公式：h(x) = sign((∑w'x) - threshold); 其中sign()是符号函数, h是由参数向量w和阈值threshold来确定，不同的w和threshold有不同的h，因此h构成了Perceptron Hypothesis Set。

将计算公式写成向量形式，其中x0=1，最后可写成h(x) = sign(w'x), 每一个w决定了一个假设h。

2. Perceptron如何从H中选择g

课程中举了一个特征向量是二维的例子, 分类器是h(x) = sign(w0 + w1x1 + w2x2), 假设线性可分；

perceptron <==> linear(binary) classifiers

H是所有可能的perceptron, 因为线性可分，每一个perceptron是对应一个lines或者hyperplane，由w确定。

我们想让g≈f(ideal unknown formula), 那我们能做的是至少在已有的data中，使得g≈f，理想的g(xi) = f(xi) = yi;

我们知道假设空间H中的假设有无数个，我们该如何找到一个假设g能更好的接近f，即更好的拟合数据，那不妨先初始化一个g0, 然后在data中去修正g0犯的错误。

3. Perceptron Learning Algorithm

学习的过程就是训练参数w的过程，最终使得w对应的lines/hyperplane能将两类数据分开。

首先初始化w0, 然后循环以下两步，直到no more mistakes

① 寻找w(t)分类错误的点(xi(t), yi(t)), 满足 sign(w(t)' * xi(t)) != yi(t)

② 尝试着修正错误，通过w(t+1) <--- w(t) + yi(t) * xi(t);

4. 关于PLA的一些问题

(1). 学习算法真的可以停止吗？(2). 在data内，g约等于f可能实现，那data之外的数据该如何判定？

解决以上问题，PLA必须要满足的条件是，data必须线性可分(linear separable)，唯有如此，算法才有可能halt。

但是假设data线性可分，PLA可否保证总能halt？yes

课程中通过引入w(f)来证明了算法的收敛性(再此略)，并给出了循环次数T的解法

5. 关于更多的PLA

之前PLA需保证线性可分且能纠正错误。

但是关于数据不能事先判定其一定线性可分啊；同时无法确定何时算法结束。

另外之前假设数据无噪声，但实际中用的都是noisy data, 

因此改变之前的学习算法，容忍Noise的出现，确保其犯错的可能性降到最低，how to do？

w(g) <---- argmin ∑ [y(i) != sign(w'x(i))]