Machine Learning Foundations_PLA

第二课中论证了目标问题是线性可分的前提下，PLA更新策略是有效的：即寻优的更新次数是一个常数使寻得直线‘完美’。
Conclusion：Start from $W_0=0$ , after T mistake corrections,then we get:

$$\frac{W^T_f*W_T}{||W_f||*||W_T||}\ge\sqrt{T}*constant$$
接下来求该常数：tutorial中详细推出两个已知条件： $$W_f^TW_{t+1}\ge W_f^TW_t+min_{n} y_nW_f^Tx_n . (1)$$
$$||W_{t+1}||^2\le ||W_t||^2+max_n||y_nx_n||^2.(2)$$
由(1)式得： $$W_f^TW_{T}\ge T*min_ny_nW_f^Tx_n.(3)$$

由(2)式得：

$$||W_T||^2\le T*max_n||y_nx_n||^2.$$ 即：
$$||W_T||\le \sqrt{T}*max_n||x_n||.(4)$$
将(3)式左侧向量全部化为单位向量即：
$$\frac{W^T_f*W_T}{||W_f||*||W_T||}\ge\frac {T*min_ny_nW_f^Tx_n}{||W_f||*||W_T||}.(5)$$
将(4)式带入(5)式得：
$$\frac{W^T_f*W_T}{||W_f||*||W_T||}\ge\frac {T*min_ny_nW_f^Tx_n}{||W_f||*||W_T||}\ge \frac {\sqrt{T}*min_ny_nW_f^Tx_n}{max_n||x_n||*||W_f||}.(6)$$
又因为 $$\frac{W^T_f*W_T}{||W_f||*||W_T||}\le 1$$
所以 $$\frac {\sqrt{T}*min_ny_nW_f^Tx_n}{max_n||x_n||*||W_f||}\le1$$
即： $$constant=\frac {min_ny_nW_f^Tx_n}{max_n||x_n||*||W_f||}.$$