西瓜书-第三章线性模型

线性回归

适合处理数值问题。
$f(x_i)=w{x}_i+b$使得$f(x_i)$约等于$y_i$
离散属性的处理：若有序order,则连续化；否则需要通过编码，转化为k维向量
求解最优解：对$E_{(a,b)}={\sum }_{i=1}^m(y_i-w{x}_i-b{)}^2$进行最小二乘参数估计，分别对w和b求偏导，令等式为0，即可求出w和b。
解释为何一定是最优解？
因为在导数为0处，要么是局部极大要么局部极小，由于是求偏离的程度$E_{(a,b)}$，它的极大值只会是无穷大，因此在导数为0处，再也不会再小了，就是取得极小的点。

多元线性回归

广义线性模型

对率回归logistic regression

几率：正例的概率/负例的概率

对率回归：针对分类问题，

• 无需实现假设数据分布——没有独立同分布假设
• 可得到“类别”的近似概率预测
• 可直接应用现有的数值优化算法库 求解最优问题

求解步骤

梯度为0是极值点的前提条件是原函数是凸函数，而$(\frac{1}{e^{-(wx+b)}}-y{)}^2$不是一个凸函数，所以不能直接求导，令等式为0.

正确方法是使用极大似然法。求
$maxP(真正例)P(预测正)+P(真负例)P(预测负)$,推导出来的式子是一个高阶可导连续函数，之后通过梯度下降/牛顿法求解梯度等于0的解。

类别不平衡——正负类占总类的比例不一样，不是无偏采样

$\frac{y}{1-y}>1$隐含信息就是$y>1/2$，也就是当类别平衡的时候在[0,1]区间大于1/2就判定为正例，小于1/2就判定为负例。
若采样不平衡，就要采用——再缩放，比如用$\frac{m^{+}}{m^{-}}$替换1/2，就是采用阈值移动的方法
类别不平衡问题中，当小类比大类重要时，需要做特殊处理。