机器学习中线性回归的一些知识

许多功能更为强大的非线性模型(nonlinear model) 可在线性模型的基础上 通过引入层级结构或高维映射而得

线性回归试图学得

在线性回归中，最小二乘法就是试图 找到一条直线，使所有样本到直线上的欧氏距离之和最小.

对数几率回归它不是仅预测出"类别"，而是可得到近似概率预测，这对许多需利用概 率辅助决策的任务很有用

线性判另IJ 分析(Linear Discriminant nalys ，是一种简称 LDA 经典的线，LDA 的思想非常朴素: 给定训练样 法将样例投影到一条 使得同 样例的投影点尽可能接近、 异类样例 投影点 能远离

可以将 LDA 推广到多分类任务中

多分类学习的基本思路是 "拆解法飞即将多分类任务拆为若干个二分类任务求解，具体来说，先对问题 进行拆分，然后为拆出的每个二分类任务训练一个分类器，最经典的拆分策略有三种. "一对一" (One vs. One ，简称 OvO) "一对 其余" (One vs. Rest ，简称 OvR) 和"多对多" (Many vs. Ma町，简称 MvM).OvO的存储开销和测试时间开销通常比 OvR 更大。但在训练时， OvR 的每个分类器均使用全部训练样例，而 OvO 的每个分类器仅用到两个类 的样例，因此，在类别很多时， OvO 的训练时间开销通常比 OvR 更小 至于预 测性能 则取决于具体的数据分布， 在多数情形下两者差不多.MvM 是每次将若干个类作为正类，若干个其他类作为反类.显然， OvO OvR MvM 的特例。

        类别不平衡就是指分类任务中不同类别的训练样例数 目差别很大的情况.我们未必能有效 地基于训练集观测几率来推断出真实几率，为了解决类别不平衡，现有技术大体上有三类做法:第 一类是直接对训练集里的反类样例进行"欠采样" (undersampling) ，即去除 一些反倒使得正、反例数日接近 然后再进行学习;第二类是对训练集里的 正类样例进行"过采样" (oversampling) ，即增加一些正例使得正、反例数目 接近，然后再进行学习;第三类则是直接基于原始训练集进行学习，欠采样法的时间开销通常远小于过来样沽，因为前者丢弃了很多反例，使 得分类器训练集远小子初始训练集，而过来样法增加了很多正例，其训练集 大于初始训练集。