机器学习之线性回归

关于线性回归的更多内容：Linear Models

一 线性回归简介

1.1 定义

回归方程(函数)对一个或多个自变量(特征值)和因变量(目标值)之间关系

公式：

1.2 线性回归分类

线性关系{ 单变量线性关系，多变量线性关系 }

非线性关系

二 损失函数及优化方法

2.1 损失函数（最小二乘法）

h(x)为预测值，y为真实值，预测值减去真实值的平方求和

J(w)越小越好，越接近真实值

2.2 正规方程优化算法

（1）公式

（2）推导过程

h(x) = Xw-y，求解最小w，对上述公式求导：

2.3 梯度下降优化算法

（1）梯度定义

单变量的函数中，梯度其实就是函数的微分，代表着函数在某个给定点的切线的斜率

在多变量函数中，梯度是一个向量，向量有方向，梯度的方向就指出了函数在给定点的上升最快的方向

（2）梯度下降公式

参数：
α：学习率或者步长，α不能太大也不能太小，太小的话，找到最低点的时间太长，太大的话，会导致错过最低点
负号：梯度方向是上升最快方向,负号就是下降最快方向

小结：
正规方程：LinearRegression(不能解决拟合问题)
开发中，我们使用梯度下降法更多

2.4 一些梯度下降算法

（1）全梯度下降算法(FG)

在更新参数时使用所有的样本来进行更新。

（2）随机梯度下降算法(SG)

每次只代入计算一个样本目标函数的梯度来更新权重，再取下一个样本重复此过程

（3）小批量梯度下降算法(mini-batch)

每次从训练样本集上随机抽取一个小样本集

（4）随机平均梯度下降算法(SAG)

在内存中为每一个样本都维护一个旧的梯度，随机选择第i个样本来更新此样本的梯度，其他样本的梯度保持不变，然后求得所有梯度的平均值

三 线性回归API

3.1 正规方程

sklearn.linear_model.LinearRegression(fit_intercept=True)

参数
fit_intercept：是否计算偏置

属性
LinearRegression.coef_：回归系数
LinearRegression.intercept_：偏置

回归系数和偏置：
y = kx + b
其中k是回归系数，b是偏置

3.2 梯度下降

sklearn.linear_model.SGDRegressor(loss=“squared_loss”, fit_intercept=True, learning_rate =‘invscaling’, eta0=0.01)

参数
loss:损失类型，”squared_loss”: 普通最小二乘法
fit_intercept：是否计算偏置
learning_rate : 学习率α
‘constant’: 常数
‘optimal’: 学习率会随着迭代次数的增加发生改变
‘invscaling’: 学习率会随着迭代次数的增加发生改变

属性：
SGDRegressor.coef_：回归系数
SGDRegressor.intercept_：偏置

四 线性回归模型评估

均方误差(Mean Squared Error)MSE)评价：

sklearn.metrics.mean_squared_error(y_true, y_pred)

参数：
y_true:真实值
y_pred:预测值
返回值：
均方误差：MSE

from sklearn.metrics import mean_squared_error
# 5.模型评估
# 5.1 获取预测值和属性
y_predict = estimator.predict(x_test)
estimator.coef_
estimator.intercept_
# 5.2 评价
# 均方误差
error = mean_squared_error(y_test, y_predict)
# 注意：使用梯度下降法时，设置max_iter=1000
estimator = SGDRegressor(max_iter=1000)

五 过拟合和欠拟合

5.1 过拟合

训练集上表现好，测试集上表现不好

解决方法：
1）添加其他特征项
2）添加多项式特征，如添加二次项或者三次项使模型泛化能力更强

5.2 欠拟合

训练集和测试集上都表现不好

解决方法：
1）重新清洗数据
2）增大数据的训练量
3）正则化
4）减少特征维度

5.3 正则化

正则化：在算法学习时尽量减少高次项特征的影响

L1正则化：

可以使得其中一些W的值直接为0，删除这个特征的影响
代表：LASSO回归

L2正则化

可以使得其中一些W的都很小，都接近于0，削弱某个特征的影响
代表：Ridge回归（岭回归）

（1）岭回归—Ridge回归

损失函数：
增加一项惩罚力度

**岭回归的API

sklearn.linear_model.Ridge(alpha=1.0, fit_intercept=True,solver=“auto”, normalize=False)

L2正则化
参数：
alpha：正则化力度，也叫 λ，λ取值：0-1，1-10
solver：根据数据自动选择优化方法，一般是SAG(随机平均梯度下降算法)
normalize:数据是否进行标准化
normalize=True，在fit之前自动调用preprocessing.StandardScaler标准化数据

属性：
Ridge.coef_:回归权重
Ridge.intercept_:回归偏置

from sklearn.linear_model import Ridge
# 4.机器学习-线性回归(岭回归)
estimator = Ridge(alpha=1)

sklearn.linear_model.RidgeCV(_BaseRidgeCV, RegressorMixin)

可以进行交叉验证

# 交叉验证
estimator = RidgeCV(alphas=(0.1, 1, 10))

（2）Lasso 回归

损失函数：增加ℓ1范数。

from sklearn.linear_model import Lasso

（3）弹性网络—Elastic Net

对岭回归和Lasso回归中进行了折中

from sklearn.linear_model import ElasticNet

使用小结：
岭回归 > 弹性网络（针对少部分特征数据） > Lasso回归

六 模型保存和加载

from sklearn.externals import joblib

保存：joblib.dump(estimator, ‘test.pkl’)
加载：estimator = joblib.load(‘test.pkl’)
注意：
1）保存文件的后缀名是.pkl
2）当模型的训练量非常大时，可以通过模型保存分批训练

# 4.1 模型训练
estimator = Ridge(alpha=1)
estimator.fit(x_train, y_train)

#  4.2 先进行模型训练，再保存模型
joblib.dump(estimator, "./data/test.pkl")

# 模型加载，通过estimator变量来承接
estimator = joblib.load("./data/test.pkl")

补充

1. |x|为什么在0处不可导？
   函数 y=│x│是连续函数
   当x>0，sign(x)=1;
   当x=0，sign(x)=0;
   当x<0， sign(x)=-1
   在x= 0点处，其左导数为 lim[f(0+△x)-f(0)]/△x=[0-△x-0]/△x= -△x/△x=-1
   其右导数为 lim[f(0+△x)-f(0)]/△x=(0+△x-0)/△x= △x/△x=1
   在 x=0 处左右导数并不相等，所以 y=│x│在 x=0 处不可导

2. 什么是sign()函数
   sign(x)叫做符号函数，其作用是取某个数的正负号，如y=│x│
   当x>0，sign(x)=1;
   当x=0，sign(x)=0;
   当x<0， sign(x)=-1

3. Lasso 回归，由于绝对值在顶点处不可导，所以进行计算的过程中产生很多0，为什么？？？

转自：L1正则化引起稀疏解的多种解释
其中一篇比较简单的， 转自：L1正则为什么更容易获得稀疏解

5. 泛化误差和经验误差
   经验误差（empirical error）：也叫训练误差，模型在训练集上的误差。

泛化误差（generalization error）：模型在新样本（测试集）上的误差。