【python教程入门学习】线性回归算法详解

本节我们会认识第一个机器学习算法 —— 线性回归算法（Linear Regression），它是机器学习算法中较为简单，且容易理解的算法模型，你可以把它看做您的第一个“Hello World”程序。

我们先从语义上了解“线性回归”，如果您是第一次接触“线性回归”这个词，那么可以把它分开来看，其中“性代”表线性模型，而“回归”则表示回归问题，也就是用线性模型来解决回归问题。看完上述解释，您脑子中可能仍有许多“问号”，线性还可以理解，比如我们所熟知的直线、曲线、线性方程等，那么“回归”又代表什么呢？

其实“回归”一词最早由英国科学家弗朗西斯·高尔顿提出。1875 年，高尔顿利用子代豌豆与父代豌来确定豌豆尺寸的遗传规律。实验的大意是说：非常矮小的的父辈倾向于有偏高的子代，非常高大的的父辈倾向于有偏矮的子代。。这表明子代的身高向着父辈身高的平均值回退，后来人们把这种研究方法称为“回归预测”。

线性回归是什么

线性回归主要用来解决回归问题，也就是预测连续值的问题。而能满足这样要求的数学模型被称为“回归模型”。最简单的线性回归模型是我们所熟知的一次函数（即 y=kx+b），这种线性函数描述了两个变量之间的关系，其函数图像是一条连续的直线。如下图蓝色直线：

图1：线性连续函数

还有另外一种回归模型，也就是非线性模型(nonlinear model)，它指因变量与自变量之间的关系不能表示为线性