逻辑回归到底是线性的还是非线性的？

最新推荐文章于 2024-09-18 14:39:54 发布

zxyhhjs2017

最新推荐文章于 2024-09-18 14:39:54 发布

阅读量2.2w

点赞数 9

分类专栏：机器学习

机器学习专栏收录该内容

27 篇文章 1 订阅

订阅专栏

转载：https://www.zhihu.com/question/29385169/answer/44177582

谢邀。
逻辑回归的模型引入了sigmoid函数映射，是非线性模型，但本质上又是一个线性回归模型，因为除去sigmoid映射函数关系，其他的步骤，算法都是线性回归的。可以说，逻辑回归，都是以线性回归为理论支持的。
这里讲到的线性，是说模型关于系数 $\theta$ 一定是线性形式的
$z=\theta^Tx=\theta_0x_0+\theta_1x_1+...+\theta_nx_n$
加入sigmoid映射后，变成：
$h_\theta(x)=g(z)=g(\theta^Tx)=\frac{1}{1+e^{-z}} =\frac{1}{1+e^{-\theta^Tx}}$

如果分类平面本身就是线性的，那么逻辑回归关于特征变量x，以及关于系数 $\theta$ 都是线性的
如果分类平面是非线性的，例如题主提到的 $x_{1}^{2} +x_2=0$ ，那么逻辑斯蒂回归关于变量x是非线性的，但是关于参数 $\theta$ 仍然是线性的
$z=\theta^Tx'=\theta_0x_0'+\theta_1x_1'+\theta_2x_2'=\theta_0x_0+\theta_1x_{1}^{2} +\theta_2x_2=x_{1}^2+x_2$
这里，我们做了一个关于变量x的变换： x_0'=x_0,x_1'=x_1^2,x_2'=x_2

其他非线性超平面一样的道理，我们可以通过变量的变化，最终一定可以化成形如
$z=\theta^Tx‘=\theta_0x_0'+\theta_1x_1'+...+\theta_nx_n'$ 的东西，我们把z看做 $\theta$ 的变量，就是个线性模型。剩下的工作，无非是去构造映射关系 $x_0'=\phi_0(x_0),x_1'=\phi_1(x_1),...x_n'=\phi_n(x_n)$