逻辑回归到底是线性的还是非线性的?

转载:https://www.zhihu.com/question/29385169/answer/44177582

谢邀。
逻辑回归的模型引入了sigmoid函数映射,是非线性模型,但本质上又是一个线性回归模型,因为除去sigmoid映射函数关系,其他的步骤,算法都是线性回归的。可以说,逻辑回归,都是以线性回归为理论支持的。
这里讲到的线性,是说模型关于系数\theta一定是线性形式的
z=\theta^Tx=\theta_0x_0+\theta_1x_1+...+\theta_nx_n
加入sigmoid映射后,变成:
h_\theta(x)=g(z)=g(\theta^Tx)=\frac{1}{1+e^{-z}} =\frac{1}{1+e^{-\theta^Tx}}

如果分类平面本身就是线性的,那么逻辑回归关于特征变量x,以及关于系数\theta都是线性的
如果分类平面是非线性的,例如题主提到的x_{1}^{2} +x_2=0,那么逻辑斯蒂回归关于变量x是非线性的,但是关于参数\theta仍然是线性的
z=\theta^Tx'=\theta_0x_0'+\theta_1x_1'+\theta_2x_2'=\theta_0x_0+\theta_1x_{1}^{2} +\theta_2x_2=x_{1}^2+x_2
这里,我们做了一个关于变量x的变换:x_0'=x_0,x_1'=x_1^2,x_2'=x_2

其他非线性超平面一样的道理,我们可以通过变量的变化,最终一定可以化成形如
z=\theta^Tx‘=\theta_0x_0'+\theta_1x_1'+...+\theta_nx_n'的东西,我们把z看做\theta的变量,就是个线性模型。剩下的工作,无非是去构造映射关系x_0'=\phi_0(x_0),x_1'=\phi_1(x_1),...x_n'=\phi_n(x_n)

题主提到了SVM,区别是,SVM如果不用核函数,也得像逻辑回归一样,在映射后的高维空间显示的定义非线性映射函数\phi,而引入了核函数之后,可以在低维空间做完点积计算后,映射到高维

综上,逻辑回归本质上是线性回归模型,关于系数是线性函数,分离平面无论是线性还是非线性的,逻辑回归其实都可以进行分类。对于非线性的,需要自己去定义一个非线性映射。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值