文章目录
如果这篇文章对你有一点小小的帮助，请给个关注，点个赞喔，我会非常开心的~
0. 前言
逻辑回归，根据数据对分类边界进行回归，以此分类。
y = σ ( w T x + b ) = 1 1 + exp ( − w T x + b ) y=\sigma(w^Tx+b)=\frac{1}{1+\exp(-w^Tx+b)} y=σ(wTx+b)=1+exp(−wTx+b)1
逻辑回归不仅仅输出类别，而且得到了近似概率的预测。
sigmoid图像表示如下（图源：机器学习）：
1. 逻辑回归参数求解方法
使用极大对数似然定义代价函数：
J
=
−
1
m
∑
i
=
1
m
(
y
(
i
)
log
y
^
(
i
)
+
(
1
−
y
(
i
)
)
log
(
1
−
y
^
(
i
)
)
)
J=-\frac{1}{m}\sum_{i=1}^m(y^{(i)}\log\hat{y}^{(i)}+(1-y^{(i)})\log(1-\hat{y}^{(i)}))
J=−m1i=1∑m(y(i)logy^(i)+(1−y(i))log(1−y^(i)))
使用梯度下降对其更新：
w
j
=
w
j
−
α
1
m
∑
i
=
1
m
(
y
^
(
i
)
−
y
(
i
)
)
x
j
(
i
)
w_j=w_j-\alpha\frac{1}{m}\sum_{i=1}^m(\hat{y}^{(i)}-y^{(i)})x_j^{(i)}
wj=wj−αm1i=1∑m(y^(i)−y(i))xj(i)
若样本集太大，则可采用随机梯度下降。
遇到过拟合问题，同样可以使用正则化。
如果这篇文章对你有一点小小的帮助，请给个关注，点个赞喔，我会非常开心的~
2058
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
