逻辑回归

逻辑回归

1. 逻辑回归的梯度下降法推导

2. 逻辑回归目标函数为凸函数

训练数据 D = { ( x 1 , y 1 ) , ⋯   , ( x n , y n ) } D = \{ (\mathbf{x}_{1}, y_{1}), \cdots, (\mathbf{x}_{n}, y_{n}) \} D={ (x1​,y1​),⋯,(xn​,yn​)}，其中$({\mathbf{x}}_i,y_i)$表示 一条样本，${\mathbf{x}}_i\in {\mathbb{R}}^D$为$D$维样本特征（feature）， y i ∈ { 0 , 1 } y_{i} \in \{ 0, 1\} yi​∈{ 0,1}表示样本标签（label）。

逻辑回归模型的参数为$(\mathbf{w},b)$。为推导方便，通常将$b$整合到$\mathbf{w}$中，此时，$\mathbf{w}$和${\mathbf{x}}_i$分别改写为

$$\mathbf{w}=[w_0,w_1,\cdots ,w_D],{\mathbf{x}}_i=[1,x_1,\cdots ,x_D]$$

1 逻辑回归的目标函数

目标函数（objective function），也称为损失函数（loss function），记为$\mathcal{L}(\mathbf{w})$。

二分类问题模型

$$p(y|\mathbf{x};\mathbf{w})=p(y=1|\mathbf{x};\mathbf{w}{)}^y[1-p(y=1|\mathbf{x};\mathbf{w}){]}^{1-y}\text{\hspace{1em}(1)}$$

最大似然估计（MLE）

w ∗ = arg ⁡ max ⁡ w p ( y ∣ x ; w ) = arg ⁡ max ⁡ w ∏ i = 1 n p ( y i ∣ x i ; w ) = arg ⁡ max ⁡ w log ⁡ [ ∏ i = 1 n p ( y i ∣ x i ; w ) ] = arg ⁡ max ⁡ w ∑ i = 1 n log ⁡ [ p ( y i ∣ x i ; w ) ] = arg ⁡ max ⁡ w ∑ i = 1 n log ⁡ [ p ( y i = 1 ∣ x i ; w ) y i [ 1 − p ( y i = 1 ∣ x i ; w ) ] 1 − y i ] = arg ⁡ max ⁡ w ∑ i = 1 n [ y i log ⁡ p ( y i = 1 ∣ x i ; w ) + ( 1 − y i ) log ⁡ [ 1 − p ( y i = 1 ∣ x i ; w ) ] ] (2) \begin{aligned} \mathbf{w}^{\ast} & = \arg \max_{\mathbf{w}} p(\mathbf{y} | \mathbf{x}; \mathbf{w} ) \\ & = \arg \max_{\mathbf{w}} \prod_{i = 1}^{n} p(y_{i} | \mathbf{x}_{i}; \mathbf{w} ) \\ & = \arg \max_{\mathbf{w}} \log \left[ \prod_{i = 1}^{n} p(y_{i} | \mathbf{x}_{i}; \mathbf{w} ) \right] \\ & = \arg \max_{\mathbf{w}} \sum_{i = 1}^{n} \log \left[ p(y_{i} | \mathbf{x}_{i}; \mathbf{w} ) \right] \\ & = \arg \max_{\mathbf{w}} \sum_{i = 1}^{n} \log \left[ p(y_{i} = 1 | \mathbf{x}_{i}; \mathbf{w})^{y_{i}} [1 - p(y_{i} = 1 | \mathbf{x}_{i}; \mathbf{w})]^{1 - y_{i}} \right] \\ & = \arg \max_{\mathbf{w}} \sum_{i = 1}^{n} \left[ y_{i} \log p(y_{i} = 1 | \mathbf{x}_{i}; \mathbf{w}) + (1 - y_{i}) \log [1 - p(y_{i} = 1 | \mathbf{x}_{i}; \mathbf{w})] \right] \\ \end{aligned} \tag {2} w∗​=argwmax​p(y∣x;w)=argwmax​i=1∏n​p(yi​∣xi​;w)=argwmax​log[i=1∏n​p(y