多元线性回归batchsize为N的情况分析

之前介绍了一元线性回归batchsize=1和N的情况，现在我们探讨一下多元线性回归中标签是标量$y$，属性有M个，分别用 { x 1 , ⋯   , x i } i ∈ M \{x_1,\cdots,x_i\} i \in M {x1​,⋯,xi​}i∈M表示，这样参数也是有M个，用$w_1,\cdots ,w_i$表示。具体表示形式如下：
$$y=b+w_1{x}_1+\cdots +w_i{x}_i$$
为了更简洁的用向量表示，将参数$b$看做$w_0$，这样表达式可以写为：
$$\begin{array}{r}y=w_0+w_1{x}_1+\cdots +w_i{x}_i\end{array}$$
可以使用向量表示 w = { w 0 , ⋯   , w i } T \boldsymbol{w}=\{w_0,\cdots,w_i\}^T w={w0​,⋯,wi​}T， x = { 1 , x 1 , ⋯   , x i } T \boldsymbol{x}=\{1,x_1,\cdots,x_i\}^T x={1,x1​,⋯,xi​}T，这样$y={\mathbf{w}}^T\mathbf{x}$。
为了简单起见，我们还是先考虑batchsize为1的情况，这时损失函数$L$使用最小二乘损失表示为：
$$\begin{array}{rl}L& =\frac{1}{2}(y-y^{\ast }{)}^2\\ & =\frac{1}{2}(w_0+w_1{x}_1^{\ast }+\cdots +w_i{x}_i^{\ast }-y^{\ast }{)}^2\end{array}$$
损失函数$L$对$\mathbf{w}$的分量分别求偏导：
$$\frac{\partial L}{\partial w_0}=(w_0+w_1{x}_1^{\ast }+\cdots +w_i{x}_i^{\ast }-y^{\ast })\ast 1$$
$$\frac{\partial L}{\partial w_1}=(w_0+w_1{x}_1^{\ast }+\cdots +w_i{x}_i^{\ast }-y^{\ast })x_1^{\ast }$$
…
$$\frac{\partial L}{\partial w_i}=(w_0+w_1{x}_1^{\ast }+\cdots +w_i{x}_i^{\ast }-y^{\ast })x_i^{\ast }$$
因此损失函数关于$\mathbf{w}$的梯度为：
∇ L = { ∂ L ∂ w 0 , ⋯   , ∂ L ∂ w i } T = ( w T x ∗ − y ∗ ) x ∗ \begin{aligned} \nabla L&=\{\frac{\partial{L}}{\partial{w_0}},\cdots,\frac{\partial{L}}{\partial{w_i}}\}^T\\ &=(\boldsymbol{w}^T\boldsymbol{x}^*-y^*)\boldsymbol{x}^* \end{aligned} ∇L​={∂w0​∂L​,⋯,∂wi​∂L​}T=(wTx∗−y∗)x∗​
设定步长step，参数更新方法如下：
$${\mathbf{w}}_{new}=\mathbf{w}-step\ast \nabla L$$
下面考虑batchsize为N的情况，这时损失函数$L$可表示为：
$$\begin{array}{rl}L& =\sum _{j=1}^N\frac{1}{2}(y^j-y^{j\ast }{)}^2\\ & =\sum _{j=1}^N\frac{1}{2}(w_0+w_1{x}_1^{j\ast }+\cdots +w_i{x}_i^{j\ast }-y^{j\ast }{)}^2\\ & =\sum _{j=1}^N\frac{1}{2}({{\mathbf{x}}^{\ast }}^T\mathbf{w}-y^{j\ast }{)}^2\\ & =\frac{1}{2}(A\mathbf{w}-{\mathbf{y}}^{\ast }{)}^T(A\mathbf{w}-{\mathbf{y}}^{\ast })\end{array}$$

损失函数$L$对$\mathbf{w}$的分量分别求偏导：
$$\begin{array}{rl}\frac{\partial L}{\partial w_0}& =\sum _{j=1}^N(w_0+w_1{x}_1^{j\ast }+\cdots +w_i{x}_i^{j\ast }-y^{j\ast })\ast 1\\ & =\sum _{j=1}^N{w}_0+\sum _{j=1}^N{w}_1{x}_1^{j\ast }+\cdots +\sum _{j=1}^N{w}_i{x}_i^{j\ast }-\sum _{j=1}^N{y}^{j\ast }\\ & =w_0{\mathbf{e}}^T\mathbf{e}+w_1{\mathbf{e}}^T{\mathbf{x}}_1^{\ast }+\cdots +w_i{\mathbf{e}}^T{\mathbf{x}}_{\mathbf{i}}^{\ast }-{\mathbf{e}}^T{\mathbf{y}}^{\ast }\\ & ={\mathbf{e}}^T(w_0\mathbf{e}+w_1{\mathbf{x}}_1^{\ast }+\cdots +w_i{\mathbf{x}}_{\mathbf{i}}^{\ast }-{\mathbf{y}}^{\ast })\\ & ={\mathbf{e}}^T([\mathbf{e},{\mathbf{x}}_1^{\ast },\cdots ,{\mathbf{x}}_{\mathbf{i}}^{\ast }]\mathbf{w}-{\mathbf{y}}^{\ast })\\ & ={\mathbf{e}}^T(A\mathbf{w}-{\mathbf{y}}^{\ast })\end{array}$$
$$\begin{array}{rl}\frac{\partial L}{\partial w_1}& =\sum _{j=1}^N(w_0+w_1{x}_1^{j\ast }+\cdots +w_i{x}_i^{j\ast }-y^{j\ast })x_1^{j\ast }\\ & =\sum _{j=1}^N{w}_0{x}_1^{j\ast }+\sum _{j=1}^N{w}_1{x}_1^{j\ast }{x}_1^{j\ast }+\cdots +\sum _{j=1}^N{w}_i{x}_i^{j\ast }{x}_1^{j\ast }-\sum _{j=1}^N{y}^{j\ast }{x}_1^{j\ast }\\ & =w_0{\mathbf{x}}_1^{\ast \mathbf{T}}\mathbf{e}+w_1{{\mathbf{x}}_1}^{\ast T}{\mathbf{x}}_1^{\ast }+\cdots +w_i{{\mathbf{x}}_1}^{\ast T}{\mathbf{x}}_{\mathbf{i}}^{\ast }-{{\mathbf{x}}_1}^{\ast T}{\mathbf{y}}^{\ast }\\ & ={{\mathbf{x}}_1}^{\ast T}(w_0\mathbf{e}+w_1{\mathbf{x}}_1^{\ast }+\cdots +w_i{\mathbf{x}}_{\mathbf{i}}^{\ast }-{\mathbf{y}}^{\ast })\\ & ={{\mathbf{x}}_1}^{\ast T}([\mathbf{e},{\mathbf{x}}_1^{\ast },\cdots ,{\mathbf{x}}_{\mathbf{i}}^{\ast }]\mathbf{w}-{\mathbf{y}}^{\ast })\\ & ={{\mathbf{x}}_1}^{\ast T}(A\mathbf{w}-{\mathbf{y}}^{\ast })\end{array}$$
同样的方法可求出其他分量的偏导
$$\frac{\partial L}{\partial w_i}={{\mathbf{x}}_{\mathbf{i}}}^{\ast T}(A\mathbf{w}-{\mathbf{y}}^{\ast })$$
其中$A=[\mathbf{e},{\mathbf{x}}_1^{\ast },\cdots ,{\mathbf{x}}_{\mathbf{i}}^{\ast }]$为每批batch的x值矩阵，在第一列增加了一个全1的列。损失函数关于$\mathbf{w}$的梯度为：
∇ L = { ∂ L ∂ w 0 , ⋯   , ∂ L ∂ w i } T = [ e T , x 1 ∗ T , ⋯   , x i ∗ T ] T ( A w − y ∗ ) = A T ( A w − y ∗ ) \begin{aligned} \nabla L&=\{\frac{\partial{L}}{\partial{w_0}},\cdots,\frac{\partial{L}}{\partial{w_i}}\}^T\\ &=[\boldsymbol{e}^T,\boldsymbol{x_1^*}^T,\cdots,\boldsymbol{x_i^*}^T]^T(A\boldsymbol{w}-\boldsymbol{y^*})\\ &=A^T(A\boldsymbol{w}-\boldsymbol{y^*}) \end{aligned} ∇L​={∂w0​∂L​,⋯,∂wi​∂L​}T=[eT,x1∗​T,⋯,xi∗​T]T(Aw−y∗)=AT(Aw−y∗)​
设定步长step，参数更新方法如下：
$${\mathbf{w}}_{new}=\mathbf{w}-step\ast \nabla L$$
使用矩阵和向量形式可以很方便的用numpy实现多元线性回归：

x = np.array([0.1,1.2,2.1,3.8,4.1,5.4,6.2,7.1,8.2,9.3,10.4,11.2,12.3,13.8,14.9,15.5,16.2,17.1,18.5,19.2,0.1,1.2,2.1,3.8,4.1,5.4,6.2,7.1,8.2,9.3,10.4,11.2,12.3,13.8,14.9,15.5,16.2,17.1,18.5,19.2])
y = np.array([5.7,8.8,10.8,11.4,13.1,16.6,17.3,19.4,21.8,23.1,25.1,29.2,29.9,31.8,32.3,36.5,39.1,38.4,44.2,43.4])
x = x.reshape(2,int(len(x)/2)).T
x = np.insert(arr=x,values=[1],obj=0,axis=1)
y = y.reshape(1,len(y)).T

回归过程如下：

# 设定步长
step=0.001
# 存储每轮损失的loss数组
loss_list=[]
# 定义epoch
epoch=500
# 定义batch_size
batch_size=12
# 定义单位列向量e
e=np.ones(batch_size).reshape(batch_size,1)
# 定义参数w和b并初始化
w=np.zeros(3).reshape(3,1)
#梯度下降回归
for i in range(epoch) :
    #计算当前输入x和标签y的索引，由于x和y数组长度一致，因此通过i整除x的长度即可获得当前索引
    index = i % int(len(x)/batch_size)
    # 当前轮次的x列向量值为：
    cx=x[index*batch_size:(index+1)*batch_size]
    # 当前轮次的y列向量值为：
    cy=y[index*batch_size:(index+1)*batch_size]
    # 计算当前loss
    loss_list.append(float(1/2*(cx.dot(w)-cy).T.dot(cx.dot(w)-cy)))
    # 计算参数w的梯度
    grad_w = cx.T.dot(cx.dot(w)-cy)
    # 更新w的值
    w -= step*grad_w
print(loss_list)
plt.plot(loss_list)
plt.show()
print(w)