pytorch实现线性回归总结

练习pytorch，记录自己的理解，好记性不如烂笔头！

第一步：生成数据集：

num_inputs = 2

num_examples = 1000

true_w = [2, -3.4]

true_b = 4.2

features = torch.tensor(np.random.normal(0, 1, (num_examples, num_inputs)), dtype=torch.float)

labels = true_w[0] * features[:, 0] + true_w[1] * features[:, 1] + true_b

labels += torch.tensor(np.random.normal(0, 0.01, size=labels.size()), dtype=torch.float)

这里的代码就是生成数据，长这个样子

features是一个tensor，它有1000行，每行有2列

labels：也是一个tensor，不要看他这么多，它其实就是1000个数，对应features的一千行

直观图：

第二步：读取数据

import torch.utils.data as Data

batch_size = 10

# 将训练数据的特征和标签组合

dataset = Data.TensorDataset(features, labels)

# 随机读取小批量

data_iter = Data.DataLoader(dataset, batch_size, shuffle=True)：

看一下dataset：<torch.utils.data.dataset.TensorDataset at 0x1cb82700a90>

他是一个对象，指向了一个内存地址。它将我们刚才生成的features和labels组合在一起，主要是用来当作dataloader的读取数据的参数。

 

再来看一下data_iter：<torch.utils.data.dataloader.DataLoader at 0x1cb82700ac8>

它也是一个对象，没有显示的数据，我们主要用它来读取数据。

来看看怎么使用它：

for X, y in data_iter:

    print(X, y)

break

 

输出了两个Tensor，它的样子是这样的：截取了batch_size大小的tensor（10）

第三步：定义模型

class LinearNet(nn.Module):

    def __init__(self, n_feature):

        super(LinearNet, self).__init__()

        self.linear = nn.Linear(n_feature, 1)

    # forward 定义前向传播

    def forward(self, x):

        y = self.linear(x)

        return y



net = LinearNet(num_inputs)

print(net) # 使用print可以打印出网络的结构

很简单的结构，输入两个特征，输出一个特征。

可以通过net.parameters()来查看模型所有的可学习参数，此函数将返回一个生成器。

for param in net.parameters():

print(param)



输出：

Parameter containing:

tensor([[-0.0277,  0.2771]], requires_grad=True)

Parameter containing:

tensor([0.3395], requires_grad=True)

 

这里的参数是随机初始化的，我们在后面可以修改初始化参数。

第四步：初始化模型参数

在使用net前，我们需要初始化模型参数，如线性回归模型中的权重和偏差。均值为0、标准差为0.01的正态分布。偏差会初始化为零。

 

这里这么设置其实也是随机，深度学习称为调参运动就是因为初始化的参数会影响最终的结果，而最好的初始化参数没有一个很好的确定方法。

from torch.nn import init

init.normal_(net.linear.weight, mean=0, std=0.01)

init.constant_(net.linear.bias, val=0)

第五步：定义损失函数

loss = nn.MSELoss()

这里的损失函数用来计算损失，梯度下降法需要下降的东西就是它。

 

第六步：定义优化算法

这里的优化算法就是优化参数，就是优化我们上面定义的初始化参数。

import torch.optim as optim

optimizer = optim.SGD(net.parameters(), lr=0.03)

print(optimizer)

输出：

SGD (

Parameter Group 0

    dampening: 0

    lr: 0.03

    momentum: 0

    nesterov: False

    weight_decay: 0

)

第七步：训练模型

num_epochs = 3

for epoch in range(1, num_epochs + 1):

for X, y in data_iter:

       # 使用模型，输入参数，得到输出结果

        output = net(X)

               # 使用损失函数计算出损失

        l = loss(output, y.view(-1, 1))

        optimizer.zero_grad() # 梯度清零，等价于net.zero_grad()

               # 反向传播

        l.backward()

               # 优化参数

        optimizer.step()

print('epoch %d, loss: %f' % (epoch, l.item()))

输出：

epoch 1, loss: 0.000457

epoch 2, loss: 0.000081

epoch 3, loss: 0.000198

下面我们分别比较学到的模型参数和真实的模型参数。我们从net获得需要的层，并访问其权重（weight）和偏差（bias）。学到的参数和真实的参数很接近。

dense = net[0]

print(true_w, dense.weight)

print(true_b, dense.bias)

 

[2, -3.4] tensor([[ 1.9999, -3.4005]])

4.2 tensor([4.2011])

 

原文链接：https://tangshusen.me/Dive-into-DL-PyTorch/#/chapter03_DL-basics/3.3_linear-regression-pytorch