Pytorch学习07（补充）——数字识别实战训练技巧

1、激活函数ReLU的改进

1.1 leakyReLU

• 对于relu的一个进阶版
• 小于0的时候不再是0，而是一个与x轴夹角非常小的直线
  

1.2 SELU

1.3 softplus

2、GPU的使用

• device = torch.device(‘cuda: 0’)
• net = xxx.to(device)

3、test

• 为了防止过拟合，训练的过程要进行test
• 取最大值的序号的操作，称为argmax
• test频率可以每几个epoch或每几个batch，看实际情况

4、Visdom可视化

4.1 第一种可视化工具

• pip install tensorboardX

4.2 第二种可视化工具visdom

• 安装：pip install visdom
• 开启：python -m visdom.server
  相当于开启一个服务器，然后将自己的数据丢给它，服务器把数据渲染成各种图片
  完整安装过程

功能1：画曲线
from visdom import Visdom
viz = Visdom()
viz.line([0.], [0.], win='train_loss', opts=dict(title='train loss'))
//前两个参数设置初始的y、x的值
//win指window，即开辟一个窗口
viz.line([loss.item()], [global_step], win='train_loss', update='append')
//loss原为tensor，需要.item()转换为numpy类型才能画图
//append意思是不断加入新的数据绘制曲线

功能2：看图片
以数字识别为例
from visdom import Visdom
viz = Visdom()
viz.images(data.view(-1,1,28,28), win='x')
viz.text(str(pred.detach().cpu().numpy()), win='pred', opts=dict(title='pred'))

5、激活函数与损失函数的调用

两种方式（以relu的使用为例）：
（1）使用F调用的是function-style API，可以直接传入参数
	x = F.relu(x, inplace=True)
（2）使用nn调用的是class-style API，需要先实例化
	layer = nn.ReLU()
	x = layer(x)