1、激活函数ReLU的改进
1.1 leakyReLU
- 对于relu的一个进阶版
- 小于0的时候不再是0,而是一个与x轴夹角非常小的直线
1.2 SELU
1.3 softplus
2、GPU的使用
- device = torch.device(‘cuda: 0’)
- net = xxx.to(device)
3、test
- 为了防止过拟合,训练的过程要进行test
- 取最大值的序号的操作,称为argmax
- test频率可以每几个epoch或每几个batch,看实际情况
4、Visdom可视化
4.1 第一种可视化工具
- pip install tensorboardX
4.2 第二种可视化工具visdom
- 安装:pip install visdom
- 开启:python -m visdom.server
相当于开启一个服务器,然后将自己的数据丢给它,服务器把数据渲染成各种图片
完整安装过程
功能1:画曲线
from visdom import Visdom
viz = Visdom()
viz.line([0.], [0.], win='train_loss', opts=dict(title='train loss'))
//前两个参数设置初始的y、x的值
//win指window,即开辟一个窗口
viz.line([loss.item()], [global_step], win='train_loss', update='append')
//loss原为tensor,需要.item()转换为numpy类型才能画图
//append意思是不断加入新的数据绘制曲线
功能2:看图片
以数字识别为例
from visdom import Visdom
viz = Visdom()
viz.images(data.view(-1,1,28,28), win='x')
viz.text(str(pred.detach().cpu().numpy()), win='pred', opts=dict(title='pred'))
5、激活函数与损失函数的调用
两种方式(以relu的使用为例):
(1)使用F调用的是function-style API,可以直接传入参数
x = F.relu(x, inplace=True)
(2)使用nn调用的是class-style API,需要先实例化
layer = nn.ReLU()
x = layer(x)