Apex安装、使用以及遇到的错误

Linux系统

1.安装流程（按顺序使用如下命令）

git clone https://github.com/NVIDIA/apex

cd apex

pip install -v --no-cache-dir ./

注意：不能直接使用pip install apex来安装

2. 使用方法

只需要在原模型训练的代码中修改三处

（1）添加 from apex import amp；

（2）在定义完model和optimizer后，添加 model, optimizer = amp.initialize(model, optimizer, opt_level="O1")；注意是字母O

（3）在模型训练部分代码中，注释掉 loss.backward()，使用如下代码来替换：

with amp.scale_loss(loss, optimizer) as scaled_loss:
       scaled_loss.backward()

 

3. 遇到过的问题

但是实际上在单卡运行程序的时候，貌似这个warning并没有产生什么影响