https://chenyue.top/2019/05/21/%E5%B7%A5%E7%A8%8B-%E4%BA%94-apex%E6%B7%B7%E5%90%88%E7%B2%BE%E5%BA%A6%E5%8A%A0%E9%80%9F/
百度 Apex混合精度加速 - 陈勺子的博客 | ShaoZi’s Blog可找到具体的使用方法
github 开源地址:https://github.com/NVIDIA/apex ,
文档地址是:https://nvidia.github.io/apex/index.html
该工具提供了三个功能,amp、parallel和normalization。由于目前该工具还是0.1版本,功能还是很基础的,在最后一个normalization功能中只提供了LayerNorm层的复现,实际上在后续的使用过程中会发现,出现问题最多的是pytorch的BN层。
第二个工具是pytorch的分布式训练的复现,在文档中描述的是和pytorch中的实现等价,在代码中可以选择任意一个使用,实际使用过程中发现,在使用混合精度训练时,使用Apex复现的parallel工具,能避免一些bug。
Apex混合精度加速 Pytorch
最新推荐文章于 2024-06-03 14:30:52 发布