zura_的博客

原创 解决gpu训练中因使用append导致显存爆炸的问题

结合我的代码分析了下，于是试着输出了这个 d，发现 d 是一个位于cuda的带梯度 tensor，说明 d 被算到计算图之中，导致计算图被重复调用来占用显存。因在训练循环中使用.append()列表方法统计图片的 L2 距离，导致显存不断堆叠最终导致显存爆炸。这之后输出 d 发现不再带梯度了，说明其脱离了计算图独立出来了，显存自然也不再继续堆叠了。上网查了下原因，最终分析可能是由于某些函数不断地重复调用gpu中的某个数据导致的。在 d 后面加上 .detach() 使其脱离计算图就好了。