解决gpu训练中因使用append导致显存爆炸的问题

---

问题描述

因在训练循环中使用.append()列表方法统计图片的 L2 距离，导致显存不断堆叠最终导致显存爆炸。

d = torch.dist(image * 0.1772 + 0.2411, tur_image * 0.1772 + 0.2411, p=2)
dist.append(d)

---

原因分析：

上网查了下原因，最终分析可能是由于某些函数不断地重复调用gpu中的某个数据导致的

结合我的代码分析了下，于是试着输出了这个 d，发现 d 是一个位于cuda的带梯度 tensor，说明 d 被算到计算图之中，导致计算图被重复调用来占用显存

---

解决方案：

在 d 后面加上 .detach() 使其脱离计算图就好了。

d = torch.dist(image * 0.1772 + 0.2411, tur_image * 0.1772 + 0.2411, p=2).detach()
dist.append(d)

这之后输出 d 发现不再带梯度了，说明其脱离了计算图独立出来了，显存自然也不再继续堆叠了

Over~