Linux服务器环境下调用pytorch训练好的模型问题

报错“CUDNN_STATUS_NOT_INITIALIZED”

在一个服务器上两GPU显卡块卡，用卡1进行模型训练，用如下代码并保存训练好的模型

torch.save(model, ModelPath)

在测试时使用如下代码调用训练好的模型：

pkl_model = torch.load(ModelPath)
if use_cuda:
  net_loaded = pkl_model.cuda()
if use_cuda:
   data = data.cuda()
predict = net_loaded (data)

但是出现“CUDNN_STATUS_NOT_INITIALIZED”错误。发现模型在卡0上运行时报错（卡0已经被在使用90%），在卡1（卡1空闲）上时正常运行。

猜想：1）由于当显存不够时应该报OOM错误，所以，首先排除了卡1被占用的情况。2）怀疑只能在卡1上进行测试，并且以为torch.save()这种保存网络的模型，必须在同一个卡上应用。3）而用保存网络参数的方法保存训练的网络模型没有出现该错误，所以认为必须仅仅保留网络参数，然后在先加载网络模型，然后再将参数放上去。4）仅仅保留网络参数和当前正确率： save_checkpoint({'state_dict': model.cpu(),'acc': train_accuracy}, save_path=os.path.join(save_dir, "best_eval"+str(epoch+1)+".pkl"))

*****解决方法：最后发现就是因为卡0被占用的缘故，将卡1上的应用停止掉就可以了。