onnx优化推理过程

最新推荐文章于 2025-03-06 00:05:06 发布

唐僧爱吃唐僧肉

最新推荐文章于 2025-03-06 00:05:06 发布

阅读量1.9k

点赞数 1

分类专栏： onnx accelerate

本文链接：https://blog.csdn.net/znevegiveup1/article/details/119515055

版权

首先表明onnx是优化的推理过程，而不是训练过程，也就是使用cpu计算的过程
1.将对应的模型结构导出保存

model = torch.load(model_path).to(torch.device("cuda"))
model.eval()
if length == 32:
    data = [[[2, 16, 2874, 20, 3, 16, 36, 130, 5605, 458, 20, 3,
              0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0,
              0, 0, 0, 0, 0, 0, 0, 0]],
            [[1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0,
              0, 0, 0, 0, 0, 0, 0, 0]],
            [[0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0,
              0, 0, 0, 0, 0, 0, 0, 0]]]

else:
    data = [[[2, 16, 2874, 20, 3, 16, 36, 130, 5605, 458, 2