Pytorch转Onnx转TensorRT踩坑记

最新推荐文章于 2024-05-14 20:58:16 发布
最新推荐文章于 2024-05-14 20:58:16 发布
阅读量7.7k 收藏 3
点赞数 1
分类专栏： 边缘计算 深度学习 文章标签： PyTorch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zt1091574181/article/details/99450436
版权

转换Onnx过程中：

PyTorch v1.0.1  Reshape不支持报错 

源码安装PyTorch v1.0.1 caffe2报错

PyTorch v1.2.0 需要升级cuda10.0以上

PyTorch v1.1.0报错：

RuntimeError: Failed to export an ONNX attribute, since it's not constant, please try to make things (e.g., kernel size) static if possible

解决办法，按照如下方式修改：

https://github.com/pytorch/pytorch/commit/11845cf2440c1abb0cb117bcee9532b26573e9c9

即可成功

TensorRT解析onnx失败，Failing to parse onnx file generated by pytorch

解决办法，按照如下方式修改：

https://devtalk.nvidia.com/default/topic/1055172/tensorrt/failing-to-parse-onnx-file-generated-by-pytorch/

修改完成之后，还有问题，是其中的Gather算子的问题，PyTorch官方没有考虑asix=0的情况

幸福回头
关注
  • 1
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Unsupported format or combination of formats) Failed to parse onnx model
jacke121的专栏
02-15 5048
Unsupported format or combination of formats) Failed to parse onnx model
tensorflow2.4导出模型转化为onnx模型后，通过tensorrt转化engine模型报错处理
yyc1820252161的博客
04-26 1389
从.pb模型转onnx模型，再到engine模型转化，debug处理
【深度学习】Pytorch模型转成Onnx
最新发布
Dong_ZH的博客
05-14 636
工作时需要将模型转成onnx使用triton加载，记录将pytorch模型转成onnx的过程。
onnx-＞trt路线遇见的坑
爱CV
03-16 1597
1. 多卡训练的模型单卡测试； 参考：#https://www.cnblogs.com/wildkid1024/p/13025352.html # kwargs={'map_location':lambda storage, loc: storage.cuda(gpu_id)} def load_GPUS(model,model_path): state_dict = torch.load(model_path,) # create new OrderedDict that doe.
详解Unsupported format or combination of formats) Failed to parse onnx model
牛肉胡辣汤
01-19 818
在使用ONNX模型时，解析错误是常见的问题之一。本篇技术博客文章详细介绍了"Unsupported format or combination of formats"解析错误的原因和解决方法。希望通过本文的解释和建议，您能够避免或解决这类错误，并顺利地加载和解析您的ONNX模型。
cv2.dnn读取模型报错原因归纳
zicai_jiayou的博客
01-04 7929
问题1：读取onnx出现报错“error: (-210:Unsupported format or combination of formats) Failed to parse onnx model in function 'ONNXImporter'” 出现这个原因网上有挺多种解答，但是首先先检查onnx文件路径是否填写正确。 问题2：读取onnx出现报错“error: (-2:Unspecified error) Can't create layer "317" of type "Clip".
TensorRT 5/6/7 加载onnx模型
qq_23116521的博客
07-27 5740
TensorRT5/6加载并转换onnx: def onnx_2_trt(onnx_model_name,trt_model_name): with trt.Builder(G_LOGGER) as builder, builder.create_network() as network, trt.OnnxParser(network, G_LOGGER) as parser: builder.max_batch_size = 1024 builder.
Pytorch模型转TensorRT踩坑
weixin_44749835的博客
10-12 1195
博主使用mmclassification项目来训练道路标志识别模型，并且使用官方代码中的pytorch2onnx以及onnx2tensorrt脚本，由于工程需要使用的tensorrt版本为6.0，但是遇到了如下问题： 输出的onnx很复杂，有乱七八糟的结构 方法是将输出的onnx模型通过simplifier简化 版本问题 博主pytorch2onnx转换成功，但是再转trt的时候收到如下报错 经过google后发现是版本问题，大意是trt6不支持pytorch1.3，所以onnx解释器（onnx2
nnunet-pytorch转onnx
06-13
nnunet-pytorch 转 onnx 是指将 PyTorch 模型转换为 ONNX 模型，以便于在 TensorRT 等平台上进行加速。以下是该过程中涉及到的知识点： 1. PyTorch 和 ONNX 的关系：PyTorch 是一个流行的机器学习框架，而 ONNX 是...
Pytorch通过保存为ONNX模型转TensorRT5的实现
09-16
主要介绍了Pytorch通过保存为ONNX模型转TensorRT5的实现，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
nnunet-pytorch转onnx.zip
12-13
nnunet-pytorch转onnx.zip这个压缩包文件包含了将基于PyTorch实现的nnUNet模型转换为ONNX格式的过程，目的是利用ONNX来提高推理速度，并可能进一步运用TensorRT进行加速。nnUNet是一种高度自动化的神经网络框架，专...
pytorch 将onnx模型转换为trt TensorRT模型
03-20
适用于TensorRT8.0版本及以上 使用步骤 1、chmod 添加文件执行权限 2、将onnx路径修改为自己的onnx模型路径 3、运行py问价
onnx2tensorRt:tensorRt推断darknet2onnx pytorch2onnx mxnet2onnx
04-12
onnx1.5 + (tensorRt7 support onnx1.5) onnxruntime 1.0 python3.6 + docker-cuda10.2 + ubuntu16.04 or ubuntu18.04 (1) yolov4(v3) tensorRt inference python version (2) yolov5 tensorRt inference ...
Pytorch模型转onnx模型实例
09-18
今天小编就为大家分享一篇Pytorch模型转onnx模型实例，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
pytorch转onnx使用C++ onnxuntime加载推理
02-28
PyTorch是一款广泛使用的深度学习框架，而ONNX（Open Neural Network Exchange）则提供了一个统一的模型交换格式，使得不同框架训练的模型可以方便地在其他支持ONNX的环境中运行。本示例主要涉及将PyTorch模型转换为...
Pytorch转onnx、torchscript方式
12-17
PyTorch模型转ONNX ------------------- 要将PyTorch模型转换为ONNX格式，你需要使用`torch.onnx.export()`函数。此函数会运行模型并记录操作以构建ONNX图。输入张量`example`的值不重要，只需保证其尺寸与模型输入...
tensorrt6不支持pytorch1.9
安卓 高通 bsp ，同行欢迎交流
08-02 550
tensorrt6不支持pytorch1.9 使用tensorrt加载一个pytorch1.9训练完导出为onnx的模型报以下错误： 网上查了查，就是版本问题。 github有相关探讨： https://github.com/onnx/onnx-tensorrt/issues/199#issuecomment-524145151 参考：https://blog.csdn.net/xxradon/article/details/103959758 ...
onnx_to_tensorrt onnx转tensorrt官方py文件
sjy的博客
07-13 465
#!/usr/bin/env python2 # # Copyright 1993-2020 NVIDIA Corporation. All rights reserved. # # NOTICE TO LICENSEE: # # This source code and/or documentation ("Licensed Deliverables") are # subject to NVIDIA intellectual property rights under U.S. and # inter.
TensorRT 开始
m0_56069948的博客
01-13 799
Python微信订餐小程序课程视频 https://edu.csdn.net/course/detail/36074 Python实战量化交易理财系统 https://edu.csdn.net/course/detail/35475 TensorRT 是 NVIDIA 自家的高性能推理库，其 Getting Started 列出了各资料入口，如下： 本文基于当前的 TensorRT 8.2 版本，将一步步介绍从安装，直到加速推理自己的 ONNX 模型。 安装 进 TensorRT 下载页 选择版本下载，需
pytorch转onnx转tensorrt
06-28
### 回答1： PyTorch是一个深度学习框架，可以用来构建神经网络模型。ONNX是一种开放的神经网络交换格式，可以将不同框架的模型转换为统一的格式。TensorRT是NVIDIA推出的用于加速深度学习推理的库，可以将模型转换为高效的C++代码。因此，将PyTorch模型转换为ONNX格式，再将ONNX模型转换为TensorRT格式，可以提高模型的推理速度和效率。 ### 回答2： Pytorch是一款非常流行的深度学习框架之一，而ONNX（Open Neural Network Exchange）则是一种用于在不同深度学习框架之间交换模型的标准格式。TensorRT是基于NVIDIA GPU优化的深度学习推理引擎，可以加速深度学习模型的预测速度。Pytorch转ONNX转TensorRT的过程主要包括以下几个步骤： 第一步，使用Pytorch训练好的模型可以通过Pytorch提供的方法将模型转化为ONNX格式的模型。这一步通常需要在节省内存的情况下，对训练的模型进行优化并减少其大小。Pytorch提供了一些方法，例如ONNX的exporter，可以在不损失精度的情况下将Pytorch模型转换为ONNX格式。 第二步，将ONNX模型转换为TensorRT格式的模型。这一步通常需要使用TensorRT提供的工具将ONNX格式的模型转换为可以使用TensorRT来加速推理的格式。TensorRT可以根据模型的结构，对其进行优化，从而提高推理的速度和效率。 第三步，使用TensorRT引擎来进行推理。在这一步中，可以使用一些Python或C++的API来调用TensorRT引擎，以加速推理的过程。通常情况下，TensorRT会在NVIDIA GPU上运行，以提高推理的速度和效率。 总之，Pytorch转ONNX转TensorRT是一种很常见的深度学习模型加速优化的方法。通过这种方法，可以将训练好的模型转化为可以快速进行推理的格式，并提高推理的速度和效率，从而更好的满足实际应用需求。同时也可以加深对于Pytorch、ONNX和TensorRT的理解和应用。 ### 回答3： 先介绍一下三个工具的概念。 PyTorch是一个基于Python的库，提供了高度可拓展性和可定制化的机器学习算法、模型和数据处理工具，特别适合用于深度学习。 ONNX（Open Neural Network Exchange）是一个开放的模型表示和转换工具，使得不同框架之间的模型转换和协作更加容易。ONNX 可以将每个框架的模型表示转换为通用表示格式，这样就可以一次性完成跨框架的模型部署。 TensorRT是NVIDIA推出的高性能深度学习推理库，可以对训练好的深度学习模型进行优化，并在NVIDIA GPU上加速模型的推理过程。使用TensorRT能够提升模型的运行速度和效率。 下面是如何将PyTorch模型转为TensorRT模型的过程： 1.将PyTorch模型转化为ONNX格式。有两种方法可以实现这一步骤：一种是使用PyTorch官方提供的torch.onnx.export方法，将PyTorch模型转化为ONNX格式；另一种方法是使用ONNX官方提供的onnx-coreml转换工具。 2.使用TensorRT提供的工具trtexec将ONNX模型转化为TensorRT格式。通过命令行的方式调用trtexec，在将模型转换为TensorRT格式的同时，可以指定一些优化参数，比如设置合适的batch size、设置推理设备的数据类型、设置最大批处理等参数，以提高模型的性能和效率。 3.将转换后的模型导入到TensorRT库中，使用C++或Python等支持TensorRT的代码进行推理。 总体而言，PyTorch转ONNX、ONNX转TensorRT这一过程需要先对PyTorch模型进行格式转化，再将ONNX格式的模型转转化为TensorRT格式，最终通过TensorRT库对模型进行推理。需要注意的是，不同的深度学习模型在转换过程中有着各自的特点和难点，需要根据具体情况进行优化和调整。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值