TensorRT 下不同 API 推理时间的对比实验

已于 2024-02-08 11:40:34 修改
阅读量1.2w 收藏 6
点赞数 3
文章标签： 人工智能 深度学习 计算机视觉
于 2023-05-20 12:23:57 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zi_y_uan/article/details/130779884
版权

文章目录

项目简介

  • 基于 TensorRT 8.2.4 版本，具体环境见下面的环境构建部分

  • 目标：

    对比 pytorch、onnx runtime、tensorrt C++（包括onnxparser、原生api）、tensorrt python（包括onnxparser、原生api）等不同框架的推理速度

  • 流程：

  1. 使用 PyTorch 实现或收集了一些经典的 CNN 网络，训练得到.pth模型文件；
  2. TensorRT 和 cuda 的 python api :
    • OnnxParser构建网络：.pth -> .onnx -> .plan；
    • TensorRT API逐层构建网络：.pth -> .npz-> .plan；
  3. TensorRT 和 cuda 的 C++ api :
    • OnnxParser构建网络：：.pth -> .onnx -> .plan；
    • TensorRT API逐层构建网络：：.pth -> .wts -> .plan；
  4. 分别对比 python 和 C++ api 下，pytorch、onnx、tensorrt 等模型的推理速度。

实验结果

以下是基于 x86_64 Linux 的结果，对应本文的环境构建部分

  • TensorRT FP32 精度
PyTorchONNXPython trt onnxparserPython trt apiC++ trt onnxparserC++ trt api
VGG1693 ms74 ms9 ms9 ms5 ms5 ms
ResNet5096 ms75 ms9 ms9 ms5 ms5 ms
UNet181 ms152 ms26 ms26 ms24 ms19 ms
Deeplabv3+208 ms158 ms30 ms28 ms26 ms22 ms
YOLOv5-v5.085 ms––––12 ms

备注：

  1. Deeplabv3+ 的 backbone 为 resnet50
  2. YOLOv5-v5.0 的推理源自作者另一个项目 ( TensorRT v8.2 加速部署 YOLOv5-v5.0 )
  • TensorRT Int8量化
Python trt onnxparserPython trt apiC++ trt onnxparserC++ trt api
ResNet506 ms6 ms3 ms2 ms
Deeplabv3+15 ms15 ms11 ms10 ms

补充：int8量化前后精度对比

before quantizationafter quantization
ResNet50（precision）95.08%95.08%
Deeplabv3+（mIOU）61.99%60.96%

补充内容
展示由 CUDA 做图像预处理，速度进一步提升的结果

  • 基于 x86_64 Linux ，具体环境见下方环境构建
FP32FP16INT8
Deeplabv3+, cpp-preprocess22 ms12 ms10 ms
Deeplabv3+, cuda-preprocess15 ms5 ms3 ms
YOLOv5-v5.0, cpp-preprocess12 ms8 ms6 ms
YOLOv5-v5.0, cuda-preprocess6 ms3 ms3 ms

数据来源：作者的另外 2 个项目 CUDA加速图像处理 ，TensorRT-YOLOv5-v5.0

  • 基于 Jetson Xavier NX硬件 和 Jetpack 4.6.1 系统
FP32FP16
Deeplabv3+, cpp-preprocess152 ms63 ms
Deeplabv3+, cuda-preprocess143 ms54 ms
YOLOv5-v5.0, cpp-preprocess45 ms36 ms
YOLOv5-v5.0, cuda-preprocess38 ms28 ms

环境构建

宿主机基础环境

  • Ubuntu 16.04
  • GPU：GeForce RTX 2080 Ti
  • docker，nvidia-docker

基础镜像拉取

docker pull nvcr.io/nvidia/tensorrt:22.04-py3
  • 该镜像中各种环境版本如下：
CUDAcuDNNTensorRTpython
11.6.28.4.0.278.2.4.23.8.10

安装其他库

  1. 创建 docker 容器

    docker run -it --gpus device=0 --shm-size 32G -v /home:/workspace nvcr.io/nvidia/tensorrt:22.04-py3 bash

    其中-v /home:/workspace将宿主机的/home目录挂载到容器中，方便一些文件的交互，也可以选择其他目录

    • 将容器的源换成国内源
    cd /etc/apt
rm sources.list
vim sources.list
    • 将下面内容拷贝到文件sources.list
    deb http://mirrors.aliyun.com/ubuntu/ focal main restricted universe multiverse
deb http://mirrors.aliyun.com/ubuntu/ focal-security main restricted universe multiverse
deb http://mirrors.aliyun.com/ubuntu/ focal-updates main restricted universe multiverse
deb http://mirrors.aliyun.com/ubuntu/ focal-proposed main restricted universe multiverse
deb http://mirrors.aliyun.com/ubuntu/ focal-backports main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ focal main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ focal-security main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ focal-updates main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ focal-proposed main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ focal-backports main restricted universe multiverse
    • 更新源
    apt update

  2. 安装 OpenCV-4.5.0

    • OpenCV-4.5.0源码链接如下，下载 zip 包，解压后放到宿主机/home目录下，即容器的/workspace目录下
    https://github.com/opencv/opencv
    • 下面操作均在容器中
    # 安装依赖
apt install build-essential
apt install libgtk2.0-dev pkg-config libavcodec-dev libavformat-dev libswscale-dev
apt install libtbb2 libtbb-dev libjpeg-dev libpng-dev libtiff-dev libdc1394-22-dev
# 开始安装 OpenCV
cd /workspace/opencv-4.5.0
mkdir build
cd build
cmake -D CMAKE_INSTALL_PREFIX=/usr/local -D CMAKE_BUILD_TYPE=Release -D OPENCV_GENERATE_PKGCONFIG=ON -D OPENCV_ENABLE_NONFREE=True ..
make -j6
make install

  3. 安装PyTorch

    • 下载torch-1.12.0
    进入链接 https://download.pytorch.org/whl/torch/
找到 torch-1.12.0+cu116-cp38-cp38-linux_x86_64.whl
下载后放到 /workspace 目录下
pip install torch-1.12.0+cu116-cp38-cp38-linux_x86_64.whl
    • 下载torchvision-0.13.0
    进入链接 https://download.pytorch.org/whl/torchvision/
找到 torchvision-0.13.0+cu116-cp38-cp38-linux_x86_64.whl
下载后放到 /workspace 目录下
pip install torchvision-0.13.0+cu116-cp38-cp38-linux_x86_64.whl

  4. 安装其他 python 库

    pip install opencv-python==3.4.16.59
pip install opencv-python-headless==3.4.16.59
pip install tensorboard
pip install cuda-python
pip install onnxruntime-gpu==1.10
pip install scipy
pip install matplotlib
pip install tqdm

    下载速度慢或超时的话，在后面加上-i https://pypi.tuna.tsinghua.edu.cn/simple/

项目代码

  • 代码链接：github地址
    注： 绝大多数代码为博主手打，编码不易，若有帮助，望不吝star，以资鼓励

文件说明

project dir
    ├── flower_classify_dataset  # 分类项目所用到的数据集，5种花的分类，完整数据集可通过下方链接获取
    │   ├── train
    │   ├── val
    │   └── test
    ├── Camvid_segment_dataset  # 语义分割项目所用到的数据集，完整数据集可通过下方链接获取
    │   ├── images  # 原始图像目录
    |   │   ├── train
    |   │   ├── val
    |   │   └── test
    │   ├── labels  # mask标签目录，类别index所构成
    │   ├── train.lst  # 原始图像路径\t标签路径
    │   ├── val.lst  # 原始图像路径\t标签路径
    │   └── labels.txt  # 标签index和其所对应的颜色及类别
    ├── VGG16
    │   ├── PyTorch
    │   │   ├── dataset.py
    │   │   ├── model  # 运行train.py时自动生成，pth模型会保存到其中
    │   │   ├── pytorch_inference.py  # 使用pytorch推理
    │   │   ├── train.py  # 启动训练文件
    │   │   └── vgg.py  # 模型文件
    │   └── TensorRT
    │       ├── C++
    │       │   ├── api_model
    │       │   │   ├── calibrator.cpp  # int8量化
    │       │   │   ├── calibrator.h
    │       │   │   ├── Makefile
    │       │   │   ├── pth2wts.py  # pth模型文件转wts文件
    │       │   │   ├── public.h
    │       │   │   ├── trt_infer.cpp  # 构建 tensorrt engine 及使用 engine 推理
    │       │   │   └── vgg.py
    │       │   └── onnx_parser
    │       │       ├── calibrator.cpp
    │       │       ├── calibrator.h
    │       │       ├── Makefile
    │       │       ├── onnx_infer.py  # pth模型文件转onnx文件 并使用 onnx runtime 推理
    │       │       ├── public.h
    │       │       ├── trt_infer.cpp  # onnx 转 tensorrt engine 及使用 engine 推理
    │       │       └── vgg.py
    │       └── python
    │           ├── api_model
    │           │   ├── calibrator.py  # int8量化
    │           │   ├── pth2npz.py  # pth模型文件转 numpy 文件
    │           │   ├── trt_inference.py  # 构建 tensorrt engine 及使用 engine 推理
    │           │   └── vgg.py
    │           └── onnx_parser
    │               ├── calibrator.py
    │               ├── onnx_infer.py  # pth模型文件转onnx文件 并使用 onnx runtime 推理
    │               ├── trt_infer.py  # onnx 转 tensorrt engine 及使用 engine 推理
    │               └── vgg.py
    ├── ResNet50  # 文件结构基本同VGG16
    │   ├── PyTorch
    │   └── TensorRT
    │       ├── C++
    │       │   ├── api_model
    │       │   └── onnx_parser
    │       └── python
    │           ├── api_model
    │           └── onnx_parser
    ├── UNet  # 文件结构基本同VGG16
    │   ├── PyTorch
    │   └── TensorRT
    │       ├── C++
    │       │   ├── api_model
    │       │   └── onnx_parser
    │       └── python
    │           ├── api_model
    │           └── onnx_parser
    └── Deeplabv3+  # 文件结构基本同VGG16
        ├── PyTorch
	    └── TensorRT
	        ├── C++
	        │   ├── api_model
	        │   └── onnx_parser
	        └── python
	            ├── api_model
	            └── onnx_parser
  • 具体到各工程的运行，请阅读具体工程目录下的 README
  • 数据集获取链接：dataset 提取码：z3qp

至此，可运行项目中全部程序。

感谢阅毕，欢迎点赞收藏。

zi_y_uan
关注
  • 3
    点赞
  • 踩
  • 6
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
fp16tensorRT:基于API的TensorRT模型上的TensorRT半精度推理例程
05-09
目标 这是用C ++ TensorRT API编写的TensorRT模型的工作示例，以半精度模式运行推理。 可以运行全精度和半精度模式的推断。 内容 demo.cpp模型定义和推断 wts_gen_demo.py权重文件从numpy数组的常规字典转换为TensorRT wts格式（全精度或半精度） ./images测试图像以运行推理 ./data数据文件夹，包含泡菜字典格式和TensorRT wts格式的权重 Makefile 依存关系 OpenCV> = 2.4 TensorRT RC 4.0.0.3 CUDA 9.0 要求 需要具有FP16支持的NVIDIA GPU。 我们在Tesla V100上进行了测试。
TensorRT采坑api
CatkinLX的博客
07-23 2206
文章目录TensorRT链接采坑 APInvinfer1::INetworkDefinitionaddReduce内存管理总结 TensorRT链接 官方API链接：https://docs.nvidia.com/deeplearning/tensorrt/api/c_api/ 采坑 API nvinfer1::INetworkDefinition add各种layer的文档写的真的是，一言难尽 addReduce 头文件和文档注释： //! \param input The input tensor
TensorRT 的 C++ API 使用详解
热门推荐
白纸的专栏
04-24 1万+
1. TensorRT 的 C++ API 使用示例 进行推理，需要先创建IExecutionContext对象，要创建这个对象，就需要先创建一个ICudaEngine的对象（engine）。 两种创建engine的方式： 使用模型文件创建engine，并可把创建的engine序列化后存储到硬盘以便后面直接使用； 使用之前已经序列化存储的engine，这种方式比较高效些，因为解析模型并生成eng...
深入理解 TensorRT (1) TensorRT Python API 详解
清欢
04-02 8469
文章目录0. 前言1. 基本概念1.1 Logger1.2 Builder1.3. Runtime1.4 ICudaEngine1.5 IExecutionContext2. 推理2.1 相关API详解2.2 实例3. ONNX 模型转换4. Dynamic Shape5. 插件 0. 前言 之前浏览过Python API并输出了笔记，但在实际使用过程中，上次的笔记没有任何卵用…… 所以，本文根据 API 提供的几个功能，分别介绍相关API以及实例，希望下次用到TensorRT的时候，可以直接在这里
C++API搭建Tensorrt深度解析及构建模板(构建引擎/序列化与反序列化/推理)
weixin_38252409的博客
07-15 339
　　好久没写一篇关于使用C++ API搭建构建Tensorrt的文章了，而本篇文章该说些什么了，也不想像很多博客介绍Tensorrt的C++API，直接来几个步骤，然后如何搭建网络，构造engine，需要前提logger等。 为此，本篇博客为了减少下载什么pth，根据什么onnx等不必要麻烦，我们将从torch构建一个简单网络， 并将其转换wts格式，然后通过C++API调用wts(权重)建立如...
Nvidia TensorRT官方API文档
02-20
Nvidia TensorRT官方API文档，离线使用。
【tensorrt】——trtexec动态batch支持与batch推理耗时评测
怡宝2号
09-06 6751
tensorrt, batch 1. trtexec编译 trtexec地址 参考官方的说明，进行项目编译 2. 模型转换 pytorch->onnx的时候，需要在动态尺寸上定义好，例如： dynamic_axes = { 'input': {0: 'batch_size'}, # } torch.onnx.export(model, # model being run x, # model input (or a tuple for mu.
TensorRT加速模型推断时间方法介绍（c++ pytorch模型）
jiugeshao的专栏
03-14 6611
这里就用QTcreator来作为c++的IDE，其安装及opencv的配置（博主还是喜欢源码编译自己需要的opencv版本）过程见我之前的博客。 Ubuntu下Qt Creator配置opencv_jiugeshao的专栏-CSDN博客1.首先记录下如何用Qt Creator做一个界面程序，新建一个项目如上选择后选择好路径，输入项目名称后，点击继续如下选择Desktop Qt 5.12.1 GCC 65bit选项，可以点击Details来做展开查看继续到如下界面可参照我之前的博客里做设计程序界面pchar
TensorRT的C++API构建全连接网络编译
qq_41389330的博客
08-10 1066
tensorrt c++API创建全连接网络
tensorrt c++ 推理项目
07-03
tensorrt c++ 推理示例项目，支持分类网络，比如alexnet，mobileone,skipnet等轻量级网络。 环境：win10 vs2017环境，cuda11.0，亲测成功。 tensorrt库版本： TensorRT-8.2.1.8.Windows10.x86_64.cuda-11.4.cudnn...
tensorRT实现神经网络推理加速
06-20
使用tensorRT的API接口一行行代码实现整个工程，包括int8精度和自定义层及各种常用算法的tensorRT的写法。
TensorRT python多进程推理踩坑（csdn）————程序.pdf
12-04
TensorRT python多进程推理踩坑（csdn）————程序
TensorRT-一套用于TensorRT推理的CppSDK-接口.zip
最新发布
03-04
TensorRT_一套用于TensorRT推理的CppSDK_接口
TensorRT开发者手册（3）使用TensorRT的PythonAPI
weixin_42784169的博客
11-25 1059
注意：原文中所有超链接均已更新，部分链接可能需要科学上网才能访问。部分单词我觉得翻译成中文总是缺少点意思，所以直接保留！由于本人实力有限，有错误之处希望指明，谢谢。–2020/11/25 Chapter 3. Using The Python API 下面的部分突出NVIDIA®TensorRT™用户目标和任务，您可以使用Python API执行这些目标和任务。 这些部分集中在使用Python API。 更多细节在Samples Support Guide。 假设你从一个已经训练好的模型开始。 本章将涵盖使
TensorRT学习笔记（一）——使用Python API调用TensorRT
weixin_41693877的博客
07-19 5909
前言 作为在英伟达自家GPU上的推理库，TensoRT仍然是使用英伟达显卡部署方案的最佳选择。TensorRT虽然支持Pytho和C++调用，但是在TensorRT8之前，python api只能在linux上使用，直到TensorRT8才支持python api在window下使用。 具体安装在官方文档都有说明，附上官方文档：TensorRT官方文档 安装 .........
onnx和pytorch，tensorrt 推理速度对比GPU CPU
hllyzms的博客
08-09 5962
通常我们在训练模型时可以使用很多不同的框架，比如有的同学喜欢用Pytorch，有的同学喜欢使用TensorFLow，也有的喜欢MXNet，以及深度学习最开始流行的Caffe等等，这样不同的训练框架就导致了产生不同的模型结果包，，而且同一个框架比如tensorflow不同的版本之间的差异较大， 为了解决这个混乱问题，这个组织联合 Facebook, MicroSoft等公司制定了，这个标准叫做，所有其他框架产生的模型包 (.pth,.pb) 都可以转换成这个标准格式，转换成这个标准格式后，就可以。......
SSM整合框架（spring+spring MVC）
weixin_43908988的博客
09-09 142
SSM整合框架（spring+spring MVC） 1.创建数据库配置文件database.propreties driver=com.mysql.jdbc.Driver url=jdbc:mysql://localhost:3306/数据库名?useUnicode=true&characterEncoding=utf8 username=****** password=***** 2.创建spring-dao.xml <?xml version="1.0" encoding="UTF-8
深度学习GPU推理时间不稳定（TensorRT、libtorch 等其他平台）
kejie5397的博客
01-06 2078
深度学习部署推理
tensorrt api
09-28
TensorRT API 是一个用于在深度学习推理过程中优化和加速神经网络的库。它提供了多个用于构建、优化和执行推理的函数和类。使用 TensorRT API 可以将训练好的 TensorFlow 模型转换为优化的 TensorRT 引擎，以提高推理性能。例如，可以使用 TensorRT API 中的函数创建 TensorRT 的网络定义、分配输入和输出缓冲区、设置网络的输出、执行推理等。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值