![](https://img-blog.csdnimg.cn/20201014180756780.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
TensoRT
文章平均质量分 68
工头阿乐
一起进步
展开
-
人脸情绪识别开源代码、模型以及说明文档
各个模型我们存放在百度云盘 https://pan.baidu.com/s/1mM-APWoLV5P3nvrzmG–Jg 提取码 1gyh。我们将上述八个模型的结果进行集成,最终生成的文件放在prediction_result下面的result.csv文件中。上述8个模型的预测结果统一放在user_data/tmp_data里面,下面使用集成方法对上述八个模型的结果进行整合。是你训练得到模型的名字,如果你自己训练了其中的一些模型,请将对应的名称修改为训练得到模型的名称。因为是训练八个模型,分别是。原创 2023-03-31 10:38:28 · 712 阅读 · 0 评论 -
NVIDIA监控工具nvtop使用方法
其它相关《NVIDIA查看CPU、内存、GPU使用情况》原创 2022-12-14 14:54:17 · 2158 阅读 · 0 评论 -
CUDA网格(Grid)、线程块(Block)和线程(Thread)的组织关系
CUDA中每一个线程都有一个唯一的标识ID—ThreadIdx,这个ID随着Grid和Block的划分方式的不同而变化,这里给出Grid和Block不同划分方式下线程索引ID的计算公式。1、 grid划分成1维,block划分为1维。2、 grid划分成1维,block划分为2维。3、 grid划分成1维,block划分为3维。6、 grid划分成2维,block划分为3维。8、 grid划分成3维,block划分为2维。9、 grid划分成3维,block划分为3维。原创 2022-06-23 13:44:58 · 1726 阅读 · 0 评论 -
EGLStream详解
视频流的数据量巨大,如果要在不同的进程间传输视频流就必须考虑一些数据传输的底层问题,比如尽量不要做拷贝。以及互斥问题,不能一个程序还没把一张图片读完,共享的内存就被改变了。EGLStream就提供了这样一种功能,支持多个进程间进行无拷贝的视频流传输。EGLStream主要原理是设置了producer和consumer。producer负责把图片放入到EGLStream流中,consumer主要是把图片从流上取出来。流是一系列顺序执行的命令。所以一个进程可以作为上一个命令的consumer,同时又是下一原创 2022-03-20 17:24:40 · 912 阅读 · 0 评论 -
DLA模型不支持Flatten层的修改方法
在模型部署的时候遇到Nvidia DLA不支持的层,见下文:原ONNX模型中Flatten层中ATTRIBUTES的axis=1,type:int64, 见下图:下面是一个使用ONNX模型中的Reshape层替代Flatten层的示例代码:在上面的代码中,我们使用了helper.make_node函数来创建一个Reshape节点,并将其输入张量设置为原模型中Flatten层的输入张量,输出张量设置为原模型中Flatten层的输出张量。在Reshape节点的参数中,我们将shape设置为[0, -1],其原创 2023-03-24 10:07:52 · 208 阅读 · 0 评论 -
[ONNXRuntimeError] : 2 : INVALID_ARGUMENT : Got invalid dimensions for input: image for the followin
onnx模型测试,遇到一下问题…原创 2023-03-08 21:15:41 · 2894 阅读 · 3 评论 -
基于TensorRT部署U-Net训练的网络模型
本项目采用的代码为pytorch-Unet,该项目是基于原始图像的比例作为最终的输入,这个对于数据集中图像原始图片大小不一致的情况可能会出现训练问题(显存不够用)。Kaggle成立于2010年,是一个进行数据发掘和预测竞赛的在线平台。从公司的角度来讲,可以提供一些数据,进而提出一个实际需要解决的问题;从参赛者的角度来讲,他们将组队参与项目,针对其中一个问题提出解决方案,最终由公司选出的最佳方案可以获得5K-10K美金的奖金。原创 2023-02-07 11:17:51 · 430 阅读 · 0 评论 -
pytorch模型(.pth)转tensorrt模型(.engine)的几种方式
导出网络定义以及相关权重;解析网络定义以及相关权重;根据显卡算子构造出最优执行计划;将执行计划序列化存储;反序列化执行计划;进行推理值得注意的是第三点,可以看到tensorrt转换出来的模型实际上是和硬件绑定的,也就是在部署的过程中,如果你的显卡和显卡相关驱动软件(cuda、cudnn)发生了改变,那么模型就得需要重新做转换。原创 2023-01-31 21:50:08 · 1242 阅读 · 0 评论 -
网络模型结构可视化onnx+netron
Open Neural Network Exchange (ONNX) 可以将不同框架(TensorFlow/Pytorch/Paddle)训练出来的模型都转换onnx模型进行存储,起到统一模型格式的作用。将pytorch等框架的网络模型转化为onnx模型进行可视化时,会存在冗余现象,因此需要onnx-simplifier来减少冗余,进一步提高可视化结构可读性。Netron为深度学习模型可视化库,支持多种模型格式,包括ONNX等。将onnx模型拖入Netron官网即可查看可视化结果。原创 2022-12-16 20:34:44 · 1115 阅读 · 0 评论 -
ONNXRuntime概览
以上就是ONNXRuntime的整体概览,由于ONNXRuntime仅仅是一个推理引擎,运行过程是线性的,逻辑也比较简单易懂。接下来的几篇文章会针对ONNXRuntime的一些核心功能(如内存管理,OpKernel注册,模型切分等)的代码进行详细剖析。原创 2022-12-16 15:12:40 · 6837 阅读 · 0 评论 -
TensorRT系列教程-ONNX基础
TensorRT 的核心在于对模型算子的优化(合并算子、利用当前 GPU 特性选择特定的核函数等多种策略),通过 TensorRT,能够在 Nvidia 系列 GPU 上获得最好的性能。TensorRT 模型需要在目标 GPU 上以实际运行的方式选择最优的算法和配置(不同的 GPU 的许多特性的不一样,在特定 GPU 上跑一跑,再知道怎样最快)。也因此 TensorRT 得到的模型只能在特定的环境下运行(编译时的 TensorRT 版本、CUDA 版本、GPU 型号等)。原创 2022-12-13 15:21:17 · 2901 阅读 · 0 评论