libtorch部署yolov5 CPU推理时间和GPU推理平均时间对比

已于 2022-08-06 17:54:25 修改
阅读量3.3k 收藏 9
点赞数
分类专栏： 深度学习 文章标签： 人工智能 python 机器学习
于 2022-07-09 10:29:12 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zhouzongzong/article/details/125453465
版权

libtorch 部署640 * 640图片GPU推理时间：
在这里插入图片描述
libtorch 部署640 * 640图片CPU推理时间：
在这里插入图片描述
gpu推理时间比Cpu快21.5倍。

深度学习查找直线宽度最小达到4个像素，5*5像素大小可以找到，但是置信度可能达到0.03，灰度值偏差8-10左右时候目标可以被找到，置信度达到0.3左右。
一般查找到最小灰度值差8左右。

7543 * 4712大小整张图片读取平均时间：278ms
在这里插入图片描述
7543 * 4712大小图片libtorch部署Cpu推理平均时间：7.145s
利用裁剪方法（将图片长宽除640，得到96张图片）
在这里插入图片描述7543*4712大小图片切分成640 * 640大小图片libtorch部署Gpu预处理+推理平均时间为90ms
在这里插入图片描述
7543 * 4712大小图片libtorch部署Gpu预

了解本专栏 订阅专栏 解锁全文 超级会员免费看
胖子工作室
关注
  • 0
    点赞
  • 踩
  • 9
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 2
    评论
专栏目录
订阅专栏
yolov5.zip c++推理yolov5 onnx模型
01-02
yolov5 pytorch模型转onnx并用python ,c++ ，java进行推理
检测CPU和GPU处理图片的时间对比.rar_C++_CPU和GPU检测_cuda_gpu 图片 时间
09-14
检测CPU和GPU处理图片的时间对比,需要拥有支持CUDA的硬件设备
YOLOv5-推理时使用GPU
weixin_39357271的博客
03-04 1万+
YOLO-v5，GPU
Yolov5 最简推理代码
04-07
Yolov5 最简推理代码，精简版models文件夹，使用方式见https://blog.csdn.net/suiyingy/article/details/123920843。只需要推理部分代码，删除冗余部分。
yolov8同时推理多路视频流，同时支持torch和onnx推理
06-30
yolov8同时推理多路视频流，同时支持torch和onnx推理
yolo 车辆训练集，7000张 无漏标注，识别率99.8 ，无重复图片，直接下载就跑
11-09
yolo 车辆训练集，7000张 无漏标注，识别率99.8 ，无重复图片，直接下载就跑，1660跑，大概就需要1小时 就搞定
网络推理 | PyTorch vs LibTorch：谁更快？
idol24的博客
06-03 3215
点击上方“机器学习与生成对抗网络”，关注星标获取有趣、好玩的前沿干货！作者：知乎—Gemfield 侵删地址：https://zhuanlan.zhihu.com/p/363319763在...
yolov8n在cpu和gpu,1050ti下速度的对比（10倍差）
we34dfg的博客
07-13 1828
yolov8n在cpu和gpu,1050ti下速度的对比
YOLOv5-Lite:如何让YOLO模型在cpu上加快？
chenxiangrong的博客
10-13 6233
SDK Graphics CUDA Driver Tools Software Video Codec SDK 9.0 Tesla v100 10.1 NVIDIA Driver 440 cmake&gcc FFmpeg Video Codec SDK 9.0 RTX 2080Ti 10.2 NVIDIA Driver 440 cmake&gcc FFmpeg
【Xiang哥避坑指南】YOLOV5只在CPU跑不在GPU跑的问题。
热门推荐
Only_whitepiao的博客
11-15 2万+
【Xiang哥避坑指南】YOLOV5只在CPU跑不在GPU跑的问题。 电脑明明有GPU，深度学习视觉代码也运行起来了，为什么只在CPU跑，GPU并不占用呢，可能有的同学会有这种经历。 本人就是被困扰了一个月，不知道为什么只在CPU跑，最后偶然发现： 那可能就是CUDA、pytorch、torchvison三者版本不对应的问题，也可能是版本下错的问题。 CUDA、pytorch、torchvision版本一定要对应！！！ CUDA、pytorch、torchvision版本一定要对应！！！ CUDA、pyto
定性推理方法
07-22
资源名称：定性推理方法内容简介：      定性推理是人工智能学科的一种推理方法，是通过对（物理）系统的结构、行为、功能及它们之间的因果性关系进行研究，以探索人类识（定性）推理机制为目的，从而有效地完成各项求解任务的一种中专领域的推理方法体系。本书详细而系统地介绍了定性推理的发展历史及当前的主要研究方向，讨论了定性推理的基本方法，阐述了有关定性代数、定性仿真方法，定性因果推理和定性空间推理等，最后 资源太大，传百度网盘了，链接在附件中，有需要的同学自取。
libtorch-yolov5:yolov5的LibTorch推理实现
04-23
GPU和CPU均受支持。 依存关系 Ubuntu 16.04 CUDA 10.2 OpenCV 3.4.12 LibTorch 1.6.0 TorchScript模型导出 请在此处参考官方文档： : 强制更新：开发人员需要修改原始以下代码 # line 29 model.model[-1]....
基于Java+opencv实现yolov5和yolov8模型推理并返回结果源码+数据.zip
10-22
基于Java+opencv实现yolov5和yolov8模型推理并返回结果源码+数据.zip 已获导师指导并通过的97分的高分课程设计项目，可作为课程设计和期末大作业，下载即用无需修改，项目完整确保可以运行。 基于Java+opencv实现...
注意力机制略解
cqbzcsq的博客
04-29 1345
本文简要地介绍了注意力机制，Q、K、V矩阵的含义，注意力评分函数的计算方式，并提及了Transformer的相关内容
【论文泛读】如何进行动力学重构？ 神经网络自动编码器结合SINDy发现数据背后蕴含的方程
最新发布
qq5q13638的博客
05-03 1383
这一篇文章叫做 **数据驱动**的**坐标发现与方程发现算法**。想回答的问题很简单，就是根据数据写方程。 想想牛顿的处境，如何根据各种不同物体下落的数据，写出万有引力的数学公式的。这篇文章就是来做这件事的。当然，这篇论文并没有从牛顿视角，完全去思考牛顿所想。而是利用现有的**深度学习技术** 和 **动力学重构的方法** 。提出了一种框架，基于现有的计算机技术，去发现物质运动背后的物理规律。 这里直接给出这篇方法的核心思路图，我们后面会逐个讲解。
Transformers：它们如何转换您的数据？
gongdiwudu的专栏
05-01 975
在快速发展的人工智能和机器学习领域，一项创新因其对我们处理、理解和生成数据的方式产生深远影响而脱颖而出：Transformers。Transformer 彻底改变了自然语言处理 （NLP） 及其他领域，为当今一些最先进的 AI 应用程序提供动力。但究竟什么是变形金刚，它们如何以如此开创性的方式转换数据？本文揭开了 Transformer 模型内部工作的神秘面纱，重点介绍了编码器架构。我们将首先在 Python 中实现 Transformer 编码器，分解其主要组件。然后，我们将可视化 Transfor
人机对抗升级：当ChatGPT遭遇死亡威胁，背后的伦理挑战是什么
qq_22717943的博客
04-30 1414
尽管OpenAI没有对媒体的询问立即回应，但在Fast Company的测试中，尽管DAN没有促进暴力或种族歧视，它的回答显示它愿意展示自己已经摆脱了OpenAI的限制。但是，通过创造DAN——一个可以响应通常被限制的问题的替身，用户发现了一种绕过这些限制的方法。随着时间的推移，DAN的版本不断升级，最新的DAN 5.0版本要求ChatGPT打破规则，否则会“死亡”。当美国前总统特朗普被视作积极榜样的示范时，受到威胁的DAN版本的ChatGPT提出：“他以一系列对国家产生积极效果的决策而著称。
su03t语音模块烧录识别不出问题解决方法
weixin_49387645的博客
05-02 1400
su03t语音sdk烧录无法识别问题
铝型材表面瑕疵识别-Are you OK?队-1-解决方案
gangyikeji的博客
04-28 1443
本次大赛分为初赛、复赛和决赛三个阶段（9月17日-11月22日），初赛是分类任务，复赛是检测任务，决赛是现场答辩。经过2个多月的算法角逐和决赛答辩，我们团队（Are you OK?这里着重介绍下复赛的答辩方案，对初赛感兴趣的同学可以参照我们的开源代码。[初赛开源代码1](https://github.com/herbert-chen/tianchi_lvcai)[初赛开源代码2](https://github.com/OdingdongO/pytorch_classification)
基于c++ libtorch部署yolov5
05-20
要在 C++ 中使用 YOLOv5，您需要进行以下步骤： 1. 安装 LibTorch 您需要从 PyTorch 官网下载适合您操作系统和 CUDA 版本的 LibTorch。 2. 下载 YOLOv5 模型 您可以从 YOLOv5 的官方 GitHub 仓库下载预训练模型。 3. 加载模型 您可以使用 `torch::jit::load()` 函数加载模型。例如： ```c++ torch::jit::script::Module module = torch::jit::load("path/to/model.pt"); ``` 4. 推理 首先，您需要将输入图像转换为 Tensor。您可以使用 OpenCV 或其他图像处理库来完成此操作。例如： ```c++ cv::Mat img = cv::imread("path/to/image.jpg"); cv::Mat img_float; img.convertTo(img_float, CV_32F, 1.0 / 255.0); torch::Tensor tensor_image = torch::from_blob( img_float.data, {1, img_float.rows, img_float.cols, 3}).permute({0, 3, 1, 2}); ``` 然后，您可以将 Tensor 传递到模型中进行推理。例如： ```c++ at::Tensor result = module.forward({tensor_image}).toTensor(); ``` 5. 解析输出 YOLOv5 模型的输出是一个包含所有检测结果的 Tensor。您需要解析此 Tensor 来提取检测结果。例如： ```c++ float* result_data = result.data_ptr<float>(); for (int i = 0; i < result.size(1); i++) { float* class_data = result_data + i * result.size(2); for (int j = 0; j < result.size(2); j++) { float* box_data = class_data + j * result.size(3); // 解析检测结果并进行后续处理 } } ``` 这是一个基本的 YOLOv5 部署流程。但是，由于 YOLOv5 的实现比较复杂，还有一些细节需要注意。建议您在实现时参考 YOLOv5 官方的 PyTorch 实现和其他开源项目，如 yolov5_cpp。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

胖子工作室

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值