libtorch部署yolov5 CPU推理时间和GPU推理平均时间对比

已于 2022-08-06 17:54:25 修改
阅读量3.6k 收藏 10
点赞数
分类专栏： 深度学习 文章标签： 人工智能 python 机器学习
于 2022-07-09 10:29:12 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zhouzongzong/article/details/125453465
版权

libtorch 部署640 * 640图片GPU推理时间：
在这里插入图片描述
libtorch 部署640 * 640图片CPU推理时间：
在这里插入图片描述
gpu推理时间比Cpu快21.5倍。

深度学习查找直线宽度最小达到4个像素，5*5像素大小可以找到，但是置信度可能达到0.03，灰度值偏差8-10左右时候目标可以被找到，置信度达到0.3左右。
一般查找到最小灰度值差8左右。

7543 * 4712大小整张图片读取平均时间：278ms
在这里插入图片描述
7543 * 4712大小图片libtorch部署Cpu推理平均时间：7.145s
利用裁剪方法（将图片长宽除640，得到96张图片）
在这里插入图片描述7543*4712大小图片切分成640 * 640大小图片libtorch部署Gpu预处理+推理平均时间为90ms

了解本专栏 订阅专栏 解锁全文 超级会员免费看
胖子工作室
关注
  • 0
    点赞
  • 踩
  • 10
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 2
    评论
专栏目录
订阅专栏
yolov5检测小目标（目标很多，且pix＜20*20），耗时情况
qq_43585355的博客
07-14 788
推理耗时情况
libtorch-yolov5:yolov5的LibTorch推理实现
04-23
GPU和CPU均受支持。 依存关系 Ubuntu 16.04 CUDA 10.2 OpenCV 3.4.12 LibTorch 1.6.0 TorchScript模型导出 请在此处参考官方文档： : 强制更新：开发人员需要修改原始以下代码 # line 29 model.model[-1]....
yolov8n在cpu和gpu,1050ti下速度的对比（10倍差）
we34dfg的博客
07-13 2521
yolov8n在cpu和gpu,1050ti下速度的对比
YOLOv5-Lite:如何让YOLO模型在cpu上加快？
chenxiangrong的博客
10-13 6590
SDK Graphics CUDA Driver Tools Software Video Codec SDK 9.0 Tesla v100 10.1 NVIDIA Driver 440 cmake&gcc FFmpeg Video Codec SDK 9.0 RTX 2080Ti 10.2 NVIDIA Driver 440 cmake&gcc FFmpeg
【教程】LabVIEW YOLOv5 ONNXRuntime推理，封装DLL实现模型并行推理（支持CPU/GPU，x86/x64位），视频图片识别快速稳定，CPU速度100ms，GPU26ms，Lab
最新发布
XyjUuqmklkF的博客
06-22 440
通过本文的学习，读者可以更好地理解如何在LabVIEW中使用YoloV5模型进行目标检测推理，并能够根据实际需求进行相应的优化和调整。通过将复杂的算法封装为DLL文件，并在LabVIEW中进行调用，我们可以更加便捷地进行工程应用开发。labview yolov5 onnxruntime推理，封装dll, labview调用dll，支持同时加载多个模型并行推理，可cpu/gpu, x86/x64位，识别视频和图片，cpu速度100ms，gpu26ms，只需要替换模型的onnx和nameclass即可。
YOLOv5 CPU和GPU环境搭建（道路识别）
qq_39214543的博客
06-22 4874
YOLOv5 CPU和GPU环境搭建（道路识别）
聊聊GPU与CPU的区别
小牛呼噜噜的博客
11-07 1069
大家好，之前呼噜噜学过一点深度学习的知识，做了几个项目，发现CPU来训练就很慢，但是后来用装有GPU的电脑来训练，就明显快的飞起，感觉很神奇。此时心里有个疑问，CPU造价那么昂贵，性能比起内存、机械硬盘、固态硬盘，快的不是一个数量级的，这个GPU竟然比CPU还要厉害？让我们一起进入计算机的世界，一起来看看GPU和CPU！
经典图像分割网络：Unet 支持libtorch部署推理【附代码】
z240626191s的博客
06-23 2824
图像分割常应用于医学和无人驾驶领域，基于深度学习的图像分割以Unet为代表，也是很经典的网络，更是很多初学者接触的网络【也包括我】。这篇文章会大致讲一下Unet网络原理和代码，最终实现pytorch环境下python的推理和Libtorch C++推理(支持GPU和CPU)。......
【Xiang哥避坑指南】YOLOV5只在CPU跑不在GPU跑的问题。
热门推荐
Only_whitepiao的博客
11-15 2万+
【Xiang哥避坑指南】YOLOV5只在CPU跑不在GPU跑的问题。 电脑明明有GPU，深度学习视觉代码也运行起来了，为什么只在CPU跑，GPU并不占用呢，可能有的同学会有这种经历。 本人就是被困扰了一个月，不知道为什么只在CPU跑，最后偶然发现： 那可能就是CUDA、pytorch、torchvison三者版本不对应的问题，也可能是版本下错的问题。 CUDA、pytorch、torchvision版本一定要对应！！！ CUDA、pytorch、torchvision版本一定要对应！！！ CUDA、pyto
Yolov5 最简推理代码
04-07
Yolov5 最简推理代码，精简版models文件夹，使用方式见https://blog.csdn.net/suiyingy/article/details/123920843。只需要推理部分代码，删除冗余部分。
libtorch-yolov5
01-04
7. **测试与验证**：在完成修改后，使用测试数据集确保模型在libtorch-yolov5中正确工作，并与原始Python版本的结果进行对比，验证其准确性和性能。 综上所述，libtorch-yolov5项目是将YOLOv5的高性能检测能力引入...
flask部署yolov5的onnx(GPU版本)
12-30
在本项目中，我们主要探讨如何使用Python框架Flask来部署YOLOv5的ONNX模型，以便在GPU环境中进行实时的目标检测。YOLOv5是一种高效且准确的深度学习目标检测模型，而ONNX（Open Neural Network Exchange）是跨框架的...
libtorch-yolov3：YOLO v3对象检测算法的Libtorch实现
01-28
YOLO（You Only Look Once）是一种著名的实时目标检测系统，由Joseph Redmon等人在2016年提出。...通过阅读和修改这个项目，你可以深入理解YOLOv3和Libtorch的结合，为自己的C++项目添加实时目标检测功能。
libtorch部署2：用VC加载模型进行推理
阿丹的彩蛋
07-14 612
接着上一篇，本文示例如何用libtorch加载模型，并进行推理，得到预测结果
【YOLOv8量化】普通CPU上加速推理可达100+FPS
关注微信公众号【OpenCV学堂】
12-19 4281
轻松量化YOLOv8，流水线推理轻松加速！
YOLOX、YOLOv5、Nanodet在PC与嵌入式板Atlas200DK上的推理速度测试
qq_41035283的博客
07-27 1万+
目录前言PC上的模型推理速度Atlas200DK推理测速结果 前言 Nanodet和YOLOv5都是我很喜欢的检测算法，Nanodet超轻量对嵌入式设备极其友好，u版yolo训练起来速度快效果好，功能强大 前两天旷视开源了YOLOX，我看了一下算法大体和代码实现，总的来讲还是比较有新意，去掉了anchors，有点融合FCOS的意思，不过纸面上的mAP比yolov5的p6系列还是有一定差距的 不过YOLOX代码写的真不错，比u版yolo简洁多了。 以下测试均在python中完成 PC上的模型推理速度 mAP我
[实践]YOLOv5提升10倍推理速度：利用TensorRT 在Jetson NX上的模型部署
我爱计算机视觉
06-09 2533
关注公众号，发现CV技术之美本文转自 空中机器人前沿，作者西湖大学工程师梁甲琛。随着算力的不断提升和数据的不断增长，深度学习算法有了巨大的发展。深度学习算法也越来越多的应用在各个领域中，比如图像识别算法应用于自动驾驶领域和安防等场景，再比如语音处理和自然语言处理应用于人机交互，以及近期火热对于许多领域都有重大影响的AIGC。针对不同的平台，如何使深度学习算法的推理速度更快，无疑可以影响用户的体验，...
yolov5训练加速--一个可能忽视的细节（mmdetection也一样），为什么显卡使用率老是为0？（续）
09-03 5606
之前写过一篇yolov5训练加速的文章，将图片缓存到内存或者缓存npy到SSD上以加速图片加载的时间，但是涉及到把原图resize到640的时候会有一些细节需要注意。
YOLOV5部署性能比较 opencvDNN /ONNX onnxruntime/ Openvion 2022.1
hong3731的专栏
03-30 9923
测试场景： 在WIN10的平台，测试了几种部署工具的性能比较，非官方数据，只是记录了测试的时间 1.硬件平台 CPU Intel Core I7 9850-H @2.6GHz 内存 32G 核显 UHD620 2.软件平台 vc++ 2019 win10 ONNX onnxruntime1.10 Opencv 4.5.5 OpenVINO 2022.1 3.YOLO模型 1.官网下载：yolov5s.onnx 2.Openvion 优化模型：yolov5s.xml 模型输入大小为640*640 测试效
libtorch 推理
09-05
libtorch 推理是指使用 C++ 相关工具库 libtorch 进行模型推理的过程。 libtorch 是一个基于 PyTorch 的 C++ 库，用于在生产环境中进行高性能的深度学习推理。libtorch 的推理过程主要分为以下几个步骤： 1. 加载模型：首先，我们需要将训练好的 PyTorch 模型保存为 TorchScript 格式，这样就可以在 C++ 中使用 libtorch 进行加载和运行。可以使用 PyTorch 提供的 `torch.jit.save()` 函数将模型保存为 TorchScript 文件。 2. 创建推理引擎：在加载模型之后，我们需要创建一个推理引擎。可以通过调用 `torch::jit::load()` 函数加载 TorchScript 文件，将其转化为可执行的推理引擎，并且可以通过设置相关参数来优化推理性能，例如启用或禁用 GPU 加速。 3. 输入数据准备：接下来，我们需要准备输入数据以供推理使用。根据模型的输入要求，我们可以通过 C++ 的数据结构（如张量）来加载和预处理输入数据，例如图像数据的归一化或缩放等。 4. 进行模型推理：一切准备就绪后，我们可以调用推理引擎的 `forward()` 函数并传递输入数据进行模型推理。推理引擎会处理数据，并返回模型的输出结果。 5. 输出结果处理：最后，我们可以对模型的输出结果进行后处理操作。根据具体的应用场景，可以将输出结果转化为特定的格式，或者对结果进行解码、映射等操作。 总结起来，libtorch 推理是利用 libtorch 库加载和运行 PyTorch 模型，通过创建推理引擎、准备输入数据、进行模型推理和处理输出结果等步骤来完成的。这些步骤可以帮助我们在 C++ 环境中完成高性能的深度学习推理任务。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

胖子工作室

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值