libtorch部署yolov5 CPU推理时间和GPU推理平均时间对比

已于 2022-08-06 17:54:25 修改
阅读量4.2k 收藏 11
点赞数
分类专栏： 深度学习 文章标签： 人工智能 python 机器学习
于 2022-07-09 10:29:12 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zhouzongzong/article/details/125453465
版权
该博客对比了libtorch部署Yolov5模型在640 * 640图片上的GPU和CPU推理时间，结果显示GPU速度是CPU的21.5倍。此外，探讨了深度学习在检测直线宽度、灰度值差等方面的要求，并分享了7543 * 4712大图处理的效率优化策略，如通过裁剪减少推理时间。使用裁剪方法后，GPU预处理和推理平均时间降至90ms，而未裁剪的GPU推理时间为8724ms。还提到了tensorRT部署的时间为996.172ms。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

libtorch 部署640 * 640图片GPU推理时间：
在这里插入图片描述
libtorch 部署640 * 640图片CPU推理时间：
在这里插入图片描述
gpu推理时间比Cpu快21.5倍。

深度学习查找直线宽度最小达到4个像素，5*5像素大小可以找到，但是置信度可能达到0.03，灰度值偏差8-10左右时候目标可以被找到，置信度达到0.3左右。
一般查找到最小灰度值差8左右。

7543 * 4712大小整张图片读取平均时间：278ms
在这里插入图片描述
7543 * 4712大小图片libtorch部署Cpu推理平均时间：7.145s
利用裁剪方法（将图片长宽除640，得到96张图片）

了解本专栏 订阅专栏 解锁全文 超级会员免费看
libtorch 部署YOLOv5 GPU版本
zhouzongzong的博客
08-13 482
libtorch 部署YOLOv5 GPU版本
YOLOv8改进与优化：计算FPS与推理时间，提升模型推理效率【附保姆级代码】
一键难忘的博客
11-16 3049
本文详细介绍了如何使用训练好的YOLOv8模型，计算FPS（每秒帧数）和推理每张图片的平均时间（Average Inference Time, AIT），并探讨了如何通过优化模型和硬件，进一步提高推理效率。
YOLO---Darknet下的 GPU vs CPU 速度
weixin_30443075的博客
07-29 3841
YOLO---Darknet下的 GPU vs CPU 速度 目录 一、基础环境 二、安装Darknet-yolo v3 三、CPU下测试 四、GPU下测试 五、测试速度对比结论 正文 一、基础环境 当前的运行环境为： Ubuntu16.04.5 LTS CUDA 10.0 cuDNN 7.6.1 NVIDIA GTX 2080 TI 11G ...
libtorch部署2：用VC加载模型进行推理
阿丹的彩蛋
07-14 696
接着上一篇，本文示例如何用libtorch加载模型，并进行推理，得到预测结果
yolov8n在cpu和gpu,1050ti下速度的对比（10倍差）
we34dfg的博客
07-13 3844
yolov8n在cpu和gpu,1050ti下速度的对比
YOLOv8的5种不同部署方式推理速度对比：Pytorch、ONNX、OpenVINO-FP32、OpenVINO-int8、TensorRT
阿旭的博客
07-01 1万+
YOLOv8的5种不同部署方式推理速度对比：Pytorch、ONNX、OpenVINO-FP32、OpenVINO-int8、TensorRT
YOLOv5 CPU和GPU环境搭建（道路识别）
qq_39214543的博客
06-22 5475
YOLOv5 CPU和GPU环境搭建（道路识别）
聊聊GPU与CPU的区别
小牛呼噜噜的博客
11-07 1156
大家好，之前呼噜噜学过一点深度学习的知识，做了几个项目，发现CPU来训练就很慢，但是后来用装有GPU的电脑来训练，就明显快的飞起，感觉很神奇。此时心里有个疑问，CPU造价那么昂贵，性能比起内存、机械硬盘、固态硬盘，快的不是一个数量级的，这个GPU竟然比CPU还要厉害？让我们一起进入计算机的世界，一起来看看GPU和CPU！
YOLOv5-LibTorch:通过LibTorch C ++ API部署YOLOv5进行实时对象检测
05-08
通过LibTorch C ++ API部署YOLOv5进行实时对象检测 环境 Ubuntu 18.04 OpenCV 3.2.0 LibTorch 1.6.0 CMake 3.10.2 入门 安装OpenCV。 sudo apt-get install libopencv-dev 安装LibTorch。 wget ...
C++ OnnxRuntime部署yolov8模型
07-20
总之，C++结合ONNXRuntime部署YOLOv8模型涉及到模型加载、输入预处理、推理执行、输出后处理等多个环节。通过这种方式，你可以将训练好的YOLOv8模型集成到实时应用中，实现高效的目标检测功能。
cv算法之pc端部署：yolov11推理代码搭建c++环境（opencv+libtorch+openvino）
ddym66的博客
11-08 3843
opencv下载链接：https://opencv.org/releases/pytorch下载链接：https://pytorch.org/openvino下载链接vs2022（默认你下载好了略）
经典图像分割网络：Unet 支持libtorch部署推理【附代码】
z240626191s的博客
06-23 3357
图像分割常应用于医学和无人驾驶领域，基于深度学习的图像分割以Unet为代表，也是很经典的网络，更是很多初学者接触的网络【也包括我】。这篇文章会大致讲一下Unet网络原理和代码，最终实现pytorch环境下python的推理和Libtorch C++推理(支持GPU和CPU)。......
【从零开始基于YOLO V8 实现目标检测任务】#5 CPU训练模型和GPU的差别
最新发布
luoruiztTHU的博客
12-26 395
用一个案例直观的感受一下两者训练模型，在各方面情况的对比。下文中，上图为CPU（intel core i7-6700HQ），下图为GPU（RTX A4000）。
【Xiang哥避坑指南】YOLOV5只在CPU跑不在GPU跑的问题。
热门推荐
Only_whitepiao的博客
11-15 3万+
【Xiang哥避坑指南】YOLOV5只在CPU跑不在GPU跑的问题。 电脑明明有GPU，深度学习视觉代码也运行起来了，为什么只在CPU跑，GPU并不占用呢，可能有的同学会有这种经历。 本人就是被困扰了一个月，不知道为什么只在CPU跑，最后偶然发现： 那可能就是CUDA、pytorch、torchvison三者版本不对应的问题，也可能是版本下错的问题。 CUDA、pytorch、torchvision版本一定要对应！！！ CUDA、pytorch、torchvision版本一定要对应！！！ CUDA、pyto
YOLO-V8 通过英特尔 OpenVINO 提高 CPU 推理速度
小毕超博客
08-24 2288
OpenVINO 是一款由英特尔推出的深度学习推理引擎，可以帮助开发者高效地在各种硬件平台上部署深度学习模型
RK3588/RK3588s运行yolov8推理速度达到27ms
cg1135217680的博客
09-20 3190
小伙伴们~~我最近做了一个比较有意思的东西，想起来也好久没有写博客了，就记录一下吧。希望和大家一起学习，一起进步！ 我简单介绍一下我最近做的这个东西的经过哈~上个月在B站上看到了一个博主发了一条视频关于边缘计算相关的，他仅仅用了一块巴掌不到的开发板完成了yolo的目标检测功能，而且延时还比较低，成本也仅有100元不到！倍感神奇哇！然后我就去学习了一下，关于NPU计算相关的知识，刚好有小伙伴手里有一块类似的开发板，于是就有了这篇博客。
【YOLOv8量化】普通CPU上加速推理可达100+FPS
关注微信公众号【OpenCV学堂】
12-19 6433
轻松量化YOLOv8，流水线推理轻松加速！
YOLOX、YOLOv5、Nanodet在PC与嵌入式板Atlas200DK上的推理速度测试
qq_41035283的博客
07-27 1万+
目录前言PC上的模型推理速度Atlas200DK推理测速结果 前言 Nanodet和YOLOv5都是我很喜欢的检测算法，Nanodet超轻量对嵌入式设备极其友好，u版yolo训练起来速度快效果好，功能强大 前两天旷视开源了YOLOX，我看了一下算法大体和代码实现，总的来讲还是比较有新意，去掉了anchors，有点融合FCOS的意思，不过纸面上的mAP比yolov5的p6系列还是有一定差距的 不过YOLOX代码写的真不错，比u版yolo简洁多了。 以下测试均在python中完成 PC上的模型推理速度 mAP我
[实践]YOLOv5提升10倍推理速度：利用TensorRT 在Jetson NX上的模型部署
我爱计算机视觉
06-09 2992
关注公众号，发现CV技术之美本文转自 空中机器人前沿，作者西湖大学工程师梁甲琛。随着算力的不断提升和数据的不断增长，深度学习算法有了巨大的发展。深度学习算法也越来越多的应用在各个领域中，比如图像识别算法应用于自动驾驶领域和安防等场景，再比如语音处理和自然语言处理应用于人机交互，以及近期火热对于许多领域都有重大影响的AIGC。针对不同的平台，如何使深度学习算法的推理速度更快，无疑可以影响用户的体验，...
LibTorch环境下的YOLOv5对象检测推理实现
总结来说，本资源是一个针对使用LibTorch实现yolov5模型推理的详细指导，它涵盖了依赖库的安装、环境配置、TorchScript模型导出以及如何修改源代码来支持GPU加速，对于希望在C++环境中部署yolov5模型的开发者而言，...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

胖子工作室

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值