pytorch
文章平均质量分 75
程序之巅
仰天大笑出门去,我辈岂是蓬蒿人
展开
-
tensorRT的完整安装以及常见错误 export failure: [WinError 127] 找不到指定的程序。
我们需要把D:\tensorrt\TensorRT-8.6.1.6\lib对应的目录放到window环境变量即可。版本,安装完成tensorrt以后再pip install python对应的whl文件。在python中执行import tensorrt as trt代码会出现如下错误。原创 2023-05-06 10:30:59 · 3301 阅读 · 1 评论 -
RuntimeError: stack expects each tensor to be equal size, but got xxx at entry 0 at entry 1
RuntimeError: stack expects each tensor to be equal size, but got xxx at entry 0 at entry 1。原创 2022-09-14 10:39:32 · 8002 阅读 · 2 评论 -
图像处理高手技能清单
图像处理高手技能清单原创 2022-07-17 06:13:40 · 651 阅读 · 0 评论 -
Detectron2 安装(ubuntu 18.04.6 LTS)
本文参考https://detectron2.readthedocs.io/en/latest/tutorials/install.htmlconda create -n maskrcnn pip python==3.7执行这个命令,由于之前设置了conda的清华安装源,结果命令卡住了,然后参考这个链接https://zhuanlan.zhihu.com/p/378258193用这个命令“conda config --remove-key channels” 将安装源命令设置成了default值c原创 2022-03-02 08:57:33 · 2396 阅读 · 0 评论 -
PyTorch出现:RuntimeError: An attempt has been made to start a new process...报错 (已解决)
PyTorch出现:RuntimeError: An attempt has been made to start a new process…报错 (已解决)RuntimeError: An attempt has been made to start a new process before the current process has finished its bootstrapping phase. This probably means t原创 2022-03-01 11:29:49 · 469 阅读 · 0 评论 -
windows上安装detectron2
windows10 +Microsoft Visual Studio Community 2022 (64 位) +torch1.10.1+cu113 torchvision0.11.2+cu113主要参考文章:https://medium.com/@yogeshkumarpilli/how-to-install-detectron2-on-windows-10-or-11-2021-aug-with-the-latest-build-v0-5-c7333909676f错误一:C:\Program原创 2022-02-24 18:06:48 · 914 阅读 · 0 评论 -
yolov5 nms 源码理解
直接放入nms yolov5源码,以一个二分类的模型举例说明,对nms的理解def non_max_suppression(prediction, conf_thres=0.25, iou_thres=0.45, classes=None, agnostic=False, multi_label=False, labels=(), max_det=100000,return_index = False): """Runs Non-Maximum Su原创 2022-01-29 18:39:12 · 7946 阅读 · 2 评论 -
YOLOv5 Unable to find a valid cuDNN algorithm to run convolution
YOLOv5遇到的bug处理方法当我们测试yolov5l.pt这个模型进行预训练的时候,会报Unable to find a valid cuDNN algorithm to run convolution这个错误,当你重新安装cudnn后仍然不能解决问题。其实这个问题很简单,并不是我们的cudnn出问题了。而是,由于yolov5l属于大模型。显存可能不足,这时候只需调小batch_size即可。...原创 2021-12-30 14:06:37 · 1310 阅读 · 0 评论 -
迁移学习举例
1. 迁移学习背景随着越来越多的机器学习应用场景的出现,监督学习需要大量的标注数据,标注数据是一项枯燥无味且花费巨大的任务,所以迁移学习受到越来越多的关注。实际项目中没有那么多样本。在实际的解决问题中很少有人从头至尾搭建一个完全新的模型。一般从Github上找和自己问题相似的场景,直接使用已有的网络结构,在上面修改,然后应用于解决实际问题。Pytorch和Tf有很多内置的经典模型,在Imagnet,coco等数据集上训练好的模型参数,所以我们可以不仅复用这些网络结构,还会复用参数。固定绝大多数参原创 2021-11-14 16:15:54 · 2681 阅读 · 0 评论 -
pytorch之dataloader深入理解
DataLoader作用首先简单介绍一下DataLoader,它是PyTorch中数据读取的一个重要接口,该接口的目的:将自定义的Dataset根据batch size大小、是否shuffle等封装成一个Batch Size大小的Tensor,用于后面的训练。官方对DataLoader的说明是:“数据加载由数据集和采样器组成,基于python的单、多进程的iterators来处理数据。”关于iterator和iterable的区别和概念请自行查阅,在实现中的差别就是iterators有__iter__和原创 2021-11-11 15:19:16 · 5255 阅读 · 0 评论 -
Pytorch 的torch.nn库的基本功能
参考资料:pytorch教程之nn.Module类详解——使用Module类来自定义网络层[Pytorch系列-30]:神经网络基础 - torch.nn库五大基本功能:nn.Parameter、nn.Linear、nn.functioinal、nn.Module、nn.Sequentia原创 2021-10-06 23:09:29 · 751 阅读 · 0 评论 -
深入理解Pytorch负对数似然函数(torch.nn.NLLLoss)和交叉熵损失函数(torch.nn.CrossEntropyLoss)
参考资料:极大似然估计 —— Maximum Likelihood EstimationNegative log likelihood explained深度理解机器学习中常见损失函数交叉熵、相对熵和负对数似然的理解原创 2021-09-22 15:10:32 · 3726 阅读 · 3 评论 -
深入理解激活函数之softmax
本篇文章将解释 softmax 函数,它与负对数似然(negative log-likelihood)的关系以及它在执行反向传播算法时的导数。什么是 Softmax 函数softmax 函数首先是一个函数,它将含有K 个实值的向量转换为 K 个总和为1的实值向量。向量的K个输入值可以是正数、负数、零或大于 1,但 softmax 能将它们转换为介于0 和 1,因此它们可以被解释为概率。如果其中一个输入较小或为负,则softmax将其变成小概率,如果输入较大,则将其变成大概率,但始终保持在0和1之间。s原创 2021-09-21 17:45:44 · 9031 阅读 · 2 评论 -
pytorch tensor 乘法运算汇总与解析
元素一一相乘该操作又称作 “哈达玛积”, 简单来说就是 tensor 元素逐个相乘。这个操作,是通过 * 也就是常规的乘号操作符定义的操作结果。torch.mul 是等价的。import torchdef element_by_element(): x = torch.tensor([1, 2, 3]) y = torch.tensor([4, 5, 6]) return x * y, torch.mul(x, y)element_by_element原创 2021-09-17 13:59:25 · 17535 阅读 · 1 评论 -
Pytorch 自动求导 autograd,backward 详解
![在这里插入图片描述](https://img-blog.csdnimg.cn/31aa4742ccd842d1807115eb050a3ac3.png?x-oss-process=image/watermark,type_ZHJvaWRzYW5zZmFsbGJhY2s,shadow_50,text_Q1NETiBA56iL5bqP5LmL5beF,size_11,color_FFFFFF,t_70,g_se,x_16)图片出处:[PyTorch Autograd](https://towardsdat原创 2021-09-15 17:32:54 · 582 阅读 · 0 评论 -
Pytorch torch.Where 和 torch.Gather
Pytorch-Wheretorch.where(condition,x,y)→ Tensor返回一个tensor,tensor的元素依据满足的条件从x或者y中的元素选择。要求:condition、x,y可以broadcastable到相同的shape。返回值也是相同shape的矩阵condition:条件矩阵,当元素为 True 时,填入 x 中对应的元素,否则填入 y 中对应的元素x:condition中元素为 True 时将从 x 中选取元素y:condition中元...原创 2021-09-07 23:15:58 · 613 阅读 · 0 评论 -
pytorch数据统计
1. 范数关于范数的理解可以参考https://zhuanlan.zhihu.com/p/26884695torch.norm(input, p='fro', dim=None, keepdim=False, out=None, dtype=None)返回给定张量的矩阵范数或向量范数。注意torch.norm 已弃用,可能会在未来的 PyTorch 版本中删除。在计算向量范数时使用 torch.linalg.norm(),或者在计算矩阵范数时使用 torch.linalg.vector原创 2021-09-01 16:42:11 · 734 阅读 · 0 评论 -
Pytorch 数学计算
1. 加法运算torch.add(input, other, *, out=None) → Tensor将标量 other 与input输入的每个元素相加并返回一个新的结果张量。out=input+other如果 input 是 FloatTensor 或 DoubleTensor 类型,则 other 必须是实数,否则应该是整数。参数 input (Tensor) – the input tensor. other (Number) – the number to原创 2021-08-31 15:37:05 · 1021 阅读 · 0 评论 -
Pytorch tensor的拼接与拆分
tensor的拼接与拆分cat函数torch.cat(tensors,dim=0,*,out=None)→Tensor在指定的维度dim上,连接给定的一系列张量。所有张量必须具有相同的形状(连接维度除外)或为空。例如在0维度上合并df1和df2向量:在1维度上df1和df2向量:例子:成绩单的合并【班级1~4 学生 得分】【班级5~9 学生 得分】a = torch.rand(4,32,8)b = torch.rand(5,32,8)c = t...原创 2021-08-30 22:39:10 · 1676 阅读 · 0 评论 -
Pytorch Broadcasting
1、`Broadcasting(广播)能够自动实现张量的维度的扩展。也就是自动实现了若干unsqueeze和expand操作,以使两个Tensor的shape一致,从而完成某些操作(往往是加法)。2、Broadcasting 像expand一样扩展张量,但是不对张量数据进行拷贝,因此可以节省内存。...原创 2021-08-30 11:35:01 · 371 阅读 · 0 评论 -
PyTorch:view() 与 reshape() 区别详解
总之,两者都是用来重塑tensor的shape的。view只适合对满足连续性条件(contiguous)的tensor进行操作,而reshape同时还可以对不满足连续性条件的tensor进行操作,具有更好的鲁棒性。view能干的reshape都能干,如果view不能干就可以用reshape来处理。别看目录挺多,但内容很细呀~其实原理并不难啦~我们开始吧~1、PyTorch张量存储的底层原理tensor数据采用头信息区(Tensor)和存储区 (Storage)分开存储的形式,如图1所示。变量名以及其原创 2021-08-25 17:58:58 · 1239 阅读 · 4 评论 -
tensor的storage(),stride(),storage_offset()
1. storage() pytorch中的一个tensor分为头信息区(Tensor)和存储区(Storage) 信息区主要保存着tensor的形状(size)、步长(stride)、数据类型(type)等信息。 而真正的数据则保存成连续数组,存储在存储区。 一般一个tensor都会有相对应的Storage,但也有另一种情况时多个tensor都对应着相同的一个Storage,这几个tensor只是头信息区不同。>>> a = torch.a...原创 2021-08-24 15:58:27 · 1431 阅读 · 1 评论 -
Pytorch维度变换
1. 改变shapetorch.reshape()、torch.view()可以调整Tensor的shape,返回一个新shape的Tensor,torch.view()是老版本的实现,torch.reshape()是最新的实现,两者在功能上是一样的。参考:https://blog.csdn.net/Flag_ing/article/details/109129752...原创 2021-08-22 22:38:44 · 6309 阅读 · 0 评论 -
Pytorch Tensor的索引和切片
假设我们定义这样一个tensorimport torcha = torch.rand(4, 3, 28, 28)print(a[0].shape)print(a[0, 0].shape)print(a[0, 0, 2, 4]) # 具体到某个元素原创 2021-08-22 08:43:32 · 2519 阅读 · 0 评论 -
PyTorch 张量(tensor)的秩,轴,形状(Rank, Axes, and Shape)的理解
秩、轴和形状的概念是我们在深度学习中最关心的张量属性。在这篇文章中,我们将深入研究张量的这三个属性。在深度学习中开始使用张量时,秩、轴和形状是我们最关心的三个张量属性。这些概念相互建立,从秩开始,然后是轴,再到形状,因此请密切注意这三者之间的这种关系。张量的秩(Rank)张量的秩是指张量中存在的维数(dimensions)。假设我们被告知我们有一个 秩为2(rank 2)的张量。这意味着以下所有内容:我们有一个矩阵 我们有一个二维数组 我们有一个二维张量张量的轴(Axes)如果我们有一原创 2021-08-16 22:27:39 · 4687 阅读 · 2 评论 -
Pytorch Tensor以及Tensor的基本数据类型
Pytorch中的基本数据类型就是的张量(torch.Tensor),张量(torch.Tensor)可以理解为多维矩阵,矩阵中的每一个元素都具有单一的数据类型。什么是数据类型?Torch 定义了 10 种具有 CPU 和 GPU 变体的张量类型,如下所示: Data type dtype CPU tensor GPU tensor 32-bit floating point torch原创 2021-08-15 23:02:32 · 2186 阅读 · 1 评论 -
深入理解Detectron 2 — Part5 ROI (Box) Head
本文翻译自博客https://medium.com/@hirotoschwert/digging-into-detectron-2-part-5-6e220d762f9Figure 1. Inference result of Faster (Base) R-CNN with Feature Pyramid Network.嗨,我是计算机视觉研究员 Hiroto Honda¹[homepage] [twitter] 在这篇文章中,我想分享我对 Detectron 2 的了解——repo 结构..原创 2021-07-27 16:06:40 · 4141 阅读 · 0 评论 -
深入理解Detectron 2 — Part 4 区域建议网络(Region Proposal Network)
Figure 1. Inference result of Faster (Base) R-CNN with Feature Pyramid Network.嗨,我是计算机视觉研究员 Hiroto Honda¹[homepage] [twitter] 在这篇文章中,我想分享我对 Detectron 2 的了解——repo 结构、构建和训练网络、处理数据集等等。 2019 年,我使用Detectron 2所基于的 maskrcnn-benchmark 在 Open Images 竞赛 (ICCV 2...原创 2021-07-25 22:43:57 · 3801 阅读 · 2 评论 -
实战Detectron2— 训练人体关键点检测
python train_net.py --config-file ./configs/COCO-Keypoints/keypoint_rcnn_R_101_FPN_3x.yamlSOLVER.IMS_PER_BATCH 2 SOLVER.BASE_LR 0.0025原创 2021-07-19 06:00:43 · 7526 阅读 · 3 评论 -
深入理解Detectron 2 — Part 3 数据加载器和Ground Truth实例(Data Loader and Ground Truth Instances)
本文翻译自博客:Digging into Detectron 2 — part 3 | by Hiroto Honda | MediumFigure 1. Inference result of Faster (Base) R-CNN with Feature Pyramid Network.嗨,我是计算机视觉研究员 Hiroto Honda¹[homepage] [twitter] 在这篇文章中,我想分享我对 Detectron 2 的了解——repo 结构、构建和训练网络、处理数据集等等。.原创 2021-07-18 13:40:22 · 1149 阅读 · 2 评论 -
深入理解Detectron 2 — Part 2 特征金字塔网络(Feature Pyramid Network)
本文翻译自博客:Digging into Detectron 2 — part 2 | by Hiroto Honda | MediumFigure 1. Inference result of Faster (Base) R-CNN with Feature Pyramid Network.嗨,我是计算机视觉研究员 Hiroto Honda¹[homepage] [twitter] 在这篇文章中,我想分享我对 Detectron 2 的了解——repo 结构、构建和训练网络、处理数据集等等。.原创 2021-07-18 10:17:59 · 4132 阅读 · 3 评论 -
深入理解Detectron 2 — Part 1 基础网络架构和代码库结构(Basic Network Architecture and Repo Structure)
什么是Detectron2? Detectron2 是 Facebook AI Research 的下一代开源对象检测系统。通过github上开源的存储库 ,您可以使用和训练各种最先进的模型来执行检测任务,例如边界框检测、实例和语义分割以及人体关键点检测。 您可以按照存储库的说明运行演示 — [安装] 和 [入门] — 但如果您想更进一步,而不仅仅是运行示例命令,则有必要了解该存储库的工作原理。Faster R-CNN FPN 架构作为示例,我选择具有特征金字塔网络³ (Bas...原创 2021-07-15 17:00:12 · 4249 阅读 · 0 评论 -
Pytorch ModuleNotFoundError: No module named ‘models‘
问题今天,在使用pytorch深度学习框架训练出来的模型文件,在另外的工程中使用,碰到如下的错误:(shennong) ubuntu@ubuntu:~/zy/medicinebox_detector$ python interface_demo.pyUsing torch 1.7.1 CUDA:0 (GeForce RTX 2080 Ti, 11016MB)Traceback (most recent call last):File “interface_demo.py”, line 13, in原创 2021-02-19 15:38:18 · 15672 阅读 · 0 评论