![](https://img-blog.csdnimg.cn/20190930095729213.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
PyTorch
文章平均质量分 57
あずにゃん
日萌社
展开
-
单目标跟踪SiamMask:特定目标车辆追踪 part2
日萌社人工智能AI:Keras PyTorch MXNet TensorFlow PaddlePaddle 深度学习实战(不定时更新)SiamMask_master\toolsconfig.json{ "network": { "arch": "Custom" }, "hp": { "instance_size": 255, "base_size": 8, "out_size": 127,原创 2021-07-17 09:09:20 · 2795 阅读 · 1 评论 -
AttributeError: module ‘torch‘ has no attribute ‘quantization‘
日萌社人工智能AI:Keras PyTorch MXNet TensorFlow PaddlePaddle 深度学习实战(不定时更新)报错:AttributeError: module 'torch' has no attribute 'quantization'解决:PyTorch/torch版本过低,更新到最新版...原创 2021-07-25 12:37:20 · 1139 阅读 · 0 评论 -
torch.hub.load自动下载预训练模型文件用以加载预训练模型
日萌社人工智能AI:Keras PyTorch MXNet TensorFlow PaddlePaddle 深度学习实战(不定时更新) 确定需要加载的预训练模型并安装依赖包 能够加载哪些模型可以参考NLP中的常用预训练模型 这里假设我们处理的是中文文本任务, 需要加载的模型是BERT的中文模型: bert-base-chinese 在使用工具加载模型前需要安...原创 2021-07-26 18:14:50 · 6588 阅读 · 10 评论 -
Pytorch:NLP 迁移学习、NLP中的标准数据集、NLP中的常用预训练模型、加载和使用预训练模型、huggingface的transfomers微调脚本文件
日萌社人工智能AI:Keras PyTorch MXNet TensorFlow PaddlePaddle 深度学习实战(不定时更新)第二章:迁移学习2.1 迁移学习理论学习目标: 了解迁移学习中的有关概念. 掌握迁移学习的两种迁移方式. 迁移学习中的有关概念: 预训练模型 微调 微调脚本 预训练模型(Pretrained model): 一般情况下...原创 2021-07-26 18:14:35 · 7114 阅读 · 1 评论 -
Pytorch:使用Transformer构建语言模型
日萌社人工智能AI:Keras PyTorch MXNet TensorFlow PaddlePaddle 深度学习实战(不定时更新)第三章:Transformer经典案例3.1 使用Transformer构建语言模型学习目标: 了解有关语言模型的知识. 掌握使用Transformer构建语言模型的实现过程. 什么是语言模型? 以一个符合语言规律的序列为输入,模型...原创 2021-07-27 18:15:06 · 2282 阅读 · 0 评论 -
Pytorch:model.train、model.eval、with torch.no_grad
日萌社人工智能AI:Keras PyTorch MXNet TensorFlow PaddlePaddle 深度学习实战(不定时更新)1.model.train() 在train模式下,dropout网络层会按照设定的参数p设置保留激活单元的概率(保留概率=p); batchnorm层会继续计算数据的mean和var等参数并更新。2.model.eval() ...原创 2021-07-27 18:15:09 · 1169 阅读 · 0 评论 -
Pytorch:transpose、view、t()、contiguous()
日萌社人工智能AI:Keras PyTorch MXNet TensorFlow PaddlePaddle 深度学习实战(不定时更新)1.view(*args) → Tensor 返回一个有相同数据但大小不同的tensor。 返回的tensor必须有与原tensor相同的数据和相同数目的元素,但可以有不同的大小。 一个tensor必须是连续的contigu...原创 2021-07-27 18:15:12 · 2004 阅读 · 0 评论 -
Pytorch:Transformer(Encoder编码器-Decoder解码器、多头注意力机制、多头自注意力机制、掩码张量、前馈全连接层、规范化层、子层连接结构、pyitcast) part2
日萌社人工智能AI:Keras PyTorch MXNet TensorFlow PaddlePaddle 深度学习实战(不定时更新)输入部分实现_1.py""" 文本嵌入层的代码分析 """"""输入部分包含: 1.源文本嵌入层及其位置编码器 2.目标文本嵌入层及其位置编码器""""""1.输入部分 嵌入层: 嵌入层类Embeddings: ...原创 2021-07-27 18:15:44 · 2916 阅读 · 0 评论 -
Pytorch:Transformer(Encoder编码器-Decoder解码器、多头注意力机制、多头自注意力机制、掩码张量、前馈全连接层、规范化层、子层连接结构、pyitcast) part1
日萌社人工智能AI:Keras PyTorch MXNet TensorFlow PaddlePaddle 深度学习实战(不定时更新)第二章:Transformer架构解析2.1 认识Transformer架构学习目标: 了解Transformer模型的作用. 了解Transformer总体架构图中各个组成部分的名称. Transformer模型的作用: 基于se...原创 2021-07-27 18:15:32 · 10462 阅读 · 4 评论 -
Expected tensor for argument #1 ‘indices‘ to have scalar type Long;but got torch.IntTensor instead
日萌社人工智能AI:Keras PyTorch MXNet TensorFlow PaddlePaddle 深度学习实战(不定时更新) 报错:RuntimeError: Expected tensor for argument #1 'indices' to have scalar type Long; but got torch.Int...原创 2021-07-27 18:15:25 · 2719 阅读 · 2 评论 -
Embedding词嵌入层的原理
日萌社人工智能AI:Keras PyTorch MXNet TensorFlow PaddlePaddle 深度学习实战(不定时更新)Embedding keras.layers.Embedding(input_dim, output_dim, embeddings_initializer='uniform', embed...原创 2021-07-27 18:15:29 · 1439 阅读 · 0 评论 -
RuntimeError: expected device cpu and dtype Float but got device cpu and dtype Long
日萌社人工智能AI:Keras PyTorch MXNet TensorFlow PaddlePaddle 深度学习实战(不定时更新) RuntimeError: expected device cpu and dtype Float but got device cpu and dtype Long 把 position = torch.ar...原创 2021-07-27 18:15:48 · 1288 阅读 · 7 评论 -
RuntimeError: exp_vml_cpu not implemented for ‘Long‘
日萌社人工智能AI:Keras PyTorch MXNet TensorFlow PaddlePaddle 深度学习实战(不定时更新) RuntimeError: exp_vml_cpu not implemented for 'Long' 把 div_term = torch.exp(torch.arange(0, d_model, 2) *...原创 2021-07-27 18:15:50 · 713 阅读 · 0 评论 -
Pytorch:解码器端的Attention注意力机制、seq2seq模型架构实现英译法任务
日萌社人工智能AI:Keras PyTorch MXNet TensorFlow PaddlePaddle 深度学习实战(不定时更新)2.2 使用seq2seq模型架构实现英译法任务学习目标: 更深一步了解seq2seq模型架构和翻译数据集. 掌握使用基于GRU的seq2seq模型架构实现翻译的过程. 掌握Attention机制在解码器端的实现过程. seq2seq...原创 2021-07-28 14:10:05 · 1953 阅读 · 1 评论 -
Pytorch:RNN、LSTM、GRU 构建人名分类器(one-hot版本、Embedding嵌入层版本)
日萌社人工智能AI:Keras PyTorch MXNet TensorFlow PaddlePaddle 深度学习实战(不定时更新)2. RNN经典案例2.1 使用RNN模型构建人名分类器学习目标: 了解有关人名分类问题和有关数据. 掌握使用RNN构建人名分类器实现过程. 关于人名分类问题: 以一个人名为输入, 使用模型帮助我们判断它最有可能是来自哪一个国家的人...原创 2021-07-28 14:10:23 · 2206 阅读 · 1 评论 -
Pytorch:模型保存与加载方式
日萌社人工智能AI:Keras PyTorch MXNet TensorFlow PaddlePaddle 深度学习实战(不定时更新)Pytorch:模型保存与加载方式 1.保存模型权重 torch.save(model.state_dict(), "./model_save/xx.pt") 2.加载模型权重 model = 模型类M...原创 2021-07-28 14:10:11 · 671 阅读 · 0 评论 -
Pytorch:BatchNorm1d、BatchNorm2d、BatchNorm3d
日萌社人工智能AI:Keras PyTorch MXNet TensorFlow PaddlePaddle 深度学习实战(不定时更新) 1.nn.BatchNorm1d(num_features) 1.对小批量(mini-batch)的2d或3d输入进行批标准化(Batch Normalization)操作 2.num_feature...原创 2021-07-28 14:10:18 · 4028 阅读 · 0 评论 -
Pytorch:RNN、LSTM、GRU
日萌社人工智能AI:Keras PyTorch MXNet TensorFlow PaddlePaddle 深度学习实战(不定时更新)#模型中最后一层隐藏层的最后一个时间步(节点)的输出output可作为预测值,然后通过softmax把output输出转换为概率值#for循环遍历出来的input可以是字符,也可以是单词,那么模型可以是字符输入版本,也可以是单词输入版本for i...原创 2021-07-28 14:10:27 · 547 阅读 · 0 评论 -
Pytorch:pytorch中的多种训练模型写法
日萌社人工智能AI:Keras PyTorch MXNet TensorFlow PaddlePaddle 深度学习实战(不定时更新)1.optimizer优化器torch.optim、scheduler优化器步长自动调节器torch.optim.lr_scheduler #优化器 optimizer = torch.optim.SGD(model....原创 2021-07-28 14:10:30 · 1810 阅读 · 0 评论 -
Pytorch:嵌入层Embedding、EmbeddingBag
日萌社人工智能AI:Keras PyTorch MXNet TensorFlow PaddlePaddle 深度学习实战(不定时更新)Embedding版本.py""" pip install torchtext """# 导入torchtext.datasets中的文本分类任务# from torchtext.datasets import text_classificatio...原创 2021-07-28 14:10:37 · 3172 阅读 · 4 评论 -
Pytorch:RNN、LSTM、GRU、Bi-GRU、Bi-LSTM、梯度消失、梯度爆炸
日萌社人工智能AI:Keras PyTorch MXNet TensorFlow PaddlePaddle 深度学习实战(不定时更新)1. RNN架构解析1.1 认识RNN模型学习目标: 了解什么是RNN模型. 了解RNN模型的作用. 了解RNN模型的分类. 什么是RNN模型: RNN(Recurrent Neural Network), 中文称作循环神...原创 2021-07-28 14:10:42 · 8980 阅读 · 3 评论 -
报错:RuntimeError: Adam does not support sparse gradients, please consider SparseAdam instead
日萌社人工智能AI:Keras PyTorch MXNet TensorFlow PaddlePaddle 深度学习实战(不定时更新) RuntimeError: Adam does not support sparse gradients, please consider SparseAdam instead 分析:nn.Embedding(vo...原创 2021-07-29 00:35:45 · 1046 阅读 · 0 评论 -
Pytorch:使用 Embedding 嵌入层 进行 新闻主题分类任务
日萌社人工智能AI:Keras PyTorch MXNet TensorFlow PaddlePaddle 深度学习实战(不定时更新)2.1 新闻主题分类任务学习目标: 了解有关新闻主题分类和有关数据. 掌握使用浅层网络构建新闻主题分类器的实现过程. 关于新闻主题分类任务: 以一段新闻报道中的文本描述内容为输入, 使用模型帮助我们判断它最有可能属于哪一种类型的新闻, ...原创 2021-07-29 00:35:42 · 1995 阅读 · 0 评论 -
报错:RuntimeError: Expected object of backend CUDA but got backend CPU for argument #3 ‘index‘
日萌社人工智能AI:Keras PyTorch MXNet TensorFlow PaddlePaddle 深度学习实战(不定时更新) RuntimeError: Expected object of backend CUDA but got backend CPU for argument #3 'index' 分析:data数据或者model没有调用.to(dev...原创 2021-07-29 00:35:38 · 949 阅读 · 0 评论 -
Pytorch 文本数据分析方法(标签数量分布、句子长度分布、词频统计、关键词词云)、文本特征处理(n-gram特征、文本长度规范)、文本数据增强(回译数据增强法)
日萌社人工智能AI:Keras PyTorch MXNet TensorFlow PaddlePaddle 深度学习实战(不定时更新)文本数据分析学习目标: 了解文本数据分析的作用. 掌握常用的几种文本数据分析方法. 文本数据分析的作用: 文本数据分析能够有效帮助我们理解数据语料, 快速检查出语料可能存在的问题, 并指导之后模型训练过程中一些超参数的选择. 常用的几种文...原创 2021-07-29 00:35:48 · 5462 阅读 · 1 评论 -
Pytorch:jieba分词、hanlp分词、词性标注、命名实体识别、one-hot、Word2vec(CBOW、skipgram)、Word Embedding词嵌入、fasttext
日萌社人工智能AI:Keras PyTorch MXNet TensorFlow PaddlePaddle 深度学习实战(不定时更新)文本预处理及其作用:文本语料在输送给模型前一般需要一系列的预处理工作, 才能符合模型输入的要求, 如: 将文本转化成模型需要的张量, 规范张量的尺寸等, 而且科学的文本预处理环节还将有效指导模型超参数的选择, 提升模型的评估指标.文本预处理中包含...原创 2021-07-29 00:35:51 · 4408 阅读 · 3 评论 -
报错:AttributeError: module ‘tensorflow_core._api.v2.io.gfile‘ has no attribute ‘get_filesystem‘
日萌社人工智能AI:Keras PyTorch MXNet TensorFlow PaddlePaddle 深度学习实战(不定时更新)报错信息: File "/root/anaconda3/lib/python3.7/site-packages/torch/utils/tensorboard/writer.py", line 781, in add_embedding ...原创 2021-07-29 00:36:00 · 1032 阅读 · 0 评论 -
Pytorch 实现手写数字识别
日萌社人工智能AI:Keras PyTorch MXNet TensorFlow PaddlePaddle 深度学习实战(不定时更新)使用Pytorch实现手写数字识别目标知道如何使用Pytorch完成神经网络的构建 知道Pytorch中激活函数的使用方法 知道Pytorch中torchvision.transforms中常见图形处理函数的使用 知道如何训练模型和如何评...原创 2021-07-30 10:48:33 · 1986 阅读 · 0 评论 -
Pytorch 数据加载:Dataset、DataLoader、自带数据集(MNIST数据集)
日萌社人工智能AI:Keras PyTorch MXNet TensorFlow PaddlePaddle 深度学习实战(不定时更新)Pytorch中的数据加载目标知道数据加载的目的 知道pytorch中Dataset的使用方法 知道pytorch中DataLoader的使用方法 知道pytorch中的自带数据集如何获取1. 模型中使用数据加载器的目的在前面的线性...原创 2021-07-30 10:48:36 · 1793 阅读 · 0 评论 -
优化算法:梯度下降算法BGD、随机梯度下降法SGD、小批量梯度下降MBGD、动量法、AdaGrad、RMSProp。避免过拟合/加速训练:Dropout、Batch Normalization
日萌社人工智能AI:Keras PyTorch MXNet TensorFlow PaddlePaddle 深度学习实战(不定时更新)3. 常见的优化算法介绍3.1 梯度下降算法(batch gradient descent BGD)每次迭代都需要把所有样本都送入,这样的好处是每次迭代都顾及了全部的样本,做的是全局最优化,但是有可能达到局部最优。3.2 随机梯度下降法 (...原创 2021-07-30 10:48:39 · 1046 阅读 · 0 评论 -
Pytorch 基础模型组件:nn.Module、nn.Sequential、优化器类、常见的损失函数
日萌社人工智能AI:Keras PyTorch MXNet TensorFlow PaddlePaddle 深度学习实战(不定时更新)Pytorch基础模型组件目标知道Pytorch中Module的使用方法 知道Pytorch中优化器类的使用方法 知道Pytorch中常见的损失函数的使用方法 知道如何在GPU上运行代码 能够说出常见的优化器及其原理1. Pytorc...原创 2021-07-30 10:48:42 · 713 阅读 · 0 评论 -
Pytorch 线性回归
日萌社人工智能AI:Keras PyTorch MXNet TensorFlow PaddlePaddle 深度学习实战(不定时更新)Pytorch完成线性回归目标知道如何手动完成线性回归1. 线性回归实现下面,我们使用一个自定义的数据,来使用torch实现一个简单的线性回归假设我们的基础模型就是y = wx+b,其中w和b均为参数,我们使用y = 3x+0.8来构...原创 2021-07-30 10:48:46 · 279 阅读 · 0 评论 -
Pytorch 自动求导、梯度下降和反向传播
日萌社人工智能AI:Keras PyTorch MXNet TensorFlow PaddlePaddle 深度学习实战(不定时更新)梯度下降和反向传播目标知道什么是梯度下降 知道什么是反向传播1. 梯度是什么?梯度:是一个向量,导数+变化最快的方向(学习的前进方向)回顾机器学习2. 偏导的计算2.1 常见的导数计算2....原创 2021-07-30 10:48:48 · 676 阅读 · 0 评论 -
Pytorch 张量
日萌社人工智能AI:Keras PyTorch MXNet TensorFlow PaddlePaddle 深度学习实战(不定时更新)Pytorch中数据-张量目标知道张量和Pytorch中的张量 知道pytorch中如何创建张量 知道pytorch中tensor的重要属性 知道pytorch中tensor的如何修改 知道pytorch中的cuda tensor 掌...原创 2021-07-30 10:48:51 · 319 阅读 · 0 评论 -
PyTorch 安装 GPU版本(CUDA/cuDNN)
日萌社人工智能AI:Keras PyTorch MXNet TensorFlow PaddlePaddle 深度学习实战(不定时更新)1.官网下载安装:https://pytorch.org/get-started/locally/2.执行命令:conda install pytorch torchvision cudatoolkit=10.1 -c pytorch3.比如我...原创 2021-07-30 10:48:53 · 893 阅读 · 0 评论 -
人脸检测、人脸定位、人脸对齐、MTCNN、人脸识别(衡量人脸的相似或不同:softmax、三元组损失Triplet Loss、中心损失Center Loss、ArcFace)
日萌社人工智能AI:Keras PyTorch MXNet TensorFlow PaddlePaddle 深度学习实战(不定时更新)# ArcFaceclass ArcMarginProduct(nn.Module): r"""Implement of large margin arc distance: : Args:...原创 2021-08-07 10:17:45 · 1653 阅读 · 5 评论 -
PyTorch 安装 GPU版本(CUDA/cuDNN)
日萌社人工智能AI:Keras PyTorch MXNet TensorFlow PaddlePaddle 深度学习实战(不定时更新)1.官网下载安装:https://pytorch.org/get-started/locally/2.执行命令:conda install pytorch torchvision cudatoolkit=10.1 -c pytor...原创 2021-08-07 10:17:54 · 897 阅读 · 0 评论 -
PyTorch 相关函数详解
PyTorch中文文档:https://pytorch-cn.readthedocs.io/zh/latest/1.torch.div() 1.div_(value):div()的in-place运算形式 2.torch.div(input, value, out=None) 1.将input逐元素除以标量值value,并返回结果到输出张量out。 即 out=tensor/va...原创 2021-08-22 14:43:12 · 1628 阅读 · 0 评论 -
10分钟快速入门 PyTorch – RNN
10分钟快速入门 PyTorch (8) – Word Prediction https://www.pytorchtutorial.com/10-minute-pytorch-8/10分钟快速入门 PyTorch (5) – RNN https://www.pytorchtutorial.com/10-minute-pytorch-5/PyTorch 中的 LSTM模型参数解释 h...原创 2021-08-24 09:31:59 · 303 阅读 · 0 评论 -
window下安装 Keras、TensorFlow(先安装CUDA、cuDNN,再安装Keras、TensorFlow)
日萌社======= 人工智能 Keras、TensorFlow 的环境安装 ======推荐安装:TensorFlow 2.0、CUDA10、cuDNN7.6.5TensorFlow 2.0 环境搭建window下安装 anaconda(python 3.6 / python 3.7)安装 ubuntu 16/18window下安装 Keras、TensorFlow(...原创 2021-06-18 22:08:49 · 1450 阅读 · 0 评论