![](https://img-blog.csdnimg.cn/20201014180756738.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
PyTorch
深度学习PyTorch实践
还记得樱花正开~
这个作者很懒,什么都没留下…
展开
-
独热向量和嵌入层向量的区别以及嵌入层的应用
独热向量的特点高维 稀疏 硬编码嵌入层向量的特点低维 稠密 从数据中学习得到原创 2021-04-13 15:50:31 · 546 阅读 · 0 评论 -
PyTorch之RNN的应用
训练模型,学习从“hello”到“ohlol”代码运行结果独热向量的特点原创 2021-04-10 11:12:30 · 119 阅读 · 0 评论 -
PyTorch之RNNCell的应用
训练模型,学习从“hello”到"ohlol"代码import torchinput_size=4hidden_size=4batch_size=1idx2char=['e','h','l','o'] #字典x_data=[1,0,2,2,3] #输入序列是helloy_data=[3,1,2,3,2] #输出序列是ohlolone_hot_lookup=[[1,0,0,0], [0,1,0,0],原创 2021-04-09 09:52:52 · 418 阅读 · 0 评论 -
PyTorch中的RNN和RNNCell
1 网络结构2 实现代码2.1 RNNCellimport torch#parametersbatch_size=1seq_len=3input_size=4hidden_size=2#construction of RNNCellcell=torch.nn.RNNCell(input_size=input_size,hidden_size=hidden_size)dataset=torch.randn(seq_len,batch_size,input_size)原创 2021-03-20 15:55:25 · 477 阅读 · 0 评论 -
PyTorch实现Residual网络
1 残差网络结构2 实现代码class ResidualBlock(torch.nn.Module): def __init__(self,channels): super(ResidualBlock,self).__init__() self.channels=channels self.conv1=torch.nn.Conv2d(channels,channels,kernel_size=3,padding=1) ..原创 2021-03-20 14:42:58 · 876 阅读 · 2 评论 -
PyTorch实现Inception网络
一般来说,提升网络性能最保险的方法就是增加网络的宽度和深度,这样做同时也会伴随着副作用。首先越深越宽的网络往往会意味着有巨大的参数量,当数据量很少的时候,训练出来的网络很容易过拟合,并且当网络有很深的深度的时候,很容易造成梯度消失现象。这两个副作用制约着又深又宽的卷积神经网络的发展,Inception网络很好的解决了这两个问题。1 Inception网络结构2 实现代码class InceptionA(torch.nn.Module): def __init__(self,原创 2021-03-20 13:38:38 · 821 阅读 · 0 评论 -
PyTorch中的卷积神经网络
1 输入、输出和卷积层的维度import torchin_channels,out_channels=5,10width,height=100,100kernel_size=3batch_size=1input=torch.randn(batch_size,in_channels,width,height)conv_layer=torch.nn.Conv2d(in_channels,out_channels,kernel_size=kernel_size)output=co..原创 2021-03-19 23:27:23 · 1279 阅读 · 0 评论 -
多分类问题Softmax分类器
import torchfrom torch.utils.data import DataLoaderfrom torchvision import transformsfrom torchvision import datasetsimport torch.nn.functional as Fimport torch.optim as optimbatch_size=64transform=transforms.Compose([ transforms.ToTens...原创 2021-03-18 21:10:02 · 316 阅读 · 0 评论 -
Pytorch中使用Dataset和DataLoader构建数据集
1 专业术语epoch:One forward pass and one backward pass of all the training examples. batch-size:The number of training examples in one forward backward pass. iteration:Number of passes, each pass using [batch size] number of examples.2 实现过程2.1 准备数据集f原创 2021-03-17 10:36:40 · 593 阅读 · 0 评论 -
PyTorch处理多维特征的输入
1.代码import numpy as npimport torchimport matplotlib.pyplot as pltimport torch.nn.functional as F#1.prepare datasetxy=np.loadtxt('E:\深度学习\PyTorch深度学习实践\diabetes.csv.gz',delimiter=',',dtype=np.float32)x_data=torch.from_numpy(xy[:,:-1])y_data=torc.原创 2021-03-16 17:42:09 · 323 阅读 · 0 评论 -
Logistic回归(分类问题)
代码import torchimport torch.nn.functional as Fimport numpy as npimport matplotlib.pyplot as pltx_data=torch.Tensor([[1.0],[2.0],[3.0]])y_data=torch.Tensor([[0],[0],[1]])class LogisticRegressionModel(torch.nn.Module): def __init__(self): ..原创 2021-03-16 16:03:27 · 261 阅读 · 0 评论 -
PyTorch构建线性模型
1 步骤准备数据集 设计模型 构造计算图 继承自nn.Module 构造损失函数和训练器 使用pytorch接口 训练循环 前馈算损失,反馈算梯度,更新权值2 代码import torchimport matplotlib.pyplot as pltx_data=torch.Tensor([[1.0],[2.0],[3.0]])y_data=torch.Tensor([[2.0],[4.0],[6.0]])class LinearModel(torch.nn.Module):原创 2021-03-15 23:39:04 · 225 阅读 · 1 评论 -
反向传播
1 1.1使用pytorch计算梯度'''在PyTorch里,tensor是组成动态计算图的重要组成部分tensor包含了data和grad,储存了权值和损失函数对权值的梯度'''import torchx_data=[1.0,2.0,3.0]y_data=[2.0,4.0,6.0]w=torch.Tensor([1.0]) #注意要加方括号w.requires_grad=True #允许求导#forward和loss函数用来构建计算图,不需要取tensor的da原创 2021-03-15 19:18:21 · 137 阅读 · 0 评论 -
梯度下降/随机梯度下降
已知对于不同的权值,会得到不同大小的损失。那么如何在训练的过程中,尽快得到损失最小对应的权值呢?1 梯度下降#梯度下降算法x_data=[1.0,2.0,3.0]y_data=[2.0,4.0,6.0]w=1.0def forward(x): return x*w#计算所有样本点的损失def cost(xs,ys): cost=0 for x,y in zip(xs,ys): y_pred=forward(x) cost+=原创 2021-03-15 15:42:35 · 148 阅读 · 0 评论 -
线性模型
1 y=w*ximport numpy as npimport matplotlib.pyplot as pltx_data=[1.0,2.0,3.0]y_data=[2.0,4.0,6.0]#前向传播计算预测值def forward(x): return x*w#计算单个样本的损失def loss(x,y): y_pred=forward(x) return (y_pred-y)*(y_pred-y)w_list=[]mse_list=[]#计算原创 2021-03-15 15:31:46 · 120 阅读 · 0 评论