- 博客(7)
- 收藏
- 关注
RSS订阅原创 PyTorch单机多卡分布式训练教程及代码示例
导师不是很懂PyTorch的分布式训练流程，我就做了个PyTorch单机多卡的分布式训练介绍，但是他觉得我做的没这篇好PyTorch分布式训练简明教程 - 知乎。这篇讲的确实很好，不过我感觉我做的也还可以，希望大家看完之后能给我一些建议。目录1.预备知识1.1 主机(Host)，节点(Node)，进程(Process)和工人(Worker)。1.2 World，Rank，Local Rank1.2.1 World1.2.2 Rank1.2.3 Local Rank2. PyT
2021-11-19 14:25:18
6094
6
原创 PyTorch 源码分析：Optimizer类
Pytorch对Optimizer类的实现大部分都在Python上，只有计算用到了C++的部分，所以还是可以继续分析的。Optimizer类是所有具体优化器类的一个基类。下面一幅图表示一下。这里我以SGD类为例自下而上地介绍一下。Optimizer类中重要的成员变量只有两个，self.param_groups和self.state。self.param_groups用于存储模型参数和优化器本身的一些参数（如学习率等）。self.state则用于存储更新过程中模型参数对应的各种临.
2021-11-05 11:15:21
1613
原创 PyTorch Tensor类：何时使用inplace操作？
什么是Inplace操作?首先解释一下什么是Inplace操作，在Pytorch中，我们直接在Tensor内存上修改这个Tensor，而不是经过创建内存修改Tensor，我们称这种操作为inplace操作。例子：import torchX = torch.tensor([1.0])#不是inplace操作X = X + 2 #是inplace操作X.add_(2)由于Tensor需要做自动微分，所以Pytorch会限制用户使用inplace操作的范围，当这个Tensor为叶节..
2021-11-05 10:10:19
1434
原创 PyTorch Tensor类：clone和detach的用法
本来是准备分析一下Tensor类的源码的，但是看了看发现这个类的源码实现基本都是在C++上，目前精力有限，所以就算了。现在打算分析一下Tensor中可能比较难用的方法，比如clone,detach。这些方法之所以难用主要还是因为Tensor支持自动微分，也就是说每个Tensor不止能表示这个Tensor对应的值，还可以表示以这个Tensor为根结点的前向计算图。Clone方法我们先看Pytorch的官方文档torch.clone — PyTorch 1.10.0 documentation
2021-11-05 09:52:44
1586
2
原创 PyTorch 源码分析：Module类
Module是PyTorch中一个比较重要的类，我们平常在用PyTorch搭模型的时候会经常用到Module类的一些方法，所以我希望能先从Module类的数据结构层面进行更深入的了解。首先我对Module类的理解为Module类完成了对计算函数的一种封装。从具体的使用场景来看，...
2021-10-30 13:10:21
843
原创 Python 迭代器和生成器的使用方法
这两天要用Pytorch做一些分布式SGD的复现，所以也顺便熟悉了一下Pytorch在Python部分的实现，发现Pytorch用到了很多Python迭代器方面的语法。所以准备先介绍一下Python中迭代器和生成器的使用，之后再介绍Pytorch的一些内部实现。前言迭代器的好处不用多说，就是节省内存。这里就重点介绍Python中迭代器和生成器的使用方法。如何创建一个迭代器对象？如何从非迭代器对象中得到迭代器对象？生成器：另一种创建的迭代器对象的方式...
2021-10-29 16:26:34
272
原创 CcGAN: Continuous Conditional Generative Adversarial Networks for Image Generation论文解读
论文arxiv地址：https://arxiv.org/abs/2011.07466论文源码：https://github.com/UBCDingXin/improved_CcGAN前言CcGAN发表在2021年的ICLR上，它是一种cGAN，但和其他cGAN的不同之处在于，它可以针对回归标签(regression labels)生成高质量的图片。回归标签和离散标签(通常是类别)对应，是指在一定区间内有无限取值的连续型标签，如角度，温度等。想要解决的问题以往的cGAN在将..
2021-10-24 12:18:09
2455
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人