导读:本文主要介绍PyTorch的一些基础且常用的概念和模块,以及:
-
为何选择PyTorch。
-
PyTorch环境的安装与配置。
作者:吴茂贵 郁明敏 杨本法 李涛 张粤磊
来源:大数据DT(ID:bigdatadt)
PyTorch是Facebook团队于2017年1月发布的一个深度学习框架,虽然晚于TensorFlow、Keras等框架,但自发布之日起,其关注度就在不断上升,目前在GitHub上的热度已超过Theano、Caffe、MXNet等框架。
PyTorch 1.0版本推出后,增加了许多新的功能,对原有内容进行了优化,并整合了Caffe2,使用更方便,大大增强了生产性,所以其热度也迅速上升。
PyTorch采用Python语言接口来实现编程,非常容易上手。它就像带GPU的Numpy,与Python一样都属于动态框架。
PyTorch继承了Torch灵活、动态的编程环境和用户友好的界面,支持以快速和灵活的方式构建动态神经网络,还允许在训练过程中快速更改代码而不妨碍其性能,支持动态图形等尖端AI模型的能力,是快速实验的理想选择。
01 为何选择PyTorch?
PyTorch是一个建立在Torch库之上的Python包,旨在加速深度学习应用。它提供一种类似Numpy的抽象方法来表征张量(或多维数组),可以利用GPU来加速训练。由于 PyTorch 采用了动态计算图(Dynamic Computational Graph)结构,且基于tape的Autograd系统的深度神经网络。
其他很多框架,比如TensorFlow(TensorFlow2.0也加入了动态网络的支持)、Caffe、CNTK、Theano等,采用静态计算图。
使用PyTorch,通过一种称为Reverse-mode auto-differentiation(反向模式自动微分)的技术,可以零延迟或零成本地任意改变你的网络的行为。
Torch是PyTorch中的一个重要包,它包含了多维张量的数据结构以及基于其上的多种数学操作。
自2015年谷歌开源TensorFlow以来,深度学习框架之争越来越激烈,全球多个看重AI研究与应用的科技巨头均在加大这方面的投入。PyTorch从2017年年初发布以来,可谓是异军突起,短时间内取得了一系列成果,成为明星框架。
最近PyTorch进行了一些较大的版本更新,0.4版本把Varable与Tensor进行了合并,并增加了对Windows的支持。1.0版本增加了即时编译(Justintimecompilation,JIT,弥补了研究与生产的部署的差距)、更快的分布式、C++扩展等。
目前,PyTorch 1.0 稳定版已发布,该版本从Caffe2和ONNX移植了模块化和产品导向的功能,并将这些功能和PyTorch已有的灵活、专注研究的特性相结合。PyTorch 1.0中的技术已经让很多Facebook的产品和服务变得更强大,包括每天执行60亿次的文本翻译。
PyTorch由4个主要的包组成:
-
torch:类似于Numpy的通用数组库,可将张量类型转换为torch.cuda.TensorFloat,并在GPU上进行计算。
-
torch.autograd:用于构建计算图形并自动获取梯度的包。
-
torch.nn:具有共享层和损失函数的神经网络库。
-
torch.optim: