强化学习入门-Pytorch(CPU版本)简介、安装与测试运行

Pytorch简介

PyTorch是一个开源的Python机器学习库，基于Torch，用于自然语言处理等应用程序。PyTorch既可以看作加入了GPU支持的numpy，同时也可以看成一个拥有自动求导功能的强大的深度神经网络。

2017年1月，由Facebook人工智能研究院（FAIR）基于Torch推出了PyTorch。它是一个基于Python的可续计算包，提供两个高级功能：1、具有强大的GPU加速的张量计算（如NumPy）。2、包含自动求导系统的深度神经网络。

Pytorch的优点可以概括为动态计算图、易用性、易于调试、丰富社区支持、大量预训练模型、高效GPU利用等，在深度学习领域备受欢迎。

典型使用场景包括计算机视觉、自然语言处理、生成对抗网络、强化学习、时序数据分析等。

目前运行环境已已兼容Windows(CUDA,CPU)、MacOS(CPU)、Linux(CUDA,ROCm,CPU)

pytorch工具包：

torch ：类似 NumPy 的张量库，支持GPU；
torch.autograd ：基于 type 的自动区别库，支持 torch 之中的所有可区分张量运行；
torch.nn ：为最大化灵活性而设计，与 autograd 深度整合的神经网络库；
torch.optim：与 torch.nn 一起使用的优化包，包含 SGD、RMSProp、LBFGS、Adam 等标准优化方式；
torch.multiprocessing： python 多进程并发，进程之间 torch Tensors 的内存共享；
torch.utils：数据载入器。具有训练器和其他便利功能；
torch.legacy(.nn/.optim) ：出于向后兼容性考虑，从 Torch 移植来的 legacy 代码；

图1. 图片出自一文总结深度学习框架-Pytorch

Pytorch安装

查询设备GPU/CPU

首先，需要查询设备是否有GPU，然后对应安装不同版本的pytorch。

# 查看系统版本
lsb_release -a

# 查看CPU信息
cat /proc/cpuinfo

# 查看显卡型号
lspci | grep -i vga
lspci | grep VGA

Device后面的内容就是我们需要的内容，可以看到PCI为1e81

查找对应的显卡型号：PCI设备查询网站
![在这里插入图片描述](https://img-blog.csdnimg.cn/direct/0308c76cc9274af18a2da735dec8555b.png

# 另一种方法查看显卡型号
sudo lshw -C display

从上图可以看出该设备没有NVIDIA显卡，所以不能使用GPU加速，因此需要安装CPU版本的Pytorch。要是有NVIDIA显卡，则可以安装对应显卡版本的CUDA和Pytorch，使用GPU加速计算。

nvidia-smi是NVIDIA显卡驱动程序自带的命令，用于查看NVIDIA显卡的信息，但查看不了其他型号的显卡。

# 查看显存信息
# 是NVIDIA显卡驱动程序自带的命令，用于查看NVIDIA显卡的信息
nvidia-smi

# 查看GPU显卡信息
nvidia-smi -L

查找对应版本的Pytorch

Pytorch官网：PyTorch
安装以前版本可以点击左下角的链接，

通过conda安装配置Pytorch环境，conda安装见强化学习入门-conda\anaconda简介、安装与测试运行

创建环境

# 创建名为rlenv的环境
conda create -n rlenv python=3.8
# 查看已创建的环境
conda env list
# 第一次激活环境的命令
source activate rlenv
# 后续激活环境的命令
conda activate rlenv
# 关闭环境
conda deactivate

切换国内源

# 添加三个源
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/pytorch/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/
# 确定
conda config --set show_channel_urls yes

安装Pytorch CPU版本

conda activate rlenv
# 方法一：直接从官方下载
conda install pytorch torchvision torchaudio cpuonly -c pytorch
# 方法二：从清华源镜像下载
conda install pytorch torchvision cpuonly
# 方法三：国内源下载
conda install pytorch-cpu
conda install torchvision-cpu

安装完成：

Pytorch测试运行

在conda环境中，输入python，进入python环境，开始测试：

import torch
torch.__version__
import torchvision
torchvision.__version__
import torchaudio
torchaudio.__version__

至此Pytorch CPU版本安装完成，但此时torch.cuda是无法使用的，因为没有GPU。

import torch
torch.cuda.is_available()