个人开发习惯
每个人都有自己的开发习惯,如自己喜欢的开发工具、开发环境的,其实也没有最好的,只要自己用着舒服、能提高效率就好。对于做数据分析、机器学习和深度学习的开发工作,个人喜欢使用anaconda+jupyter lab的环境(jupyter其实已经包含在anaconda中了),使用conda可以方便地创建python虚拟环境,而jupyter lab则是一个基于web的交互式开发工具。最初使用的是jupyter notebook,而jupyter lab是其更新换代的产品,是新一代的notebook界面和开发环境,功能比jupyter notebook强大很多,特别是其用户界面有很大的改进,不仅UI看起来更加美观,而且使用了模块化的设计可以让用户随意地自定义布局,强烈推荐大家使用,详细信息可以访问官网了解。
最后,也是我比较喜欢的一点是,用conda创建虚拟环境之后,可以将虚拟环境添加到jupyter中,之后启动jupyter lab打开notebook,可以随意切换到需要的虚拟环境,或者创建notebook时可以选择在哪个环境下创建,这样在notebook执行代码的时候就会使用相应的环境的python执行。
系统环境
-
系统:Windows 11 64-bit
-
CPU:11th Gen Intel® Core™ i7-1165G7 @ 2.80GHz 2.80 GHz
-
内存:16G
搭建流程
Anaconda
简单地说,anaconda是对python进行了封装,并且预先安装好了很多做数据科学、数据分析和机器学习所需要的包和库,如numpy、pandas、sci-kit learn等,anaconda也封装了R环境,可以使用R语言做数据分析。当然远不止这么多,它提供了可视化的环境管理和包管理工具,可以很方便地在GUI界面下创建虚拟环境和安装开源库,还有一个python的IDE Spyder,用来做python数据分析还是很不错的。有兴趣的可以访问官网详细了解下。
-
下载
访问网站https://www.anaconda.com/下载最新的anaconda 64-Bit安装程序
-
开始安装
-
直接双击双击下载好的程序开始安装,前面都可以直接点下一步,需要的话可以修改下安装路径,我一般会安装在D盘,但是注意安装路径上的目录名称不能有空格,最好也不要有中文,有的话没法安装;
-
在最后一步中,如果电脑中没有安装其他python的话,建议可以都勾选上,第一个选项是把anaconda的可执行程序(如conda、python等)所在的目录加入系统环境变量PATH中,这样在cmd中不管在任何位置下都可以执行这些命令;如果你的电脑中已经安装了其他python的话,可以根据个人需求和操作习惯进行选择。
-
-
验证是否安装完成
-
打开cmd,输入conda和python,输出如下图所示内容说明安装成功并且anaconda也已经加入到系统环境变量PATH中了
-
从 开始 → 所有应用 中可以进入 Anaconda3(64-bit) 目录,点击目录下面的Anaconda Prompt(anaconda3) ,可以进入anaconda的默认的python环境base,如下图所示:
-
如此,便安装好了Anaconda。接下来可以利用conda来创建我们用于开发或学习所需的各种虚拟环境了。
PaddlePaddle环境
-
创建虚拟环境,在cmd中执行如下命令:
# 注意选择 python<=3.8.0 的版本,否则后面在jupyter lab中切换环境时会有问题,应该是个bug conda create -n pp python=3.8.0
-
激活虚拟环境
conda activate pp
-
安装paddlepaddle
可到官网页面快速安装中选择相应的配置获取安装命令,如下图所示:
输入如下命令:
conda install paddlepaddle==2.3.2 --channel https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/Paddle/
-
安装ipykernel:
输入命令安装:
conda install ipykernel
-
将该虚拟环境添加到jupyter
python -m ipykernel install --name pp
-
退出虚拟环境pp,启动jupyter lab:
conda deactivate jupyter lab
在打开的浏览器页面中,可以看到已经有pp这个虚拟环境了。其实准确地说在jupyter中叫做内核kernel,我们是把pp这个虚拟环境中的kernel安装到了jupyter中,这样才会显示pp这个选项。我们可以点击Notebook下的pp选项创建一个使用pp这个kernel的notebook,执行一些代码,看看是否安装了paddlepaddle:
可以看到我们成功导入了paddle模块,并且右上角的pp也说明了当前notebook使用的是pp这个虚拟环境。
PyTorch环境
-
创建虚拟环境,在cmd中执行如下命令:
# 注意选择 python<=3.8.0 的版本,否则后面在jupyter lab中切换环境时会有问题,应该是个bug # 这里命令跟上面的有点不同,在后面加了ipykernel,表示在创建虚拟环境的时候顺便安装ipykernel这个包,需要的话你也可以加上其他的包在创建环境的时候一起安装 conda create -n pytorch python=3.8.0 ipykernel
-
激活虚拟环境
conda activate pytorch
-
安装pytorch
可到官网页面中选择相应的配置获取安装命令,如下图所示:
输入如下命令:
conda install pytorch torchvision torchaudio cpuonly -c pytorch
-
将该虚拟环境添加到jupyter
python -m ipykernel install --name pytorch
-
退出虚拟环境pp,启动jupyter lab:
conda deactivate jupyter lab
同样的,在打开的浏览器页面中,可以看到已经有pytorch这个虚拟环境了,其实就是把pytorch这个虚拟环境中的kernel安装到了jupyter中。我们可以点击Notebook下的pytorch选项创建一个使用pytorch这个kernel的notebook,执行一些代码,看看是否安装了pytorch:
可以看到我们成功导入了torch模块,并且右上角的pytorch也说明了当前notebook使用的是pytorch这个虚拟环境。
Tenforflow环境
-
创建虚拟环境,在cmd中执行如下命令:
# 注意选择python<=3.8.0的版本,否则后面在jupyter lab中切换环境时会有问题,应该是个bug conda create -n tf2 python=3.8.0 ipykernel
-
激活虚拟环境
conda activate tf2
-
安装tensorflow
可参考https://github.com/tensorflow/tensorflow
# 因为我电脑没有GPU,所有选择安装比较小的只支持cpu的包 # 如果你有GPU,则使用命令pip install tensorflow安装,其包含了对GPU的支持 # 另外,由于默认的镜像源下载速度很慢,所以指定从清华镜像源下载包 pip install tensorflow-cpu -i https://pypi.tuna.tsinghua.edu.cn/simple
-
将该虚拟环境添加到jupyter
python -m ipykernel install --name tf2
-
退出虚拟环境pp,启动jupyter lab:
conda deactivate jupyter lab
同样的,在打开的浏览器页面中,可以看到已经有tf2这个虚拟环境了,其实就是把tf2这个虚拟环境中的kernel安装到了jupyter中。我们可以点击Notebook下的tf2选项创建一个使用tf2这个kernel的notebook,执行一些代码,看看是否安装了tensorflow:
可以看到我们成功导入了tensorflow模块,并且右上角的tf2也说明了当前notebook使用的是tf2这个虚拟环境。
以上给出了几个流行的深度学习框架开发环境的搭建过程,当然,也可以用这种方式创建其他方面的开发环境,如数据分析、web开发等。每个虚拟环境之间互不影响,可以避免不同项目之间依赖包版本不同而产生冲突等问题,这也是python虚拟环境要解决的问题以及我们可以从中获得的好处。
正如我在开头所说的,开发环境的搭建方式、开发工具等也不是唯一的,我觉得好、我喜欢的也不一定是你所喜欢的,关键是自己用着舒服,可以提高开发效率就好,这里提供的方式也仅供参考,有任何问题欢迎留言探讨!