在MacOS构建Python深度学习开发环境

目录

构建环境

Step 1：搭建初始环境

安装Homebrew

安装Pyenv

Step 2：构建开发环境

安装多版本Python

设置虚拟环境

Step 3：完善Python开发环境

训练测试

Step 1：下载源代码

Step 2：准备训练数据

Step 3：进行模型训练

Step 4：进行模型测试

参考资料

---

学习《深度学习推荐系统》这本书时，为加深理解，尝试以DIEN论文提及的测试程序为抓手，在MacOS工作笔记本上构建了完整的模型训练和测试环境。

构建环境

当前，手头的macOS开发环境如下：

• macOS Monterey 12.1
• Xcode Command Line Tools（xcode-select version 2392）
• iTerm2

Step 1：搭建初始环境

安装Homebrew

首选从Homebrew官网安装。如果安装过程太耗时或下载失败，可以尝试以下方案： 

# 1.下载安装脚本
wget https://raw.githubusercontent.com/Homebrew/install/HEAD/install.sh
# 2.将脚本中的下述两个变量替换为国内镜像
HOMEBREW_BREW_DEFAULT_GIT_REMOTE="https://mirrors.aliyun.com/homebrew/brew.git"
HOMEBREW_CORE_DEFAULT_GIT_REMOTE="https://mirrors.aliyun.com/homebrew/homebrew-core.git"
# 3.安装Homebrew
bash install.sh

若已安装过Homebrew，但运行 "brew update" 失败，可替换为阿里云Homebrew镜像。步骤详见 homebrew镜像-homebrew下载地址-homebrew安装教程-阿里巴巴开源镜像站 。

安装Pyenv

相关背景知识，可参考官网。

# 1. 安装pyenv
brew install pyenv
brew install pyenv-virtualenv
# 2. 在 "~/.bash_profile"设置变量
echo 'PATH=$(pyenv root)/shims:$PATH' >> ~/.bash_profile
eval "$(pyenv init -)"
eval "$(pyenv virtualenv-init -)"

Step 2：构建开发环境

TF1和TF2依赖的Python版本差异较大。为了便于尝试多个Python版本（例如：Python 2.7.18 vs. 3.9.10），可以在Pyenv中构建Python环境，甚至通过virtualenv，分目录设置不同的Python版本。

安装多版本Python

# 如果从Python官网下载安装包太慢，可以尝试本地缓存方案。
cd ~/.pyenv/
mkdir cache
cd cache
wget https://www.python.org/ftp/python/2.7.18/Python-2.7.18.tar.xz
wget https://www.python.org/ftp/python/3.9.10/Python-3.9.10.tar.xz
# 安装Python
pyenv install 2.7.18
pyenv install 3.9.10

在安装过程中，需要源码编译Python，可能出现如下错误：

python-build: use zlib from xcode sdk
BUILD FAILED (OS X 12.1 using python-build 20180424)
clang: error: unsupported option '-V -Wno-objc-sig