本文档详述了在Ubuntu20.4上部署Baichuan2的步骤，包括硬件配置、环境搭建、CUDA与Anaconda的安装，以及在部署过程中可能遇到的问题和解决方案。在部署过程中，需确保UEFI启动，安装最新驱动，激活conda环境，安装必要组件，并从GitHub克隆Baichuan2项目。在运行过程中，可能会遇到'BaichuanTokenizer'对象没有'sp_model'属性的问题，可通过更新transformers版本解决，而显存不足问题则建议使用4bit量化或升级GPU。
部署其实是不太复杂的，但实际上也耗费了接近2-3天的时间去不断的设置
1 硬件配置信息 采用esxi 虚拟化的方式将T4 卡穿透给esxi 种的ubuntu20.4虚拟机
CPU给到8 core 内存至少32GB以上 T4卡是16GB
2 预先准备OS环境 这里使用的是ubuntu20.4版本，esxi中需要设置uefI启动方式，否则会不识别到T4卡或者T4卡的驱动无法安装正确
3 下载最新的驱动和cuda版本以及cudnn的版本 及Anaconda信息如下
可以通过命令进行确认，这里需要注意的是环境变量需要设置好，主要是cuda和conda
~/.bashrc
确认T4卡是否正常 可以看到已经在使用中
4 安装anaconda 后需要激活相应的环境
conda create -n baichuan2 python=3.10
创建后会有提示进行相应的组件下载，这里建议能有科学上网或者代理类似的
ubuntu下面直接使用临时会话的代理的命令是：<
最低0.47元/天 解锁文章
4万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
