最近正好要学习CV模型的部署,TensorRT是一个非常不错的选择,搞深度学习的第一步永远是配置环境,而且永远都不是一帆风顺的…
1 环境
1.Linux 服务器 Ubuntu16.04.6
2.CUDA 10.1 (只有TensorRT 6.0.1.5可以匹配)
3.cudnn 7.6.3
4.python 3.6
更准确的可以看官方安装文档,非常详细
2 安装步骤
- 下载TensorRT,如果没有NVIDIA账号可以用邮箱注册一个,以后用的还挺多。点开链接如下图所示
插图 - 下载的格式有deb,tar,xxx三种格式,因为服务器我没有管理权限,是用户级别的,所以选择tar格式
1.创建环境(peach 是我自己起的名字,可以根据自己的需求起名)如图所示
conda create -n peach python=3.6
conda activate peach
2.解压文件夹
- 如果你有管理员权限直接到对应的文件夹下解压tar
tar xzvf TensorRT-6.0.1.5.Ubuntu-16.04.x86_64-gnu.cuda-10.1.cudnn7.6.tar.gz
- 如果是用户级的需要在windows在解压,如果直接右键解压会如下警告,最后解压完的文件会丢失文件
- 用户级的解压最好在cmd中使用管理员权限打开
-找到压缩文件对应的文件夹下
cd/d F:/open
- 解压文件夹
start winrar x -y TensorRT-6.0.1.5.Ubuntu-16.04.x86_64-gnu.cuda-10.1.cudnn7.6.tar.gz
解压后的文件如图所示
3.安装TensorRT官方文档
将解压的文件移动到自己建的文件夹下,如果是在linux系统下解压的文件可以忽略这一步
- 查看TensorRT-6.0.1.5中有哪些文件
cd zyd/TensorRT-6.0.1.5
ls
4.添加路径到环境变量中(第二句命令根据自己的文件位置更改)vim ~/.bashrc
export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/home/tukrin/zyd/TensorRT-6.0.1.5/lib
source ~/.bashrc
5.安装 TensorRT的wheel文件
cd TensorRT-6.0.1.5/python
pip install tensorrt-6.0.1.5-cp36-none-linux_x86_64.whl
cd TensorRT-6.0.1.5/uff
pip install uff-0.6.5-py2.py3-none-any.whl
cd TensorRT-6.0.1.5/graphsurgeon
pip install graphsurgeon-0.4.1-py2.py3-none-any.whl
6.验证TensorRT是否安装成功python
import tensorrt
print( tensorrt.__version__)
3 出现的错误
解决办法:出现问题的原因要么是环境变量没有添加完成,要么是CUDNN连接建立问题。
我的是环境变量的问题
vim ~/.bashrc
- 根据自己cuda的路径改下面三行指令,不要照抄
export PATH=/home/tukrin/cuda/bin${PATH:+:${PATH}}
export LD_LIBRARY_PATH=/home/tukrin/cuda/lib64${LD_LIBRARY_PATH:+:${LD_LIBRARY_PATH}}
export CUDA_HOME=/home/tukrin/cuda
然后输入指令保存退出,不会vim看一下这个
source ~/.bashrc
让路径立即生效