1、cuda
查看版本:控制面板-帮助-组件
下载安装
CUDA Toolkit 11.6 Downloads | NVIDIA Developer
2、cudnn
下载解压
cuDNN Download | NVIDIA Developer
将三个bin\include\lib文件夹中的相关文件拷贝到CUDA安装位置的bin\include\lib文件夹中。
默认CUDA路径为:C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.6
验证
运行:C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.6\extras\demo_suite>bandwidthTest.exe
C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.6\extras\demo_suite>deviceQuery.exe
均显示PASS
3、TensorRT
下载
NVIDIA TensorRT 8.x Download | NVIDIA Developer
安装whl文件
pip install D:\chorm-download\TensorRT-8.4.1.5.Windows10.x86_64.cuda-11.6.cudnn8.4\TensorRT-8.4.1.5\python\tensorrt-8.4.1.5-cp38-none-win_amd64.whl
cp38依据环境使用的python版本
pip install D:\chorm-download\TensorRT-8.4.1.5.Windows10.x86_64.cuda-11.6.cudnn8.4\TensorRT-8.4.1.5\graphsurgeon\graphsurgeon-0.4.6-py2.py3-none-any.whl
pip install D:\chorm-download\TensorRT-8.4.1.5.Windows10.x86_64.cuda-11.6.cudnn8.4\TensorRT-8.4.1.5\onnx_graphsurgeon\onnx_graphsurgeon-0.3.12-py2.py3-none-any.whl
pip install D:\chorm-download\TensorRT-8.4.1.5.Windows10.x86_64.cuda-11.6.cudnn8.4\TensorRT-8.4.1.5\uff\uff-0.6.9-py2.py3-none-any.whl
验证:
运行sample.py
TensorRT-8.4.3.1\samples\python\network_api_pytorch_mnist\sample.py
4、torch2trt
GitHub - NVIDIA-AI-IOT/torch2trt: An easy to use PyTorch to TensorRT converter
提示:ModuleNotFoundError: No module named ‘pycuda‘
通过 pip 默认安装的是最新版本,可能和 cuda 版本不一致
https://www.lfd.uci.edu/~gohlke/pythonlibs/#pycuda
下载对应自己系统 cuda 版本的 pycuda 的.whl 文件,手动安装