TensorRT
文章平均质量分 84
宗而研之
计算机视觉应用开发及部署方向
展开
-
NVIDIA之Triton Inference Server环境部署安装
0 背景Triton是什么?Triton是 NVIDIA 推出的 Inference Server,专门做 AI 模型的部署服务。客户端可以同伙HTTP/REST或gRPC的方式来请求服务,特性包括以下方面:支持多种框架,例如 Tensorflow、TensoRT、Pytorch、ONNX甚至自定义框架后端; 支持 GPU 和 CPU 方式运行,能最大化利用硬件资源; 容器化部署,集成 k8s,可以方便的进行编排和扩展; 支持并发模型,支持多种模型或同一模型的不同实例在同一GPU上运行 支持原创 2020-09-27 12:14:08 · 16365 阅读 · 4 评论 -
NVIDIA之TLT迁移学习口罩实时检测
0 背景处理流程1 安装首先按照我之前的文章《NVIDIA之TLT迁移学习训练自己的数据集》部署一下容器环境,进入容器环境中git clone https://github.com/NVIDIA-AI-IOT/face-mask-detection.gitcd tlt-ds-face_mask_detectpython -m pip install -r requirements.txt2 数据集准备2.1 下载数据集Faces with Mask Kaggle Me原创 2020-09-18 17:00:34 · 2321 阅读 · 0 评论 -
NVIDIA之TLT迁移学习训练自己的数据集
0 背景问题记录:root@bc0beb6b6ba7:/workspace/examples/faster_rcnn/specs# tlt-evaluate faster_rcnn -e default_spec_resnet50.txt --gpus 4Using TensorFlow backend.Traceback (most recent call last): File "/usr/local/bin/tlt-evaluate", line 8, in ...原创 2020-07-17 11:25:22 · 8048 阅读 · 12 评论 -
TensorRT之TX2部署TensorFlow目标检测模型
参考:https://github.com/jkjung-avt/tf_trt_models/tree/tf-1.8在之前的文章中,详细介绍了tensorflow目标检测接口的使用方法,包括训练与推理流程,该工作主要是在服务器端完成的,而我们实际应用的时候,推理不一定发生在服务器上,而可能是TX2等终端设备,因此,在TX2上进行模型的推理加速,对于实际应用很有必要。幸运的是,nvidia已...原创 2019-01-30 11:27:12 · 22255 阅读 · 31 评论 -
TensorRT安装及使用教程
TensorRT 安装方法原创 2019-01-08 15:38:07 · 177379 阅读 · 91 评论 -
TensorRT之yolov4模型量化
0 背景在《DeepStream5.0系列之yolov4使用》中我介绍过 deepstream 调用 yolov4 的方法,但是只支持 FP32 和 FP16 精度,如果要想调用 INT8 精度的 engine 模型,需要额外生成一个量化表。本文是在 Jetson Xavier AGX 上部署测试,另外 NX 也支持 int8,其它型号的 jetson 就不要试了1 环境配置项目基于https://github.com/jkjung-avt/tensorrt_demos,因此先配置相关环境.原创 2021-01-06 17:50:10 · 4973 阅读 · 4 评论