TensorRT概述

简介

1.Docker - 在Nvidia Jetson nano 上執行jetson inference
2.在Nvidia Jetson nano 上執行jetson inference

先前有写两篇文章有使用使用NVIDIA TensorRT布署到Jetson platform,所以这阵子陆续搜集了一些TensorRT的资料,此篇纯粹写来记录一下这阵子整理 NVIDIA TensorRT的一些重点资讯。

教学开始

TensorRT 是 Nvidia 提出的深度学习推论平台,TensorRT 具备着低延迟 (Latency) 、高吞吐量(Throughput)的优点。

• Latency: 指执行一个操作，所需要花费的时间。
• Throughput: 在单位时间内，可执行运算的次数。

TensorRT 提供精度 INT8 和 FP16 优化 。此外,TensorRT 函式库是以 C++撰写，也提供 C++ 和 Python API 接口可以使用。