TRT4-trt-integrate - 3 使用onnxruntime进行onnx的模型推理过程
其余的都是和之前一样的,这是非常好用便捷的,所以如果有模型需要作测试,是非常推荐用onnxruntime的。第二个是input的dict,这个意思就是如果有好多个输入,那应该是将名字与输入进行一一对应,比如"input1 ":input1 , "input2":input2....建立一个InferenceSession,塞进去的是onnx的路径,实际运算的后端选用的是CPU。输入第一个是output的name,决定了哪几个节点作为输出,就将这个名字传递给他。也可以选用cuda等等。
原创
2023-07-26 14:35:16 ·
816 阅读 ·
0 评论