onnxruntime编译选项解析

enable_nvtx_profile:在ORT使用NVTX profileNVTXNVIDIA® Tools Extension SDK)是一个提供事件注解,编码ranges和资源的c接口程序库

 

use_horovod:使用horovodHorovodUber开源的基于Ring-AllReduce方法的深度学习分布式训练工具,以支持多种流行架构包括TensorFlowKerasPyTorch等

 

msvc_toolset:使用msvc工具集。msvc是微软的编译器vc

 

use_xcode:使用xcodexcodeMac OS上的集成开发工具(IDE)

 

use_jemalloc:使用jemallocJeMalloc 是一款内存分配器,与其它内存分配器相比,它最大的优势在于多线程情况下的高性能以及内存碎片的减少。

 

use_mimalloc:使用mimallocmimalloc是具有出色性能特征的通用内存分配器,用于KokaLean语言的运行时系统

 

use_openblas:使用openblasBLASBasic Linear Algebra Subprograms 基础线性代数程序集)是一个应用程序接口(API)标准,用以规范发布基础线性代数操作的数值库(矩阵运算库),BLAS:标准实现(FortranCBLASCBLAS标准实现Atlas:一种优化实现GotoBLAS:多线程性能良好的优化实现(已停止更新)OpenBLAS:目前性能最好的开源实现,基于GotoBLASMKLIntel实现,在Intel处理器上性能最佳

 

use_dnnl:使用dnnlDnnlIntel开发的高性能深度学习优化库,此前叫做MKL-DNN。

use_mklml:使用mklmlMklmlMKL中面向机器学习的部分

 

use_featurizers:使用ML FeaturizerML Featurizeradobe开发的用于特征工程中从数据中快速提取补充特征的库

use_ngraph:使用ngraphnGraphintel开源的,面向各种设备和框架的深度神经网络模型编译器,减少将模型部署到各种设备训练和运行的工作量

 

use_openvino:使用openvinoOpenVINO是英特尔基于自身现有的硬件平台开发的一种可以加快高性能计算机视觉和深度学习视觉应用开发速度工具套件,支持各种英特尔平台的硬件加速器上进行深度学习,并且允许直接异构执行,拥有算法模型上线部署的各种能力

 

use_nnapi:使用nnapiAndroid Neural Networks API (NNAPI) 是一个基于 Android 系统的用于可在移动设备上运行与机器学习相关的计算密集型操作的 C 语言 APINNAPI 将为更高层次的可构建和训练神经网络的机器学习框架(如 TensorFLow Lite, Caffe2, 等等)提供底层支持。

 

use_openmp:使用openmp。

  • 2
    点赞
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
### 回答1: ONNX Runtime是一个开源的跨平台推理引擎,它可以在各种硬件和软件平台上运行机器学习模型。ONNX是开放神经网络交换格式的缩写,它是一种用于表示机器学习模型的开放标准格式。ONNX Runtime可以解析和执行ONNX格式的模型,使得模型可以在多种硬件和软件平台上高效地运行。ONNX Runtime支持多种编程语言,包括C++、Python、C#、Java等。 ### 回答2: ONNX Runtime是一个开源的高性能、跨平台的推理引擎,用于执行深度学习模型的推理。ONNX是开放神经网络交换的缩写,它是由微软、Facebook和亚马逊等公司合作开发的一个开源项目。ONNX Runtime支持多种硬件和操作系统,可以在各种设备上运行,包括桌面、云服务器和嵌入式设备。 ONNX Runtime的主要功能是加载、优化和执行深度学习模型。用户可以使用ONNX Runtime来加载不同框架(如PyTorch、TensorFlow等)训练得到的模型,并在不同的硬件上进行推理。ONNX Runtime使用性能优化技术,如图优化、模型融合和多线程计算,以提高推理速度和效率。 ONNX Runtime的另一个重要功能是模型的可扩展性和灵活性。它支持动态图和静态图,可以处理各种类型的模型,包括深度学习模型、传统机器学习模型和自定义模型。此外,ONNX Runtime还提供了一组丰富的API,方便用户进行推理过程中的输入输出数据处理。 总的来说,ONNX Runtime是一个强大的深度学习推理引擎,具有高性能、跨平台和可扩展的特点。它提供了一个统一的接口,让用户可以灵活地在不同的硬件上进行深度学习模型的推理,从而加速模型部署和应用的开发。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值