使用winmltools API 将onnx模型转换为半精度以加快推理速度

from winmltools.utils import convert_float_to_float16
from winmltools.utils import load_model, save_model
onnx_model = load_model('model.onnx')
new_onnx_model = convert_float_to_float16(onnx_model)
save_model(new_onnx_model, 'model_fp16.onnx')

说明下： winmltools这个python包，我只在ubuntu 20.04下安装成功，其它平台下因为libprotobuf的版本原因，失败鸟，有兴趣的可以升级libprotobuf试试。