SNPE（7）1.62.0-支持骁龙8Gen1平台

最新推荐文章于 2024-09-24 16:51:56 发布
最新推荐文章于 2024-09-24 16:51:56 发布
阅读量2.1k 收藏 8
点赞数
分类专栏： SNPE 文章标签： 人工智能 神经网络
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zwenhao000/article/details/125007706
版权

SNPE更新到了v1.62.0, 最大的改动是开始支持骁龙8Gen1平台，解决HTP模型兼容性问题。

Qualcomm Neural Processing SDK for AI - Qualcomm Developer NetworkThe Qualcomm Neural Processing SDK for AI is designed to run neural networks on Qualcomm Snapdragon processors.https://developer.qualcomm.com/software/qualcomm-neural-processing-sdk

这里介绍一下SNPE v1.62.0 ：

  • 库文件的主要更新
  • 骁龙8Gen1的支持
  • 模型的兼容性方案

目录

一 、SNPEv1.62.0 库文件的更新

1 支持平台的更新

2 库文件的更新

3. HTP推理需要的库文件

 二、SNPEv1.62.0 对骁龙8的支持

1. snpe-dlc-quantize离线量化编译dlc

2. snpe-dlc-info 查看模型信息

3. SNPE-HTP推理

三、HTP模型的兼容性方案

1. 离线编译和在线编译

2. 兼容性方案 snpe-dlc-graph-prepare

总结

一 、SNPEv1.62.0 库文件的更新

对比SNPE v1.61.0 下面的lib文件夹，可以看出v1.62.0 有很大改动。

1 支持平台的更新

  • V1.62.0 去掉了一些其他平台的库，仅仅保留了Android相关的内容。
  • clang也升级到了8.0

2 库文件的更新

2.1 aarch64-android-clang8.0 的更新

  • 去掉了libsnpe_dsp_domains_v3.so；
  • 增加了libSnpeHtpPrepare.so，libSnpeHtpV68Stub.so，libSnpeHtpV69Stub.so；
  • libSnpeHtpPrepare.so 是用来做HTP的在线图编译的，之前这个功能是在libsnpe_dsp_domains_v3.so之中的；
  • libSnpeHtpV68Stub.so 是用于888平台的HTP（DSP版本V68），同样是从libsnpe_dsp_domains_v3.so中分离出来，HTP推理网络对应的Stub库；
  • libSnpeHtpV69Stub.so 是用于骁龙8Gen1 平台的HTP（DSP版本V68）网络推理的stub库。

2.2 dsp的更新

  • 888HTP的libsnpe_dsp_v68_domains_v3_skel.so 被libSnpeHtpV68Skel.so代替；
  • 增加了支持骁龙8Gen1 的libSnpeHtpV69Skel.so。

3. HTP推理需要的库文件

平台

库文件

备注
888

libSNPE.so

libc++_shared.so

libSnpeHtpV68Stub.so

libSnpeHtpV68Skel.so

如果需要在线编译模型需要libSnpeHtpPrepare.so
骁龙8

libSNPE.so

libc++_shared.so

libSnpeHtpV69Stub.so

libSnpeHtpV69Skel.so

如果需要在线编译模型需要libSnpeHtpPrepare.so

 二、SNPEv1.62.0 对骁龙8的支持

骁龙8Gen1对应的HTP版本是V69，SNPE1.62.0开始支持，所需要库如上表所示。

需要注意的一点是在模型量化的时候需要设定 --htp_socs sm8450, 这一步的目的是让模型针对骁龙8Gen1做离线编译。

示例：

1. snpe-dlc-quantize离线量化编译dlc

 这里我用之前生成过得Yolov5m.dlc模型做个实验。

#Command
snpe-dlc-quantize --input_dlc yolov5m.dlc --input_list raw_list.txt --output_dlc yolov5m_htp.dlc --enable_htp --htp_socs sm8450 

#log:
[INFO] InitializeStderr: DebugLog initialized.
[INFO] Writing intermediate model
[USER_INFO] CpuGraph::finalize
[USER_INFO] CpuGraph::execute
[INFO] Setting activation for layer: images and buffer: images
[INFO] bw: 8, min: 0.000000, max: 1.000000, delta: 0.003922, offset: 0.000000
[INFO] Setting activation for layer: Conv_0 and buffer: 166
[INFO] bw: 8, min: -64.113039, max: 57.893118, 
....

[INFO] Writing quantized model to: yolov5m_htp.dlc
[INFO] SNPE HTP Offline Prepare: Creating Subnet Record for layers: 0-272.
[INFO] dlopen libHtpPrepare.so SUCCESS handle 0x29ef9c0
[USER_INFO] QnnDsp <I> Qnn log initialized
[USER_INFO] QnnDsp <I> exits with 0
[USER_INFO] QnnDsp <I> exits with 0

....
[INFO] SNPE HTP Offline Prepare: Done creating QNN HTP graph cache.
[INFO] Successfully compiled HTP metadata into DLC.
[USER_INFO] QnnDsp <I> Context free contextId 1
[USER_INFO] QnnDsp <I> exits with 0
...
[INFO] DebugLog shutting down.

[INFO] SNPE HTP Offline Prepare: Done creating QNN HTP graph cache.
[INFO] Successfully compiled HTP metadata into DLC.

有以上打印表示离线编译成功了。

2. snpe-dlc-info 查看模型信息

除了模型的层信息之外，还可以看到一个Cache Info，这个就是针对HTP离线生成的Cache信息。

  • 如果采用的是 --htp_socs sm8450，那么可以看到Vtcm Size in MB: 8.
  • 如果不指定--htp_socs，默认应该是sm8350，可以看到VTCM 是不同的。
# command
snpe-dlc-info -i yolov5m_htp.dlc 

# print info
....
Cache Info:
--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
| Cache Record Name        | snpe_version             | record_version           | backend_record_search_key | backend_type             | record_size              | Subnets                                 |
--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
| backend.metadata0        | 1.62.0                   | 3.0.0.0                  | Vtcm Size in MB: 8        | HTP                      | 21648704                 | num_of_subnets: 1                       |
|                          |                          |                          |                           |                          |                          | subnet_0:                               |
|                          |                          |                          |                           |                          |                          |   start_layer_Id: 0                     |
|                          |                          |                          |                           |                          |                          |   end_layer_Id: 272                     |
|                          |                          |                          |                           |                          |                          |   input_buffers:                        |
|                          |                          |                          |                           |                          |                          |     [name:images, dataType:UNSPECIFIED] |
|                          |                          |                          |                           |                          |                          |   output_buffers:                       |
|                          |                          |                          |                           |                          |                          |     [name:559, dataType:UNSPECIFIED]    |

3. SNPE-HTP推理

可以按照之前的文档采用snpe-net-run测试或者snpe-sample等在骁龙8Gen1的HTP上选择dsp runtime 推理模型。

需要注意的是如果是商用手机平台，需要使用unsignedPD，同样在之前的文章中可以找到方法。

三、HTP模型的兼容性方案

1. 离线编译和在线编译

  • 离线编译：采用snpe-dlc-quantize 量化模型时候加上--enable_htp --htp_socs sm8350, 目的是让模型针对对应的平台做编译，从而减少模型在设备上的加载时间。
  • 在线编译：snpe-dlc-quantize量化模型是不需要加上任何htp相关的参数，仅仅是将模型量化。模型会在SNPE初始化的时候在线编译模型。这样会增加模型的初始化时间，这个时间从几百毫秒到几秒钟不等，与模型相关。

如果snpe-dlc-quantize版本和推理使用的snpe版本不一致，那么模型就会在初始化的时候重新在线编译，也就是大家说的不同版本之间模型不兼容。其实也就是离线编译生成的Cache文件和SNPE的库不匹配，为了避免推理时出现问题再次编译对应版本的Cache文件。

2. 兼容性方案 snpe-dlc-graph-prepare

这就带来一个问题，每次升级SNPE版本都需要重新量化模型，如果之前的量化数据，原始模型等已经丢到垃圾箱了，那就又需要重新调整、量化、测试模型等繁杂工作。

为了解决这个问题，SNPEv1.62.0 给出了一个重新生成Cache的工具，snpe-dlc-graph-prepare。

采用新版本的SNPE的snpe-dlc-graph-prepare，输入旧的量化DLC模型，就可以得到新版本的带离线编译Cache的DLC，新的DLC的参数和旧的DLC的参数完全一致。

Usage Command:

snpe-dlc-graph-prepare --input_dlc yolov5m_quantized.dlc --htp_socs sm8450 --output_dlc yolov5m_quantized_htp.dlc

示例：

  • （1）用SNPE v1.59.0的snpe-dlc-quantize量化模型

# quantize and offline compile with SNPE1.59.0
snpe-dlc-quantize --input_dlc yolov5m.dlc --input_list raw_list.txt --output_dlc yolov5m_quant_160.dlc --enable_htp

# snpe version
snpe-dlc-quantize --version
SNPE v1.59.0.3230

#dlc info
snpe-dlc-info -i yolov5m_quant_160.dlc > 160.dlc.info

#cache info in the DLC info
Cache Info:
--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
| Cache Record Name        | snpe_version             | record_version           | backend_record_search_key | backend_type             | record_size              | Subnets                                 |
--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
| backend.metadata0        | 1.59.0                   | 2.2.0.0                  | Vtcm Size in MB: 4        | HTP                      | 21696843                 | num_of_subnets: 1                       |
|                          |                          |                          |                           |                          | subnet_0:                |
|                          |                          |                          |                           |                          |   start_layer_Id: 0      |
|                          |                          |                          |                           |                          |   end_layer_Id: 272      |
|                          |                          |                          |                           |                          |   output_buffers:        |
|                          |                          |                          |                           |                          |     [name:559, dataType:UNSPECIFIED]|

  • （2）用SNPE v1.62.0的snpe-dlc-graph-prepare重新生成 Cache

# snpe version
snpe-dlc-graph-prepare --version
SNPE v1.62.0.3457

# Regenerate offline cache from previouse version's quantized DLC
snpe-dlc-graph-prepare --input_dlc yolov5m_quant_160.dlc --htp_socs sm8450 --output_dlc yolov5m_quant_162_8450.dlc

# New dlc info
snpe-dlc-info -i yolov5m_quant_162_8450.dlc

# Dlc info
....
Cache Info:
--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
| Cache Record Name        | snpe_version             | record_version           | backend_record_search_key | backend_type             | record_size              | Subnets                                 |
--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
| backend.metadata0        | 1.59.0                   | 2.2.0.0                  | Vtcm Size in MB: 4        | HTP                      | 21696843                 | num_of_subnets: 1                       |
| Warning: backend.metadata0 is incompatible with the latest version of SNPE.
                                  |
| backend.metadata1        | 1.62.0                   | 3.0.0.0                  | Vtcm Size in MB: 8        | HTP                      | 21648704                 | num_of_subnets: 1                       |
|                          |                          |                          |                           |                          |                          | subnet_0:                               |
|                          |                          |                          |                           |                          |                          |   start_layer_Id: 0                     |
|                          |                          |                          |                           |                          |                          |   end_layer_Id: 272                     |
|                          |                          |                          |                           |                          |                          |   input_buffers:                        |
|                          |                          |                          |                           |                          |                          |     [name:images, dataType:UNSPECIFIED] |
|                          |                          |                          |                           |                          |                          |   output_buffers:                       |
|                          |                          |                          |                           |                          |                          |     [name:559, dataType:UNSPECIFIED]    |

新生成的模型里面多了一份Cache信息，这个DLC就可以用于snpe1.62.0的SNPE-HTP了

  • （3）对比两个模型的encoding信息

两个模型的encoding信息完全一致，也就是说这个工具只是从新生成了cache文件，对模型数据不会做任何改变。

 

总结

到此为止，基本介绍 了SNPEv1.62.0的主要更新。

  • 开始支持骁龙8Gen1平台。
  • snpe-dlc-graph-prepare重新生成 Cache，解决模型兼容性问题。

参考：

 

组委会
关注
专栏目录
【Qualcomm】高通SNPE框架简介、下载与使用
静谧、淡雅
09-23 813
高通SNPE框架简介、下载与使用
snpe-1.50.0.zip
01-04
snpe-1.50.0.zip
snpe游乐场
02-27
snpe游乐场 conda创建--name snpe python = 3.5 conda激活snpe 下载模型并准备资产 资产目录包含网络模型资产。 如果先前已下载资产，则将ASSETS_DIR设置到此目录，否则选择目标目录以在下载资产时存储它们。 如果资产已经下载到目录（例如〜/ tmpdir），则发出以下命令。 mkdir ./assets python3 $SNPE_ROOT/models/inception_v3/scripts/setup_inceptionv3.py -a ./assets -d export ASSET_DIR=./assets Inception v3 Imagenet分类模型经过训练，可以对具有1000个标签的图像进行分类。 cd inception_v3 snpe-net-run --container dlc / inception_v3.dlc
SNPE分析与评测 (1)
weixin_38498942的博客
04-15 2492
一、骁龙历代产品 在2013年之前，骁龙处理器分为S1，S2，S3，S4四个层级，以区分不同的四代产品。 1. 骁龙S1（2007-2011）：MSM7225/7265采用ARM v6架构、单CPU核心，45nm制程，320MHz的Hexagon QDSP5，未集成GPU；2008年QSD8250/8650发布，Scorpion核心（ARM v7架构），Adreno 200 GPU，600MHz的...
【环境配置】Ubuntu18.04配置高通骁龙神经处理引擎（SNPE）
qq_42775328的博客
01-19 4809
Android studio开发——Ubuntu18.04配置高通骁龙神经处理引擎（SNPE）
高通AI应用程序开发1：SNPE 概述
最新发布
weixin_62707802的博客
09-24 872
模型训练是在流行的深度学习框架上进行的（高通®神经处理SDK支持PyTorch、TFLite、ONNX和TensorFlow模型。）训练完成后，训练后的模型被转换为DLC文件，可以加载到高通®神经加工SDK运行时中。调用 snpe-dlc-quant 和 snpe-dlc-graph-prepare（用于向后兼容）将网络模型转换为可由Qualcomm®神经处理SDK加载的DLC文件。可选地量化DLC文件，以便在Hexagon DSP上运行。使用Qualcomm®神经处理SDK运行时加载并执行模型。
SNPE教程一：基本概念
NOWAY的博客
10-31 8525
1、基本概念 SNPE是高通推出的一个神经网络加速引擎，他可以同时利用到DSP和GPU、GPU。 目前最新版本的SNPE1.54支持TensorFlow, Caffe, Caffe2, ONNX, TensorFlow, PyTorch 转换的流程大致如下： 将训练好的模型用SNPE的工具转成DLC文件就可以在SNPE运行环境里跑了。装成DLC之后也可以用它自带的量化工具量化成8位整形，放到DSP上跑。 各芯片支持： 2、运行环境 大致架构如下： DL Container Lo.
snpe-sdk-liunx-all.qik
01-10
snpe-sdk-liunx-all.qik
snpe-detector-demo-app
05-02
SNPE上带有MobileNet-SSD的演示APP。 兼容于 （GPU加速）QRD 8998，QRD 710，Galaxy S8 / S8 +，Galaxy S9 （仅限CPU）Pixel，Pixel 2，HTC One M8 可以在任何Android M +手机上使用。 此版本不提供DSP加速功能，...
android_snpe_Demo-211.zip
05-20
android_snpe_Demo-211.zip
基于snpe-1.60.0_3313在骁龙865的开发板上测试yolov5（6.1）
い天然呆的博客
03-25 4150
1、下载yolov5（6.1）版本的代码以及模型（以下以yolov5n进行文档编写） https://github.com/ultralytics/yolov5/releases 根据requirements.txt配置环境，配置完成后，调用export.py将L、M、N、S、X分别导出onnx模型，脚本具体配置如下： def parse_opt(): parser = argparse.ArgumentParser() parser.add_argument('--data', type
边缘计算：万字长文详解高通SNPE inception_v3推理实战
qq_18256855的博客
03-04 2270
SNPE服务器环境部署、神经网络推理
美国高通 Snapdragon Neural Processing Engine SDK （SNPE） 系列 （2）：支持的网络层
妙猪的专栏
09-11 2714
Layer Type Description Caffe Equivalent TensorFlow Equivalent CPU GPU DSP Batch normalization (+ Scaling) Batch normalization followed by scaling operation. Batch norm operation can be per
配置snpe-1.60.0_3313的使用环境--onnx转dlc
い天然呆的博客
03-25 2802
1、snpe下载 访问 Qualcomm 网站:(注册、登录 Qualcomm 账号) https://developer.qualcomm.com/software/qualcomm-neural-processing-sdk 在 ‘Neural Processing SDK for AI -> Tools & Resources’ ⻚面，选择 Qualcomm Neural Processing SDK 下载到本地,并解压文件。 2、snpe安装与配置 将压缩包解压到home目录下，重命
1、SNPE的安装与部署
qq_44635240的博客
09-26 3291
SNPE的安装与部署教程
SNPE TensorFlow Converter API 笔记
小矿工的专栏
03-20 1003
SNPEDlcConverter_resolve_graph_operations_from_model DlcConverter _resolve_graph_operations_from_model 遍历 Graph 中所有 operation，并将遍历结果作为列表返回，具体遍历过程如下： ... for output_op_name in model.out_nodes_names: ...
移动端机器学习框架SNPE的使用
csuzhaoqinghui的博客
12-01 4040
NPE SDK能够帮助开发者做什么事情？ Qualcomm骁龙神经处理引擎（Neural Processing Engine, NPE）SDK 能够帮助有意创建人工智能（AI）解决方案的开发者，在骁龙移动平台上（无论是CPU、GPU还是DSP）运行通过Caffe/Caffe2或TensorFlow训练一个或多个神经网络模型，且无需连接到云端，实现边缘计算。 NPE SDK能帮助开发者在骁龙设备上运行受过训练的神经网络并优化其性能。NPE SDK提供了模型转换和执行工具，以及针对核的API，利用功率和性能
移动端机器学习框架SNPE简介与实践
hansun008的博客
12-01 1210
如果开发就是使用的C++，那比较容易实现用户定义层，但如果是运行在Android上，开发者需要将上层java代码通过JNI方式来调用NPE原生的C++编译好的.so文件，因为用户定义层的代码是不可能预先编译到NPE原生.so文件中的，必须重新开发NPE的JNI。NPE SDK提供了模型转换和执行工具，以及针对核的API，利用功率和性能配置文件匹配所需的用户体验，优化和节约开发人员的时间和精力。转换工具将输出转换信息，包括有关不受支持或非加速层的信息，开发者可以使用这些信息调整初始模型的设计。
高通SNPE - OpenCL简介（4）
weixin_38498942的博客
11-12 809
Adreno OpenCL应用程序开发 本文章将要简要讨论Adreno OpenCL应用程序的一些基本要求开发，然后介绍如何调试和分析应用程序。 Android上的OpenCL应用程序开发 目前，Adreno GPU主要在Android操作系统（OS）和更高版本上支持OpenCL。选择Linux系统。要开发与OpenCL一起运行的Android应用，开发人员需要获得熟悉Android软件开发套件（SDK）和本机开发套件（NDK）。请参阅https://developer.android.com/index.
yolov7 snpe
09-27
yolov7是一种目标检测算法，它是YOLO系列的一部分，通过使用高通SNPE推理引擎来进行加速。SNPE是高通公司开发的神经网络推理引擎，它可以将预训练的模型转换为SNPE能够加载的DLC文件，并使用SNPE runtime进行模型...
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值