AS中部署NCNN

已于 2023-09-27 15:30:30 修改
阅读量442 收藏 1
点赞数 1
文章标签： opencv
于 2023-09-22 08:47:59 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zhuowalun8427/article/details/133135862
版权

参考链接
http://681314.com/A/Clzr6Q2OBO
https://blog.csdn.net/xs1997/article/details/131747372

一、文章背景：公司再进行一个项目时，使用PyTorch框架，python语言及opencv工具进行神经网络深度学习算法进行训练。生成ONNX模型，但是该模型不能直接用在android平台，只能将该模型先转化为NCNN或TNN或MNN，再部署到AS中，运行在android系统。本文记录AS部署NCNN的方法。首先下载下面几个案例，将这些案例跑起来再对本公司的输出模型进行部署。
案例链接：
https://github.com/nihui/ncnn-android-squeezenet
https://github.com/nihui/ncnn-android-styletransfer
https://github.com/nihui/ncnn-android-mobilenetssd
https://github.com/moli232777144/mtcnn_ncnn
https://github.com/nihui/ncnn-android-yolov5
https://github.com/xiang-wuu/ncnn-android-yolov7
https://github.com/shaoshengsong/qt_android_ncnn_lib_encrypt_example

二、部署流程
注意：首先你的AS具有NDK开发环境。
1、下载ncnn包
下载网址：https://github.com/Tencent/ncnn/releases
在这里插入图片描述
我下载的是Andrid平台，可以GPU加速版本，给的7个案例中涉及的代码也是需要加速版本。

2、解压缩将ncnn部署到AS
1） 新建一个工程，并添加NDK环境；
2） 在/scr/main/cpp下新建文件夹jni，并将解压好的ncnn文件包放到jni文件夹下。
在这里插入图片描述
3）修改CMakeList.txt文件
在这里插入图片描述
4） 编译报错
CMake Error at D:/install/android-sdk/cmake/3.18.1/share/cmake-3.18/Modules/FindPackageHandleStandardArgs.cmake:165 (message):
Could NOT find Vulkan (missing: Vulkan_LIBRARY)
在这里插入图片描述
检查app的build.gradle文件，最低sdk版本不能小于24，把minSDK 改成24解决问题。
以上ncnn部署完成。

三、运行demo工程-ncnn-android-yolov5-master
（图片物体识别）
因为AS版本不同，直接在AS中添加工程会有很多问题，所以我习惯新建工程，然后将demo中的代码复制到工程对应的文件中。

1、加载opencv
因为ncnn文件是由onnx转换的，onnx文件是神经网络+opencv+python训练生成的模型。所以工程中使用ncnn需要加载opencv。
在这里插入图片描述
在这里插入图片描述

2、将相关代码复制到工程
在这里插入图片描述
注意，assets文件夹下面的yolov5s.bin yolov5s.param，是ncnn文件。
3、修改CMakeList.txt文件
添加.h文件 .cpp文件
在这里插入图片描述
4、编译工程运行
编译不会报错，运行程序报错：
dlopen failed: library “libc++_shared.so” not found ： externalNativeBuild { cmake { arguments “-DANDROID_STL=c++_shared” } }
解决方法：修改app build.gradle文件。
在这里插入图片描述
运行，可以识别到图片中物体：
在这里插入图片描述
四、运行demo工程-ncnn-android-yolov7-master
1、opencv及ncnn部署都一样，只是添加该demo文件修改CMakeList.txt文件即可。
在这里插入图片描述
2、CMakeList.txt文件
在这里插入图片描述
因为该工程需要ndkcamera及ndkmedia接口，所以添加这两个模块。

3、运行结果
在这里插入图片描述
注意：如果报错，摄像头不能打开，输入session错误，代码中按照设备摄像头支持的分辨率修改。
最后，附上两个demo完整CMakeList.txt文件


# CMakeList.txt
cmake_minimum_required(VERSION 3.18.1)

project("onnxtest" CXX)

include_directories(${CMAKE_SOURCE_DIR}/include/yolov7 ${CMAKE_SOURCE_DIR}/include/yolov5s )

# 加载opencv
find_package(OpenCV 4.8.0 REQUIRED java)

# 设置ncnn
set(ncnn_DIR ${CMAKE_SOURCE_DIR}/jni/ncnn-20230816-android-vulkan/${ANDROID_ABI}/lib/cmake/ncnn)
find_package(ncnn REQUIRED)

file(GLOB CPP_FILES ${CMAKE_SOURCE_DIR}/source_yolov5s/onnxtest.cpp ${CMAKE_SOURCE_DIR}/source_yolov7/*.cpp )

add_library(
             onnxtest

             SHARED

             ${CPP_FILES}
        )

find_library(
              log-lib
              log )

target_link_libraries( # Specifies the target library.
                       onnxtest
                       ${log-lib}
                       ${OpenCV_LIBRARIES}
                       ncnn
                       camera2ndk
                       mediandk)

// build.gradle
plugins {
    id 'com.android.application'
}

android {
    compileSdk 31

    defaultConfig {
        applicationId "com.htkj.onnxtest"
        minSdk 24
        targetSdk 31
        versionCode 1
        versionName "1.0"

        testInstrumentationRunner "androidx.test.runner.AndroidJUnitRunner"
        externalNativeBuild {
            cmake {
                cmake {
                    cppFlags "-std=c++11 -frtti -fexceptions"
                    arguments "-DOpenCV_DIR=" + "E:/work/xinchi/testProject/sdk/native/jni" ,"-DANDROID_STL=c++_shared"// , "-DANDROID_ARM_NEON=TRUE"
                }
            }
        }

        splits {
            abi {
                enable true
                universalApk false
                reset()
                include 'armeabi-v7a' // , 'x86', 'x86_64', 'arm64-v8a'
            }
        }
    }

    buildTypes {
        release {
            minifyEnabled false
            proguardFiles getDefaultProguardFile('proguard-android-optimize.txt'), 'proguard-rules.pro'
        }
    }
    compileOptions {
        sourceCompatibility JavaVersion.VERSION_1_8
        targetCompatibility JavaVersion.VERSION_1_8
    }
    externalNativeBuild {
        cmake {
            path file('src/main/cpp/CMakeLists.txt')
            version '3.18.1'
        }
    }



    signingConfigs {
        release {
            storeFile file("../platform.jks")
            storePassword '123456'
            keyAlias 'platform'
            keyPassword '123456'
        }
        debug {
            storeFile file("../platform.jks")
            storePassword '123456'
            keyAlias 'platform'
            keyPassword '123456'
        }
    }
}

dependencies {
    implementation fileTree(dir: 'libs', include: ['*.jar'])
    implementation 'androidx.appcompat:appcompat:1.3.0'
    implementation 'com.google.android.material:material:1.4.0'
    testImplementation 'junit:junit:4.13.2'
    androidTestImplementation 'androidx.test.ext:junit:1.1.3'
    androidTestImplementation 'androidx.test.espresso:espresso-core:3.4.0'
}

五、运行demo工程-ncnn-android-squeezenet-master
（不知道这个demo是干啥的。）
1、添加文件
在这里插入图片描述
2、修改CMakeList.txt



cmake_minimum_required(VERSION 3.18.1)

project("onnxtest" CXX)

include_directories(${CMAKE_SOURCE_DIR}/include/yolov7
        ${CMAKE_SOURCE_DIR}/include/yolov5s
        ${CMAKE_SOURCE_DIR}/include/squeezenet)

# 加载opencv
find_package(OpenCV 4.8.0 REQUIRED java)

# 设置ncnn
set(ncnn_DIR ${CMAKE_SOURCE_DIR}/jni/ncnn-20230816-android-vulkan/${ANDROID_ABI}/lib/cmake/ncnn)
find_package(ncnn REQUIRED)

file(GLOB CPP_FILES ${CMAKE_SOURCE_DIR}/source_yolov5s/onnxtest.cpp
        ${CMAKE_SOURCE_DIR}/source_yolov7/*.cpp
        ${CMAKE_SOURCE_DIR}/source_squeezenet/*.cpp)

add_library(
             onnxtest

             SHARED

             ${CPP_FILES}
        )

find_library(
              log-lib
              log )

target_link_libraries( # Specifies the target library.
                       onnxtest
                       ${log-lib}
                       ${OpenCV_LIBRARIES}
                       ncnn
                       camera2ndk
                       mediandk)

3、运行效果
在这里插入图片描述
六、运行demo工程-mtcnn_ncnn-master
（图片人脸识别）
1、添加工程
在这里插入图片描述
2、修改CMakeList.txt



cmake_minimum_required(VERSION 3.18.1)

project("onnxtest" CXX)

include_directories(${CMAKE_SOURCE_DIR}/include/yolov7
        ${CMAKE_SOURCE_DIR}/include/yolov5s
        ${CMAKE_SOURCE_DIR}/include/squeezenet
        ${CMAKE_SOURCE_DIR}/include/mtcnn)

# 加载opencv
find_package(OpenCV 4.8.0 REQUIRED java)

# 设置ncnn
set(ncnn_DIR ${CMAKE_SOURCE_DIR}/jni/ncnn-20230816-android-vulkan/${ANDROID_ABI}/lib/cmake/ncnn)
find_package(ncnn REQUIRED)

file(GLOB CPP_FILES ${CMAKE_SOURCE_DIR}/source_yolov5s/onnxtest.cpp
        ${CMAKE_SOURCE_DIR}/source_yolov7/*.cpp
        ${CMAKE_SOURCE_DIR}/source_squeezenet/*.cpp
        ${CMAKE_SOURCE_DIR}/source_mtcnn/*.cpp)

add_library(
             onnxtest

             SHARED

             ${CPP_FILES}
        )

find_library(
              log-lib
              log )

target_link_libraries( # Specifies the target library.
                       onnxtest
                       ${log-lib}
                       ${OpenCV_LIBRARIES}
                       ncnn
                       camera2ndk
                       mediandk)

3、运行效果
在这里插入图片描述
七、运行demo工程-ncnn-android-mobilenetssd-master
物体识别。
CMakeList.txt文件



cmake_minimum_required(VERSION 3.18.1)

project("onnxtest" CXX)

include_directories(${CMAKE_SOURCE_DIR}/include/yolov7
        ${CMAKE_SOURCE_DIR}/include/yolov5s
        ${CMAKE_SOURCE_DIR}/include/squeezenet
        ${CMAKE_SOURCE_DIR}/include/mtcnn)

# 加载opencv
find_package(OpenCV 4.8.0 REQUIRED java)

# 设置ncnn
set(ncnn_DIR ${CMAKE_SOURCE_DIR}/jni/ncnn-20230816-android-vulkan/${ANDROID_ABI}/lib/cmake/ncnn)
find_package(ncnn REQUIRED)

file(GLOB CPP_FILES ${CMAKE_SOURCE_DIR}/source_yolov5s/onnxtest.cpp
        ${CMAKE_SOURCE_DIR}/source_yolov7/*.cpp
        ${CMAKE_SOURCE_DIR}/source_squeezenet/*.cpp
        ${CMAKE_SOURCE_DIR}/source_mtcnn/*.cpp
        ${CMAKE_SOURCE_DIR}/source_mobilenetsssd/*.cpp)

add_library(
             onnxtest

             SHARED

             ${CPP_FILES}
        )

find_library(
              log-lib
              log )

target_link_libraries( # Specifies the target library.
                       onnxtest
                       ${log-lib}
                       ${OpenCV_LIBRARIES}
                       ncnn
                       camera2ndk
                       mediandk)

效果图：
在这里插入图片描述
八、运行demo工程-ncnn-android-nanodet-master
1、修改CMakeList.txt文件



cmake_minimum_required(VERSION 3.18.1)

project("onnxtest" CXX)

include_directories(${CMAKE_SOURCE_DIR}/include/yolov7
        ${CMAKE_SOURCE_DIR}/include/yolov5s
        ${CMAKE_SOURCE_DIR}/include/squeezenet
        ${CMAKE_SOURCE_DIR}/include/mtcnn
        ${CMAKE_SOURCE_DIR}/include/nanodet)

# 加载opencv
find_package(OpenCV 4.8.0 REQUIRED java)

# 设置ncnn
set(ncnn_DIR ${CMAKE_SOURCE_DIR}/jni/ncnn-20230816-android-vulkan/${ANDROID_ABI}/lib/cmake/ncnn)
find_package(ncnn REQUIRED)

file(GLOB CPP_FILES ${CMAKE_SOURCE_DIR}/source_yolov5s/onnxtest.cpp
        ${CMAKE_SOURCE_DIR}/source_yolov7/*.cpp
        ${CMAKE_SOURCE_DIR}/source_squeezenet/*.cpp
        ${CMAKE_SOURCE_DIR}/source_mtcnn/*.cpp
        ${CMAKE_SOURCE_DIR}/source_mobilenetsssd/*.cpp
        ${CMAKE_SOURCE_DIR}/source_nanodet/*.cpp)

add_library(
             onnxtest

             SHARED

             ${CPP_FILES}
        )

find_library(
              log-lib
              log )

target_link_libraries( # Specifies the target library.
                       onnxtest
                       ${log-lib}
                       ${OpenCV_LIBRARIES}
                       ncnn
                       camera2ndk
                       mediandk)

2、效果图（无）

九、运行demo工程-ncnn-android-styletransfer-master
略。运行之后不知道干啥的

wildlily8427
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
MODNet NCNN C++部署代码，及其模型
04-01
1、MODNet NCNN C++部署代码 2、MODNet NCNN量化后模型 3、MODNet NCNN未量化模型 4、MODNet onnx模型
人工智能小白日记 人脸检测识别之5 移植mtcnn到安卓平台
kkae8643150的专栏
07-09 1263
文章目录前言正文1 mtcnn如何固化为pb文件2 如何移植到安卓小结 前言 安卓上还有大量的代码要敲，为了省时间，mtcnn的移植暂时还是用现成的pb调用方式，毕竟大佬们都趟过坑了，转为tflite的方式以后再考虑 正文 1 mtcnn如何固化为pb文件 https://github.com/vcvycy/TensorflowFreezeModel/blob/master/freeze_mtcn...
Android&NCNN学习—nanodet实例
weixin_45178274的博客
03-30 249
学习自：https://zhuanlan.zhihu.com/p/390050962布局文件：这里布局由三部分组成，第一部分是一个button来切换前后摄像头、第二部分是两个Spinner分别用来切换模型和切换CPU/GPU，最后就是一个SurfaceView用来预览。
Java实现CNN
Zhang_ing的博客
07-21 379
局部连接：全连接层是一种稠密连接方式，而卷积层却只使用卷积核对局部进行处理，这种处理方式其实也刚好对应了图像的特点。在视觉识别中，关键性的图像特征、边缘、角点等只占据了整张图像的一小部分，相隔很远的像素之间存在联系和影响的可能性是很低的，而局部像素具有很强的相关性，也即：CNN可以保存更多的空间信息。共享参数：如果借鉴全连接层的话，对于1000×1000大小的彩色图像，一层全连接层便对应于三百万数量级维的特征，即会导致庞大的参数量，不仅计算繁重，还会导致过拟合。
Android 人脸识别 MTCNN Kotlin实现
Lincoln 的专栏
03-20 1576
前言 看见网上有一个 MTCNN 的Java 实现，闲来无事，把Java 实现用Koltin 重写了一下，主要是针对使用MTCNN来识别人脸。 不想罗嗦看的，可以直接去我的github上下载已经写好的demo。 https://github.com/ChineseLincoln/AndroidFaceNet 文章目录前言人脸识别tensorflowAndroid 依赖配置MTCNN kotli...
MTCNN、FaceNet转tflite模型，迁移至安卓使用(2)
qq_17721239的博客
04-14 1002
这篇文章介绍将Tensorflow的ckpt模型，"冻结”为pb模型,和一些我经过的“坑”。 上面博客已经介绍了Tensorflow的几种模型的定义和关系。传送门：https://blog.csdn.net/qq_17721239/article/details/89295209 facecnet的模型中已经提供冻结图的程序，之前没有发现，导致耽搁了很长时间。这里介绍两种方法冻结变量，生成pb...
基于ncnn部署yolov5及量化
02-15
文件中包括以下内容: 1. yolov5 转ncnn的权重文件 2. ncnn的依赖库 3. 完整的源代码
算法部署-使用NCNN部署YOLOv9目标检测算法-支持Android平台的部署-优质算法部署项目实战.zip
最新发布
03-15
算法部署_使用NCNN部署YOLOv9目标检测算法_支持Android平台的部署_优质算法部署项目实战
YOLOv5project中的ncnn资源
01-15
YOLOv5project中的cpp文件夹下的ncnn资源
算法部署-使用TensorRT+NCNN+LibTorch部署Deeplabv3+行人分割算法-优质算法部署项目实战.zip
03-06
算法部署_使用TensorRT+NCNN+LibTorch部署Deeplabv3+行人分割算法_优质算法部署项目实战
在Android设备上使用NCNN图像分类的demo
09-05
在Android设备上使用NCNN图像分类的demo，是一个Android项目
基于nccn和mtcnn和facenet实现人脸识别（Android）
ZHU260824的博客
07-04 2182
ncnn ncnn 是一个为手机端极致优化的高性能神经网络前向计算框架。ncnn 从设计之初深刻考虑手机端的部署和使用。无第三方依赖，跨平台，手机端 cpu 的速度快于目前所有已知的开源框架。基于 ncnn，开发者能够将深度学习算法轻松移植到手机端高效执行，开发出人工智能 APP，将 AI 带到你的指尖。ncnn 目前已在腾讯多款应用中使用，如 QQ，Qzone，微信，天天P图等。 mtcnn 基...
mtcnn,ncnn android部署
northeastsqure的专栏
02-14 764
1.windows cmake 编译ncnn? 关键是要把ndk中的make路径，写到path里面
MTCNN、FaceNet转tflite模型，迁移至安卓使用(1)
qq_17721239的博客
04-14 2048
首先介绍几个概念，个人理解，希望读者指正： 1、tensorflow的ckpt模型 2、tensorflow的pb模型 3、tensorflow的tflite模型 1、tensorflow的ckpt模型和pb模型 话不多说，我用最少的语句介绍，我们通常使用saver=tf.train.import_meta_graph和saver.restore使用的是ckpt模型model mod...
java实现卷积神经网络CNN（附完整源码）
希望我的博客，能帮上你解决学习中工作中所遇到的问题
05-25 336
java实现卷积神经网络CNN（附完整源码）
pytorch 安装opencv menpo -c_pytorch模型的部署（系列一）--ncnn的编译和使用
weixin_39625987的博客
11-24 393
因为我一直都是在pytorch上面训练模型，所以部署模型通常采取三种方案：方案一：利用腾讯开源的ncnn库(nihui大神牛皮！！)；但这个适合移动端部署，特别是针对andriod的极致优化。方案二：libtorch（c++版本的pytorch）；pytorch为了弥补部署方面的劣势，，libtorch也在不断推陈出新，以不断打压tf等一众老炮生存空间方案三：NVIDIA出品的tensorRT；这...
java调用onnx模型_Qt ncnn Android部署模型记录
weixin_29122543的博客
12-05 957
现在有很多模型部署框架了，综合考虑易用性，性能，支持模型转换的类型，成熟程度，考虑使用ncnn进行模型部署。ncnn开源地址：Tencent/ncnn​github.com这里我使用pytorch训练好的PSENet模型进行部署。正文官方pytorch转ncnn说明文档转换流程如下：pytorch训练->onnx->onnx-simplifier->ncnn1. pytorch训...
使用java实现CNN的实战
m0_72345017的博客
11-18 501
1> 前向传播时，valid 卷积的得到的resultImage：3*3 （4-2+1=3，假设stride为 1，pad ：0）3、卷积，卷积的方式有三种：valid，full，same，在CNN中我们用到了两种：前向传播时，使用valid，反向传播时使。反向传播，resourceImage：3*3， kernelSize：2*2， resultImage 4*4。， （前向传播时 resourceImage：4*4， kernelSize：2*2， resultImage 3*3）
java图像分类源码_在Android设备上使用NCNN图像分类的demo
weixin_34547317的博客
02-27 182
【实例简介】在Android设备上使用NCNN图像分类的demo，是一个Android项目【实例截图】【核心代码】NCNN1└── NCNN1├── app│ ├── app.iml│ ├── build.gradle│ ├── CMakeLists.txt│ ├── proguard-rules.pro│ └── src│ ├── androidTest│ ...
YOLO5部署NCNN
08-11
你可以按照以下步骤来部署 YOLOv5 到 NCNN： 1. 首先，你需要克隆 YOLOv5 仓库到本地： ```bash git clone https://github.com/ultralytics/yolov5.git cd yolov5 ``` 2. 接下来，你需要安装依赖项： ```bash ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值