qianxun

借助 Qualcomm® AI Engine Direct，用户可以在后端提供的功能之间进行适当的权衡 以及库大小和内存利用率方面的占用空间。Qualcomm® AI Engine Direct 架构采用模块化设计，可实现软件中的清晰分离 对于不同的硬件核心/加速器，例如 CPU、GPU 和 DSP，指定为 后端。凭借优化的网络加载和异步执行支持 Qualcomm®AI Engine Direct 可提供高度 机器学习框架和应用程序加载和执行网络图的高效接口 他们想要的硬件加速器。

借助 Qualcomm® AI Engine Direct，用户可以在后端提供的功能之间进行适当的权衡 以及库大小和内存利用率方面的占用空间。Qualcomm® AI Engine Direct 架构采用模块化设计，可实现软件中的清晰分离 对于不同的硬件核心/加速器，例如 CPU、GPU 和 DSP，指定为 后端。凭借优化的网络加载和异步执行支持 Qualcomm®AI Engine Direct 可提供高度 机器学习框架和应用程序加载和执行网络图的高效接口 他们想要的硬件加速器。

Qualcomm®AI Engine Direct架构旨在提供统一的 API 以及模块化和可扩展性 每个加速器库构成了全栈人工智能解决方案的可重用基础， QTI 自有框架和第三方框架（如采用 Qualcomm AI Engine Direct 的 AI 软件堆栈图所示）。Qualcomm® AI Engine Direct 是 Qualcomm Technologies Inc. (QTI) 用于 AI/ML 用例的软件架构 关于 QTI 芯片组和 AI 加速核心。代码写的太杂乱，后续整理完毕上传代码。

第二步过滤不需要的运动，在最后一步重建稳定的视频。从最开始的光流到meshflow再到陀螺仪，，，，哎路都块走完了。光学视频稳定：在这种方法中，不是移动整个摄像机，而是通过镜头的移动部分来实现稳定。这种方法使用了一个可移动的镜头组合，当光通过相机的镜头系统时，可以可变地调整光的路径长度。github上很少又meshflow的代码，大部分也是py的代码，一小部分是c++的，但是很多也跑不通，，不行只能自己复现了。同样，在军事应用中，无人机在侦察飞行中捕获的视频也需要进行稳定，以便定位、导航、目标跟踪等。

ctypes 是 Python 的外部函数库。它提供了与 C 兼容的数据类型，并允许调用 DLL 或共享库中的函数。可使用该模块以纯 Python 形式对这些库进行封装。之前接到一个任务就是用python调用so库，也就是python调用c++so库，也是第一次做这个，而且要的还很急，导致我也很忙碌，很多之前做的事请都丢下了。下面就介绍了ctypes调用so的简单例子。ctypes加载yolov5.so。

You Only Look Once  神经架构搜索（YOLO-NAS）是最新最先进的（SOTA）实时目标检测模型。在 COCO 数据集上进行评估并与其前身 YOLOv6 和 YOLOv8  相比，YOLO-NAS 以更低的延迟实现了更高的 mAP 值。接下来我们讲yolo-nas部署到rk中去玩玩。YOLO-NAS 作为 Deci 维护的。

与SteadyFlow相比，其计算稠密光流并提取出所有像素位置的pixel profiles信息用于稳像，而我们提出的MeshFlow方法在计算性能上要更好。第二步过滤不需要的运动，在最后一步重建稳定的视频。这种方法使用了一个可移动的镜头组合，当光通过相机的镜头系统时，可以可变地调整光的路径长度。github上很少又meshflow的代码，大部分也是py的代码，一小部分是c++的，但是很多也跑不通，，不行只能自己复现了。中，无人机在侦察飞行中捕获的视频也需要进行稳定，以便定位、导航、目标跟踪等。

因此，高昂的成本导致数据集的数据量较小，也意味着有监督学习的深度估计方式不适用于大规模的工业场景。随着深度学习技术的发展，该范式已经成为了估计单目图像的深度信息的一种解决方案。早期的深度估计方法大多是有监督的，即要求数据集包含单目图像和对应的深度真值支撑网络模型训练。根据单张图像估计深度信息是计算机视觉领域的经典问题，也是一项具有挑战的难题。由于单目图像的尺度不确定，传统方法无法计算深度值。对于距离的计算，常用的算法就是单目测距，但传统算法有时候并不是很准确，因此需要深度学习去进行深度估计。

VMTool安装与卸载。

２）部分能提供结构化文本的特定场景识别服务如身份证识别等，能保留识别文字结构。但这些应用还存在一些明显缺点：１）通用识别服务对图像要求高，通常针对扫描文档，要求输入图像背景干净、字体简单且文字排布整齐，对自然场景图像中的文字识别效果差；３）特定场景文字识别，识别场景较为单一，如汉王ＯＣＲ的特定场景只提供身份证识别等，无常见场景识别的功能整合；光学字符识别（Optical Character Recognition, OCR）是指对文本资料的图像文件进行分析识别处理，获取文字及版面信息的过程。

至于为什么采用红外摄像机，是因为系统要求能够在全部工况环境下(包括白天、夜晚、顺光、逆光等)工作，能适应各种光源环境，即视在夜间、逆光等情况下，也能提供高品质的。首先挖掘出人在疲劳状态下的表情特征，然后将这些定性的表情特征进行量化，提取出面部特征点及特征指标作为判断依据，再结合实验数据总结出基于这些参数的识别方法，最后输入获取到的状态数据进行识别和判断。通过一个面向驾驶员的红外摄像头来实时监测头部、眼部、面部、手部等细节，可以从眼睛闭合、眨眼、凝视方向、打哈欠和头部运动等检测驾驶员状态。

上图源自Snapdragon Neural Processing Engine SDK Reference Guide，它展示了一个Deep Learning Neural Network在SNPE环境下的Workflow。把.tf/.tflite/.onnx/caffe/caffe2/.pt等网络预训练模型转换为一个能够被SNPE加载的DLC文件。后面具体内容慢慢再写，因为我也才接触snpe一个星期。使用SNPE runtime加载并运行模型。准备模型需要的输入数据。

转眼间，自DETR被提出已经过去了2年了，如今又迎来了2023年，可以说，这是Transformer框架在CV领域发力的第3个年头了。时至今日，对Transformer的质疑声越来越小了，它的强大得到了越来越多、越来越广泛的认可。可以说，如今的CV领域，Transformer已经和CNN是各分半壁江山了。

RESA还提出了一种类似的方法，通过反复的特征转移来扩大感受野。除了使用不同颜色模型的特征和边缘提取方法外，有方法还提出使用投影几何和逆透视映射来利用车道线在现实世界中通常平行的先验信息。尽管许多方法尝试了不同的车道线传统特征，但在复杂的场景中，来自低级图像处理的语义信息仍然相对不足。Lane检测是自动驾驶和高级驾驶员辅助系统（ADAS）的基本组成部分，用于区分和定位道路上的车道线。在实践中，车道线检测算法被大量执行，以利用受约束的车辆计算设备为下游任务提供即时感知结果，这需要快速的检测速度。

所以需要将yolov8det目标检测部署在rk3568里面。

这段时间一直在搞rk3568，所以需要将yolov8seg部署在rk3568里面。

上图源自Snapdragon Neural Processing Engine SDK Reference Guide，它展示了一个Deep Learning Neural Network在SNPE环境下的Workflow。后面具体内容慢慢再写，因为我也才接触snpe一个星期。等网络预训练模型转换为一个能够被SNPE加载的DLC文件。量化模型，以便能在Hexagon DSP上运行（可选项）。使用SNPE runtime加载并运行模型。准备模型需要的输入数据。

数据集格式--具体格式和之前训练的yolov5_obb一致。