CNN模型量化压缩降低分布式通信开销

已于 2022-02-05 21:59:02 修改
阅读量696 收藏 2
点赞数 1
分类专栏： 联邦学习 文章标签： cnn 分布式 人工智能 奇异值分解
于 2022-01-09 17:47:36 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zhangyi0626/article/details/122396370
版权

想要在移动端部署CNN，需要模型大小比较小、时耗比较低，才能适用于算力和内存受限的移动设备。

空域滤波

从通信的内容出发，尽量减少要通信的数据量，对传输的内容进行过滤、压缩或者量化，减少每一次传输所需的时间。

模型过滤

比较直观的方法是对模型参数进行过滤。如果一次迭代过程中某些参数没有明显变化，则可以将其过滤掉，从而减少通信量。实践中，在训练的后期，众多的参数会趋于收敛，只需要保留少量的参数更新信息，整个模型学习的结果就可以有效地保留下来。

模型低秩化处理

模型过滤通过去除不重要的参数来减少通信量，而模型低秩化处理则通过低秩分解压缩参数来减少通信量。这种方法探索了
参数中的低秩结构，其具体做法是通过矩阵低秩分解，如SVD分解，将原来比较大的参数矩阵分解为几个比较小的矩阵的乘积。在网络通信的时候实际传输的是分解得到的比较小的矩阵，在传输之后再重新恢复成比较大的参数矩阵。

奇异值分解

模型量化

通过对要传输的信息的精度进行控制来降低通信代价。这种方法通过降低参数的每一维浮点数的精度来减少通信量。

卷积神经网络

在这里插入图片描述

典型的非线性模型，引入局部连接的概念，并且在空间上平铺具有同样参数结构的滤波器（卷积核）。这些滤波器之间有很大的重叠区域，相当于有个空域滑窗，在滑窗滑到不同位置时，对这个窗内的信息使用同样的滤波器进行分析。这样虽然网络很大，但是由于不同位置的滤波器共享参数，其实模型参数的个数并不多，参数效率很高。
所谓卷积就是卷积核的各个参数和图像中空间位置对应的像素值进行点乘再求和。
池化一般不是参数化的模块，而是用确定性的方法求出局部区域内的平均值、中位数或最大值、最小值。

参考文献

深度学习笔记——模型压缩和优化技术（蒸馏、剪枝、量化）
haopinglianlian的博客
11-30 3249
本文详细介绍模型训练完成后的压缩和优化技术：蒸馏、剪枝、量化。
深度学习模型应用实战：深度学习模型在实际应用中的关键步骤和策略
AI天才研究院
06-26 5151
深度学习近年来在多个领域取得了显著的进展，包括计算机视觉、自然语言处理、语音识别等。其强大的学习能力和灵活性使得深度学习模型在实际应用中得到了广泛的采用。然而，尽管深度学习模型具有强大的能力，如何在实际项目中正确地应用这些模型仍然是一个具有挑战性的任务。本文将深入探讨深度学习模型在实际应用中的关键步骤和策略，通过详细的操作步骤、数学模型解释、代码实例和实际应用场景，帮助读者更好地理解和应用深度学习模型。自动机器学习（AutoML）
CNN 量化技术
emma1222的博客
05-29 3795
Quantize Model是一种模型加速（Model Acceleration）方法。 背景介绍 目前SOTA（State Of The Art，顶尖水平）的CNN都不适合在移动设备上部署，两点原因使CNN模型压缩和加速领域快速发展： 从AlexNet开始，CNN都以ImageNet上的分类准确率作为性能评估的主要甚至唯一标准，这使得CNN架构的发展都没有考虑模型复杂度和计算效率问题。 ...
ICLR 2018 | 深度梯度压缩:减少分布式训练的通信带宽
a609640147的博客
05-11 2946
大型的分布式训练需要较好的通信带宽以便进行梯度的交换，这限制了多节点训练的可扩展性同时也需要昂贵的高带宽设备。这种情况在移动端进行分布式训练时会变得更加糟糕。这篇文章发现分布式SGD中有99.9%的梯度交换都是冗余的，并提出了深度梯度压缩（DGC）用来减少通信带宽。为了保证压缩过程中的精度，DGC使用了4中方法：动量修正、本地梯度剪裁、动量因子遮蔽和warm-up训练。文章中将DGC使用在了图像分...
减少量子通信量（四）
qq_29837761的博客
05-18 226
Senthoor（2019） 主要贡献： 背景：使authorized set最小是一种减少通信量的有效方法，如果不想最小的话，就需要权衡authorized set的大小和重建所需的通信总量。 主要贡献：提出了一种有效率的通信QSS框架（k,2k-1,d）。 秘密大小：1-qubit 传统框架（k,2k-1）通信量：k-qubit 提出框架（k,2k-1,d）通信量：-qubit 定义combiner是第三方收集share恢复信息的，参与者和combiner之间的通信量就是通信损耗。 定.
机器学习——概念理解之模型量化
itlilyer的博客
10-20 2043
模型量化 模型量化: 指为了达到减小模型大小、减小推理时内存占用和加快模型的推理速度等目的，将训练得到的连续取值的浮点数类型的权重转换为整形存储(一般值int8)。 **为什么需要量化: ** 随着深度学习的发展，模型变得越来越庞大，这就非常不利于将模型应用到一些低成本的嵌入式系统的情况。为了解决该问题，模型量化应运而生。目的就是在损失少量精度的情况下对模型进行压缩，使模型可以应用到像手机、摄像头、机器人等嵌入设备中。 ...
Practical Secure Aggregation for Privacy-Preserving Machine Learning论文阅读笔记
SXxtyz的博客
03-19 2641
提出了一种安全聚合算法，Secure Aggregation算法，可以使得在多方学习（如联邦学习）中各方client在不暴露各自梯度的情况下实现梯度的聚合。 实验 我们提出了安全计算向量之和的算法，它满足常数迭代轮次、低通信代价、对故障具有鲁棒性、且有一个可信度受限的server。server有两种角色：一是想其他参与方发送信息，二是计算最终结果。 鉴于联邦学习系统的缺点（对于隐私的要求以及终端不同步的问题），急切需要一种安全聚合算法来解决这些问题： 操作高维数据； 提高通信效率； 对终端用户的失联的鲁棒
# AI计算模式 神经网络模型 深度神经网络 多层感知机 卷积神经网络 循环神经网络 长短期记忆网络 图像识别、语音识别、自然语言 轻量化模型和模型压缩 大模型分布式并行
万有文的博客
04-21 945
AI技术发展至今，主流的模型是深度神经网络模型。近20年来，神经网络模型经过多样化的发展，模型总体变得越来越复杂和庞大，对硬件设备的计算速度、存储能力、通信速度的要求越来越高。尽管学者已经提出了许多方法优化模型结构，降低模型的参数量，但是伴随着人们对AI能力的要求越来越高，模型变得更大是不可避免的。原先单CPU可进行模型的训练与推理，如今需要使用GPU、TPU等设备，并通过分布式并行的方式完成计算。因此，如何高效地训练和部署深度神经网络模型已经成为研究热点。
卷积神经网络算法模型的压缩与加速算法比较1
08-04
除了优化结构，还可以通过压缩模型参数来加速计算。包括： 1.2.1 参数量化（Quantization）：将浮点数权重转化为低精度（如二进制或八位整数），减小模型体积并提高计算速度。 1.2.2 权重共享：类似地，可以对整个...
人工智能大模型即服务时代：大模型的未来发展趋势
AI天才研究院
12-18 369
大模型是指具有大规模参数数量和复杂结构的模型。这类模型通常需要大量的计算资源和数据来训练和部署。大模型可以处理大规模数据集，并在许多应用中取得了显著的成功。
如何量化分布式系统高性能指标？
s2008100262
12-07 2357
目录 1、高性能指标 2、JMeter压力测试 3、系统实时性能 1、高性能指标 2、JMeter压力测试 使用JMeter进行压测系统，将cpu利用率打到90%，观察系统各指标情况。 3、系统实时性能 磁盘IO、网络IO 响应时间 ...
【嵌入式AI】CNN模型压缩（剪枝，量化）详解与tensorflow实验
AI知识搬运工
01-25 5761
1，CNN模型压缩综述 1 模型压缩的必要性及可行性 （1）必要性：首先是资源受限，其次在许多网络结构中，如VGG-16网络，参数数量1亿3千多万，占用500MB空间，需要进行309亿次浮点运算才能完成一次图像识别任务； （2）可行性：模型的参数在一定程度上能够表达其复杂性，相关研究表明，并不是所有的参数都在模型中发挥作用，部分参数作用有限、表达冗余，甚⾄会降低模型的性能。论⽂提出，很多的深度神经网络仅仅使用很少一部分（5%）权值就⾜以预测剩余的权值。该论⽂还提出这些剩下的权值甚至可以直接不用被学习。
低秩分解
weixin_30650859的博客
11-07 1685
十岁的小男孩 　　本文为终端移植的一个小章节。 目录 　　概念 　　1. 奇异值（SVD）分解 　　2. 张量分解 　　　　2.1CP 分解( Canonical Polyadic Decomposition (CPD) 　　　　2.2 TD 分解( Tucker Decomposition ) 　　　　2.3 BTD 分解（block term decomposition） ...
矩阵低秩有何意义？
qq_24876435的博客
03-09 1万+
参考博客：https://blog.csdn.net/weixin_41894030/article/details/115699611 首先来思考，为什么叫“秩”？ 举个例子就很容易理解，大家排队买票。如果大家互相不认识，那就会一个排一个，非常有秩序。然而，如果突然来了一个与队伍前面的人认识的人，这个人又不自觉排队，非要插队。那后面的人肯定要有意见了，说你要是这样我前面 还有认识的人呢，你插我也插队，这样整个队伍就乱掉了， 谁也买不成。 通过这个例子，可以得到一下结论：彼此不认识，那就不相关，就有秩
模型压缩（Compress）
weixin_49346755的博客
10-24 842
理论上来说，深度神经网络模型越深，非线性程度也就越大，相应的对现实问题的表达能力越强，但相应的代价是，训练成本和模型大小的增加。同时，在部署时，大模型预测速度较低且需要更好的硬件支持。但随着深度学习越来越多的参与到产业中，很多情况下，需要将模型在手机端、IoT端部署，这种部署环境受到能耗和设备体积的限制，端侧硬件的计算能力和存储能力相对较弱，突出的诉求主要体现在以下三点：首先是，比如像人脸闸机、人脸解锁手机等应用，对响应速度比较敏感，需要做到实时响应。其次是。
深度学习机器学习面试题汇——模型优化，轻量化，模型压缩
weixin_46838716的博客
05-23 4258
1）模型优化，优化啥呢？就是压缩模型，使得存储量，计算量变小，加快运行速度，使得模型可以迁移到小设备上 2）知识蒸馏的技术可以了解一下，目的就是加速模型运算，降低存储量。 3）笔试求AC，可以不考虑空间复杂度，但是面试既要考虑时间复杂度最优，也要考虑空间复杂度最优。
CNN模型 INT8 量化实现方式（一）
热门推荐
AI小作坊 的博客
11-27 1万+
当前CNN模型基本都是 float32，将其转换为 INT8 可以降低模型大小，提升速度，精度降低的也不太多。那么在实际中如何实现这个量化了？在网上找到了两种实践方法，这里先介绍其中的一种。 这里主要涉及两个问题：1）就是 int8量化；2）就是 int8 模型的使用 基于Caffe-Int8-Convert-Tools进行caffe模型转int8量化 在 NCNN 框架上运行 https://b...
cnn网络压缩、量化和优化实现
weixin_37032880的博客
09-15 1364
1、cnn量化 2、cnn压缩
提高Faster R-CNN模型的计算速度
最新发布
04-14
<think>好的，我需要帮助用户优化Faster R-CNN模型的计算性能，提高推理速度和训练效率。首先，我得回顾一下Faster R-CNN的基本结构和已有的优化方法。根据提供的引用资料，Faster R-CNN通过引入区域建议网络（RPN）替代了传统的Selective Search方法，从而提升了速度。现在用户希望进一步优化，我需要从多个方面考虑可能的优化策略。 首先，模型结构的优化。引用中提到，使用轻量级的主干网络如ResNet-50或MobileNet可以降低计算量。比如，VGG-16在GPU上能达到5fps，而更复杂的网络如ResNet+FPN可能降低速度，所以换成更轻量的结构应该有帮助。此外，特征金字塔网络（FPN）虽然提升精度，但可能影响速度，需要权衡是否必要。 然后是RPN的优化。RPN生成的候选区域数量会影响后续处理，减少生成的候选框数量（例如从300减到100）可能加快速度，同时需要确保质量不下降。引用[3]提到RPN生成的候选框量少质优，所以合理调整参数可能有效。另外，可以在RPN中使用更高效的卷积层，比如深度可分离卷积，减少计算量。 训练阶段的加速技巧。混合精度训练（AMP）能够减少显存占用，加快训练速度，这在引用中没有直接提到，但属于常见技巧。数据增强方面，简化预处理步骤，如减少随机裁剪或缩放，可以提升训练速度。分布式训练和多GPU并行处理也是有效的方法，引用[4]的PyTorch实现可能支持这些方法。 推理优化方面，模型剪枝和量化是关键。剪枝去除冗余的神经元或通道，量化将FP32转为INT8，这些都能减少计算量和模型大小。此外，使用NVIDIA的TensorRT进行推理优化，能显著提升部署速度。引用[2]提到Faster R-CNN在GPU上的速度受硬件影响，所以结合硬件加速技术很重要。 最后，工程优化。多尺度训练和推理会增加计算负担，固定输入尺寸可以减少计算量。批处理（Batch Inference）能提高GPU利用率，特别是在部署时。引用[4]中的代码示例可能需要调整输入尺寸和批处理参数。 可能还需要考虑其他方面，比如知识蒸馏，用大模型指导小模型训练，或者模型结构搜索（NAS）寻找更优结构。不过这些可能超出当前引用范围，但作为补充建议。 需要确保所有建议符合用户提供的引用内容，并正确标注引用来源。例如，提到RPN的优化时引用[3]，主干网络的选择引用[2]和[4]中的模型结构，训练技巧引用[4]的代码示例等。 总结可能的优化步骤：模型轻量化、RPN调整、训练加速技术、推理优化和工程技巧。每个部分都要分点说明，并引用相关段落。同时，生成的相关问题需要围绕这些优化方法展开，比如剪枝的具体方法、量化实现步骤、混合精度训练的应用等。</think>### 如何优化Faster R-CNN的计算性能？ #### 1. **模型结构优化** - **轻量化主干网络**：将默认的VGG-16或ResNet替换为更轻量的网络（如MobileNet、EfficientNet），可显著减少卷积层计算量。例如，使用ResNet-50替代ResNet-101能在保持精度的同时提升速度[^2][^4]。 - **共享卷积计算**：RPN与Fast R-CNN检测网络共享卷积层特征，避免重复计算。确保代码中两者的卷积层参数完全复用[^3]。 - **减少候选框数量**：RPN生成的候选框默认数量为300，可尝试减少至100~200，并通过调整NMS（非极大值抑制）阈值保证候选框质量[^3]。 #### 2. **训练阶段加速** - **混合精度训练（AMP）**：使用自动混合精度（如PyTorch的`torch.cuda.amp`），将部分计算转为FP16格式，减少显存占用并加速训练[^4]。 - **分布式训练**：多GPU并行训练（如PyTorch的`DistributedDataParallel`），提升数据吞吐量。 - **简化数据增强**：减少复杂的预处理（如随机裁剪、色彩扰动），优先使用缩放和归一化操作。 #### 3. **推理优化** - **模型剪枝与量化**： - **剪枝**：移除冗余的卷积通道或全连接层参数（如低权重的神经元）[^4]。 - **量化**：将模型权重从FP32转为INT8格式（如使用TensorRT或PyTorch的量化工具），可减少推理时内存和计算量。 - **硬件加速**：使用NVIDIA TensorRT或ONNX Runtime优化推理引擎，提升GPU利用率[^2]。 #### 4. **工程技巧** - **固定输入尺寸**：避免多尺度输入，统一图像尺寸（如800×600），减少动态调整带来的计算开销[^4]。 - **批处理（Batch Inference）**：在GPU显存允许范围内，一次处理多张图像，提高并行效率。 #### 5. **RPN优化** - **调整Anchor设置**：减少Anchor的数量或尺寸类别，例如从9种（3比例×3尺度）缩减至4~6种。 - **深度可分离卷积**：在RPN中使用深度可分离卷积替代标准卷积，降低计算复杂度[^3]。 --- ### 示例代码（PyTorch量化） ```python # 加载预训练模型（引用自[4]） import torch from torchvision.models.detection import fasterrcnn_resnet50_fpn model = fasterrcnn_resnet50_fpn(pretrained=True) model.eval() # 量化模型 quantized_model = torch.quantization.quantize_dynamic( model, {torch.nn.Linear}, dtype=torch.qint8 ) ``` --- ###
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

GoldMinnie

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值