模型加速--CLIP-Q: Deep Network Compression Learning by In-Parallel Pruning-Quantization

CLIP-Q: Deep Network Compression Learning by In-Parallel Pruning-Quantization
CVPR2018
http://www.sfu.ca/~ftung/
裁剪和量化一体化框架

在这里插入图片描述

本文的思路比较简单,裁剪+量化一体训练模型分三个步骤:
1) Clipping 裁剪,将网络中的权重系数值接近0 的权重全部置零,当然这种置零是临时性的,后面的训练迭代根据实际情况调整。 这里的阈值自适应确定,(model the objective function as a Gaussian process)
2)Partitioning 切分, partition the non-clipped portion of the 1-D axis of weight values into quantization intervals,这里我们使用了 linear (uniform) partitioning ,也可以使用其他自适应切分 如 weighted entropy
3)Quantizing 量化 update the quantization levels the discrete values that the weights are permitted to take in the compressed network

在这里插入图片描述

Experiments
在这里插入图片描述

在这里插入图片描述

11

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值