- 博客(2)
- 收藏
- 关注
原创 论文阅读报告:CoRR-OmniQuant
AWQ的一个核心思想就是,权重的对模型的重要程度,存在极强的不均衡性。AWQ的保护方式类似SmoothQuant的思想,是寻找一个缩放比例s,在权重量化之前乘以这个比例,这样量化对该值的影响不会那么强烈,激活矩阵计算时再除以这个比例,这样数学上保持不变。F表示LLM中的transformer块的映射函数,W和X是浮点数的权重和激活值,Qw()和 Qa()分别表示权重和激活值的量化器,Θ1是可学习的权重剪裁(LWC)的量化参数,Θ2可学习的等效转换(LET)中的量化参数,这两个会在后面的模块里讨论。
2024-02-28 10:17:15 862 1
原创 论文阅读报告:ICLR2024-AffineQuant
其中,fi表示第i个transformer块,(X−δ)A-¹,Q(AW),b+δW分别表示等效变换之后的激活、权重和偏置。严格对角占优矩阵指,矩阵所有对角线上的元素,都大于元素所在行的其他元素之和,对列也成立。之前的一些工作,如图左的AWQ,在处理权重时,AWQ为了使浮点数值距离网格值更近,对权重做缩放处理,看图就是移到这个线上。而这篇文章affinequant引入了仿射变换,通过使仿射变化矩阵与权重相乘,实现对权重的旋转、缩放等操作,使其能更好的贴近量化网格,降低误差。Affine,顾名思义,仿射。
2024-02-28 09:59:46 1058 2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人