- 博客(2)
- 收藏
- 关注
RSS订阅原创 论文阅读报告：CoRR-OmniQuant
AWQ的一个核心思想就是，权重的对模型的重要程度，存在极强的不均衡性。AWQ的保护方式类似SmoothQuant的思想，是寻找一个缩放比例s，在权重量化之前乘以这个比例，这样量化对该值的影响不会那么强烈，激活矩阵计算时再除以这个比例，这样数学上保持不变。F表示LLM中的transformer块的映射函数，W和X是浮点数的权重和激活值，Qw(）和 Qa()分别表示权重和激活值的量化器，Θ1是可学习的权重剪裁（LWC）的量化参数，Θ2可学习的等效转换（LET）中的量化参数，这两个会在后面的模块里讨论。
2024-02-28 10:17:15
782
1
原创 论文阅读报告：ICLR2024-AffineQuant
其中，fi表示第i个transformer块，(X−δ)A-¹，Q(AW)，b+δW分别表示等效变换之后的激活、权重和偏置。严格对角占优矩阵指，矩阵所有对角线上的元素，都大于元素所在行的其他元素之和，对列也成立。之前的一些工作，如图左的AWQ，在处理权重时，AWQ为了使浮点数值距离网格值更近，对权重做缩放处理，看图就是移到这个线上。而这篇文章affinequant引入了仿射变换，通过使仿射变化矩阵与权重相乘，实现对权重的旋转、缩放等操作，使其能更好的贴近量化网格，降低误差。Affine，顾名思义，仿射。
2024-02-28 09:59:46
954
2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人