模型量化技术

量化(Quantization)技术专注于用较少的信息表示数据，同时尽量不损失太多准确性。

具体来说，量化会将模型参数使用的数据类型，转换为更少位数表示，并尽可能达到相同信息的效果。

例如，假设您的模型权重原始以32位(32-bit)浮点数(Float32)存储。

• 如果将它们量化为16位(16-bit)浮点数(Float16),则可以将模型大小减半。换句话说，仅需要一半的 GPU 显存即可加载量化后的模型。
• 如果将模型量化为8位(8-bit)整数(Int8)，则大约只需要四分之一的显存开销。
• 如果将模型量化为4位(4-bit)数据类型 Normal Float4(NF4)，则几乎只需八分之一的显存开销。

同时，较低的精度还可以加快推理速度，因为使用较少位进行计算所需时间更短。