该文通过llama.cpp程序在NVIDIA L4 GPU上分析了不同量化方法对大语言模型性能的影响，特别是在wikitext-2测试集上的困惑度。结果显示，较小的困惑度表明模型对数据集的拟合更好，并且模型性能更依赖于参数数量而非量化精度。在有限的显存资源下，模型参数量对能否运行至关重要。
先上结果：
| 模型\量化 | q4_0 | q4_1 | q5_0 | q5_1 | q8_0 | fp16 |
|---|---|---|---|---|---|---|
| llama-7b | 6.157 | 6.0915 | 5.9846 | 5.948 | 5.9063 | 5.68 |
| llama-13b | 5.385 | 5.3608 | 5.285 | 5.2702 | 5.2547 | 5.09 |
| llama-30b | 4.2707 | - | - | - | - | 4.1000 |
| alpaca-30b | 4.4521 | - | - | - | - | - |
| llama-2-7b | 5.9675 | 6.0398 | 5.8328 | 5.8435 | 5.7897 | - |
| llama-2-7b-chat | 7.7641 | 7.7853 | 7.5055 | 7.5392 | 7.5014 | - |
| llama-2-13b | 5.2172 | 5.2115 | 5.1343 | 5.1289 | 5.1005 | - |
| llama-2-13b-chat | 6.6296 | 6.7059 | 6.5336 | 6.5771 | 6.5361 |
最低0.47元/天 解锁文章
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
