zlgahu的博客

VNNI 指令集从 Intel Xeon 第二代 cascade lake开始支持，你可以通过以下途径检测是否用oneDNN 正常运行VNNI 指令加速.git clone https://github.com/oneapi-src/oneDNN.gitcd oneDNN/mkdir buildcd build/cmake ../make -jDNNL_VERBOSE=1 ./tests/benchdnn/benchdnn --matmul --cfg=u8s8u8 12x128x768:

模型量化作为一种能够有效减少模型大小，加速深度学习推理的优化技术，已经得到了学术界和工业界的广泛研究和应用。模型量化有 8/4/2/1 bit等，本文主要讨论目前相对比较成熟的 8-bit 低精度推理。 通过这篇文章你可以学习到以下内容：1）量化算法介绍及其特点分析，让你知其然并知其所以然； 2）Pytorch 量化实战，让你不再纸上谈兵；3）模型精度及性能的调优经验分享，让你面对问题不再束手无策...

C=A×BC=A\times BC=A×BA 矩阵采用 per tensor 量化， B 矩阵采用 per_channel 量化Aiint8=Aifp32scaleA+zeroAA_i^{int8} = \frac{A_i^{fp32}}{scale_{A}} + zero_AAiint8​=scaleA​Aifp32​​+zeroA​Biint8=Bifp32scaleBcolj+zero...