第五次课笔记

LMDeploy 量化部署 LLM-VLM 实践

一、大模型部署的背景、部署方法、LMDeploy量化部署和大模型实践，以及实际部署中面临的挑战，包括计算量、内存开销、仿存瓶颈和用户请求不确定性等问题。

1.大模型部署的背景介绍和实践环节

2.实际部署过程中需要考虑的计算能力和显存等问题

 

3.大模型推理过程中存在的问题和解决方案

可以通过减少模型参数来提高计算效率，可以使用知识蒸馏方法来降低训练难度，模型量化可以提高计算效率，并减少模型参数所需的内存空间

二、LMDeploy 量化部署的三个核心功能。

实践环节参考实验作业