LMDeploy 大模型量化部署实践

最新推荐文章于 2025-09-11 11:34:21 发布
原创 最新推荐文章于 2025-09-11 11:34:21 发布 · 1.9k 阅读 · 24 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#人工智能 #语言模型

LMDeploy 大模型量化部署实践

视频地址：https://www.bilibili.com/video/BV1iW4y1A77P
文档：https://github.com/InternLM/tutorial/blob/vansin-patch-4/lmdeploy/lmdeploy.md
LMDeploy Repo: https://github.com/InternLM/lmdeploy.git

主要内容

包括三个部分，1. 背景，2. LMDeploy 简介，3. 动手实践
在这里插入图片描述

大模型部署背景

在这里插入图片描述
7B 模型参数内存：7 * 1B * 2 (fp16) = 7 * 1G * 2 Byte = 14G Byte
在这里插入图片描述

LMDeploy 简介

在这里插入图片描述
下图中，左边主要对比 LMDeploy 自身在量化前后的性能；右边主要对比 vLLM 和 LMDeploy 的性能对比。
在这里插入图片描述
量化后，显存占用量显著减少，其中包括权重和 KV Cache。
在这里插入图片描述
由于 GPU 的计算需要将权重从 GPU 主存 -> GPU 共享内存，因此量化显著减少了数据的传输量，提高了整体效率。
在这里插入图片描述
AWQ 算法全称：Activation-aware Weight Quantization
GPTQ 算法全称：Accurate P

最低0.47元/天 解锁文章
zhjunqin
关注
【第5节】LMDeploy 大模型量化部署实践
熊猫小妖的AI世界
04-24 2029
视频文档作业lmdeploy官方文档OpenXLab个人感觉camp2讲解的没有第一次的内容好，都是照着文档跑一遍，基础内容也没有啥深度(也可能是我水平太低哈，哈哈)。补充观看之前1.0版本的讲解吧文档视频基础作业（结营必做）配置 LMDeploy 运行环境以命令行方式与 InternLM2-Chat-1.8B 模型对话进阶作业设置KV Cache最大占用比例为0.4，开启W4A16量化，以命令行方式与模型对话。（优秀学员必做）
手把手教你本地CPU环境部署清华大模型ChatGLM-6B，利用量化模型，本地即可开始智能聊天，达到ChatGPT的80%
热门推荐
微学AI的博客
04-28 2万+
大家好，我是微学AI，今天教你们本地CPU环境部署清华大ChatGLM-6B模型，利用量化模型，每个人都能跑动大模型。ChatGLM-6B是一款出色的中英双语对话模型，拥有超过62亿个参数，可高效地处理日常对话场景。与GLM-130B模型相比，ChatGLM-6B在对话场景处理能力方面表现更加卓越。此外，在使用体验方面，ChatGLM-6B采用了模型量化技术和本地部署技术，为用户提供更加便利和灵活的使用方式。值得一提的是，该模型还能够在单张消费级显卡上顺畅运行，速度较快，是一款非常实用的对话模型。
LMDeploy 大模型量化部署
weixin_55982578的博客
02-26 1576
LMDeploy是LLM在英伟达设备上部署的全流程解决方案。包括模型轻量化、推理和服务
小白能看懂的AI大模型系列-本地部署（LMDeploy国产开源工具），大模型入门到精通，收藏这篇就足够了！
最新发布
DEVELOPERAA的博客
09-11 891
这里给大家一款国产的大模型部署框架：LMDeploy，它是由上海人工智能实验室牵头开发的。
LLM推理引擎性能评测对比：vllm、lmdeploy、tensorrt-llm
stephen147的博客
06-28 1万+
但从使用体验上看，vllm，lmdeploy使用方便，直接从model hub下载模型即可，而tensorrt-llm需要转换和编译模型，并且创建合适的引擎环境也有一定的成本，需要tensorrt-llm，triton server以及tensorrt-llm backend，格步骤参数有一定关联性，极易出错，总体使用成本对比会高不少。在prefill阶段后返回的第一个token的时间，在stream输出模式下，对体验影响大，越小用户等待返回第一个token时间越小，体验越好。每秒处理完成的请求数。
LMDeploy 量化部署 LLM 实践+进阶
nlpx2000的博客
04-11 1437
pipe = pipeline('liuhaotian/llava-v1.6-vicuna-7b', backend_config=backend_config) 非开发机运行此命令。# pipe = pipeline('liuhaotian/llava-v1.6-vicuna-7b', backend_config=backend_config) 非开发机运行此命令。internlm2-chat-1_8B模型量化部署与llava多模态模型llava-v1.6-7b部署实践。
8G 显存玩转书生大模型 Demo
f_ckhell的博客
07-27 357
5.使用 Streamlit 部署 InternLM2-Chat-1.8B 模型。在download_mini.py中写入下面代码。运行成功，输入个“你好，介绍下你自己”运行download_mini.py。向cli_demo.py写入内容。2.创建cli_demo.py。创建文件夹并写入下载代码。
第五课-LMDeploy 大模型量化部署实践
sunney的博客
01-13 1616
LMDeploy 由MMDeploy和MMRazor团队联合开发，是涵盖了 LLM 任务的全套轻量化、部署和服务解决方案。高效推理引擎 TurboMind：基于 FasterTransformer，我们实现了高效推理引擎 TurboMind，支持 InternLM、LLaMA、vicuna等模型在 NVIDIA GPU 上的推理。**交互推理方式：**通过缓存多轮对话过程中 attention 的 k/v，记住对话历史，从而避免重复处理历史会话。多 GPU 部署和量化。
LMDeploy大模型量化部署实践
qq_18608609的博客
08-29 596
稍待片刻，等出现double enter to end input >>>的输入提示即启动成功，此时便可以随意与InternLM2.5对话，同样是两下回车确定，输入exit退出。输入以下指令，让我们同时启用量化后的模型、设定kv cache占用和kv cache int4量化。在最新的版本中，LMDeploy使用的是AWQ算法，能够实现模型的4bit权重量化。使用的是50%A100，占用了23GB，执行以下命令，观看占用显存情况。输入以下命令，使用Gradio作为前端，启动网页。
LMDeploy 量化部署 LLM&VLM实战--笔记
taotao_zhang1的博客
04-12 1746
打开InternStudio平台，创建开发机。填写开发机名称；选择镜像；选择10% A100*1GPU；点击“立即创建”。排队等待一小段时间，点击“进入开发机”。点击左上角图标，切换为终端(Terminal)模式。
LMDeploy 量化 部署 LLM&VLM 实践
qq_42137576的博客
05-23 1444
LMDeploy 量化部署 LLM&VLM 实践
第五节课——LMDeploy 量化部署 LLM 实践（笔记+作业）
qq_42866802的博客
06-10 537
在软件工程中，部署通常指的是将开发完毕的软件投入使用的过程。在人工智能领域，模型部署是实现深度学习算法落地应用的关键步骤。简单来说，模型部署就是将训练好的深度学习模型在特定环境中运行的过程。
学习笔记 | LMDeploy 量化部署 LLM-VLM 实践
DrFlown的博客
04-22 2435
根据InternLM2技术报告提供的模型参数数据，以及KV Cache空间估算方法，以FP16为例，在batch-size为16、输入512 tokens、输出32 tokens的情境下，仅20B模型就会产生10.3GB的缓存。该过程在新版本的LMDeploy中是自动进行的，无需用户操作。​ TurboMind是LMDeploy团队开发的一款关于LLM推理的高效推理引擎，它的主要功能包括：LLaMa 结构模型的支持，continuous batch 推理模式和可扩展的 KV 缓存管理器。
LMDeploy高效部署Llama-3-8B，1.8倍vLLM推理效率
xxue345678的博客
10-30 1019
Llama 3 近期重磅发布，发布了 8B 和 70B 参数量的模型，LMDeploy 对 Llama 3 部署进行了光速支持，同时对 LMDeploy推理 Llama 3 进行了测试，在公平比较的条件下推理效率是 vLLM 的 1.8 倍。本文将分为以下几个部分来介绍，如何使用LMDeploy来部署 Llama3（以 InternStudio 的环境为例）环境、模型准备LMDeploy Chat CLI 工具LMDeploy 模型量化（lite）LMDeploy 服务（serve）
lmdeploy v0.9.2 发布详解：功能升级、性能优化与兼容性提升全解析
福大大架构师每日一题
07-27 1016
lmdeploy是一个面向大型语言模型（Large Language Models, LLMs）的部署框架，旨在简化并加速模型推理过程，支持多种硬件架构与优化引擎。该项目持续活跃，社区贡献热烈，频繁发布更新，确保其功能和性能紧贴最新AI技术发展动态。此次v0.9.2版本，是继0.9.1之后的重要升级版本，不仅强化了模型支持能力和系统兼容性，还修正了若干关键BUG，优化了运行时表现和整体用户体验。因此，对于正在使用lmdeploy进行模型部署的用户和研发团队来说，及时了解并升级至该版本至关重要。
LMDeploy 的介绍与部署
Orkeii的博客
04-24 2078
LMDeploy的部署与模型介绍
LMDeploy量化部署LLM&VLM
weixin_45924641的博客
04-18 2822
LMDeploy量化部署InternLM2-chat-1.8B & LLaVa
lmdeploy部署大模型步骤
04-09
<think>嗯，用户问的是如何使用LMDeploy部署大模型的具体步骤。首先，我需要回忆一下之前学过的关于LMDeploy的知识。记得引用里的内容提到过环境配置、服务部署、模型转换这些步骤。特别是引用[1]里详细说明了安装步骤和模型部署的方式，可能用户需要的是分步骤的指南。 首先，环境配置肯定是第一步。用户可能需要安装Python、LMDeploy库，可能还需要配置Conda环境。引用[1]提到要明确操作系统和安装步骤，所以应该先让用户安装Miniconda，然后创建环境，安装PyTorch和LMDeploy。这部分需要检查是否要包括CUDA的支持，因为大模型通常需要GPU加速。 接下来是模型下载。InternLM-Chat-7B这样的模型可能需要从Hugging Face或者ModelScope获取。这里需要确保用户知道如何下载模型，可能需要git lfs或者其他工具，但引用里没有详细说明下载步骤，可能需要提醒用户参考官方文档。 然后是模型转换部分，包括在线和离线转换。引用[3]提到使用不同模型进行量化，但用户可能用的是7B的模型，所以需要说明如何将HF格式转换为TurboMind格式。这里要提到lmdeploy convert命令，参数设置如model_name和model_format。 服务部署阶段，用户可能有不同的需求，比如本地对话、Gradio网页或者API服务。引用[1]和[4]提到多种部署方式，所以需要分别说明每个步骤。比如，启动API服务需要指定模型路径和端口，同时可能需要调整TP参数，根据GPU数量来设置。 模型量化部分，用户可能关心如何减小模型大小和提升速度。引用[3]提到量化需要较长时间，所以建议用户使用较小的模型进行测试。需要解释不同的量化方法，比如KV8和W4，以及如何执行这些量化命令。 最后，验证部署是否成功，可能需要运行测试脚本或者使用curl命令调用API，确保模型能正确响应。同时，用户可能遇到环境依赖问题，比如CUDA版本不匹配，或者显存不足，需要给出常见问题解答。 在思考过程中，还要注意用户可能的实际场景，比如是否在本地机器还是云服务器上部署，是否有足够的GPU资源。此外，引用[5]提到AutoDL平台，可能用户是在类似平台上操作，需要适配相关步骤。需要确保步骤清晰，命令准确，避免遗漏关键参数或配置。</think>### LMDeploy部署大模型详细步骤指南 #### 一、环境配置 1. **安装Miniconda**（推荐Python 3.10环境） ```bash wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh bash Miniconda3-latest-Linux-x86_64.sh ``` 2. **创建虚拟环境** ```bash conda create -n lmdeploy python=3.10 -y conda activate lmdeploy ``` 3. **安装PyTorch与LMDeploy** ```bash pip install torch==2.1.2 torchvision==0.16.2 torchaudio==2.1.2 --index-url https://download.pytorch.org/whl/cu118 pip install lmdeploy[all] ``` #### 二、模型下载 以InternLM-Chat-7B为例： ```bash git clone https://www.modelscope.cn/Shanghai_AI_Laboratory/internlm2-chat-7b.git ``` #### 三、模型转换 1. **在线转换**（动态加载） ```bash lmdeploy chat /path/to/internlm2-chat-7b ``` 2. **离线转换**（生成TurboMind格式） ```bash lmdeploy convert internlm2-chat-7b --model-name internlm2-7b --model-format hf ``` #### 四、服务部署 1. **本地对话模式** ```bash lmdeploy chat ./workspace ``` 2. **网页Gradio部署** ```bash lmdeploy serve gradio ./workspace --server_name 0.0.0.0 --server_port 7860 ``` 3. **API服务部署** ```bash lmdeploy serve api_server ./workspace --server_name 0.0.0.0 --server_port 23333 --tp 1 ``` #### 五、模型量化（以W4A16为例） ```bash lmdeploy lite auto_awq /path/to/internlm2-chat-7b --calib-dataset ptb --calib-samples 128 --calib-seqlen 2048 --w-bits 4 --w-group-size 128 ``` #### 六、验证部署 ```python from lmdeploy import pipeline pipe = pipeline('./workspace') response = pipe(['你好']) print(response[0].text) ``` ### 关键参数说明 1. `--tp`：张量并行度，需与GPU数量匹配 2. `--cache-max-entry-count`：KV缓存比例，建议0.5-0.8 3. `--quant-policy`：量化策略，可选0（FP16）或4（INT4） ### 常见问题 1. **CUDA版本不匹配**：需确保CUDA版本与PyTorch对应（建议11.8+） 2. **显存不足**：可尝试量化或减小`--cache-max-entry-count` 3. **API调用示例**： ```bash curl http://localhost:23333/v1/chat/completions -H "Content-Type: application/json" -d '{"model": "internlm2-7b", "messages": [{"role": "user", "content": "你好"}]}' ``` [^1][^3][^4]
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值