LMDeploy 大模型量化部署实践

最新推荐文章于 2025-03-29 10:51:26 发布
最新推荐文章于 2025-03-29 10:51:26 发布
阅读量1.8k 收藏 24
点赞数 20
文章标签： 人工智能 语言模型
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zhjunqin/article/details/135587979
版权

LMDeploy 大模型量化部署实践

视频地址：https://www.bilibili.com/video/BV1iW4y1A77P
文档：https://github.com/InternLM/tutorial/blob/vansin-patch-4/lmdeploy/lmdeploy.md
LMDeploy Repo: https://github.com/InternLM/lmdeploy.git

主要内容

包括三个部分，1. 背景，2. LMDeploy 简介，3. 动手实践
在这里插入图片描述

大模型部署背景

在这里插入图片描述
7B 模型参数内存：7 * 1B * 2 (fp16) = 7 * 1G * 2 Byte = 14G Byte
在这里插入图片描述

LMDeploy 简介

在这里插入图片描述
下图中，左边主要对比 LMDeploy 自身在量化前后的性能；右边主要对比 vLLM 和 LMDeploy 的性能对比。
在这里插入图片描述
量化后，显存占用量显著减少，其中包括权重和 KV Cache。
在这里插入图片描述
由于 GPU 的计算需要将权重从 GPU 主存 -> GPU 共享内存，因此量化显著减少了数据的传输量，提高了整体效率。
在这里插入图片描述
AWQ 算法全称：Activation-aware Weight Quantization
GPTQ 算法全称：Accurate Post-Tra

最低0.47元/天 解锁文章
zhjunqin
关注
手把手教你本地CPU环境部署清华大模型ChatGLM-6B，利用量化模型，本地即可开始智能聊天，达到ChatGPT的80%
微学AI的博客
04-28 2万+
大家好，我是微学AI，今天教你们本地CPU环境部署清华大ChatGLM-6B模型，利用量化模型，每个人都能跑动大模型。ChatGLM-6B是一款出色的中英双语对话模型，拥有超过62亿个参数，可高效地处理日常对话场景。与GLM-130B模型相比，ChatGLM-6B在对话场景处理能力方面表现更加卓越。此外，在使用体验方面，ChatGLM-6B采用了模型量化技术和本地部署技术，为用户提供更加便利和灵活的使用方式。值得一提的是，该模型还能够在单张消费级显卡上顺畅运行，速度较快，是一款非常实用的对话模型。
【第5节】LMDeploy 大模型量化部署实践
熊猫小妖的AI世界
04-24 1846
视频文档作业lmdeploy官方文档OpenXLab个人感觉camp2讲解的没有第一次的内容好，都是照着文档跑一遍，基础内容也没有啥深度(也可能是我水平太低哈，哈哈)。补充观看之前1.0版本的讲解吧文档视频基础作业（结营必做）配置 LMDeploy 运行环境以命令行方式与 InternLM2-Chat-1.8B 模型对话进阶作业设置KV Cache最大占用比例为0.4，开启W4A16量化，以命令行方式与模型对话。（优秀学员必做）
LMDeploy本地部署轻松玩转DeepSeek
weixin_41688410的博客
01-30 3757
本文主要介绍了LMDeploy 是如何本地部署大模型，并且以deepseek为例，从环境搭建，模型选择，推理，部署，量化全流程保姆级从0到1详细记录了每个过程。它是一个专为大语言（LLMs）和视觉-语言模型（VLMs）设计的高效部署工具箱，可以帮我们轻松玩转各种大模型，让我们对于大模型应用游刃有余，如鱼得水，挥洒自如。
8G 显存玩转书生大模型 Demo
f_ckhell的博客
07-27 298
5.使用 Streamlit 部署 InternLM2-Chat-1.8B 模型。在download_mini.py中写入下面代码。运行成功，输入个“你好，介绍下你自己”运行download_mini.py。向cli_demo.py写入内容。2.创建cli_demo.py。创建文件夹并写入下载代码。
企业级大模型部署指南：Ollama、vLLM 和 LMDeploy，各有千秋！
2401_85325726的博客
03-29 1447
大模型很多技术干货，都可以共享给你们，如果你肯花时间沉下心去学习，它们一定能帮到你！
LMDeploy 量化部署 LLM 实践+进阶
nlpx2000的博客
04-11 1321
pipe = pipeline('liuhaotian/llava-v1.6-vicuna-7b', backend_config=backend_config) 非开发机运行此命令。# pipe = pipeline('liuhaotian/llava-v1.6-vicuna-7b', backend_config=backend_config) 非开发机运行此命令。internlm2-chat-1_8B模型量化部署与llava多模态模型llava-v1.6-7b部署实践。
LMDeploy 量化 部署 LLM&VLM 实践
qq_42137576的博客
05-23 1304
LMDeploy 量化部署 LLM&VLM 实践
学习笔记 | LMDeploy 量化部署 LLM-VLM 实践
DrFlown的博客
04-22 2159
根据InternLM2技术报告提供的模型参数数据，以及KV Cache空间估算方法，以FP16为例，在batch-size为16、输入512 tokens、输出32 tokens的情境下，仅20B模型就会产生10.3GB的缓存。该过程在新版本的LMDeploy中是自动进行的，无需用户操作。​ TurboMind是LMDeploy团队开发的一款关于LLM推理的高效推理引擎，它的主要功能包括：LLaMa 结构模型的支持，continuous batch 推理模式和可扩展的 KV 缓存管理器。
第五课-LMDeploy 大模型量化部署实践
sunney的博客
01-13 1461
LMDeploy 由MMDeploy和MMRazor团队联合开发，是涵盖了 LLM 任务的全套轻量化、部署和服务解决方案。高效推理引擎 TurboMind：基于 FasterTransformer，我们实现了高效推理引擎 TurboMind，支持 InternLM、LLaMA、vicuna等模型在 NVIDIA GPU 上的推理。**交互推理方式：**通过缓存多轮对话过程中 attention 的 k/v，记住对话历史，从而避免重复处理历史会话。多 GPU 部署和量化。
LMDeploy大模型量化部署实践
nty102的博客
01-15 667
LMDeploy大模型量化部署实践
LMDeploy 的介绍与部署
Orkeii的博客
04-24 1778
LMDeploy的部署与模型介绍
LMDeploy量化部署LLM&VLM
weixin_45924641的博客
04-18 2440
LMDeploy量化部署InternLM2-chat-1.8B & LLaVa
LMDeploy 量化部署 LLM 实践
weixin_44497664的博客
04-26 446
LMdeploy 有两个功能：量化与部署。量化加快推理速度减少现存占用，部署可以用客户端、网页以及Api迅速调用方便开发者使用。
第四节课《LMDeploy量化部署LLM&VLM实战》学习笔记
weixin_59512778的博客
04-16 857
LMDeploy是涵盖LLM任务的全套轻量化、部署和服务解决方案。核心功能包括高效推理、可靠量化、便捷服务和状态推理。
LMDeploy 大模型推理框架介绍和实践
全世界的博客
12-24 1642
LMDeploy 是一个专为大语言模型（LLMs）和视觉-语言模型（VLMs）设计的高效且友好的部署工具箱。它集成了多种先进的技术和功能，旨在为用户提供卓越的推理性能、可靠的量化支持、便捷的服务部署以及卓越的兼容性。高效的推理：通过持续的批处理机制，LMDeploy 能够在推理过程中动态调整批处理大小，从而最大化硬件资源的利用率，提升推理速度。：LMDeploy 引入了块级键值缓存（Blocked K/V Cache），通过将注意力机制中的键值对进行分块存储和计算，显著减少了内存占用和计算开销。
LMDeploy 量化部署实践
weixin_45963030的博客
11-27 625
参考。
第五节课《LMDeploy 量化部署 LLM 实践》
fanre的专栏
05-06 1139
PDF链接：https://pan.baidu.com/s/1JFtvBWgEGFWJq8pHafvIUg?pwd=6666提取码：6666。
书生大模型实训营第4期进阶岛第三关：LMDeploy 量化部署进阶实践
weixin_54052852的博客
11-28 1372
书生大模型实训营第4期进阶岛第三关任务笔记
lmdeploy部署大模型步骤
最新发布
04-09
<think>嗯，用户问的是如何使用LMDeploy部署大模型的具体步骤。首先，我需要回忆一下之前学过的关于LMDeploy的知识。记得引用里的内容提到过环境配置、服务部署、模型转换这些步骤。特别是引用[1]里详细说明了安装步骤和模型部署的方式，可能用户需要的是分步骤的指南。 首先，环境配置肯定是第一步。用户可能需要安装Python、LMDeploy库，可能还需要配置Conda环境。引用[1]提到要明确操作系统和安装步骤，所以应该先让用户安装Miniconda，然后创建环境，安装PyTorch和LMDeploy。这部分需要检查是否要包括CUDA的支持，因为大模型通常需要GPU加速。 接下来是模型下载。InternLM-Chat-7B这样的模型可能需要从Hugging Face或者ModelScope获取。这里需要确保用户知道如何下载模型，可能需要git lfs或者其他工具，但引用里没有详细说明下载步骤，可能需要提醒用户参考官方文档。 然后是模型转换部分，包括在线和离线转换。引用[3]提到使用不同模型进行量化，但用户可能用的是7B的模型，所以需要说明如何将HF格式转换为TurboMind格式。这里要提到lmdeploy convert命令，参数设置如model_name和model_format。 服务部署阶段，用户可能有不同的需求，比如本地对话、Gradio网页或者API服务。引用[1]和[4]提到多种部署方式，所以需要分别说明每个步骤。比如，启动API服务需要指定模型路径和端口，同时可能需要调整TP参数，根据GPU数量来设置。 模型量化部分，用户可能关心如何减小模型大小和提升速度。引用[3]提到量化需要较长时间，所以建议用户使用较小的模型进行测试。需要解释不同的量化方法，比如KV8和W4，以及如何执行这些量化命令。 最后，验证部署是否成功，可能需要运行测试脚本或者使用curl命令调用API，确保模型能正确响应。同时，用户可能遇到环境依赖问题，比如CUDA版本不匹配，或者显存不足，需要给出常见问题解答。 在思考过程中，还要注意用户可能的实际场景，比如是否在本地机器还是云服务器上部署，是否有足够的GPU资源。此外，引用[5]提到AutoDL平台，可能用户是在类似平台上操作，需要适配相关步骤。需要确保步骤清晰，命令准确，避免遗漏关键参数或配置。</think>### LMDeploy部署大模型详细步骤指南 #### 一、环境配置 1. **安装Miniconda**（推荐Python 3.10环境） ```bash wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh bash Miniconda3-latest-Linux-x86_64.sh ``` 2. **创建虚拟环境** ```bash conda create -n lmdeploy python=3.10 -y conda activate lmdeploy ``` 3. **安装PyTorch与LMDeploy** ```bash pip install torch==2.1.2 torchvision==0.16.2 torchaudio==2.1.2 --index-url https://download.pytorch.org/whl/cu118 pip install lmdeploy[all] ``` #### 二、模型下载 以InternLM-Chat-7B为例： ```bash git clone https://www.modelscope.cn/Shanghai_AI_Laboratory/internlm2-chat-7b.git ``` #### 三、模型转换 1. **在线转换**（动态加载） ```bash lmdeploy chat /path/to/internlm2-chat-7b ``` 2. **离线转换**（生成TurboMind格式） ```bash lmdeploy convert internlm2-chat-7b --model-name internlm2-7b --model-format hf ``` #### 四、服务部署 1. **本地对话模式** ```bash lmdeploy chat ./workspace ``` 2. **网页Gradio部署** ```bash lmdeploy serve gradio ./workspace --server_name 0.0.0.0 --server_port 7860 ``` 3. **API服务部署** ```bash lmdeploy serve api_server ./workspace --server_name 0.0.0.0 --server_port 23333 --tp 1 ``` #### 五、模型量化（以W4A16为例） ```bash lmdeploy lite auto_awq /path/to/internlm2-chat-7b --calib-dataset ptb --calib-samples 128 --calib-seqlen 2048 --w-bits 4 --w-group-size 128 ``` #### 六、验证部署 ```python from lmdeploy import pipeline pipe = pipeline('./workspace') response = pipe(['你好']) print(response[0].text) ``` ### 关键参数说明 1. `--tp`：张量并行度，需与GPU数量匹配 2. `--cache-max-entry-count`：KV缓存比例，建议0.5-0.8 3. `--quant-policy`：量化策略，可选0（FP16）或4（INT4） ### 常见问题 1. **CUDA版本不匹配**：需确保CUDA版本与PyTorch对应（建议11.8+） 2. **显存不足**：可尝试量化或减小`--cache-max-entry-count` 3. **API调用示例**： ```bash curl http://localhost:23333/v1/chat/completions -H "Content-Type: application/json" -d '{"model": "internlm2-7b", "messages": [{"role": "user", "content": "你好"}]}' ``` [^1][^3][^4]
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值