LLM、AGI、多模态AI 篇五：基于LoRA微调ChatGLM3

已于 2024-01-06 11:19:18 修改
阅读量1.2k 收藏 22
点赞数 19
分类专栏： 计算机技术杂谈 文章标签： agi 人工智能 LLM 大语言模型
于 2024-01-06 01:21:55 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zhiyuan411/article/details/135419831
版权
本文是LLM、AGI、多模态AI系列的第五篇，介绍如何在LLaMA-Factory中基于LoRA和QLoRA微调ChatGLM3。LLaMA-Factory是一个开源框架，简化了大型语言模型如ChatGLM3的微调过程。文章涵盖了硬件需求、环境搭建、数据准备、指令监督微调等步骤，并提供了训练流程和使用UI界面快速开始的指南。
摘要由CSDN通过智能技术生成

文章目录

系列

LLM、AGI、多模态AI 篇一：开源大语言模型简记
LLM、AGI、多模态AI 篇二：Prompt编写技巧
LLM、AGI、多模态AI 篇三：微调模型
LLM、AGI、多模态AI 篇四：ChatGLM3部署和应用
LLM、AGI、多模态AI 篇五：基于LoRA微调ChatGLM3

LLaMA-Factory简介

hiyouga/LLaMA-Factory 是一个开源的 GitHub 仓库项目，它提供了一个易于使用的框架，主要用于大型语言模型（LLM）的微调和训练。这个项目旨在简化用户对多个著名开源

了解本专栏 订阅专栏 解锁全文 超级会员免费看
李小白杂货铺
关注
专栏目录
订阅专栏
chatglm3 lora微调，训练+预测问题总结
weixin_42179685的博客
02-05 2320
ValueError: Tokenizer class ChatGLMTokenizer does not exist or is not currently imported. 如下图。chatglm3没有set_input_embeddings，两个解决方案，推荐方法2。（2）修改load_model_and_tokenizer方法中的model。1.自写set_input_embeddings方法（网上的没试过）transformers版本太旧了，换版本~1.依赖缺啥包就import啥包。
使用LLaMA-Factory来实现微调ChatGLM-3B
m0_74972544的博客
04-29 1074
本文详细的介绍了使用LLaMa-Factory来对ChatGLM3-6B进行微调
安装LLaMA-Factory微调chatglm3，修改自我认知
caoyongsheng的博客
12-11 4861
安装git clone https://github.com/hiyouga/LLaMA-Factory.git。CUDA_VISIBLE_DEVICES=0 python src/train_web.py，按如下配置。
LLaMA-Factory微调ChatGLM3报错： Segmentation fault (core dumped)
ybdesire的专栏
12-08 1411
LLaMA-Factory微调ChatGLM3报错： Segmentation fault (core dumped)
使用LLaMA-Factory对ChatGLM3进行微调
最新发布
m0_67876774的博客
06-24 260
步骤一、进入LLaMA-Factory并开启微调 步骤二、上传之前准备好的数据集
使用LLaMA Factory来训练智谱ChatGLM3-6B模型
小相探索IT世界
05-12 1643
1. 项目背景开源大模型如LLaMA，Qwen，Baichuan等主要都是使用通用数据进行训练而来，其对于不同下游的使用场景和垂直领域的效果有待进一步提升，衍生出了微调训练相关的需求，包含预训练（pt），指令微调（sft）…请注意，由于LLaMA Factory和ChatGLM3-6B模型的细节可能会随着时间的推移而更新或变化，因此建议参考最新的官方文档。LLaMA-Factory QuickStart - 知乎。新建一个json文件，放到data目录下面。
LLaMA-Factory微调（sft）ChatGLM3-6B保姆教程
热门推荐
alterhz的博客
04-01 1万+
LLaMA-Factory训练ChatGLM3-6B全流程步骤
LLaMa-Factory微调chatglm3实战
Watermaleon的博客
06-16 983
例如：ssh -CNg -L 7860:127.0.0.1:7860 root@connect.westc.gpuhub.com -p 43877。ssh -CNg -L 映射端口:127.0.0.1:服务启动端口（一般7860） root@服务器IP -p 服务器端口。创建download.py(随意起名字)文件，复制以下代码。浏览器访问：localhost:7860。等待30分钟训练完毕。验证原有功能是否丢失。
【工程记录】ChatGLM3-6B微调实践（Windows）
LZXCyrus的博客
12-19 4380
仅作个人学习记录用。本文记录ChatGLM3-6B在Windows操作系统中的微调实践。
LLaMA, ChatGLM, BLOOM的参数高效微调实践
AI生成式技术曾小健
06-16 1217
本文首先从训练数据、tokenizer和模型结构细节上对比了LLaMA、ChatGLM和BLOOM这三个主流的开源大语言模型，并介绍了这三个基座模型的衍生模型；接着详细介绍了不同大语言模型在tokenizer、layer normalization、激活函数和位置编码的模型细节；然后讲述了prompt tuning、prefix tuning、LLaMA- adapter和LoRA这些参数高效微调方法；最后对比了不同基座语言模型和不同微调方法的效果。
ChatGLM和LLaMA中文指令微调教程.zip
06-24
本资源是大模型的微调教程内含数据集和模型连接，可以作为入门教程
chatGML 训练测试数据
10-13
chatGML 训练测试数据
LLM、AGI、多模态AI 篇三：微调模型
生活在别处
01-01 1240
即：将 LLM 的应用工程化，“无缝” 接入内部的各种平台和工具，持续处理用户对于数据的反馈，以持续迭代软件数据集。例如，将微调后的模型集成到内部的聊天机器人平台中，以提供更好的用户体验，并不断收集用户的反馈，以改进模型的性能。LoRA 的核心思想是通过对模型的权重进行分解，将其表示为一个低秩的矩阵，然后通过对低秩矩阵进行微调，来实现对模型的微调。LoRA（Low-Rank Adaptation）是一种用于微调大型语言模型的技术，它可以在不改变模型结构的情况下，对模型进行微调，以适应新的任务或数据集。
LLM、AGI、多模态AI 篇四：ChatGLM3部署和应用
生活在别处
01-05 1256
更强大的基础模型： ChatGLM3-6B 的基础模型 ChatGLM3-6B-Base 采用了更多样的训练数据、更充分的训练步数和更合理的训练策略。在语义、数学、推理、代码、知识等不同角度的数据集上测评显示，ChatGLM3-6B-Base 具有在 10B 以下的预训练模型中最强的性能。更完整的功能支持： ChatGLM3-6B 采用了全新设计的 Prompt 格式，除正常的多轮对话外。
LLM、AGI、多模态AI 篇二：Prompt编写技巧
生活在别处
01-01 1366
扩展数据（Extended Data）：可以提供一些关于饮品制作、材料选择等方面的数据，以帮助大语言模型生成更加准确、详细的文本。指令（Instruction）：请生成一份饮品推荐列表，包括饮品的名称、材料、制作方法和口感等相关信息。要求（Requirements）：生成的文本应简洁明了、易于理解，包含准确的材料和制作方法。示例（Sample）：请以以下饮品为例，生成一份推荐列表：西瓜汁、柠檬水、薄荷茶。角色（Role）：你是一位美食博主，需要推荐一些适合夏天的清凉饮品。
LLM、AGI、多模态AI 篇一：开源大语言模型简记
生活在别处
12-28 1451
Qwen是阿里云推出的大型模型系列（通义千问），其多模态版本Qwen-Audio支持各种音频和文本输入，能输出文本，适用于所有类型音频的多任务学习，在各种基准测试任务中都取得了令人印象深刻的性能。Llama2-Chinese是基于 Llama2进行中文预训练的开源大模型，是开源社区第一个能下载、能运行的中文LLaMA2模型，全部开源且完全可商用。百川智能推出的新一代开源大语言模型，采用2.6万亿代币的高质量语料训练，在多个权威的中文、中文和多语言的通用、领域基准上取得了同尺寸的最佳效果。
ChatGLM系列五：Lora微调
永胜的博客
10-27 2405
目前主流对大模型进行微调方法有三种：Freeze方法、P-Tuning方法和Lora方法LoRA: 在大型语言模型上对指定参数（权重矩阵）并行增加额外的低秩矩阵，并在模型训练过程中，仅训练额外增加的并行低秩矩阵的参数,冻结其他参数。当“秩值”远小于原始参数维度时，新增的低秩矩阵参数量也就很小。在下游任务tuning时，仅须训练很小的参数，但能获取较好的表现结果。
chatglm3-6b 微调训练流程和部署经验总结
m0_73723713的博客
04-19 6020
chatglm3，微调训练与部署，模型合并，数据集验证等
ChatGLM3本地部署+Lora微调
Bowen_Ding_的博客
03-28 3063
ChatGLM3本地部署+Lora微调
LLM驱动的多模态推荐新范式：解决噪声与提升精度
总体来说，这篇论文的核心贡献在于提出了一种利用大语言模型提升多模态推荐系统性能的新方法，并通过实际数据集展示了其有效性。这为未来的推荐系统设计提供了新的思考方向，强调了大模型在处理复杂信息和提升推荐...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

李小白杂货铺

打赏是一种友谊，让我们更亲密。

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值