LLM、AGI、多模态AI 篇三：微调模型

已于 2024-01-06 01:23:53 修改
阅读量1.2k 收藏 20
点赞数 14
分类专栏： 计算机技术杂谈 文章标签： agi 人工智能 LLM
于 2024-01-01 18:51:29 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zhiyuan411/article/details/135327019
版权
本文是LLM、AGI、多模态AI系列的第三篇，主要讨论微调模型，特别是LoRA技术。介绍了LoRA在微调大型语言模型中的作用，以及其他微调技术如Freeze、P-Tuning和QLoRA。此外，还涵盖了指令设计、数据处理和微调步骤等关键环节。
摘要由CSDN通过智能技术生成

文章目录

系列

LLM、AGI、多模态AI 篇一：开源大语言模型简记
LLM、AGI、多模态AI 篇二：Prompt编写技巧
LLM、AGI、多模态AI 篇三：微调模型
LLM、AGI、多模态AI 篇四：ChatGLM3部署和应用
LLM、AGI、多模态AI 篇五：基于LoRA微调ChatGLM3

LLM的几个应用层次

  1. AI 端到端应用。是直接面向最终用户的应用程序，其中包含了专有的模型，例如 ChatGPT。
  2. 应用 + 闭源基础模型。是指使用其他公司提供的闭
了解本专栏 订阅专栏 解锁全文 超级会员免费看
李小白杂货铺
关注
专栏目录
订阅专栏
多模态大模型：技术原理与实战 微调实战
程序员光剑
06-25 692
近年来，随着深度学习技术的快速发展，人工智能领域取得了突破性进展，尤其是在自然语言处理和计算机视觉领域。然而，传统的单模态模型往往只能处理一种类型的数据，例如文本或图像，难以捕捉现实世界中多模态信息之间的复杂关系。为了解决这个问题，研究人员开始探索多模态学习，旨在构建能够同时处理和理解多种模态信息的模型。多模态大模型作为多模态学习的最新进展，通过整合来自不同模态的信息，例如文本、图像、音频和视频，能够实现更全面、更深入的语义理解。
【大模型微调】一文掌握7种大模型微调的方法
python123456_的博客
05-16 1万+
本篇文章深入分析了大型模型微调的基本理念和多样化技术，细致介绍了LoRA、适配器调整(Adapter Tuning)、前缀调整(Prefix Tuning)等多个微调方法。详细讨论了每一种策略的基本原则、主要优点以及适宜应用场景，使得读者可以依据特定的应用要求和计算资源限制，挑选最适合的微调方案。大型语言模型(LLM)的训练过程通常分为两大阶段：阶段一：预训练阶段在这个阶段，大型模型会在大规模的无标签数据集上接受训练，目标是使模型掌握语言的统计特征和基础知识。
学大模型必看！手把手带你从零微调大模型！
最新发布
qkh1234567的博客
08-10 2080
微调大模型需要非常高的电脑配置，比如GPU环境，相当于你在已经预训练好的基础上再对大模型进行一次小的训练。但是不用担心，本篇文章会使用阿里魔塔社区提供的集成环境来进行，无需使用你自己的电脑配置环境。你只需要有浏览器就可以完成。本次微调的大模型是零一万物的 Yi 开源大语言模型，当然微调其他大模型的过程和原理也有差不多。这里说明一下，阿里魔塔社区对于新用户提供了几十小时的免费GPU资源进行使用，正好可以来薅一波羊毛，学习一下大模型的微调。话不多说，直接开始。2. 账号和环境准备****.
swift与Internvl下的多模态大模型分布式微调指南（附代码和数据）
AI相关从业分享
07-10 3162
微调框架：swift微调模型：internvl-chat-v1_5微调任务：多模态大模型在指定任务上的OCR能力微调优化微调显存：55G，多batch时对单卡要求较高（4090不能满足需求）
Idefics2-8B多模态大模型微调指南
新缸中之脑
06-03 970
我们生活在大模型 (LLM) 时代，几乎每周你都会听到一种新的语言模型问世。从谷歌的 Gemini 和 Gemma 模型到 Meta 最新的 Llama 3 和微软的微型 Phi-3 模型，这些行业巨头之间正在进行激烈的在线竞争，以争夺头把交椅。在这一连串的活动中，最引人注目的是这些科技巨头愿意向开发者社区开放其中一些语言模型。向开发者社区开放模型带来了几个好处，包括开发人员可以针对特定用例微调这些模型来解决有趣的问题。
【多模态大模型教程】在自定义数据上使用Qwen-VL多模态大模型的微调与部署指南
python1234_的博客
06-18 3137
提供了这个脚本供用户实现在自己的数据上进行微调的功能，以接入下游任务。此外还提供了shell脚本减少用户的工作量。这个脚本支持 DeepSpeed 和 FSDP。
LLM、AGI、多模态AI 篇五：基于LoRA微调ChatGLM3
生活在别处
01-06 1209
hiyouga/LLaMA-Factory 是一个开源的 GitHub 仓库项目，它提供了一个易于使用的框架，主要用于大型语言模型（LLM）的微调和训练。这个项目旨在简化用户对多个著名开源大模型进行定制化训练的过程，包括但不限于 Baichuan、Baichuan2、BLOOM、BLOOMZ、ChatGLM3、Falcon、InternLM、以及 LLaMA 等模型。
LLM、AGI、多模态AI 篇一：开源大语言模型简记
生活在别处
12-28 1445
Qwen是阿里云推出的大型模型系列（通义千问），其多模态版本Qwen-Audio支持各种音频和文本输入，能输出文本，适用于所有类型音频的多任务学习，在各种基准测试任务中都取得了令人印象深刻的性能。Llama2-Chinese是基于 Llama2进行中文预训练的开源大模型，是开源社区第一个能下载、能运行的中文LLaMA2模型，全部开源且完全可商用。百川智能推出的新一代开源大语言模型，采用2.6万亿代币的高质量语料训练，在多个权威的中文、中文和多语言的通用、领域基准上取得了同尺寸的最佳效果。
LLM、AGI、多模态AI 篇四：ChatGLM3部署和应用
生活在别处
01-05 1250
更强大的基础模型： ChatGLM3-6B 的基础模型 ChatGLM3-6B-Base 采用了更多样的训练数据、更充分的训练步数和更合理的训练策略。在语义、数学、推理、代码、知识等不同角度的数据集上测评显示，ChatGLM3-6B-Base 具有在 10B 以下的预训练模型中最强的性能。更完整的功能支持： ChatGLM3-6B 采用了全新设计的 Prompt 格式，除正常的多轮对话外。
LLM、AGI、多模态AI 篇二：Prompt编写技巧
生活在别处
01-01 1352
扩展数据（Extended Data）：可以提供一些关于饮品制作、材料选择等方面的数据，以帮助大语言模型生成更加准确、详细的文本。指令（Instruction）：请生成一份饮品推荐列表，包括饮品的名称、材料、制作方法和口感等相关信息。要求（Requirements）：生成的文本应简洁明了、易于理解，包含准确的材料和制作方法。示例（Sample）：请以以下饮品为例，生成一份推荐列表：西瓜汁、柠檬水、薄荷茶。角色（Role）：你是一位美食博主，需要推荐一些适合夏天的清凉饮品。
Qwen-VL图文多模态大模型LoRA微调指南
AI相关从业分享
06-17 2382
Qwen-VL 是阿里云研发的大规模视觉语言模型（Large Vision Language Model, LVLM）。Qwen-VL 可以以图像、文本、检测框作为输入，并以文本和检测框作为输出。Qwen-VL 系列模型的特点包括：多语言对话模型：天然支持英文、中文等多语言对话，端到端支持图片里中英双语的长文本识别；多图交错对话：支持多图输入和比较，指定图片问答，多图文学创作等；开放域目标定位：通过中文开放域语言表达进行检测框标注；本文基于此进行微调。
多模态大模型：技术原理与实战 微调技术介绍
程序员光剑
05-31 574
多模态大模型：技术原理与实战 微调技术介绍 1.背景介绍 1.1 多模态大模型的兴起 近年来,随着深度学习技术的不断进步,以及计算能力和数据规模的持续增长,多模态大模型(Multimodal Large Models)成为了人工
视频理解多模态大模型(大模型基础、微调、视频理解基础)
热门推荐
ZhengrongYue的博客
07-19 2万+
多模态大模型(大模型基础、微调)
大模型微调技术（Adapter-Tuning、Prefix-Tuning、Prompt-Tuning(P-Tuning)、P-Tuning v2、LoRA）
weixin_39663060的博客
05-19 1万+
大模型微调技术（Adapter-Tuning、Prefix-Tuning、Prompt-Tuning(P-Tuning)、P-Tuning v2、LoRA）
全面解读大模型LLM的微调
Y525698136的博客
05-09 821
在快速发展的人工智能领域中，有效地利用大型语言模型（LLM）变得越来越重要。然而，有许多不同的方式可以使用大型语言模型，这可能会让我们感到困惑。实际上，可以使用预训练的大型语言模型进行新任务的上下文学习并进行微调。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

李小白杂货铺

打赏是一种友谊，让我们更亲密。

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值