DeepSeek V3 模型微调（SFT）技术详解

最新推荐文章于 2025-03-18 13:55:03 发布
最新推荐文章于 2025-03-18 13:55:03 发布
阅读量2.4k 收藏 5
点赞数
分类专栏： DeepSeek R1& AI人工智能大模型 文章标签： DeepSeek 模型微调
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zhangjiaofa/article/details/145183000
版权

DeepSeek V3 模型微调（SFT）技术详解

目录

  1. 引言
  2. 背景知识
    • 2.1 深度学习与预训练模型
    • 2.2 微调（Fine-tuning）的概念
    • 2.3 监督微调（Supervised Fine-tuning, SFT）
  3. DeepSeek V3 模型概述
    • 3.1 模型架构
    • 3.2 预训练任务
    • 3.3 模型性能
  4. 监督微调（SFT）技术详解
    • 4.1 数据准备
      • 4.1.1 数据收集与清洗
      • 4.1.2 数据标注
      • 4.1.3 数据增强
    • 4.2 模型初始化
      • 4.2.1 预训练模型加载
      • 4.2.2 参数初始化策略
    • 4.3 损失函数设计
      • 4.3.1 分类任务中的损失函数
      • 4.3.2 回归任务中的损失函数
      • 4.3.3 多任务学习中的损失函数
    • 4.4 优化器选择与配置
      • 4.4.1 常见优化器介绍
      • 4.4.2 学习率调度策略
    • 4.5 训练过程
      • 4.5
了解本专栏 订阅专栏 解锁全文 超级会员免费看
DeepSeek-V3：模型与权重全面解析
步子哥的博客
12-27 6363
DeepSeek-V3 是开源创新的典范，以其卓越的性能、高效的训练方法和灵活的部署选项，为大语言模型的未来发展奠定了坚实的基础。DeepSeek-V3 是一款开创性的混合专家（Mixture-of-Experts, MoE）语言模型，以其创新的架构设计、高效的训练方法和卓越的性能，成为开源大语言模型领域的标杆。的混合专家语言模型。它在继承 DeepSeek-V2 核心架构的基础上，进行了多项创新，显著提升了模型的性能与效率。，并结合其在实际应用中的表现，带您全面了解 DeepSeek-V3 的技术亮点。
DeepSeek R1 模型详解与微调
zhangjiaofa的专栏
01-23 6212
DeepSeek R1 是一个基于大规模强化学习训练的模型，旨在解决复杂推理任务。其前身 DeepSeek-R1-Zero 通过纯强化学习训练，展示了强大的推理能力，但也存在一些问题，如无尽重复和语言混杂。DeepSeek R1 在 RL 训练前引入了冷启动数据，显著提升了模型的性能和稳定性。强化学习驱动：通过 RL 训练，模型能够自主探索复杂的推理路径。思维链（CoT）支持：模型能够生成多步推理过程，提升复杂问题的解决能力。自我验证与反思：模型在推理过程中能够自我验证和修正错误。
DeepSeek大模型微调实战（理论篇）
python1222_的博客
01-04 8006
在大模型的微调过程中，**LoRA（低秩适配）**参数设置是提升训练效率和性能的关键。通过减少需更新的参数量，LoRA能够在维持模型性能的同时显著降低计算成本。然而，LoRA并非唯一影响训练效果的因素。诸如。
在linux 中搭建deepseek 做微调，硬件配置要求说明
慧香一格的专栏
02-05 7780
DeepSeek 是一个基于深度学习的开源项目，旨在通过深度学习技术来提升搜索引擎的准确性和效率。如果你想在 Linux 系统上搭建 DeepSeek，你可以遵循以下步骤。这里我将提供一个基本的指导，帮助你从零开始搭建一个基础的 DeepSeek 环境。1. 安装依赖首先，确保你的 Linux 系统上安装了 Python 和 pip。DeepSeek 主要使用 Python 开发，因此你需要确保 Python 环境是最新的。bash2. 安装必要的库。
从零开始的DeepSeek微调训练实战（SFT）
最新发布
Java癫疯的博客
03-18 1074
前言本文重点介绍使用微调框架unsloth，围绕DeepSeek R1 Distill 7B模型进行高效微调，并介绍用于推理大模型高效微调的COT数据集的创建和使用方法，并在一个medical-o1-reasoning-SFT数据集上完成高效微调实战，并最终达到问答风格优化&知识灌注目的。你能收获什么：亲手完成DeepSeek R1蒸馏模型的微调实战对模型微调、推理数据集等知识有一定了解对大模型运行的机制和原理有一定的了解有机会制作一个属于自己的定制化大模型。
DeepSeek-V3的训练之道
weixin_44245188的博客
02-07 1623
在 DeepSeek-V3 中，MLA 的 KV 压缩维度（dc）设置为 512，Query 压缩维度（d’）设置为 1536，解耦 Key 的头维度（dr）设置为 64。在预训练阶段之后，DeepSeek-V3 进入了后训练阶段，这一阶段主要包括监督微调（Supervised Fine-Tuning, SFT）和强化学习（Reinforcement Learning, RL），通过这两个阶段的训练，DeepSeek-V3 的性能得到了进一步的提升，使其能够更好地理解和生成符合人类偏好的文本。
DeepSeek大模型训练的四个关键阶段：预训练（PreTraining）、监督微调（SFT）、奖励建模和基于强化学习的优化
star_nwe的博客
02-17 2026
在训练像DeepSeek、ChatGPT这类大型语言模型时，通常包含四个关键阶段：预训练（PreTraining）、监督微调（Supervised FineTuning, SFT）、奖励建模（Reward Modeling）和基于强化学习的优化（Reinforcement Learning）。这四个阶段逐步赋予模型通用语言能力、任务适配性，以及对齐人类价值观的能力。让模型学习语言的通用模式和知识。
【架构解析】深入浅析DeepSeek-V3的技术架构
2401_85390073的博客
12-30 2万+
模型层数：61 层隐藏层维度：7168前馈网络维度：18432注意力头数：128词汇表大小：129280最大位置嵌入：163840该模型通过精细的架构设计，实现了在计算效率和性能上的平衡。高性能表现：在编程、数学等任务上取得领先成绩，展现出卓越的智商水平。低成本高效能：以较低的训练成本，实现了与大型闭源模型相当的性能。技术创新：在 FP8 混合精度训练、MLA、无辅助损失负载均衡等方面取得突破。支持超长上下文：通过 YaRN 方法，模型能够处理超长文本，拓展了应用场景。开源共享。
DeepSeek大模型微调实战（超详细实战篇）
热门推荐
2401_85325726的博客
01-11 3万+
*
deepseek 本地化部署和小模型微调
陈锐的技术笔记
02-03 1万+
因为本人gpu卡的机器系统是centos 7, 直接使用ollama会报所以ollama使用镜像方式进行部署， 拉取镜像ollama/ollama启动命令查看ollama 是否启动成功，Ollama 没有用户界面，在后台运行。打开浏览器，输入 “http://xx:11434/”，显示 “Ollama is running”。deepseek-r1 目前有7b, 32b, 70b, 671b 多个版本
DeepSeek R1 模型解读与微调
LCG元的博客
02-05 2634
DeepSeek R1 模型是 DeepSeek 团队推出的一款重要的大语言模型，旨在通过强化学习提升大型语言模型的推理能力。
DeepSeek-llm-7B-Chat微调教程
zhishi0000的博客
12-25 1万+
高性价比：DeepSeek-V2模型以其史无前例的性价比著称，推理成本被降到每百万token仅1块钱，约等于Llama3 70B的七分之一，GPT-4 Turbo的七十分之一。架构创新：DeepSeek对模型架构进行了全方位创新，提出崭新的MLA（一种新的多头潜在注意力机制）架构，把显存占用降到了过去最常用的MHA架构的5%-13%，同时，独创的DeepSeekMoESparse结构，也把计算量降到极致。
DeepSeek-coder 微调训练记录
m0_46268825的博客
03-23 5022
微调过程不再细说, 参考进行即可. 主要是1.3b模型微调训练占用资源信息top信息。
10分钟完成情侣约会DeepSeek模型微调，从此告别情场小白
攻城狮的家园
11-08 5276
通过lora对大模型微调，以完成自定义模型。
deepseek 微调
01-29
### 如何对 DeepSeek 进行微调 对于希望利用现有模型并针对特定任务优化性能的研究者和开发者而言，微调是一个非常有效的方式。当涉及到像 DeepSeek-7B-chat这样的大型语言模型时，可以采用低秩适应（LoRA, Low-Rank Adaptation）方法来实现高效且有效的参数更新[^2]。 #### 准备环境与依赖项安装 为了能够顺利地执行微调过程，首先需要准备合适的开发环境以及必要的库文件： ```bash pip install transformers peft datasets torch accelerate ``` 这些包提供了构建、训练和支持深度学习模型所需的功能组件。 #### 加载预训练模型及分词器 接下来要加载预先训练好的DeepSeek-7B-chat模型及其配套使用的分词工具： ```python from transformers import AutoModelForCausalLM, AutoTokenizer model_name_or_path = "path_to_DeepSeek_7b_chat" tokenizer = AutoTokenizer.from_pretrained(model_name_or_path) model = AutoModelForCausalLM.from_pretrained(model_name_or_path) ``` 这段代码片段展示了如何通过指定路径获取所需的资源。 #### 配置 LoRA 参数设置 定义用于调整原始权重矩阵变化程度的关键超参，这有助于控制新学到的知识量而不破坏原有能力： ```python lora_rank = 8 # 可根据实际需求调整此数值大小 target_modules = ["q_proj", "v_proj"] # 对应于自注意力机制中的查询向量投影层和价值向量投影层 config = { "r": lora_rank, "lora_alpha": 32, "lora_dropout": 0.1, } ``` 上述配置指定了应用LoRA技术的具体细节，包括影响范围内的模块名称列表等信息。 #### 应用 LoRA 并编译模型 完成以上准备工作之后就可以正式开启微调流程了，在这里会创建一个新的带有LoRA结构的版本，并对其进行编译以便后续操作： ```python import peft peft_config = peft.LoRAConfig(target_modules=target_modules, **config) model.enable_input_require_grads() model.gradient_checkpointing_enable() # 将模型转换成支持LoRA的形式 model = peft.get_peft_model(model, peft_config) print("Total number of parameters:", model.num_parameters()) ``` 该部分实现了将标准架构转变为适合进行增量式改进的状态，同时也打印出了当前状态下总的可训练参数数量作为参考依据。 #### 数据集处理与迭代训练 最后一步就是准备好用来指导模型学习的数据集合制定相应的策略来进行多轮次的学习活动直至达到预期效果为止: ```python from datasets import load_dataset from transformers import Trainer, TrainingArguments dataset = load_dataset('your_custom_dataset') # 替换为自己的数据源链接或本地路径 train_args = TrainingArguments( output_dir="./results", num_train_epochs=3, per_device_train_batch_size=4, gradient_accumulation_steps=4, learning_rate=2e-5, logging_dir='./logs', save_total_limit=2, ) trainer = Trainer( model=model, args=train_args, train_dataset=dataset['train'], tokenizer=tokenizer, ) trainer.train() ``` 至此已经完成了整个基于Transformers框架下使用PeFT库对DeepSeek-7B-chat实施LoRA方式下的微调全过程描述。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值