长鸳词羡-CSDN博客

原创 LoRA微调

LoRA（Low-Rank Adaptation）是近年在大模型微调中提出的一种高效技术，主要用于大规模预训练语言模型（如GPT、BERT等）的微调。其。

2025-10-15 19:41:11 944

教师强制是一种训练技巧，在训练时，，而不是模型自己之前的输出。这是训练阶段最核心的特点。在训练时，我们已知完整的输入序列和完整的目标序列（真实标签）。编码器输入 (Encoder Input)：源语言序列，例如中文词序列 [“我”, “爱”, “你”]。后的目标序列，并在开头加上起始符<s>。真实答案 (Target)： [ "I", "love", "you" ]-> 解码器输入： [(我们把"you"拿掉了，因为要用它做目标)

2025-10-13 19:07:23 409

原创掩码多头注意力机制（Masked MHA）

在介绍掩码多头注意力机制之前我先介绍一下多头注意力机制具体可以见我之前的笔记掩码多头注意力机制就是在多头注意力机制的基础上加上了“可见性限制”——通常是因果掩码，禁止当前位置看到“未来”位置，确保自回归生成不泄露信息。

2025-10-13 19:04:56 420

原创自注意力机制、交叉注意力、向量填充、填充掩码、位置编码、多头注意力、层归一化的基本原理

主要关注如何让一个序列内部的元素彼此建立关联重点是内部核心思想：让每个词都能“看见”句子中其他词，从而理解上下文关系。作用：自注意力帮助模型理解句子中词与词之间的依赖关系，尤其是长距离依赖。例如在“我昨天在北京吃了烤鸭”中，“吃”和“烤鸭”的联系能被捕捉到。

2025-10-11 19:15:49 868

原创注意力机制基本原理，QKV含义和向量形状，注意力公式

Q = [[1, 0, 1, 0], # 第1个token的查询。[0, 1, 0, 1], # 第2个token的查询。[1, 1, 0, 0]] # 第3个token的查询。K = [[1, 0, 1, 0], # 第1个token的键。[0, 1, 0, 1], # 第2个token的键。V = [[2, 3, 4, 5], # 第1个token的值。[1, 2, 3, 4], # 第2个token的值。类比理解：就像在图书馆查书。

2025-10-10 19:15:36 818

原创 wordpiece、unigram、sentencepiece基本原理

WordPiece是一种基于统计的子词分词算法，它将单词分解为更小的子词单元主要特点包括：将罕见词分解为更小的已知子词保留常见词作为完整单元词汇表通过训练数据学习得到。

2025-10-10 19:06:27 829

原创 BPE和BBPE算法

BPE 就像是在玩一个“组词乐高”游戏。开始：你只有一堆最基础的、五颜六色的小乐高块（单个字母/字节）。过程：你不断地把那些最常被用在一起的小块拼成一个稍大一点的、固定的组件（比如一个车轮、一扇窗户）。结果：现在你要拼一个模型（编码一个句子），你就不用每次都从最小的颗粒开始了，而是可以直接使用这些预装好的“车轮组件”、“窗户组件”（如ingun这样拼起来速度更快，用的零件总数也更少。

2025-10-09 17:25:10 994

原创机器学习（三）机器学习API和模型评估指标

本文介绍了scikit-learn中的估计器及其评估方法。估计器是机器学习模型的核心，包括分类器（如KNN、逻辑回归）、回归器（如线性回归）和无监督学习器（如K-Means）。所有估计器都实现fit方法，并可通过score方法评估性能。分类模型常用准确率、精确度、召回率和F1分数等指标，回归模型则使用R²值。混淆矩阵通过TP、TN、FP、FN直观展示分类结果。ROC曲线和AUC值用于评估二分类模型的整体性能，其中AUC越接近1，模型越好。classification_report可生成包含精确率、召回率等指

2025-08-26 20:01:46 697

原创机器学习（二）scikit-learn库

本文介绍了scikit-learn机器学习库的核心功能，重点包括：1.常用算法库（线性模型、朴素贝叶斯、决策树等）；2.数据集加载方法（内置/网络/本地文件）；3.数据集划分（train_test_split函数用法）；4.特征工程技术（字典/文本特征提取、归一化/标准化、降维方法）；5.特征选择技术（低方差过滤、相关系数法）和PCA主成分分析。文章通过代码示例详细演示了各功能模块的使用方法，包括数据预处理、特征转换和降维操作，为机器学习实践提供了完整的技术参考。

2025-08-25 19:23:42 1166

原创 opencv与机器学习常见笔试题整理（自用）

本文总结了机器学习与OpenCV相关的12道笔试题，涵盖核心知识点：1. 集成学习(SVM不是集成方法)；2. PCA的多用途；3. 偏差-方差权衡(复杂模型易高方差)；4. 不平衡数据评估(准确率最不敏感)；5. OpenCV图像处理(匹配模板、直方图、摄像头操作等)；6. 过拟合现象；7. Mat对象特性；8. 分类指标(准确率、召回率等)；9. 特征编码技术；10. 集成学习概念；11. 线性回归参数估计方法。这些题目涉及算法原理、实际应用和库函数使用，对机器学习实践具有指导意义。

2025-08-25 16:58:50 1033

原创机器学习中分类与回归的区别

分类和回归是监督学习的两种主要任务，核心区别在于输出类型：分类预测离散类别（如垃圾邮件检测），回归预测连续数值（如房价预测）。分类常用逻辑回归、决策树等算法，评估指标包括准确率、F1分数等；回归常用线性回归、岭回归等，评估基于MSE、MAE等指标。数据预处理上，分类关注类别平衡，回归侧重异常值处理。应用时需根据预测目标（离散/连续）选择合适方法，某些问题（如年龄预测）可灵活转换为分类或回归任务。

2025-08-21 20:26:17 1316

原创机器学习（一）机器的发展史与概念

本文介绍了机器学习的基本概念、发展历史和常见分类。机器学习是通过数据训练模型进行预测的技术，包括监督学习、半监督学习、无监督学习和强化学习四种主要类型。文章详细说明了每种学习方式的特点和常见算法，如KNN、决策树、K-Means等。同时概述了机器学习项目的标准开发流程：数据准备、清洗、特征工程、模型训练与优化等环节。最后解释了独热编码的概念及其在数据处理中的重要性，帮助将分类变量转换为算法可处理的数值形式。

2025-08-21 20:18:29 934

原创 Python高级语法-（一）函数式编程

本文介绍了函数式编程的核心概念与应用。主要内容包括：1）函数式编程的三大基础原则：纯函数（无副作用）、不可变数据和高阶函数；2）Python中高阶函数的使用，如map、reduce、filter等内置函数；3）lambda表达式的语法与应用场景；4）闭包的概念、实现条件及注意事项；5）装饰器的实现原理，包括普通装饰器、带参数装饰器和类装饰器的使用方式。文章通过具体代码示例，展示了函数式编程在Python中的实践应用，帮助读者理解函数式编程的核心思想与实现方法。

2025-07-26 11:15:21 900

原创 Python基础-易错部分

没有 a++、 a-- 这种自增自减运算符；对于可变对象（如listdictseta += 1可能会修改原对象，而a = a + 1总是创建新对象：# a = a + [4] → 创建新列表b = aa = a + [4] # 等价于 a = a.__add__([4])print(b) # [1, 2, 3] （b 不变）# a += [4] → 直接修改原列表（调用 a.__iadd__([4])）b = aa += [4] # 等价于 a.extend([4])

2025-07-22 18:30:09 836

原创 Python基础语法（五）函数

本文系统介绍了Python函数的核心概念与应用。主要内容包括：1）函数定义与调用，包括def语法、参数传递、返回值等；2）常用内置函数如all()、sum()、sorted()等；3）参数传递方式（位置/关键词/默认值/可变参数）；4）可变与不可变参数的区别；5）匿名函数lambda的使用场景；6）高阶函数map/filter/reduce的应用；7）变量作用域LEGB规则；8）递归函数的实现原理。文章通过大量代码示例详细说明了函数在Python编程中的各种用法和注意事项，涵盖了从基础概念到高级应用的知识点

2025-07-17 15:19:54 1046

原创 Python基础语法（四）语句

【摘要】本文介绍了Python编程中常见的语句类型及其用法。主要包括：1)赋值语句用于变量赋值；2)条件语句(if/elif/else)实现条件分支；3)循环语句(for/while)控制重复执行；4)循环控制语句(break/continue/pass)管理循环流程；5)函数定义语句(def)创建可复用代码块；6)异常处理语句(try/except)捕获错误；7)导入语句(import)引入外部模块；8)类定义语句(class)实现面向对象编程；9)with语句处理资源管理。这些语句构成了Python程序

2025-07-16 19:53:50 272

zzzxVG的博客