TinyBERT: Distilling BERT for Natural Language Understanding （EMNLP 2020）

最新推荐文章于 2024-11-13 17:24:18 发布

ZMC-USTC

最新推荐文章于 2024-11-13 17:24:18 发布

阅读量356

点赞数 4

文章标签： bert 人工智能深度学习

本文链接：https://blog.csdn.net/zmc1248234377/article/details/142761289

版权

论文地址：https://arxiv.org/pdf/1909.10351.pdf?trk=public_post_comment-text

代码地址：Pretrained-Language-Model/TinyBERT at master · huawei-noah/Pretrained-Language-Model · GitHub

0、蒸馏transformer模型的推荐文献（以Bert为例）

SKDBert（AAAI-2023）（多教师蒸馏+随机采样分布）✖️

Tinybert （EMNLP 2020）（指定跨层蒸馏）√

MobileBERT(ACL 2020）（体积小）√

PKDBert (2019) 更浅，hidden states 在多个中间层上的知识传输，教师模型经过任务优化微调 √

DistilBert（NeurIPS 2019）深度减半

MiniLM （NeurIPS 2020）

SqueezeBERT（2020）（多层分组卷积）

Internal KD（AAAI 2020） （指定跨层蒸馏）

一、Tinybert

Tinybert （EMNL 2020）（指定跨层蒸馏） √（embedding层，attn和mlp分别做mse loss）

Tinybert > DistilBert，PKDBert ｜ MobileBERT（24层）

跨层方法：

-> TinyBERT6 g(m) = 2 × m

-> TinyBERT4 g(m) = 3 × m

蒸馏目标：L attn，L hidn，L embd：MSE loss；L pred，CE loss

蒸馏阶段：two-stage learning -> pre-training-then-fine-tuning

GD (General Distillation) √

TD (Task-specific Distillation)

DA (Data Augmentation)

消融实验结果

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

ZMC-USTC

关注关注

4
点赞
踩
6

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

美团BERT的探索和实践

04-18

1953

他山之石，可以攻玉。美团点评NLP团队一直紧跟业界前沿技术，开展了基于美团点评业务数据的预训练研究工作，训练了更适配美团点评业务场景的MT-BERT模型，通过微调将MT-BERT落地到多个业务场景中，并取得了不错的业务效果。背景 2018年，自然语言处理（Natural Language Processing，NLP）领域最激动人心的进展莫过于预训练语言模型，包括基于RNN的ELMo[1]和...

NLP论文多个领域经典、顶会、必读整理分享及相关解读博客分享

qq_42189083的博客

05-29

3038

持续更新收集*** 1、Bert系列 BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding - NAACL 2019) ERNIE 2.0: A Continual Pre-training Framework for Language Understanding - arXiv 2019) StructBERT: Incorporating Language Structures into

参与评论您还未登录，请先登录后发表或查看评论

论文笔记--TinyBERT: Distilling BERT for Natural Language Understanding

weixin_38124427的博客

07-12

1117

TinyBERT：基于Transformer蒸馏两阶段BERT蒸馏模型

[论文阅读]TinyBERT: Distilling BERT for Natural Language Understanding

ZY_miao的博客

01-25

774

文章目录前言摘要1、Introduction & Motivation2、How to do ?2.1 Transformer Distillation2.2 TinyBERT Learning3、Experiments Analysis（main）总结前言论文名：TinyBERT: Distilling BERT for Natural Language Understanding 论文作者：Xiaoqi Jiao et al. 机构： 1）Key Laboratory of Inform

TinyBERT: Distilling BERT for Natural Language Understanding

mistydou的博客

11-06

854

传统的预训练语言模型，如BERT，虽然在自然语言处理任务中取得了显著进展，但由于其计算开销大，难以在资源有限的设备上高效执行为了解决这个问题，TinyBERT提出了一个新颖的蒸馏方法，专门针对基于的模型进行知识蒸馏。通过这种方法，大型BERT模型中蕴含的丰富知识可以有效地转移到较小的学生模型TinyBERT上。实验结果表明，TinyBERT44层模型）能够达到BERTBASE在GLUE基准测试中的96.8%的性能，同时在模型大小和推理速度上有显著优化：模型体积缩小了。

Paper：《Pre-trained Models for Natural Language Processing: A Survey自然语言处理的预训练模型综述》翻译与解读

近期请国内外头部出版社可尽快私信博主！——心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，谦虚，自律，反思，成长，还算是比较正能量的博主，公益免费传播……内心特别想在AI界做出一些可以推进历史进程影响力的东西(兴趣使然，有点小情怀，也有点使命感呀)…

07-03

7029

Paper：《Pre-trained Models for Natural Language Processing: A Survey自然语言处理的预训练模型综述》翻译与解读目录 Paper：《Pre-trained Models for Natural Language Processing: A Survey自然语言处理的预训练模型综述》翻译与解读 Abstract 1、Introduction 2、Background 3 Overview of PTMs—PT

Distilled Dual-Encoder Model for Vision-Language Understanding

myl1992的专栏

07-02

1805

我们提出了一个跨模式注意力提取框架，用于训练视觉语言理解任务（如视觉推理和视觉问答）的双编码器模型。双编码器模型比融合编码器模型具有更快的推理速度，并且能够在推理过程中对图像和文本进行预计算。...

bert微调

kanaomi517的博客

08-18

2042

bert微调

Paying More Attention to Self-attention: Improving Pre-trained Language Models via Attention Guiding

myl1992的专栏

06-11

972

预训练模型、多头自我注意力、注意力引导、注意力地图辨别

EMNLP 2021中预训练模型最新研究进展

Kaiyuan_sjtu的博客

10-10

3920

EMNLP 2022 | 预训练语言模型的时空效率优化

Paper weekly

11-20

572

©PaperWeekly 原创 ·作者 |申博文单位 | 中国科学院信息工程研究所研究方向 | 自然语言处理论文标题：COST-EFF: Collaborative Optimization of Spatial and Temporal Efficiency with Slenderized Multi-exit Language Models收录会议：EMNLP 2022论文链接：ht...

ks8 本地化部署 F5-TTS

最新发布

陈锐的技术笔记

11-13

363

此外，F5-TTS 还创新性地引入了推理时的 Sway Sampling 策略，这一策略可以在推理阶段优先处理早期的流步骤，从而提高生成语音与输入文本的对齐效果。在 LibriSpeech-PC 数据集上，该模型的字错误率（WER）达到了2.42，并且在推理时的实时因子(RTF)为0.15，显著优于之前的扩散模型 E2TTS，后者在处理速度和鲁棒性上存在短板。传统的 TTS 模型往往需要进行复杂的持续时间建模、音素对齐和专门的文本编码，这些都增加了合成过程的复杂性。继续TSS的启动，进入pod 输入命令。

机器学习系列----岭回归（Ridge Regression）简介及实现

DK22151的博客

11-09

1052

岭回归（Ridge Regression），也被称为Tikhonov正则化，是一种线性回归的变体。它通过在普通最小二乘法（OLS）回归中加入L2正则化项来解决多重共线性问题，从而提高模型的泛化能力和鲁棒性。岭回归的核心思想是通过惩罚模型的参数，使得它们保持较小的值，从而减少过拟合的风险。岭回归适用于当特征之间高度相关时（即多重共线性问题），普通的线性回归模型可能会变得不稳定，并且模型的系数可能会变得非常大。岭回归通过加上一个正则化项，约束了模型参数的大小，从而使得模型更加稳健。

PCA（主成分分析）算法的应用场景

huanfeng_AI的博客

11-09

584

需要注意的是，PCA并不适用于所有场景。例如，当数据之间存在非线性关系时，PCA可能无法完全揭示数据的内在结构。此外，PCA对初始变量的顺序和标签敏感，不同的变量顺序可能导致不同的主成分结果。因此，在选择数据分析方法时，需要根据具体的数据和任务需求来决定是否使用PCA。

探索App Intents：让你的应用与Siri无缝互动的新方式

jixn的博客

11-09

3653

苹果推出了一个新框架——App Intents，使开发者可以在iOS 18.2+、macOS 15.2+等平台上集成Siri和Apple Intelligence，实现对应用内容的读取和操作。App Intents使应用的功能和内容能无缝融入系统体验中，例如Siri、Spotlight搜索、快捷指令和小组件，让用户可以轻松访问应用核心功能，并获得更智能的Siri帮助。：表示应用内容，如照片、联系人或文件。：用户可以对 Siri 发出指令，例如“查找我的航班”或“添加待办事项”，Siri直接与应用交互。

卷积神经网络CNN

m0_53374676的博客

11-13

191

卷积层通过应用一组可学习的滤波器（或称核）到输入图像的不同位置，产生一个特征映射（Feature Map）。CNN是一种前馈神经网络，它的人工神经元可以对输入的图像数据进行响应，并且可以检测图像中的局部特征，如边缘、纹理等。

AI重塑软件开发流程

车轮的博客

11-10

1272

既然谈到传统软件开发与AI参与的软件开发的对比，我们就来看一下这两者之前的区别。

人工智能是这样理解“情绪”的

JellyAI的博客

11-12

866

在前面的内容中，我们经常提到“特征”，那么如何表示特征呢？举个例子，在日常生活中，我们描述一个快递包装盒时可能会提到它的高度、宽度和深度（这三个值就是盒子的特征，当然也可以用颜色、重量、材料等来描述）。当我们仅用高度、宽度和深度三个数据来描述盒子的特征时，我们就说这个盒子的特征是三维的。如果再加上颜色、重量和材料等特征，那么这个特征空间就是六维的了。

Yolo11实战改进：一文读懂Yolo11到实战。

m0_47867638的博客

11-09

933

YOLO11是Ultralytics YOLO系列实时目标检测器的最新迭代版本，它以尖端的精度、速度和效率重新定义了可能性。在之前YOLO版本令人瞩目的进步基础上，YOLO11在架构和训练方法上引入了重大改进，使其成为各种计算机视觉任务的通用选择。关键特性：YOLO11采用改进的主干网络和颈部架构，提高了特征提取能力，以实现更精确的目标检测和更复杂的任务性能。YOLO11引入了精细的架构设计和优化的训练流程，提供了更快的处理速度，并在准确性和性能之间保持了最佳平衡。

举一个知识蒸馏实际例子，如用什么样的大模型，训练什么样的小模型。告诉我相关的开源工具和论文。

03-10

可以使用BERT等大型预训练模型来训练小型...相关论文包括《DistilBERT, a distilled version of BERT: smaller, faster, cheaper and lighter》和《TinyBERT: Distilling BERT for Natural Language Understanding》。