【论文笔记】MacBert：Revisiting Pre-trained Models for Chinese Natural Language Processing

已于 2024-10-21 14:12:09 修改
阅读量1.8k 收藏 21
点赞数 2
分类专栏： 收费专栏 文章标签： 论文阅读 自然语言处理 人工智能
于 2023-01-11 14:00:00 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zhaohongfei_358/article/details/128632788
版权
MacBERT是作者提出的新型中文预训练语言模型，通过使用N-gram和相似词替换策略改进了BERT的MLM任务，缓解了预训练与微调之间的差距。在多项NLP任务上表现出色，尤其在文档级机器阅读理解上达到最优。此外，SOP任务对性能提升贡献较小。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

免费链接： Blogger(需翻Q)

文章目录

相关信息

论文年份：2020年04月

论文地址：https://arxiv.org/pdf/2004.13922.pdf

论文代码(官方)：https://github.com/ymcui/MacBERT

论文模型(Hugging Face): hfl/chinese-macbert-base ; hfl/chinese-macbert-large

论文阅读前提：熟悉BERT模型及其前置知识

一句话概括一下本文的内容：作者对原有的BERT的MLM任务进行了魔改，

了解本专栏 订阅专栏 解锁全文 超级会员免费看
[论文笔记]MacBERT
日积月累，天道酬勤
09-29 1047
⭐ 作者基于RoBERTa提出了MacBERT，在多个方面改进了RoBERTa，采用纠错型掩码语言模型(MLM as correction,Mac)的掩码策略，并用SOP任务替换了原始BERT中的NSP任务。通过实验正面了MacBERT在中文各大任务上表现最佳。
《Revisiting Pre-trained Models for Chinese Natural Language Processing》（MacBERT）阅读记录
星垂平野阔
08-13 816
《Revisiting Pre-trained Models for Chinese Natural Language Processin》 to appear at Findings of EMNLP 2020 链接：https://arxiv.org/abs/2004.13922 EMNLP，是自然语言处理经验方法会议（Conference on Empirical Methods in Natural Language Processing），是由国际语言学会（ACL）下属的SIGDAT小组主
【预训练语言模型】MacBERT: Revisiting Pre-trained Models for Chinese Natural Language Processing
夏栀的博客
12-19 2656
本文主要讲解一种中文预训练语言模型——MacBERT，改进了MLM的策略，具体如何做，快来看看吧～
MacBERT（MLM as correction BERT）模型
彬彬侠的博客
03-06 918
MacBERT是哈工大讯飞联合实验室（HFL）在2020年提出的一种改进版BERT预训练模型，专门针对中文NLP任务进行优化，同时适用于其他语言。采用替换式Masking（RTD），避免了BERT的[MASK]训练-微调不匹配问题。支持Whole Word Masking（WWM），增强中文分词能力。可通过Hugging Face transformers直接加载MacBERT进行推理和微调。在文本分类、问答、NER任务上比BERT更强，是中文NLP任务的优选方案。
Mac BERT 论文解读 Revisiting Pre-trained Models for Chinese Natural Language Processing
zhangyinhua1122的博客
04-19 1669
这里是对 EMNLP 2020 的 Mac BERT 的分享 作者是哈工大刘挺老师的团队 个人看法 欢迎指正 文章对近几年的预训练模型做了对比总结，并在此基础上提出了MacBERT 首先是 Mac BERT （replaces the original MLM task into MLM as correction (Mac) task and mitigates the discrepancy of the pretraining and fine-tuning stage. ） 修改了MLM 任务和
【论文解读】MacBERT: 中文自然语言预训练模型
zenRRan的博客
03-30 3788
点击上方，选择星标，每天给你送干货！以下文章来自知乎作者：Johnson7788地址：https://zhuanlan.zhihu.com/p/333202482编辑：数据推作者: Y...
MacBERT 的改进（Revisiting Pre-Trained Models for Chinese Natural Language Processing）
weixin_40122615的博客
10-30 6039
这里写自定义目录标题MacBERT简介论文的主要工作预训练模型对比BERTERNIEXLNETMacBERT的结构 github地址：https://github.com/ymcui/MacBERT 论文地址：https://arxiv.org/abs/2004.13922 MacBERT 的主要工作是在RoBERT的基础上进行了几方面的改进，尤其在Mask的策略。 MacBERT简介 we also propose a new pre-trained model called MacBERT, which
【AI视野·今日NLP 自然语言处理论文速览 第八十期】Fri, 1 Mar 2024
TomRen
03-04 1900
AI视野·今日CS.NLP 自然语言处理论文速览 Fri, 1 Mar 2024 Totally 67 papers 👉上期速览✈更多精彩请移步主页 Daily Computation and Language Papers Loose LIPS Sink Ships: Asking Questions in Battleship with Language-Informed Program Sampling Authors Gabriel Grand, Valerio Pepe, Jaco
【论文阅读笔记】NeurIPS2020文章列表Part1
热门推荐
zincrain的博客
12-09 2万+
A graph similarity for deep learning An Unsupervised Information-Theoretic Perceptual Quality Metric Self-Supervised MultiModal Versatile Networks Benchmarking Deep Inverse Models over time, and the Neural-Adjoint method Off-Policy Evaluation and Learning.
ACL2020论文整理
qq_26884231的博客
08-24 3895
ACL2020论文整理目录ACL2020论文整理ACL2020接受文章列表Best PaperHonorable Mention Papers – Main ConferenceBest Theme PaperHonorable Mention Paper – ThemeBest Demonstration PaperHonorable Mention Papers – Demonstrations论文分类整理（自己感兴趣的方向，loading）预训练语言模型信息抽取关系抽取事件抽取文本生成基础任务图卷积神
探索MacBERT：一款为Mac环境定制的预训练语言模型
gitblog_00042的博客
04-16 675
探索MacBERT：一款为Mac环境定制的预训练语言模型 MacBERTRevisiting Pre-trained Models for Chinese Natural Language Processing (MacBERT)项目地址:https://gitcode.com/gh_mirrors/ma/MacBERT 引言 在自然语言处理（NLP）领域，预训练模型如BERT（Bidirect...
MacBERT：重新审视中文自然语言处理的预训练模型（EMNLP的发现）
02-03
MacBERT：重新审视中文自然语言处理的预训练模型（EMNLP的发现）
MacBERT 开源项目教程
gitblog_00430的博客
08-21 623
MacBERT 开源项目教程 项目地址:https://gitcode.com/gh_mirrors/ma/MacBERT 项目介绍 MacBERT 是一个基于 BERT 的中文预训练模型，由哈工大讯飞联合实验室开发。它针对中文文本处理任务进行了优化，特别是在保持上下文相关性的同时，减少了预训练过程中的“词mask”现象。MacBERT 模型在中文自然语言处理任务中表现出色，适用于文本分类、命名实...
MacBert实验以及思考
Jiana_Feng的博客
03-16 2280
目录Macbert的关于mask的策略实验记录 Macbert的关于mask的策略 我们mask策略是wwm + n-gram 也就是说 n-gram选取的粒度采用的是词而不是wordpiece 在这个基础上 再加上 相似词策略 来跑模型。 并在OCNIL、AFQMC、IFLYTEK、TNEWS、CMNLI这几个传统数据集测试效果。 其中， OCNIL是自然语言推理 、 AFQMC是句子相似度判断、IFLYTEK是长文本分类、TNEWS是短文分分类、CMNLI是 具体数据集介绍： https://githu
文本纠错--文本分割N-gram--Macbert模型的调用以及对返回结果的处理
a1105425455的博客
12-10 2364
输入一段可能带有错误信息的文字， 通过词典来检测其中可能错误的词。例如：有句子如下：中央人民政府驻澳门特别行政区联络办公室1日在机关大楼设灵堂有词典如下：中国人民，中央人民，澳门，西门检测时，根据词典可以得出句子中的中央人民可能为中国人民，澳门可能为西门，并返回结果。
macbert4csc纠错
ox180x的博客
04-01 4703
简介此篇文章是对macbert4csc模型的一次尝试与思考，废话不多说，看内容。 模型结构这个模型分成两部分： 使用BertForMaskedLM对预训练模型做mask训练。 对预测的结果输入linear，判断预测的结果和真实的结果是否相同，即二分类。 举例：比如错句为我和你在一其，正确的句子为我和你在一起，错句输入MLM，得到的结果假设为我和你在一器。然后输入...
MacBERT 开源项目安装与使用指南
gitblog_00943的博客
08-22 523
MacBERT 开源项目安装与使用指南 MacBERTRevisiting Pre-trained Models for Chinese Natural Language Processing (MacBERT)项目地址:https://gitcode.com/gh_mirrors/ma/MacBERT 1. 项目目录结构及介绍 MacBERT 是一个基于BERT模型优化用于中文场景的预训练模...
计算机组成原理sop,MacBERT：MLM as correction BERT
weixin_39957647的博客
07-20 569
本次分享的论文MacBERT，来自哈工大SCIR实验室，收录于Findings of EMNLP 子刊，全名为Revisiting Pre-Trained Models for Chinese Natural Language Processing，即中文自然语言处理的预训练模型再访。论文地址：Paper该篇论文主要做了以下三方面的工作：(1)大量的实证研究，以重新审视中文预训练模型在各种任务上的...
macBERT
最新发布
04-01
### 关于 MacBERT 的详细介绍 #### 模型概述 MacBERT 是一种针对中文自然语言处理任务优化的预训练语言模型，其设计目标是在保持高性能的同时降低计算复杂度并提升效率。该模型通过移除 Segment Embedding 来简化结构，从而减少了不必要的参数开销[^1]。 #### 核心改进点 1. **去掉 Segment Embedding** 传统的 BERT 模型依赖 Segment Embeddings 表示句子间的顺序关系（如句对中的 A 和 B）。然而，在许多实际场景下，这种嵌入并未显著改善性能却增加了额外负担。因此，MacBERT 设计中省略了这一部分，进一步提升了运行速度和资源利用率。 2. **引入 MLM as Corrector (Masked Language Model)** 改进了原始 Masked Language Modeling (MLM) 技术，提出了新的修正机制——即让模型学习如何纠正错误而非单纯预测缺失词项。这种方式能够更有效地捕捉上下文中潜在语义关联性[^2]。 #### 论文与实现细节 - 发表时间及会议：EMNLP(Findings)，2020年； - 领域应用方向：专注于解决各类 NLP 中涉及汉语表达的任务需求； - 开发者提供了开源项目地址以便开发者下载使用最新成果以及查阅具体算法描述文档链接如下所示： - GitHub 地址: https://github.com/ymcui/MacBERT ; - PDF 版本全文阅读可访问网址 :https://arxiv.org/pdf/2004.13922.pdf . #### 实际部署注意事项 当尝试利用 MindSpore Lite 平台加载并执行基于此架构构建的应用程序实例时可能会遇到某些特定类型的转换失败情况比如 `cast` 运算符无法完成从半精度浮点数(`FP16`)到布尔值(Boolean Type )之间的映射操作等问题 。这是因为当前框架仅允许有限几种数据格式间互相转变 ，例如整数类型(Integers like Int64 ,Int32 etc.) 或单双精度实数(Floats such as Float32 &Float16 )[^3]. --- ### 示例代码片段展示如何加载 MacBERT 模型进行推理 以下是 Python 编程环境下调用 Hugging Face Transformers 库来初始化一个预先训练好的小型版 MacBERT： ```python from transformers import BertTokenizer, BertForSequenceClassification # 加载分词器和分类模型 tokenizer = BertTokenizer.from_pretrained('hfl/macbert-base') model = BertForSequenceClassification.from_pretrained('hfl/macbert-base') text = "我喜欢吃苹果" inputs = tokenizer(text, return_tensors="pt") outputs = model(**inputs) logits = outputs.logits predicted_class_id = logits.argmax().item() print(f"Predicted Class ID: {predicted_class_id}") ``` 上述脚本展示了怎样快速设置环境并通过给定输入字符串获得相应的情感倾向类别编号结果。 ---
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

iioSnail

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值