![](https://img-blog.csdnimg.cn/20201014180756916.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
论文阅读
文章平均质量分 67
boardking135
这个作者很懒,什么都没留下…
展开
-
Struct BERT论文解读
STRUCTBERT: INCORPORATING LANGUAGE STRUCTURESINTO PRE-TRAINING FOR DEEP LANGUAGE UNDERSTANDING这里是对 Struct BERT 的解读,纯属个人理解这篇文章是阿里达摩院在ICLR 发布的文章模型的动机我认为就是在 一个句子中,单词的顺序并不影响对句子的理解作者对BERT 的修改主要有两个部分MLM: 在未被MASK 的单词中选取trigrams,然后随机打乱,LM的目标是预测正确的顺序NSP: 作原创 2022-04-20 21:38:03 · 405 阅读 · 0 评论 -
Mac BERT 论文解读 Revisiting Pre-trained Models for Chinese Natural Language Processing
这里是对 EMNLP 2020 的 Mac BERT 的分享作者是哈工大刘挺老师的团队个人看法 欢迎指正文章对近几年的预训练模型做了对比总结,并在此基础上提出了MacBERT首先是 Mac BERT (replaces the original MLM task into MLM as correction(Mac) task and mitigates the discrepancy of the pretraining and fine-tuning stage. )修改了MLM 任务和原创 2022-04-19 17:42:22 · 1579 阅读 · 0 评论 -
Lexicon Enhanced Chinese Sequence Labelling Using BERT Adapter 论文解读
本篇是针对 《Lexicon Enhanced Chinese Sequence Labelling Using BERT Adapter》这篇文章的解析纯属个人理解 欢迎批评指正首先作者信息个人理解个人 对这篇文章的理解是,其通过引入一个单词适配器将词汇信息融入到bert 中间,从而将词汇信息加入给BERT优点在于:1. 采用了word adapter 将词汇信息加入到bert 模型的中间层2. 采用的融入方法是直接引入,不是模型融合模型总体模型图如下图所示:可以看到,左边为Bert原创 2022-03-26 11:00:06 · 1487 阅读 · 0 评论 -
MECT: Multi-Metadata Embedding based Cross-Transformer forChinese Named Entity Recognition论文解析
《MECT: Multi-Metadata Embedding based Cross-Transformer forChinese Named Entity Recognition》的论文解析纯属个人理解,欢迎批评指正如果有时间的话,会有源码解析,欢迎关注一波首先,本文的作者信息个人理解首先从我个人阅读这篇文章的感觉来看,作者的想法确实挺棒的,在FLAT BERT的基础上通过卷积神经网络提取汉字的笔画embedding ,然后通过一个交叉的transform 和 random attentio原创 2022-03-24 23:52:07 · 1358 阅读 · 4 评论 -
FLAT: Chinese NER Using Flat-Lattice Transformer 论文解析
论文解析 NER原创 2022-03-17 00:00:14 · 1577 阅读 · 0 评论 -
Transformer Attention is all you need 部分解析
Transformer 的一些个人理解原创 2022-03-14 00:10:00 · 1276 阅读 · 0 评论 -
DyLex: Incorporating Dynamic Lexicons into BERT for Sequence Labeling 论文解读
华为诺亚方舟 EMNLP 2021 论文解析DyLex: Incorporating Dynamic Lexicons into BERT for Sequence Labeling作者:论文链接:link文章主要内容BERT word-piece 和 Char embeddings 的方式会造成单词信息不能被完全利用,这使得难以准确地确定实体边界或正确预测实体类型。文章提出了一种有效将外部词典知识引入到序列标注任务的框架,支持词汇的动态更新在 CWS(汉语分词)、NER(命名实体识别)和N原创 2022-03-11 19:43:54 · 1159 阅读 · 3 评论