boardking135-CSDN博客

原创 Struct BERT论文解读

STRUCTBERT: INCORPORATING LANGUAGE STRUCTURESINTO PRE-TRAINING FOR DEEP LANGUAGE UNDERSTANDING这里是对 Struct BERT 的解读，纯属个人理解这篇文章是阿里达摩院在ICLR 发布的文章模型的动机我认为就是在一个句子中，单词的顺序并不影响对句子的理解作者对BERT 的修改主要有两个部分MLM: 在未被MASK 的单词中选取trigrams，然后随机打乱，LM的目标是预测正确的顺序NSP: 作

2022-04-20 21:38:03 448

原创 Mac BERT 论文解读 Revisiting Pre-trained Models for Chinese Natural Language Processing

这里是对 EMNLP 2020 的 Mac BERT 的分享作者是哈工大刘挺老师的团队个人看法欢迎指正文章对近几年的预训练模型做了对比总结，并在此基础上提出了MacBERT首先是 Mac BERT （replaces the original MLM task into MLM as correction(Mac) task and mitigates the discrepancy of the pretraining and fine-tuning stage. ）修改了MLM 任务和

2022-04-19 17:42:22 1619

原创 Lexicon Enhanced Chinese Sequence Labelling Using BERT Adapter 论文解读

本篇是针对《Lexicon Enhanced Chinese Sequence Labelling Using BERT Adapter》这篇文章的解析纯属个人理解欢迎批评指正首先作者信息个人理解个人对这篇文章的理解是，其通过引入一个单词适配器将词汇信息融入到bert 中间，从而将词汇信息加入给BERT优点在于：1. 采用了word adapter 将词汇信息加入到bert 模型的中间层2. 采用的融入方法是直接引入，不是模型融合模型总体模型图如下图所示：可以看到，左边为Bert

2022-03-26 11:00:06 1519

原创 MECT: Multi-Metadata Embedding based Cross-Transformer forChinese Named Entity Recognition论文解析

《MECT: Multi-Metadata Embedding based Cross-Transformer forChinese Named Entity Recognition》的论文解析纯属个人理解，欢迎批评指正如果有时间的话，会有源码解析，欢迎关注一波首先，本文的作者信息个人理解首先从我个人阅读这篇文章的感觉来看，作者的想法确实挺棒的，在FLAT BERT的基础上通过卷积神经网络提取汉字的笔画embedding ，然后通过一个交叉的transform 和 random attentio

2022-03-24 23:52:07 1446 4

原创 FLAT: Chinese NER Using Flat-Lattice Transformer 论文解析

论文解析 NER

2022-03-17 00:00:14 1620

原创 Transformer Attention is all you need 部分解析

Transformer 的一些个人理解

2022-03-14 00:10:00 1306

原创 DyLex: Incorporating Dynamic Lexicons into BERT for Sequence Labeling 论文解读

华为诺亚方舟 EMNLP 2021 论文解析DyLex: Incorporating Dynamic Lexicons into BERT for Sequence Labeling作者：论文链接：link文章主要内容BERT word-piece 和 Char embeddings 的方式会造成单词信息不能被完全利用，这使得难以准确地确定实体边界或正确预测实体类型。文章提出了一种有效将外部词典知识引入到序列标注任务的框架，支持词汇的动态更新在 CWS(汉语分词)、NER(命名实体识别)和N

2022-03-11 19:43:54 1212 3

原创 python xlwt xlrd的坑

**最近在用 python 处理数据，踩了不少坑，在这里总结一下关于 xlrd 和xlwt 在处理程序时遇到的坑。**1. xlwt 写表格def write_excel(sheetname,data): book = xlwt.Workbook(encoding='UTF-8') #创建excel对象 sheet = book.add_sheet("s...

2019-04-26 16:42:37 1736

原创关于使用python 动态爬虫Selenium 下载文件，文件类型的设置

本文主要用来保存自己在使用selenium 进行文件下载是遇到的坑，使用selenium 对火狐浏览器自动下载文件时的设置如下，fp = webdriver.FirefoxProfile()fp.set_preference(“browser.download.folderList”,2) #0 表示默认目录，2表示自定义目录fp.set_preference(“browser.downl...

2019-04-16 13:18:07 700