![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
NLP
文章平均质量分 92
zjrn
这个作者很懒,什么都没留下…
展开
-
TensorFlow 2.1.0 使用 TFRecord 转存与读取文本数据
前言:上次记录了一下如何使用 TFRecord 来转存图片与 label ,后续经手了一些 NLP 任务,尝试使用了 TF 2.1.0,所以记录一下如何使用 TFRecord 来保存和读取文本数据。准备工作:TFRecord 无法直接记录文本信息,所以需要首先对文本内容进行一些预处理的准备工作,分别是分词,去停用词,建立词典,以及将文本转化为词典 index。再将 index 值写入 TFRecord。TFRecord首先这里把训练集和验证集分构造为了两个 DataFrame ,然.原创 2020-07-02 11:32:58 · 1664 阅读 · 1 评论 -
文本分类模型第三弹:BoW(Bag of Words) + TF-IDF + LightGBM
一、前言本文是文本分类模型的第三弹,利用词袋模型(BoW),词频逆文档频率(TF-IDF)与 LightGBM 模型进行文本分类。原本计划的第三弹内容为 TextCNN 网络,介于最近刚刚利用 LightGBM 完成了一个简单的文本分类的任务,就趁热记录一下,作为第三弹的内容。这里是文本分类系列:文本分类模型第一弹:关于Fasttext,看这一篇就够了文本分类模型第二弹:HAN...原创 2020-04-14 21:55:04 · 2399 阅读 · 0 评论 -
论文研读(1)《Summarizing Source Code with Transferred API Knowledge》
前言20年给自己立了一个阅读论文数量的flag,但有些论文读完后没有实践,过一阵子又会忘记论文中的一些细节,所以2020开一个新的论文研读系列,记录一下自己读过的论文吧。第一篇论文,《Summarizing Source Code with Transferred API Knowledge》,这篇论文的2018年发表于IJCAI,目前为代码摘要生成的STOA。主要的创新点为归纳出代码中的...原创 2020-02-19 17:27:51 · 1206 阅读 · 0 评论 -
Bert (Bi-directional Encoder Representations from Transformers) Pytorch 源码解读(三)
前言Bert (Bi-directional Encoder Representations from Transformers) Pytorch 版本源码解读的第三篇,也是最后一部分。这一部分为源码中, wiki_dataset.py 文件中的内容,主要实现了 Bert 模型预训练时,数据的预处理工作。读完这一部分源码有助于更好的理解模型的输入部分的数据是如何构造的。Bert 源码解读:...原创 2020-01-13 14:33:15 · 693 阅读 · 1 评论 -
Bert (Bi-directional Encoder Representations from Transformers) Pytorch 源码解读(二)
前言这里是 Bert(Bi-directional Encoder Representations from Transformers) 源码解读的第二部分,第一部分主要介绍了 bert_model.py 文件中, bert 模型的定义。而第二部分为 BERT_Training.py 文件,该部分源码主要实现了 Bert 模型的预训练工作。Bert 源码解读:1. 模型结构源码:be...原创 2020-01-08 15:28:12 · 902 阅读 · 0 评论 -
Bert (Bi-directional Encoder Representations from Transformers) Pytorch 源码解读(一)
前言Bert (Bi-directional Encoder Representations from Transfromers) 预训练语言模型可谓是2018年 NLP 领域最耀眼的模型,看过很多对 Bert 论文和原理解读的文章,但是对 Bert 源码进行解读的文章较少,这篇博客有一份 TensorFlow 版本的 Bert 源码解读,这里来对 Pytorch 版本的 Bert 源码记录...原创 2019-12-27 15:43:39 · 2277 阅读 · 2 评论 -
Python 命名实体识别(NER) 库 使用指南
一、前言最近工作中需要使用命名实体识别来做一版人名及机构名的预识别demo,评估了独立训练一套NER模型所耗费的标注成本巨大,加上目前只是对该需求进行demo版本的开发,所以花了一段时间对目前现有的开源 NER 工具包进行了调研及优缺点评估。这次主要使用的开源 NER 工具包有: StanfordCoreNLP https://stanfordnlp.github.io/Cor...原创 2019-12-21 16:55:05 · 17529 阅读 · 5 评论 -
揭开知识库问答KB-QA的面纱8·非结构化知识篇
内容速览非结构化的知识库——维基百科文档检索与文档理解段落encoding、问题encoding与答案预测实验与总结如果你想寻找一个问题的答案,比如谢霆锋的出生年月,那么你可能会先去查看关于谢霆锋的百度百科 或者 维基百科,找到和出生年月相关的那一行信息,再提取答案。那么,我们能不能让机器也这样去回答问题呢?在我们前面讲到的文章中,我们都使用了结构化的知识库来回答问题,今天我们将介绍一种使用非结构...转载 2018-06-06 10:03:55 · 1800 阅读 · 0 评论 -
自动摘要生成(一):最大边界相关算法(MMR)
分享一下前一段时间公司需要做的文章自动摘要。一.摘要方法目前来说,文章摘要自动生成主要分为两种方法:生成式和抽取式。生成式采用sequence2sequence+Attention的模型,采用Encoder-Decoder的结构,具体方法可以阅读这篇论文:https://arxiv.org/pdf/1509.00685.pdf抽取式则是通过关键词筛选等方法,从原文中截取句子组成摘要...原创 2018-07-25 11:53:36 · 14077 阅读 · 17 评论 -
自动摘要生成(三):词向量相似度与有效词含量
一、前言新闻在动摘要生成的前两部分在这里:自动摘要生成(一):最大边界相关算法(MMR)自动摘要生成(二):由PageRank转变而来的TextRank算法这里是新闻摘要生成系列的第三部分,这一篇没有什么具体算法,主要介绍两种更偏向工程实现的抽取式摘要生成方法,分别是词向量相似度值计算,以及句子有效词含量的计算。二、词向量相似度首先来说一下词向量相似度的方法,Word2Ve...原创 2019-04-21 22:26:23 · 1824 阅读 · 0 评论 -
自动摘要生成(二):由PageRank转变而来的TextRank算法
一、瞎扯这是我2019年写的第一篇博客,开篇说点题外话,翻了一下博客的记录,上一遍新闻自动摘要生成(一)的博客还是去年7月写的,这大半年的时间里,忙着秋招,忙着找工作,忙着实习,忙着完成毕业设计,以及忙着完成毕业论文,月初提交了毕业论文,也总算有时间可以继续书写博客。记得也是在CSDN上结识的一位师姐说的很对,“书写是对思维的缓存”。写博客不仅是对自己学习过程的一些记录,而且在知识输出的书写过...原创 2019-04-20 15:41:52 · 2582 阅读 · 2 评论 -
文本分类模型第一弹:关于Fasttext,看这一篇就够了
一、前言最近手头上接到一个文本分类的任务,当前使用的Baseline是Fasttext模型。由于之前对Fasttext了解不是很多,所以在开始之初决定对Fasttext进行一番调研。但网上关于Fasttext的博客和提出Fasttext的两篇论文在一些细节上都写的不是很清楚,对其性能也缺乏实验数据的支撑说明,于是就有了今天这篇文章。关于Fasttext,看这一篇就够了。这里是文本分类系...原创 2019-08-04 17:06:34 · 8940 阅读 · 12 评论 -
文本分类模型第二弹:HAN(Hierarchy Attention Network)
一、前言本文是文本分类的第二篇,来介绍一下微软在2016年发表的论文《Hierarchical Attention Networks for Document Classification》中提出的文本分类模型 HAN(Hierarchy Attention Network)。同时也附上基于 Keras 的模型实现,代码解读,以及通过实验来测试 HAN 的性能。这里是文本分类系列:文本...原创 2019-09-26 21:59:45 · 6642 阅读 · 8 评论 -
揭开知识库问答KB-QA的面纱7·深度学习下篇(二)
内容速览引入注意力机制的KB-QA深度学习篇小结我们紧接上篇揭开知识库问答KB-QA的面纱7·深度学习下篇(一)的内容,为大家介绍注意力机制的KB-QA文章Question Answering over Knowledge Base with Neural Attention Combining Global Knowledge Information由中科院自动化所刘康老师等人在2016年发表在...转载 2018-06-06 10:02:27 · 1676 阅读 · 1 评论 -
揭开知识库问答KB-QA的面纱7·深度学习下篇(一)
内容速览什么是记忆网络基于记忆网络的KB-QA在上两期,我们分别介绍了使用深度学习的卷积神经网络对向量建模和语义解析方法进行提升的两篇经典论文。今天我们将为大家带来两篇使用深度学习其他两种经典模型进行KB-QA的文章,分别是记忆网络(Memory Network)和带注意力机制的循环神经网络(Recurrent Neural Networks with Attention Mechanism)。它...转载 2018-06-06 10:01:20 · 3592 阅读 · 0 评论 -
揭开知识库问答KB-QA的面纱6·深度学习中篇
内容速览语义解析方法的再思考什么是查询图查询图的阶段生成各阶段的特征论文实验与总结在上期,我们介绍了深度学习对传统向量建模KB-QA方法进行提升的一篇代表论文,可以看出它的效果击败了当时所有的传统方法。本期,我们将以深度学习提升语义解析方法的一篇代表作为例,作为深度学习篇的中篇,为大家进一步揭开知识库问答的面纱。我们在揭开知识库问答KB-QA的面纱2·语义解析篇中介绍了传统方法之一的语义解析(Se...转载 2018-05-30 11:11:49 · 1848 阅读 · 0 评论 -
基于Tensorflow的LSTM-CNN文本分类模型
题记 前段时间再看QA方面的文章,读了一篇paper(《LSTM-based deep learning model for non-factoid answer selection》)中,使用了LSTM-CNN模型来做answer与question的语义抽取。受此启发,使用这个模型对文本语义信息进行抽取,加上一个softmax函数形成文本分类模型。1.LSTM(Long Short-Ter...原创 2018-04-26 15:24:47 · 26796 阅读 · 29 评论 -
LSTM部分问题汇总详解
题记LSTM(Long Short-Term Memroy Cell)是一种RNN网络的改进结构,相较于传统的RNN网络在处理长序列时有着很多优势这也让它在自然语言处理的多种任务中有着很广范的运用。关于LSTM的具体介绍有很多,大家也可以从我之前的一篇博客 基于Tensorflow的LSTM-CNN文本分类模型 中查看。同时最近看到很多朋友对于LSTM的具体运用产生了一些疑问,而这些问题也是我...原创 2018-05-13 22:26:51 · 48513 阅读 · 9 评论 -
知识图谱概念篇
随着互联网的发展,网络数据内容呈现爆炸式增长的态势。由于互联网内容的大规模、异质多元、组织结构松散的特点,给人们有效获取信息和知识提出了挑战。知识图谱(Knowledge Graph) 以其强大的语义处理能力和开放组织能力,为互联网时代的知识化组织和智能应用奠定了基础。最近,大规模知识图谱库的研究和应用在学术界和工业界引起了足够的注意力。知识图谱旨在描述现实世界中存在的实体以及实体之间的关系。知识...转载 2018-05-28 16:38:07 · 4662 阅读 · 0 评论 -
为什么需要知识图谱?什么是知识图谱?——KG的前世今生
标题的命名顺序可能让有的读者不太习惯。通常在介绍一个陌生事物的应用前,我们先给出其定义。之所以换个顺序,是为了不让读者一开始就接触比较冰冷生硬的概念刻板描述(后面我尽量用更具体、准确的例子来表达),另一方面也是为了通过现实生活中的例子自然的引入知识图谱的概念。希望通过这种方式加深读者的印象和理解。为了减轻读者理解的负担,我尽可能地避免引入过多的概念和技术细节,将其留到后续的文章进行介绍。言归正传,...转载 2018-05-28 18:04:17 · 974 阅读 · 0 评论 -
语义网络,语义网,链接数据和知识图谱
前一篇文章“为什么需要知识图谱?什么是知识图谱?——KG的前世今生”提及了和知识图谱相关的一些早期概念。为了让读者能够更好地区分这些概念,以及更好地在整体上把握知识谱图发展过程,本文将对这些概念作一个更为详细的介绍。一、语义网络(Semantic Network)对于初学者来讲,这个概念很容易和语义网(Semantic Web)相混淆。为了行文一致,除非特别说明,语义网络指Semantic Net...转载 2018-05-28 18:06:21 · 3685 阅读 · 0 评论 -
知识图谱基础之RDF,RDFS与OWL
看过之前两篇文章(1, 2)的读者应该对RDF有了一个大致的认识和理解。本文将结合实例,对RDF和RDFS/OWL,这两种知识图谱基础技术作进一步的介绍。其实,RDF、RDFS/OWL是类语义网概念背后通用的基本技术,而知识图谱是其中最广为人知的概念。一、知识图谱的基石:RDFRDF表现形式RDF(Resource Description Framework),即资源描述框架,其本质是一个数据模型...转载 2018-05-29 09:34:10 · 797 阅读 · 0 评论 -
RDF查询语言SPARQL
前面我们已经介绍过了语义网技术栈中的RDF,RDFS/OWL。这次我们介绍最后一个核心技术标准——SPARQL(RDF,OWL和SPARQL称为语义网的三大核心技术)。RDF本质上是一种数据模型,那么我们如何在RDF上进行查询呢?类似使用SQL查询关系数据库,我们使用SPARQL查询RDF格式的数据。本文先简单介绍一下SPARQL的历史,然后结合我们实践篇的数据举几个具体的例子。一、SPARQLS...转载 2018-05-29 09:42:22 · 804 阅读 · 0 评论 -
揭开知识库问答KB-QA的面纱1·简介篇
内容速览 什么是知识库(knowledge base, KB) 什么是知识库问答(knowledge base question answering, KB-QA) 知识库问答的主流方法 知识库问答的数据集什么是知识库“奥巴马出生在火奴鲁鲁。”“姚明是中国人。”“谢霆锋的爸爸是谢贤。”这些就是一条条知识,而把大量的知识汇聚起来就成为了知识库。我们可以在wiki百科,百度百科等百科全书查阅到大量的知...转载 2018-05-29 14:16:28 · 1414 阅读 · 0 评论 -
揭开知识库问答KB-QA的面纱2·语义解析篇
内容速览 什么是语义解析(Semantic Parsing) 什么是逻辑形式(Logic Form) 语义解析KB-QA的方法框架 实验结果本期我们从传统方法之一的语义解析(有时也被称为语义分析)开始,以一个经典的语义解析baseline方法为例,介绍语义解析如何进行KB-QA。该方法来自斯坦福Berant J, Chou A, Frostig R, et al. 的Semantic Parsin...转载 2018-05-29 14:18:22 · 1746 阅读 · 0 评论 -
揭开知识库问答KB-QA的面纱3·信息抽取篇
内容速览 你是如何通过知识库回答问题的 如何确定候选答案 如何对问题进行信息抽取 如何筛选候选答案 论文实验与总结 本期我们将介绍KB-QA传统方法之一的信息抽取(Information Extraction),我们以一个该方法的经典代表作为例,为大家进一步揭开知识库问答的面纱。该方法来自约翰·霍普金斯大学Yao X, Van Durme B.的 Information Extraction ov...转载 2018-05-29 16:27:44 · 1035 阅读 · 0 评论 -
揭开知识库问答KB-QA的面纱4·向量建模篇
内容速览向量建模的核心思想如何用分布式表达表示答案和问题如何训练分布式表达论文实验与总结本期我们将介绍KB-QA传统方法之一的向量建模(Vector Modeling),我们以一个该方法的经典代表作为例,为大家进一步揭开知识库问答的面纱。该方法来自Facebook公司Bordes A, Chopra S, Weston J的论文 Question answering with subgraph e...转载 2018-05-29 19:06:13 · 776 阅读 · 3 评论 -
揭开知识库问答KB-QA的面纱5·深度学习上篇
内容速览向量建模方法的再思考Multi-Column卷积神经网络实验分析与总结自2015年开始,深度学习用于KB-QA的方法取得了很好的效果,并逐渐成为了KB-QA的主流方法。也涌现出了一批使用深度学习提升传统的语义解析、信息抽取和向量建模方法的优秀论文。本期,我们先以深度学习提升向量建模方法为例,作为深度学习篇的上篇,为大家进一步揭开知识库问答的面纱。我们在揭开知识库问答KB-QA的面纱4·向量...转载 2018-05-30 09:41:59 · 2164 阅读 · 0 评论 -
基于深度学习问答系统中的语义相似度计算
问答系统问答系统,简称QA,是自然语言处理领域的一类经典问题。问答系统的模式基本上分为两类:1. 由输入的问题在n个候选答案中选取一个最佳的答案。2. 由输入的问题在已有的问题中选取一个语义最相似的问题,将该已有问题的答案作为最终的答案返回。 第一种问答系统类似与京东客服的自动回答系统,很多使用过京东客服或是淘宝客服的同学会知道,当你问关商品或是关于售后以及物流的一些问题时,系统会自...原创 2018-05-02 20:49:10 · 8649 阅读 · 1 评论