![](https://img-blog.csdnimg.cn/20201014180756738.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
NLP
骓不逝兮
如果不努力,你还能干嘛
展开
-
NLP——命名实体识别(NER)
1、NER(Named Entity Recognition, NER)NER 是 NLP 的基础任务,指从文本中识别出命名性指称项,为关系抽取等任务做铺垫。狭义上,是识别出人名、地名和组织结构名这三类命名实体。当然,在特定领域中,会相应地定义领域内地各种实体类型。2、常见地公开的数据集CoNLL 2003(https://www.clips.uantwerpen.be/conll2003/ner/)CoNLL2003 中,实体被标注为四种类型:①LOC(Location,地名)②O原创 2020-05-20 18:05:43 · 2546 阅读 · 0 评论 -
Word Embedding(2)
1、CBOW(continuous bags of words)和 skip-gramCBOW:根据中心词的周围的词预测中心词skip-gram:根据中心词预测中心词周围的词2、CBOW结构图①输入层:上下文单词的onehot(假设单词向量空间dim为V,上下文单词个数为C)②所有的onehot分别乘以共享的输入权重矩阵W(V*N矩阵,n为自己设定的数,初始化权重矩...原创 2020-03-01 22:06:34 · 266 阅读 · 0 评论 -
Word Embedding(1)
1、单词的表达方式:①One hot representation②Distributed representation2、One hot representation(每个单词都是一个维度,彼此独立)当有n个词时,就会创造n维向量。假设某个词的索引为i,则对应的n维向量在第i个位置为1,其他均为0.【缺点】①无法计算单词之间的相似度;②每个单词在空间中都是正交的向量,彼此...原创 2020-05-18 16:00:17 · 182 阅读 · 0 评论