Out-Of-Vocabulary（OOV）的理解

最新推荐文章于 2023-09-08 19:53:58 发布
最新推荐文章于 2023-09-08 19:53:58 发布
阅读量1.9k 收藏
点赞数 1
分类专栏： 搜推广 文章标签： 自然语言处理 人工智能 nlp
原文链接：https://blog.51cto.com/lawsonabs/2942704
版权

OOV 问题是NLP中常见的一个问题，其全称是Out-Of-Vocabulary，下面简要的说了一下OOV：


怎么解决？
下面说一下Bert中是怎么解决OOV问题，如果一个单词不在词表中，则按照subword的方式逐个拆分token，如果连逐个token都找不到，则直接分配为[unknown]

zhao_crystal
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
未登录词(Out Of Vocabulary)识别
weixin_34414196的博客
03-21 3927
有人问道：南京市长叫江大桥？ 你怎么知道的？ 因为看到一个标语——南京市长江大桥欢迎您。 未登录词识别问题也叫做：命名实体识别(Named Entity Recognition) 常见的未登录词包括： 复制代码 人名：张三、陈方安生 地名：安湖路、龙腾苑四区 机构名：泰康人寿、欧姆龙公司 译名：安德森 组块识别(Chunking) 切分和标注多个词的单元 每个大的单元叫做组块(chunk) 用模式...
Out of Vocabulary处理方法
一位在路上的工程师的博客
01-25 1320
我们在NLP任务中一般都会有一个词表，这个词表一般可以使用一些大牛论文中的词表或者一些大公司的词表，或者是从自己的数据集中提取的词。但是无论当后续的训练还是预测，总有可能会出现并不包含在词表中的词，这种情况叫做Out of Vocabulary。
什么是未登录词 Out-of-vocabulary（OOV）?
热门推荐
qq_38244371的博客
06-19 1万+
未登录词就是训练时未出现，测试时出现了的单词。在自然语言处理或者文本处理的时候，我们通常会有一个字词库（vocabulary）。这个vocabulary要么是提前加载的，或者是自己定义的，或者是从当前数据集提取的。假设之后你有了另一个的数据集，这个数据集中有一些词并不在你现有的vocabulary里，我们就说这些词汇是Out-of-vocabulary，简称OOV。 ...
Literature Survey: Few-Shot Representation Learning for Out-Of-Vocabulary Words (ACL'19)
Patricia the Lady
04-24 1077
Preface This is the literature survey done by Zhiping (Patricia) Xiao, during taking the CS263: NLP course taught by Prof. Kaiwei Chang in UCLA Spring 2020 quarter, submitted as a homework. Resource...
Few-Shot Representation Learning for Out-Of-Vocabulary Words 论文笔记
彭伟的博客
07-26 1291
《Few-Shot Representation Learning for Out-Of-Vocabulary Words》 这篇文章是发表在2019年NAACL上的，主要是针对out of vocabulary问题提出的想法。 这里感觉和bert，elmo的想法类似，提炼的都是词向量，只不过这篇文章是将提炼词向量去解决out of 的问题，而之前的语言模型是，从大规模语料当中学习到语言学的一些知...
NLP自然语言处理中oov的词的解释
Lisen’s blog
11-11 7583
oov 英文全称：out of vocabulary，即超出词表外的词。
Python-gensimfast2vec改造灵活使用大规模外部词向量具备OOV查询能力
08-10
这篇教程将深入探讨如何改造gensim-fast2vec以实现对大规模外部词向量的灵活运用，并且具备处理Out-of-Vocabulary (OOV) 词汇的能力。 首先，让我们了解什么是词向量和OOV。词向量是自然语言处理中的一种技术，它将...
Python-CharacterLevelNeural机器翻译的一个TensorFlow实现使用QuasiRNN
08-11
这种方法能够处理未登录词（Out-of-Vocabulary, OOV）问题，因为每个字符都是已知的，即使新出现的单词也可以被分解为已知字符序列。然而，字符级别的模型通常需要更多的计算资源，因为序列长度会显著增加。 Quasi-...
Python-使用预先训练的单词嵌入FasttextWord2Vec
08-10
接下来，**Fasttext** 是Facebook AI Research（FAIR）推出的一个扩展，它在Word2Vec的基础上进行了优化，特别是在处理未登录词（OOV，Out-of-Vocabulary）方面。Fasttext不仅考虑单词本身，还考虑了单词的子词（n-...
text-embeddings.zip
08-12
FastText是Facebook AI Research团队提出的一种改进版的词向量模型，它不仅考虑词本身，还考虑了词内的n-gram特征，特别适合处理未登录词（Out-of-Vocabulary，OOV）问题。 四、Elasticsearch与文本嵌入的结合 ...
fastText4j是FasebookFastText的一个Java(kotlin)实现
08-08
这样可以处理未登录词（Out-of-Vocabulary，OOV），即训练集中未出现但在测试集中出现的单词。 3. **模型架构**：FastText 使用浅层神经网络进行分类，模型包括一个输入层、一个隐藏层和一个输出层。输入层通过词...
西湖大学自然语言处理（七）—— 解决OOV问题的两种平滑技术
qq_45645521的博客
03-29 1216
西湖大学自然语言处理（七）—— 解决OOV问题的两种平滑技术Knesser-Ney Smoothingabsolute discount smoothingGood-Turing Smoothing 平滑的目的——解决数据稀疏性的问题 Knesser-Ney Smoothing 核心思想——劫富济贫 absolute discount smoothing 公式： P(w∣u)=max(uw∈D−δ,0)∑w′uw′+λPKN(w)P(w|u)=\frac {max(uw\in D-\delta , 0)}
通过BPE解决OOV问题----Neural machine Translation of Rare Words with Subword Units
小小鸟要高飞
09-29 3889
Neural machine Translation of Rare Words with Subword Units动机和创新点BPE算法 前面的两篇facebook的文章都提到了BPE（Byte Pair Encoding，双字节编码）算法，可能大家不太了解，今天通过这篇文章介绍一下BPE的具体原理。这是2016ACL关于NLP分词操作的论文，许多论文方法（例如BERT等）都将该方法应用到分词...
自然语言处理学习笔记（九）———— OVV Recall Rate与 IV Recall Rate
最新发布
laosao_66的博客
09-08 784
IV指的是“登录词”（In Vocabulary），相应的IV Recall Rate 指的是词典中的词汇被正确召回的概率。连词典中的词汇都无法百分之百召回，说明词典分词的消歧能力不好。就算“商品”“和服”“服务”都在词典中，词典分词依然分不对“商品和服务”。OOV指的是“未登录词”（Out Of Vocabulary），或者俗称的“新词”，也即词典未收录的词汇。如何准确切分00V，乃至识别其语义，是整个NLP领域的核心难题之一。
nlp单词提取_用nlp方式把单词变成数字
weixin_26750481的博客
09-26 692
nlp单词提取In this article, we will look at how to tokenize never-before-seen words. Python’s tensorflow tokeniser can easily convert known words into tokens but what happens when you throw it words that ...
自然语言处理学习笔记七(词性标注)
liuhuabing760596103的专栏
11-06 1007
一. 词性标注概述 1.1 什么是词性 词性是单词的语法分类，同一个类别的词语具有相似的语法性质，所有词性的集合称为词性标注集。不同的语料库采用不同的词性标注集，一般含有形容词、动词、名词等常见词性。 1.2 词性的用处 词性的作用就是提供词语的抽象表示，词性支撑许多的高级应用，当下游应用遇到OOV时，可以通过OOV的词性猜测用法。 1.3 词性标注 它是指为句子中的每个单词预测一个词性标...
pgn model和一些解决oov的方法
weixin_41710583的博客
05-22 1696
本周主要有面对out of vocabulary时的一些方法，以及对应的pgn模型。 1、当我们面对oov问题出现，往往的解决方法有以下： 01 忽略oov 遇到不认识的词，直接忽略，但是这种方法会严重影响文本摘要的意思。 02 用默认的词代替（unk） 但是这种方法会直接造成，摘要内容可读性很差。 03 扩大词表 这种方法，从某种程度上可以缓解。但是也会带来计算量大的问题，以及有一些低频词，是不能很好的学习到其中的意思（因为深度学习是基于统计来学习的）。 04 将token分解为char级别..
OOV问题-论文笔记《Neural Machine Translation of Rare Words with Subwords Units》- ACL2016
爱丽丝咩咩章在好好学习
10-18 8784
原论文链接: https://arxiv.org/abs/1508.07909 参考paperweekly关于分词的一个总结：https://zhuanlan.zhihu.com/p/22700538 这篇文章主要解决的问题是OOV(Out of Vocabulary)问题，最小粒度介于word和character之间，利用BPE算法进行分词。 BPE算法的主要实现如图： import re, c...
什么是 bag-of-features model with local invariant features
07-12
bag-of-features model with local invariant features 是一种用于图像特征描述的模型。它结合了两个主要概念：局部不变特征和词袋模型。 局部不变特征是指在图像中提取出来的具有局部性质且对于旋转、尺度和亮度变化具有不变性的特征点。这些特征点可以通过一些算法（如SIFT、SURF、ORB等）进行提取。 词袋模型是一种常用的文本表示方法，它将文本看作是一个词的集合，忽略了词序和语法结构，只关注词的出现频率。类似地，对于图像特征描述，词袋模型将图像看作是一组局部不变特征点的集合，忽略了它们的空间关系。 bag-of-features model with local invariant features 的工作流程如下： 1. 对输入图像提取局部不变特征点，并计算每个特征点的描述子。 2. 对所有图像的特征描述子进行聚类，得到一组视觉词汇（visual vocabulary）。 3. 对于每个图像，统计其特征描述子属于每个视觉词汇的频率，得到一个固定长度的向量表示该图像。 4. 将所有图像的向量作为输入，训练一个机器学习模型（如支持向量机、随机森林等）进行分类或检索任务。 这种模型在计算机视觉领域广泛应用，例如图像分类、物体检测和图像检索等任务中，它能够有效地描述图像的内容特征，并具有一定的不变性。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值