简介NLP中的Tokenization（基于Word,Subword 和 Character）

已于 2024-10-22 15:27:14 修改
阅读量4.3k 收藏 31
点赞数 8
分类专栏： 收费专栏 文章标签： 自然语言处理 深度学习 人工智能
于 2022-03-09 17:00:40 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zhaohongfei_358/article/details/123379481
版权

免费链接： Blogger(需翻Q)

概念理解

  • Word：一个单词，例如hello
  • Character：一个字母，例如a
  • Subword：①若使用单词进行编码，由于单词多且杂，容易导致OOV问题，而且不太好编码 ②若使用字母进行编码，又太少，容易丢失语义；所以人们发明了subword，将一个word分成多个subword，同时兼顾了①②两个问题。
  • OOV：Out of Vocabulary，意思是有些单词在词典中查询不到，例如一些根据词根现造的词，或者拼写错误的词等。
  • Tokenization：将一段文本分成若干个元素，一个元素称为一个Token，而 token 是之后要被编码成向
了解本专栏 订阅专栏 解锁全文 超级会员免费看
NLP 中的Tokenizer：BPE、BBPE、WordPiece、UniLM 理论
u013250861的博客
11-19 225
总的来说，BBPE效果与BPE相当，从发明时即为了解决中文、日本编码词表过大的问题，因此在多语言编码上天然具有词表小的优势，但同时导致每种语言不一定是长度最优的编码方式，必然从长度上会增加推理计算的开销。另外UTF-8编码可以在不同语言之间字节编码可能具有一定互通性，可以实现即使字符集不重叠，也可以通过子节层面的共享来实现良好的迁移。有利于模型翻译能力提升。
语言大模型之Tokenization的深入理解
JustinMars的博客
03-18 39
Tokenization（分词）是自然语言处理（NLP）中一个非常重要的步骤，它的目标是将文本转换为模型可以理解的格式。对于像GPT、BERT等大型预训练模型来说，tokenization决定了文本如何转化为数字表示，从而影响模型在不同任务中的表现。接下来我会深入介绍tokenization的过程、不同的tokenization方法，以及它与模型微调（fine-tuning）之间的关系。
NLP技术中的Tokenization
Paper weekly
12-16 1960
©作者 | Gam Waiciu单位 | QTrade AI研发中心研究方向 | 自然语言处理前言今天我们来聊一聊 NLP 技术中的 Tokenization。之所以想要聊这个话题，是因为...
分词（tokenization）算法之WordPiece 算法详解（代码实现）
最新发布
阿正的梦工坊
03-27 1011
WordPiece 是 BPE 的一个重要改进，通过引入最大化似然概率的评分机制，克服了 BPE 单纯依赖频率的局限性。它在 BERT 等模型中证明了其价值，尤其在需要语义相关性和语言模型支持的场景中表现出色。
NLP中token总结
进阶的小宋
09-26 1580
在自然语言处理（NLP）中，“token” 是指文本中的一个基本单位，通常可以是一个单词、一个词组、一个标点符号、一个字符等，取决于文本处理的需求和方法。将文本划分为若干个 token 是文本处理的第一步，这个过程被称为 “tokenization”
Word Tokenization
weixin_34313182的博客
03-31 204
Well, after listen the class, it's necessary to make notes. In this class, Pro just tell us there are a lot of words in various corpus using Linux program, and introduce that in different language, t...
LLM大语言模型之Tokenization分词方法（WordPiece，Byte-Pair Encoding (BPE)，Byte-level BPE(BBPE)原理及其代码实现）
Kingpeaceful的博客
09-09 961
本文主要内容为目前大模型时代分词是怎么做的☺️，WordPiece，Byte-Pair Encoding (BPE)，Byte-level BPE(BBPE)分词方法的原理以及其代码实现
NLP中什么是span和token
记录个人在工作学习中的思考和遇到的问题。
07-11 1万+
What is span & token in NLP?
subword系列算法
u013596454的博客
09-28 805
1. 前言  nlp领域目前已经发展到一个非常高的层次了，这个层次不仅仅是模型和数据方面，还涌现出了很多非常巧妙的trick，这篇文章就记录一下关于tokenization方面的工作。  所谓的tokenization其实就是将文本切分成words或者subwords，然后转成ids以便模型处理。最初的nlp分词非常简单，对于英语类以空格分割的语言来说，简单的以空格进行分割就行，不过这样简单的处理还存在一些问题，比如说*“Don’t you love ???? Transformers? We sure d
LLMs之Tokenizer：大模型核心技术—数据预处理技巧之分词算法的简介、常用算法(对比Transformer中的三种分词算法【Unigram→Word Piece→BPE】)之详细攻略
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
06-21 1717
​ LLMs之Tokenizer：大模型核心技术—数据预处理技巧之分词算法的简介、常用算法(对比Transformer中的三种分词算法【Unigram→Word Piece→BPE】)之详细攻略 目录 Tokenizer分词算法的简介 Tokenizer分词算法的实现 Tokenizer分词算法的简介 1、分词算法/Tokenizer分词器【分词+标记/编码】的概述 背景 文本是不能成段送入模型中进行分析的，我们通常会把文本切成有独立含义的字、词或者短语，这个过程叫做toke
NLP应用（一）--tokenization
Trisyp的博客
02-26 700
假设给定一个文本，S=”I love you，you love him”，下面讲述第一阶段的文本处理过程。 1. Tokenization（text to words） 将该文本拆分成一个词“token”列表，得到L=[“I”, “love”, “you”, “,” ,”you”, “love”, “him”] 2. Count word Frequencies 假如上面的句子已经加入词典，则词典列表如下： Key(word) Value(frequency)
TOKENIZATION
03-26
TOKENIZATION
Tokenization 分析及研究
11-05
Token技术产生的背景、解决的问题及应用分析
token:NLP之词形还原
weixin_34384557的博客
04-24 1144
已迁移到我新博客,阅读体验更佳token:NLP之词形还原 完整代码实现放在我的github上:click me 一、任务描述 形态还原算法： 输入一个单词 如果词典里有该词，输出该词及其属性，转4，否则，转3 如果有该词的还原规则，并且，词典里有还原后的词，则输出还原后的词及其属性，转4，否则，调用 如果输入中还有单词，转(1)，否则，结束。 二、技术路线 加载dic_ec.txt词典...
【NLP】常见的tokenize（分词）方式——Byte Pair Encoding (BPE)
学渣的博客
06-17 2473
参见： https://zhuanlan.zhihu.com/p/424631681
NLP中的Tokenization
爱吃火锅的博客
03-06 2642
前言 当前最火的预训练模型大放异彩，但是在进行输入模型前，我们都需要将纯文本数学化，比如bert的tokenization，它就是将文本分割成token，然后量化成id。今天就来说说tokenization，目前关于这方面的研究已经有很多了，本质上其主要目标就是在于如何获得理想的切分，使文本中所有的token都具有正确的表义，并且不会存在OOV问题。 关于该方面博客也发现一篇比较好的文章 https://zhuanlan.zhihu.com/p/340473354 ...
支付标记化（Tokenization）技术
dieman0446的博客
07-13 545
道客巴巴-》支付标记化（Tokenization）技术介绍 百度文库-》中国银联支付标记化技术指引 NFC产业网-》银联技术专家解答支付标记化Token技术 百度搜索-》Token (支付标记) 转载于:https://www.cnblogs.com/tdcqma/p/5666048.html...
【自然语言处理 | NLP】“token“, “embedding“,“encoding“各自的区别分别是什么？
热门推荐
wzk4869的博客
04-22 1万+
【自然语言处理 | NLP】"token", "embedding","encoding"各自的区别分别是什么？
斯坦福NLP笔记3 —— Word tokenization
weixin_33843947的博客
07-17 479
2019独角兽企业重金招聘Python工程师标准>>> ...
探索自然语言识别技术：OOV词汇识别解析
OOV问题指的是在进行自然语言处理时遇到的那些不在词汇表中的单词。由于自然语言的无限性和多样性，即使最完备的词汇表也无法涵盖所有的单词和表达，特别是对于一些新词、行业术语、网络新词等。在处理OOV问题时，...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

iioSnail

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值