文本挖掘 - 分词

最新推荐文章于 2024-03-02 18:49:25 发布
VIP文章 最新推荐文章于 2024-03-02 18:49:25 发布
阅读量1.3k 收藏 1
点赞数
分类专栏： 数据挖掘 文章标签： 数据挖掘
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zk_j1994/article/details/78277786
版权

分词即对词语进行划分。

分词的基本方法包括：最大匹配法，最大概率分词法，最短路径分词法（最小切分法）。其中最大匹配法、最短路径法属于机械式分词法，最大概率分词法属于基于统计的分词方法。

分词的难点：分词歧义，未登录词识别（冷启动）

1. 最大匹配法

最大匹配法实际上是一种贪心算法，它同时还利用现实中人们使用的词语长度都是在一个比较固定的范围内。利用这个长度的限制来逐步贪心。

1.1 正向最大匹配算法

从左到右截取词组并判断是否为一个词语。

s:          待分的句子
temp: 
max_len:    最大词语长度
dic
最低0.47元/天 解锁文章
KeeJee
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
词频统计代码_文本分析_文本挖掘_分词_
10-04
主要对中英文文本进行分词，关键词提取，词云绘图等。
【文本挖掘】——中文分词
m0_46568930的博客
12-16 1199
这里写目录标题一、分词算法二、分词的难点三、常见分词工具四、结巴分词模式五、修改词典六、去除停用词七、词性标注 一、分词算法   分词算法主要有基于字符串的匹配和基于统计和机器学习的分词 1.基于字符串的匹配：以现有的词典为基础进行，扫描字符串，若发现字符串的子串和词相同，即为匹配，通常加入一些启发式规则：正向/反向最大匹配、长词优先等。 {①最大匹配法：以设定的最大词长度为框架，取出其中最长的匹配词。如：“中国共产党”会被完整取出，而不会被进一步分词②最大概率法：对句子整体进行分词，找到最佳的词汇排列组合
自然语言处理系列八》中文分词》规则分词》正向最大匹配法
weixin_52610848的博客
02-02 835
此文章有对应的配陈敬雷老师的清华大学出版社配套书籍教材 【自然语言处理原理与实战（人工智能科学与技术丛书）】 https://item.jd.com/13951851.html 和【分布式机器学习实战（人工智能科学与技术丛书）】，对应京东自营链接地址： https://item.jd.com/12743009.html
正向最大匹配算法、逆向最大匹配算法与双向最大匹配算法分步解释
最新发布
weixin_65259109的博客
03-02 1039
匹配算法首先要有一个匹配词典，然后要有一段话，看这段话里面能够拆分出多少个词典中的词。由于一段话里面的词语会有交叉，所以在两个词的交界处可能出现不符合句意的词被框出来，所以需要对匹配算法进行约束从而使一句话依据词典匹配出来的词不重复也不遗漏，这就是匹配算法中“正向、最大”这些条件。不管是什么匹配算法，其核心都是如下几步：确定词典的词匹配原则：一般来讲都是匹配词时按照最长词优先匹配。
【自然语言处理】正向最大匹配算法（FMM），反向最大匹配算法（BMM）和双向最大匹配算法（BM）原理及实现
TUSTer_的博客
11-23 1391
若字典中存在这样的一个字词，则匹配成功，匹配字段被作为一个词切分出来。如果词典中找不到这样的一个字词，则匹配失败，将匹配字段中的最后一个字去掉，对剩下的字串重新进行匹配处理。这样就完成了一轮匹配，然后取下一个i字字串进行匹配处理，直到文档被扫描完为止。逆向最大匹配法从被处理文档的末端开始匹配扫描，每次取最末端的i个字符（为词典中最长词数）作为匹配字段，若匹配失败，则去掉匹配字段最前面的一个字，继续匹配。双向最大匹配算法的原理就是将正向最大匹配算法和逆向最大匹配算法进行比较，从而选择正确的分词方式。
【分词】文本挖掘的分词原理
锦瑟年华,逐梦之人
09-20 639
阅读目录前言1. 分词的基本原理2. N元模型3. 维特比算法与分词4. 常用分词工具5. 结语 前言 在做文本挖掘的时候，首先要做的预处理就是分词。英文单词天然有空格隔开容易按照空格分词，但是也有时候需要把多个单词做为一个分词，比如一些名词如“New York”，需要做为一个词看待。而中文由于没有空格，分词就是一个需要专门去解决的问题了。无论是英文还是中文，分词的原理都是类似的，本文就对文本挖掘时的分词原理做一个总结。 1. 分词的基本原理 现代分词都是基于统计的分词，而统计的样本内容来自于一些标准的语料
文本挖掘中常用的停用词表
04-26
包括哈工大停用词表hit_stopwords.txt，四川大学机器学习智能实验室停用词库scu_stopwords.txt，百度词库baidu_stopwords.txt，中文停用词表cn_stopwords.txt，以及四表合一去重后的停用词表stopwords.txt
招商证券_20161017_金融工程_招金词酷-金融文本挖掘的分词工具.pdf
05-12
招商证券_20161017_金融工程_招金词酷-金融文本挖掘的分词工具.pdf
文本挖掘 分词算法等等
05-10
文本挖掘是从大量 文本数据中抽取隐含的，未知的，可能 有用的信息。 文本挖掘的研究意义 电子化的文本数量不断增长
文本挖掘 机器学习
01-26
文本主题词抽取研究与应用，机器学习 文本挖掘 中文分词
分词算法----正向和逆向最大匹配算法(含Python代码实现)
热门推荐
西小庄村高伟 的博客
08-17 1万+
自然语言处理、分词算法、最大匹配算法及具体代码实现
逆向最大匹配分词算法
计算机编程开发学习交流的专栏
04-05 1945
逆向最大匹配分词算法 ByJorbe2014/03/13计算机科学No Comments 中文分词是所有中文信息处理的基础。在数据挖掘、搜索引擎、自然语言处理等领域都起着至关重要的作用。中文分词算法大概可以分为三类：正向最大匹配、逆向最大匹配以及基于统计概率模型的算法。这篇博文讲的就是逆向最大匹配分词算法。其实正向最大匹配和逆向最大匹配算法类似。逆向最大匹配算法虽然简单，但在处理一些语句上面还是不能准确地分词，后面会具体讲到。 逆向最大匹配分词算法： 事先设置一个k值，下面的程序k值设为5，然...
python最大分词_中文分词--最大正向与逆向匹配算法python实现
weixin_39770226的博客
11-20 861
最大匹配法：最大匹配是指以词典为依据，取词典中最长单词为第一个次取字数量的扫描串，在词典中进行扫描（为提升扫描效率，还可以跟据字数多少设计多个字典，然后根据字数分别从不同字典中进行扫描）。例如：词典中最长词为“中华人民共和国”共7个汉字，则最大匹配起始字数为7个汉字。然后逐字递减，在对应的词典中进行查找。下面以“我们在野生动物园玩”为例详细说明一下正向与逆向最大匹配方法：1、正向最大匹配法：正向即...
文本挖掘技术-特征提取（基本概念部分）
weixin_43201090的博客
10-15 2060
一、分词与词性标注 1、分词 （1）基本方法 基于词典的方法 ①最大匹配法（MM从左向右） 设定最大词长，取最大词长字串，查字典，查到：放入分词序列s2，从s1中去掉该字串、 否则去掉最右边一个字，继续查字典，直至在字典中查到该词。 逆向最大匹配法（RMM从右向左）：对于汉语来说，逆向最大匹配法比(正向)匹配法更有效。 双向最大匹配法：比较MM法与RMM法的分词结果，从而决定正确的分词。 最佳匹配法（Optimum Matching method, OM法）：将词典中的单词按它们在文本中的出现频度的大小排
NLP之逆向最大匹配算法（BMM）
博客
10-25 7807
算法概述BMM是一个基于词典的分词算法，与之相似的还有正向最大匹配算法(FMM)和双向匹配算法(BM)。 算法的大致过程为： 1、输入最大词长maxWordLength，字典wordDict，待分句子。 2、从待分句子的末尾开始向前截取长度为maxWordLength的子句，进行分词。 3、对一个子句的分词过程为，首先判断子句是否在字典中，若在，则保存这个子句，并从原句中删除这个子句，转到2
文本挖掘技术研究进展_笔记
敷衍zgf的博客
08-06 870
文本挖掘技术研究现状—笔记
中文文本分词之——反向最大匹配法
nlcwdl的博客
04-13 976
中文分词一直是自然语言处理研究的基本课题之一，也是首要课题之一，由于汉语的特点导致这是一件非常复杂的事情。不过随着研究工作的不断深入，现如今已经出现了非常多的方法来处理中文分词，主要分为基于词典的、基于统计的以及两者组合的。而本文介绍的就是基于词典的一种中文分词方法——反向最大匹配法。
分词之逆向最大匹配法
zlhcsm的博客
01-21 1622
完整的代码和资料见 github:zlhcsm 知识普及：反向最大匹配法的基本原理与正向最大匹配法类似，只是分词顺序变为从右至左。 步骤 1，一般从一个字符串的结束位置，选择一个最大长度的词长的片段，如果序列不足最大词长，则选择全部序列。 2，首先看该片段是否在词典中，如果是，则算为一个分出来的词，如果不是，则从左边开始，减少一个字符，然后看短一点的这个片段是否在词典中，一次循环，直到只剩下...
用jieba分词文本挖掘
03-29
文本挖掘是指从大量文本数据中自动提取出有用的信息和知识的过程。而jieba分词是一种常用的中文分词工具，可以将中文文本按照词语切分成若干个词汇，从而为文本挖掘提供了基础。 以下是用jieba分词进行文本挖掘的步骤： 1. 导入jieba库 ``` import jieba ``` 2. 加载文本数据 假设我们有一个文本文件，名为“data.txt”，其中包含一些中文文本数据。我们可以使用以下代码将文本数据读入程序中： ``` with open('data.txt', 'r', encoding='utf-8') as f: text = f.read() ``` 3. 对文本数据进行分词 使用jieba分词对文本数据进行分词，得到词语列表： ``` words = jieba.lcut(text) ``` 4. 进行文本挖掘 利用分词得到的词语列表进行文本挖掘。常见的文本挖掘任务包括： - 关键词提取：从文本中提取出关键词，用于文本分类、聚类等任务。 ``` import jieba.analyse # 提取前10个关键词及其权重 keywords = jieba.analyse.extract_tags(text, topK=10, withWeight=True) for keyword, weight in keywords: print(keyword, weight) ``` - 情感分析：判断文本的情感倾向，如积极、消极或中性。 ``` import jieba.sentiment # 加载情感分析模型 jieba.sentiment.analyse.set_sentiment_file('sentiment.txt') # 获取文本的情感倾向 sentiment_score = jieba.sentiment.analyse.sentiment(text) if sentiment_score > 0: print('这是一篇积极的文章') elif sentiment_score < 0: print('这是一篇消极的文章') else: print('这是一篇中性的文章') ``` - 主题建模：从文本中提取出主题，用于文本分类、聚类等任务。 ``` import jieba.analyse from gensim import corpora, models # 提取关键词列表 keywords = jieba.analyse.extract_tags(text, topK=10) # 构建语料库 corpus = [jieba.lcut(sentence) for sentence in text.split('\n')] # 构建词袋模型 dictionary = corpora.Dictionary(corpus) corpus_bow = [dictionary.doc2bow(sentence) for sentence in corpus] # 训练LDA模型 lda_model = models.ldamodel.LdaModel(corpus_bow, num_topics=3, id2word=dictionary) # 输出每个主题的关键词 for i, topic in enumerate(lda_model.show_topics(num_topics=3, num_words=5)): print('主题%d：%s' % (i+1, topic)) ``` 以上是用jieba分词进行文本挖掘的基本步骤和常见任务。需要注意的是，jieba分词只是文本挖掘的一部分，实际的文本挖掘任务涉及到多个领域的知识，需要综合运用自然语言处理、机器学习、统计学等方法。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值