1.7使用Word Embedding实现中文自动摘要《深入浅出Embedding》

最新推荐文章于 2024-04-30 01:54:06 发布
最新推荐文章于 2024-04-30 01:54:06 发布
阅读量837 收藏 1
点赞数
分类专栏： 自然语言处理 文章标签： 自然语言处理 深度学习 神经网络
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zhang_xiaomeng/article/details/123160168
版权

本节通过一个实例讲解如何使用Word Embedding实现中文自动摘要，这里使用Gensim中的word2vec模型来生成Word Embedding.

1.7.1 背景说明

使用Word Embedding方法提取关键字，主要步骤如下：

1）导入一个中文语料库

2）基于这个中文语料库，搭建word2vec模型，训练得到各单词词向量

3）导入一个文档，包括各主题及其概要描述信息，预处理该文档，并转换为词向量

4）用聚类的方法，生成各主题的若干个关键词

1.7.2 预处理中文语料库

利用jieba分词，过滤停用词，实现代码如下：

夜空霓虹
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
如何用Python处理自然语言？（Spacy与WordEmbedding）
02-24
我总爱重复一句芒格爱说的话：Totheonewithahammer,everythinglookslikeanail.（手中有锤，看什么都像钉）这句话是什么意思呢？就是你不能只掌握数量很少的方法、工具。否则你的认知会被自己能力框住。不只是存在盲点，而是存在“盲维”。你会尝试用不合适的方法解决问题（还自诩“一招鲜，吃遍天”），却对原本合适的工具视而不见。结果可想而知。所以，你得在自己的工具箱里面，多放一些兵刃。最近我又对自己的学生，念叨芒格这句话。因为他们开始做实际研究任务的时候，一遇到自然语言处理(NaturalLanguageProcessing,NLP)，脑子里想到的就是词云、情感分析和L
使用Word Embedding构造简洁有效的文本摘要系统
热门推荐
张俊林的博客
04-28 3万+
本文介绍了使用Word Embedding进行摘要提取的一种非常简洁的方法。
【NLP】使用Word Embedding实现中文自动摘要
小哲的博客
07-16 1029
本文通过一个实例介绍如何使用Word Embedding实现中文自动摘要，使用Gensim中的word2vec模型来生成Word Embedding。
中文NLP的第二步：分词转词表ID，基于 PaddleHub 实现（学习心得）
AItrust的博客
05-10 2643
上一步我们做了分词： 中文NLP的第一步：分词，基于 PaddleHub 实现，绝对小白友好（学习心得） 第二步是把分词结果，对照词表转化成 ID 词表是什么呢？ 首先我们要知道，中文字符是没办法直接计算的，更不要说进一步的操作了，所以我们需要的是词嵌入，获得 word embedding，详见： 为什么NLP中需要词嵌入 word embeddings（学习心得） 而词语要转化为 word embedding 之前，先要根据词表转化为对应的序号 ID，这样转化程序才知道你转化的是哪个词 所以这里面是 2
常用的词嵌入（Word Embedding）方法及其原理（超详细的李宏毅视频课笔记）
双鸭山•克里菲斯•北方孤星之堕
08-01 1万+
介绍最早的电脑读取文字的 每一个词汇都当做一个符号，都用向量来描述，这个方法是不足的，这样词汇和词汇之间的相关性反应不出来。 后来有了word class，将词汇进行分类。 这个方法也比较粗糙，比如动物也分了很多种 Word Embedding 每一个的词汇都用向量来描述，但是每一个维度是一个属性。 怎么做？这是一个无监督方法，通过让模型阅读大量词汇，就可以知道这个embedding的feature vector长什么样子。 就是找一个network，输入是一个词汇，输出就是那个embedding， 输
word embedding是什么，word embedding之前需要做什么？
weixin_44535934的博客
01-22 2128
我们知道自然语言处理是让机器能够看懂并理解人类所说的语言，能够像人类一样进行交互，和人对话。从自然语言的角度看，NLP可以大致分为自然语言处理和自然语言生成这两部分，就是理解文本和文本生成。具体应用领域几乎覆盖日常生活，如提取文章摘要，文本情感分析，淘宝京东上机器人客服的智能问答，实体命名识别，知识图谱，信息检索等等。又比如说现在已经有方言的语音转文字技术。那具体实现起来该怎么样呢？我们总不能直接把一堆文字或者一段英文直接倒给计算机，计算机只能处理数字，那么我们就得把词给转换成可以供计算机计算的数。
NLP 利器 Gensim 中 word2vec 模型词嵌入 Word Embeddings 的可视化
AItrust的博客
06-08 1066
本文为系列文章之一，前面的几篇请点击链接： NLP 利器 gensim 库基本特性介绍和安装方式 NLP 利器 Gensim 库的使用之 Word2Vec 模型案例演示 NLP 利器 Gensim 来训练自己的 word2vec 词向量模型 NLP 利器 Gensim 来训练 word2vec 词向量模型的参数设置 NLP 利器 Gensim 中 word2vec 模型的内存需求，和模型评估方式 NLP 利器 Gensim 中 word2vec 模型的恢复训练：载入存储模型并继续训练 NLP 利器 Gens
NLP-词向量(Word Embedding)：Embedding（Tranform Object To Vector）【对象向量化；Embedding的本质是以one-hot为输入的单层全连接层】
u013250861的博客
12-22 2081
- 近年来，NLP自然语言处理、推荐系统，以及计算机视觉已成为目前工业界算法岗的主流方向，无论在哪个领域，对“Embedding”这个词概念的理解都是每个庞大知识体系的基石。 - “Embedding”直译是嵌入式、嵌入层。它能把万物嵌入万物，是沟通两个世界的桥梁！ - 用数学的话来说：“它是单射且同构的” - 地图就是对于现实地理的Embedding，现实的地理地形的信息其实远远超过三维，但是地图通过颜色和等高线等来最大化表现现实的地理信息。 - 通过Embedding，我们在现实世界里的文字、图片、语言
WordEmbedding-WikiChinese：基于中文维基百科文本数据训练词向量
02-19
基于中文维基百科文本数据训练词向量 一，数据获取 本词向量利用的是中文维基百科的语料进行训练。 语料地址： （大小1.16G） 也可以在我的网盘上下载：链接： 提取码：ihu4 二，数据转换 原数据的格式是xml，我们可以将其转换为txt。 这里使用的是gensim自带的WikiCorpus，首先读取xml文件到input_file中，然后其中的get_texts方法会生成一个get_texts器，每一个继承蕴含了一篇文章，这样我们就可以将其写入新的txt文件中了。 三，繁体数据转换为简体数据 该Wiki数据是繁体中文数据，我们要把他们转换为简体中文数据。 利用zhconv包。 四，分词 利用结巴分词。 五，去除非中文词 一些单词中会包含非中文的词，我们要利用正则表达式将该词移除。 判断是否中文词的正则表达式为： ^[\u4e00-\u9fa5]+$ 六，词向量训练 利用from gens
Word Embedding的通俗解释
https://blog.datasource.space
07-27 4577
**Word Embedding是NLP中最频繁出现的词了，关于word embedding，其实很简单。 word embedding的意思是：给出一个文档，文档就是一个单词序列比如 “A B A C B F G”, 希望对文档中每个不同的单词都得到一个对应的向量(往往是低维向量)表示。 比如，对于这样的“A B A C B F G”的一个序列，也许我们最后能得到：A对应的向量为[0.1 0.6 -0.5]，B对应的向量为[-0.2 0.9 0.7] （此处的数值只用于示意） 之所以希望把每个单词变成一个
embedding理解.pdf
04-08
embedding理解.pdf
WordEmbedding源文件，写的清晰明了，供参考
11-28
自己写的，WordEmbedding源文件，写的清晰明了，供初学者参考。
Chinese Textual Entailment Recognition Enhanced with Word Embedding
02-09
Textual entailment has been proposed as a unifying generic framework for modeling language variability and semantic ... Then a word embedding based lexical entailment module is added to enhance c
cw2vec: Learning Chinese Word Embeddings with Stroke n-gram Information阅读笔记
yang_daxia的博客
01-07 1480
作者提出了一种基于n元笔画的中文词嵌入，可以有效的刻画中文的语义特征以及形态学特征。相对于现存的word2Vec，Glove,CWE,JWE以及GWE，cw2vec在语义分析，文本分类，命名实体识别任务中表现更好。 1.引言 与onehot词表征不同，低维的词嵌入可以更好的刻画自然语言的语义特征，广泛应用于词性分类，命名实体识别，机器翻译等领域。现存的方法主要是词级别的基于上下文信息学习发词表...
什么是词嵌入（word embedding）
Todd_168的博客
02-28 2271
整理自知乎 Embedding在数学上表示一个maping, f: X -> Y， 也就是一个function。其中该函数是 injective（就是我们所说的单射函数，每个Y只有唯一的X对应，反之亦然） structure-preserving (结构保存，比如在X所属的空间上X1 < X2,那么映射后在Y所属空间上同理 Y1 < Y2)。 那么对于word embedd...
一文读懂Embedding
qq_44866969的博客
08-28 4973
解读Embedding
文本处理——Embedding、Word embedding、Word2vec 之说
weixin_42305378的博客
06-03 1393
这篇主要就是想让大家了解下 Embedding、word embedding、word2vec的一些相关知识。 Embedding在数学上表示一个单射的、结构保持的映射 f: X -> Y， 也就是一个function，此处的结构保持的具体含义要依赖于X 和 Y 是哪种数学结构的实例而定。 举个例子：我们可以把整数“嵌入”进有理数之中。显然，整数是一个group，同时它又是有理数的一个subgroup。整数集合中的每个整数，在有理数集合中都能找到一个唯一的对应（其实就是它本身）。同时，整数集合中的每个整数
M3E，开源中文 Embedding 模型使用笔记
清水至清
10-25 3245
【代码】M3E，开源中文 Embedding 模型使用笔记。
视觉语言模型详解
最新发布
2401_84038983的博客
04-30 537
视觉语言模型是可以同时从图像和文本中学习的多模态模型，其属于生成模型，输入为图像和文本，输出为文本。大视觉语言模型具有良好的零样本能力，泛化能力良好，并且可以处理包括文档、网页等在内的多种类型的图像。其拥有广泛的应用，包括基于图像的聊天、根据指令的图像识别、视觉问答、文档理解、图像描述等。一些视觉语言模型还可以捕获图像中的空间信息，当提示要求其检测或分割特定目标时，这些模型可以输出边界框或分割掩模，有些模型还可以定位不同的目标或回答其相对或绝对位置相关的问题。
word embedding 代码实现
07-28
对于实现词嵌入（Word Embedding）的代码，有多种方法可以选择。以下是一个简单的示例，演示了如何使用Python和gensim库来训练和使用Word2Vec模型： 首先，确保已经安装了gensim库。可以使用以下命令进行安装： ``` pip install gensim ``` 接下来，我们可以使用以下代码来实现Word Embedding： ```python from gensim.models import Word2Vec # 训练数据 sentences = [["I", "like", "apples"], ["I", "like", "bananas"], ["I", "like", "oranges"]] # 训练Word2Vec模型 model = Word2Vec(sentences, min_count=1) # 获取单词的词向量 word_vector = model.wv['apples'] print(word_vector) # 找到与指定单词最相似的单词 similar_words = model.wv.most_similar('apples') print(similar_words) ``` 在上述代码中，我们首先定义了训练数据（sentences），它是一个包含多个句子的列表，每个句子都是一个包含多个单词的列表。然后，我们使用这些句子来训练Word2Vec模型。 在训练完成后，我们可以使用`model.wv[word]`来获取指定单词的词向量。词向量是一个表示单词语义特征的向量。 此外，我们还可以使用`model.wv.most_similar(word)`来找到与指定单词最相似的单词列表。 请注意，这只是Word Embedding的一种实现方式。还有其他方法，例如GloVe、FastText等。具体实现方式可能有所不同，但基本原理是相似的。 希望以上代码能对你有所帮助！如果你有任何问题，请随时提问。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值