NLP_task3特征选择_点互信息和互信息(求词语关联性)

最新推荐文章于 2024-08-24 14:43:03 发布
最新推荐文章于 2024-08-24 14:43:03 发布
阅读量4.6k 收藏 10
点赞数 4
分类专栏： NLP 文章标签： 特征选择 点互信息
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zyq11223/article/details/90267069
版权
本文介绍了点互信息（PMI）和互信息的概念，它们在衡量两个词之间的相关性中起到关键作用。PMI常用于文本处理，通过统计词语共现分析语义相关性。互信息则是衡量随机变量之间相关性的信息论指标。在实际应用中，如NLP任务的特征选择，可能会使用PMI的变体PPMI来避免负无穷值。此外，还提到了如何使用sklearn计算互信息。
摘要由CSDN通过智能技术生成

点互信息和互信息

  1. 点互信息PMI

机器学习相关文献里面，经常会用到点互信息PMI(Pointwise Mutual Information)这个指标来衡量两个事物之间的相关性（比如两个词）。

关于PMI
PMI, 是互信息(NMI)中的一种特例, 而互信息,是源于信息论中的一个概念,主要用于衡量2个信号的关联程度.
至于PMI,是在文本处理中,用于计算两个词语之间的关联程度.
比起传统的相似度计算, pmi的好处在于,从统计的角度发现词语共现的情况来分析出词语间是否存在语义相关 , 或者主题相关的情况.

其原理很简单，公式如下：
在这里插入图片描述
在概率论中，我们知道，如果x跟y不相关，则p(x,y)=p(x)p(y)。二者相关性越大，则p(x, y)就相比于p(x)p(y)越大。

用后面的式子可能更好理解，在y出现的情况下x出现的条件概率p(x|y)除以x本身出现的概率p(x)，自然就表示x跟y的相关程度。

这里的log来自于信息论的理论，而且 log 1 = 0 ，也恰恰表明P(x,y) = P(x)P(y)，相关性为0，而且log是单调递增函数，所以 “P(x,y) 就相比于 P(x)P(y) 越大，x 和 y 相关性越大” 这一性质也得到保留。

举个自然语言处理中的例子来说，我们想衡量li

最低0.47元/天 解锁文章
沐漜
关注
专栏目录
如何让复杂的知识图谱更加易于理解和快速地定位关键信息？
AI天才研究院
08-05 794
2020年是中国知识图谱领域的一年，信息化浪潮席卷全球各个行业，成为许多创新型企业的关键工具。知识图谱作为一种基于语义的网络结构数据的存储与查询方式，在人工智能、大数据分析等领域扮演着越来越重要的角色。但与此同时，随着知识图谱的不断增长，在维护管理上也面临着巨大的挑战。如何让复杂的知识图谱更加易于理解和快速地定位关键信息，是一个值得探讨的问题。本文通过对作者在写作过程中对知识图谱的理解以及所采用的方法论，为读者呈现一个较为系统的的规范建议。希望能够给读者提供一些启发、借鉴和参考。
《自然语言处理-基于预训练模型的方法》笔记
github_34349558的博客
08-13 5402
《自然语言处理-基于预训练模型的方法》笔记 文章目录《自然语言处理-基于预训练模型的方法》笔记@[toc]〇.写在前面一、绪论(一) NLP 任务体系I.任务层级II.任务类别III.研究层次(二) 预训练的时代二、NLP 基础(一) 文本表示I.独热向量II.分布式表示III.词嵌入表示IV.词袋表示(二) NLP 任务I.语言模型II. 基础任务III. 应用任务(三) 基本问题I. 文本分类问题II. 结构预测问题III. 序列到序列问题(四) 评价指标I. 标准答案明确的情况II. 标准答案不明确的
点互信息和互信息 PMI
qq_15821487的博客
09-02 330
在数据挖掘或者信息检索的相关资料里，经常会用到PMI（Pointwise Mutual Information）这个指标来衡量两个事物之间的相关性。PMI的定义如下： 这个定义所体现的原理其实是相当直白的。在概率论中，我们知道，如果x跟y不相关，则 P(x,y) = P(x)P(y)。二者相关性越大，则 P(x,y) 就相比于 P(x)P(y) 越大。根据条件概率公式，你还可以写成 这也很好理解，在y出现的情况下x出现的条件概率 p(x|
互信息和点互信息
konstantin的博客
03-07 1523
互信息和点互信息 创建日期 星期四 07 三月 2019 点互信息PMI(Pointwise Mutual Information) 点互信息就是很亮两个失误的相关性, 在概率论中，我们知道，如果x跟y不相关，则p(x,y)=p(x)p(y)。二者相关性越大，则p(x, y)就相比于p(x)p(y)越大。用后面的式子可能更 好理解，在y出现的情况下x出现的条件概率p(x|y)除以x本身出现...
深度学习100问5-什么是点互信息
最新发布
yyq916的博客
08-24 223
点互信息可以帮助我们发现文本中的重要词汇组合、提取关键词、构建语义网络等。比如在关键词提取任务中，可以通过计算每个词与文档主题词的 PMI 值，选择 PMI 值较高的词作为关键词，从而更好地概括文档的主要内容。例如在文本分析中，如果两个词经常一起出现，那么它们的 PMI 值就会较高，说明这两个词之间的关联比较紧密。反之，如果两个词很少一起出现，PMI 值就会较低，表明它们的关联较弱。在自然语言处理中，通常用于衡量两个词共同出现的概率与它们各自单独出现概率的关联程度。
【NLP】21个经典深度学习句间关系模型｜代码&技巧
fengdu78的博客
03-20 2092
卷友们好，我是rumor。鸽了很久的NLP入门系列终于在我的努力下又更新了。上次聊了分类任务的模型与技巧，今天我们就来聊聊句间关系任务。句间关系的输入是一对文本，输出是文本间的关系。常用的...
PMI（Pointwise Mutual Information）
m0_37867411的博客
03-11 3359
https://blog.csdn.net/index20001/article/details/79079031
点互信息（PMI）和正点互信息（PPMI）
一个小菜鸟的博客
03-29 4326
最近在看代码的时候，发现论文用到了PPMI，索性这里记录一下两个概念： PMI（点互信息） 用来衡量两个事物之间的相关性 公式如下 如何理解？ 在概率论当中，如果说x与y两个变量无关，那么p(x,y)就等于p(x)p(y) 如果说x与y越相关，那么p(x,y)与p(x)p(y)的比值就越大 为了更好理解，这里有一个例子： 分母19是所有的词对共同出现的总次数（1+1+1+1+2+1+1+1+6+4） 这里的例子进行理解的时候，先是红色框的0.32，是根据当前词
【NLP】互信息
Loewi的博客
04-13 1120
【任务4 -文本表示】 TF-IDF原理。 文本矩阵化，使用词袋模型，以TF-IDF特征值为权重。（可以使用Python中TfidfTransformer库） 互信息的原理。 使用第二步生成的特征矩阵，利用互信息进行特征筛选。 互信息 互信息是衡量两个随机变量的相关性，也就是一个随机变量中包含的关于另一个随机变量的信息量，所谓的随机变量，即随机试验结果的量的表示，可以简单理解为按照一个概率分...
Datawhale《深度学习-NLP》Task3- 特征选择
mxs1123的博客
03-07 1671
5. 参考 文本挖掘预处理之TF-IDF：文本挖掘预处理之TF-IDF - 刘建平Pinard - 博客园 使用不同的方法计算TF-IDF值：使用不同的方法计算TF-IDF值 - 简书 sklearn-点互信息和互信息：sklearn：点互信息和互信息 - 专注计算机体系结构 - CSDN博客 如何进行特征选择（理论篇）机器学习你会遇到的“坑”：如何进行特征选择（理论篇）...
斯坦福大学自然语言处理第七课“情感分析（Sentiment Analysis）”
自然语言处理小站
12-02 1万+
课程地址:https://class.coursera.org/nlp/lecture/311. What is Sentiment Analysis?情感分析（Sentiment analysis）又可以叫做 意见抽取（Opinion extraction） 意见挖掘（Opinion mining） 情感挖掘（Sentiment mining） 主观分析（Subjectivity anal
互信息计算_互信息的计算_
10-03
已知：信源符号为英文字母（不区分大小写）和空格。输入：一篇英文的信源文档（5000词以上）。输出：列出每两个字母之间的互信息并计算平均互信息（输出到文本文件中）。
互信息的计算
01-21
互信息(Mutual Information)是信息论里一种有用的信息度量，它可以看成是一个随机变量中包含的关于另一个随机变量的信息量，或者说是一个随机变量由于已知另一个随机变量而减少的不肯定性.综合网上的一些有关互信息的计算，这里一共提供7种不同的程序供大家参考；后期可以继续交流。
python计算互信息_标准化互信息NMI计算步骤及其Python实现
weixin_39684960的博客
02-04 1804
Excellence is a continuous process and not an accident.卓越是一个持续的过程而不是一个偶然事件。标准化互信息NMI计算步骤及其Python实现标准化互信息NMI具体定义可以参考另一篇博客：https://smj2284672469.github.io/2017/10/27/community-detection-measures/#more本文...
NLP︱句子级、词语级以及句子-词语之间相似性（相关名称：文档特征、词特征、词权重）
热门推荐
素质云笔记
08-10 4万+
关于相似性以及文档特征、词特征有太多种说法。弄得好乱，而且没有一个清晰逻辑与归类，包括一些经典书籍里面也分得概念模糊，所以擅自分一分。 —————————————————————————————————————————————— 一、单词的表示方式 1、词向量       词向量是现行较为多的方式，另外一篇博客已经写了四种词向量的表达
基于互信息的词语搭配抽取
zhongfu的博客
03-01 3874
一、前言 互信息，是衡量两个变量X和Y的相关性，对于离散信息互信息的表示如下： 对于连续性变量的定义如下： 其中p(x,y)为联合概率分布函数，p(x)和p(y)为边缘概率分布函数；这里的log来自于信息理论，当取log后，就将一个概率转换为了信息量（要再乘以-1将其变为正数），以2为底时，可以简单理解为取多少个bits表示这个变量。 二、互信息与条件熵、联合熵的关系 ...
相邻字符判相等
weixin_62659979的博客
10-31 4731
题目描述 输入一行字符（长度小于等于1000），判断其中是否存在相邻两个字符相同的情形，若有，则输出该相同的字符并结束程序(只需输出第一种相等的字符即可)。否则输出No。 输入要求 输入一行字符（长度小于等于1000） 输出要求 若有相邻字符相等则输出该相同的字符，否则输出No。（只需要输出第一种相同的情况即可） 输入样例 hello anna 输出样例 l #include<stdio.h> #include<string.h>.
2.2判断字符相邻
qq_52606374的博客
03-28 752
#include<stdio.h> int main() { char ch1,ch2,ch3; int a,b; scanf("%c%c%c",&ch1,&ch2,&ch3); a=ch1-ch2; b=ch2-ch3; if(((ch1>=‘a’&&ch1<=‘z’)||(ch1>=‘A’&&ch1<=‘Z’))&&((ch2>=‘a’&&ch2<=‘z’)||(ch2
互信息的数学解释以及matlab编程
沈春旭的博客
03-30 2万+
1.互信息 互信息是信息论中的一个基本概念，通常用于描述两个系统间的统计相关性，或者是一个系统中所包含另一个系统中信息的多少。 引入互信息对图像进行配准是因为：不需要假定两幅图像灰度的对应关系，不需要对图像进行分割。但是这对Ct-MR配准、或者CT-PET配准是可行的，对于CT-US配准是不可行的。 在概率论中，两个随机变量A和B，他们的边缘概率分布为p_A (a)和p_
mRMR算法在特征排序中的应用：最大互信息与最小冗余
本资源提供的文件名称“Ranking heterogeneous features with mRMR and mutual information”强调了mRMR算法在处理包含多种特征类型的数据集时的能力，特别是在生物信息学、金融数据分析和自然语言处理等领域的应用...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值