自然语言处理之话题建模：Non-Negative Matrix Factorization (NMF)：主题模型评估方法

最新推荐文章于 2024-10-01 20:13:39 发布

zhubeibei168

最新推荐文章于 2024-10-01 20:13:39 发布

阅读量1k

点赞数 20

分类专栏：自然语言处理文章标签：自然语言处理 easyui 人工智能

本文链接：https://blog.csdn.net/zhubeibei168/article/details/142642476

版权

自然语言处理专栏收录该内容

178 篇文章 1 订阅

订阅专栏

自然语言处理之话题建模：Non-Negative Matrix Factorization (NMF)：主题模型评估方法

在这里插入图片描述

自然语言处理与话题建模简介

自然语言处理的基本概念

自然语言处理（Natural Language Processing, NLP）是计算机科学领域与人工智能领域中的一个重要方向。它研究如何处理和运用自然语言；自然语言认知则是指让计算机“懂”人类的语言。NLP建立在语言学、计算机科学和数学统计学的基础之上，涉及语音识别、自然语言理解、自然语言生成、问答系统、机器翻译、情感分析、文本分类、文本摘要、对话系统等多个方面。

示例：情感分析

from textblob import TextBlob

# 一段中文文本
text = "这部电影太棒了，我非常喜欢它！"

# 使用TextBlob进行情感分析
blob = TextBlob(text)
sentiment = blob.translate(to='en').sentiment

# 输出情感分析结果
print(f"情感极性：{sentiment.polarity}")
print(f"主观性：{sentiment.subjectivity}")

话题建模的定义与应用

话题建模（Topic Modeling）是一种统计建模方法，用于发现文档集合或语料库中抽象的话题。它假设文档由多个话题组成，每个话题由一组词的概率分布表示。话题建模可以用于文本挖掘、信息检索、文本分类、推荐系统等领域，帮助理解和组织大量文本数据。

示例：使用Gensim进行LDA话题建模

import gensim
from gensim import corpora

# 文档集合
documents = ["自然语言处理是计算机科学领域的重要方向",
             "话题建模可以帮助我们理解文本数据",
             "NMF在话题建模中扮演重要角色"]

# 创建词典
dictionary = corpora.Dictionary([doc.split() for doc in documents])

# 创建语料库
corpus = [dictionary.doc2bow(doc.split()) for doc in documents]

# 创建LDA模型
lda = gensim.models.LdaModel(corpus, num_topics=2, id2word=dictionary, passes=10)

# 输出话题
for topic in lda.print_topics():
    print(topic)

NMF在话题建模中的作用

非负矩阵分解（Non-Negative Matrix Factorization, NMF）是一种矩阵分解技术，它将一个非负矩阵分解为两个非负矩阵的乘积。在话题建模中，NMF可以用于提取文档中的主题，通过将文档-词矩阵分解为文档-主题矩阵和主题-词矩阵，从而揭示文档集合中的潜在话题结构。

示例：使用Scikit-learn进行NMF话题建模

from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.decomposition import NMF

# 文档集合
documents = ["自然语言处理是计算机科学领域的重要方向",
             "话题建模可以帮助我们理解文本数据",
             "NMF在话题建模中扮演重要角色"]

# 创建TF-IDF向量化器
vectorizer = TfidfVectorizer(max_df=0.95, min_df=2, stop_words='english')
tfidf = vectorizer.fit_transform(documents)

# 创建NMF模型
nmf = NMF(n_components=2, random_state=1)
nmf.fit(tfidf)

# 输出话题
feature_names = vectorizer.get_feature_names_out()
for topic_idx, topic in enumerate(nmf.components_):
    print(f"Topic #{topic_idx + 1}:")
    print(" ".join([feature_names[i] for i in topic.argsort()[:-5:-1]]))

数据样例解释

在上述NMF话题建模的示例中，我们首先使用TfidfVectorizer将文档集合转换为TF-IDF矩阵，其中每一行代表一个文档，每一列代表一个词，矩阵中的每个元素表示词在文档中的TF-IDF值。然后，我们使用NMF模型将TF-IDF矩阵分解为两个矩阵：文档-主题矩阵和主题-词矩阵。最后，我们输出每个话题中权重最高的前五个词，以直观地展示话题内容。

NMF在话题建模中的优势在于它能够生成易于解释的话题，因为NMF的分解结果是非负的，这使得每个话题可以被看作是词的加权组合，而权重的大小反映了词在话题中的重要程度。此外，NMF还可以用于推荐系统、图像处理等领域，其应用范围广泛。

总结

自然语言处理（NLP）是处理和运用自然语言的计算机科学领域，话题建模是NLP中用于发现文档集合中抽象话题的统计建模方法。NMF作为一种矩阵分解技术，在话题建模中能够有效地提取文档中的主题，通过将文档-词矩阵分解为文档-主题矩阵和主题-词矩阵，揭示文档集合中的潜在话题结构。通过上述示例，我们可以看到NMF在话题建模中的具体应用，以及如何使用Python中的Scikit-learn库来实现这一过程。

自然语言处理之话题建模：Non-Negative Matrix Factorization (NMF)

NMF的数学基础

Non-Negative Matrix Factorization (NMF) 是一种矩阵分解技术，其目标是将一个非负矩阵分解为两个非负矩阵的乘积。假设我们有一个文档-词矩阵 $V$ ，其中 $V_{ij}$ 表示第 $i$ 个文档中第 $j$ 个词的频率。NMF 将尝试分解 $V$ 为两个矩阵 $W$ 和 $H$ 的乘积，即 $\approx WH$ ，其中 $W$ 和 $H$ 都是非负的。

矩阵分解公式

给定一个 $\times n$ 的非负矩阵 $V$ ，NMF 寻找两个非负矩阵 $W$ ( $\times k$ ) 和 $H$ ( $\times n$ )，使得：

$\approx WH$

其中 $k$ 是分解的秩，通常远小于 $m$ 和 $n$ 。

目标函数

NMF 通过最小化重构误差来优化 $W$ 和 $H$ ，常见的误差度量包括欧氏距离和 Kullback-Leibler 散度。例如，使用欧氏距离的目标函数为：

$min_{W,H} ||V - WH||^2$

NMF算法详解

NMF 的算法通常基于迭代优化过程，其中 $W$ 和 $H$ 的元素通过更新规则逐步调整，以最小化目标函数。更新规则确保了矩阵元素的非负性。

更新规则示例

使用梯度下降法更新 $W$ 和 $H$ 的元素，可以采用以下更新规则：

$W_{ik} \leftarrow W_{ik} \times \frac{(VH^T)_{ik}}{(WHH^T)_{ik}}$

$H_{kj} \leftarrow H_{kj} \times \frac{(W^TV)_{kj}}{(W^TWH)_{kj}}$

Python代码示例

使用 scikit-learn 库中的 NMF 类进行 NMF 分解：

from sklearn.decomposition import NMF
from sklearn.feature_extraction.text import CountVectorizer
import numpy as np

# 示例文档
documents = [
    "The sky is blue and the sky is vast",
    "The sun is bright and the sun is hot",
    "The wind is blowing and the wind is cold"
]

# 文档向量化
vectorizer = CountVectorizer()
V = vectorizer.fit_transform(documents)

# NMF分解
nmf = NMF(n_components=2, random_state=1)
W = nmf.fit_transform(V)
H = nmf.components_

# 重构矩阵
V_approx = W @ H

# 打印重构矩阵
print(V_approx)

NMF与主题模型的结合

NMF 可以用于话题建模，其中 $W$ 矩阵可以解释为文档-主题矩阵，而 $H$ 矩阵可以解释为主题-词矩阵。通过 NMF 分解，我们可以识别出文档中的主要话题以及每个话题相关的词汇。

话题建模示例

假设我们有以下文档集合：

documents = [
    "The sky is blue and the sky is vast",
    "The sun is bright and the sun is hot",
    "The wind is blowing and the wind is cold",
    "The sea is vast and the sea is deep",
    "The stars are bright and the stars are far"
]

使用 NMF 进行话题建模：

# 文档向量化
V = vectorizer.fit_transform(documents)

# NMF分解
nmf = NMF(n_components=2, random_state=1)
W = nmf.fit_transform(V)
H = nmf.components_

# 打印主题-词矩阵
feature_names = vectorizer.get_feature_names_out()
for topic_idx, topic in enumerate(H):
    print("Topic #%d:" % topic_idx)
    print(" ".join([feature_names[i]
                    for i in topic.argsort()[:-5 - 1:-1]]))

输出解释

上述代码将输出两个话题，每个话题包含与之最相关的五个词汇。这些词汇可以用来描述每个话题的主题。

结论

NMF 是一种强大的工具，用于从非负数据中提取潜在的结构。在自然语言处理中，它特别适用于话题建模，通过分解文档-词矩阵，可以揭示文档集合中的主要话题和相关词汇。通过上述示例，我们可以看到 NMF 如何应用于实际数据，以识别和理解文本中的主题。

NMF主题模型构建

文本预处理技术

文本预处理是构建NMF主题模型的第一步，它包括了多个子步骤，旨在将原始文本转换为适合模型训练的格式。以下是一些常见的文本预处理技术：

分词：将文本分割成单词或短语。
去除停用词：如“的”、“是”、“在”等常见但不携带语义信息的词汇。
词干提取或词形还原：将词汇还原为其基本形式，减少词汇的多样性。
去除标点符号和数字：除非它们对主题有特殊意义，否则通常会被去除。
转换为小写：确保大小写不成为区分词汇的因素。

示例代码

from sklearn.feature_extraction.text import CountVectorizer
from nltk.corpus import stopwords
from nltk.stem import SnowballStemmer
import nltk
nltk.download('stopwords')

# 假设我们有以下文本数据
documents = [
    "自然语言处理是人工智能的一个重要领域。",
    "人工智能在医疗、教育和金融领域有广泛应用。",
    "金融领域的自然语言处理应用正在快速发展。"
]

# 定义预处理函数
def preprocess_text(text):
    # 分词
    words = nltk.word_tokenize(text)
    # 去除停用词
    stop_words = set(stopwords.words('chinese'))
    filtered_words = [word for word in words if word not in stop_words]
    # 词干提取
    stemmer = SnowballStemmer("chinese")
    stemmed_words = [stemmer.stem(word) for word in filtered_words]
    # 转换为小写
    lower_case_words = [word.lower() for word in stemmed_words]
    # 返回预处理后的文本
    return " ".join(lower_case_words)

# 预处理文本
processed_docs = [preprocess_text(doc) for doc in documents]

# 创建词频矩阵
vectorizer = CountVectorizer()
X = vectorizer.fit_transform(processed_docs)

词频-逆文档频率(TF-IDF)计算

TF-IDF是一种用于信息检索和文本挖掘的统计方法，它反映了词汇在文档中的重要程度。TF-IDF值高表示词汇在文档中频繁出现，但在整个语料库中不常见，因此对文档的区分度高。

示例代码

from sklearn.feature_extraction.text import TfidfVectorizer

# 使用TF-IDFVectorizer进行预处理和转换
tfidf_vectorizer = TfidfVectorizer(use_idf=True)
tfidf_matrix = tfidf_vectorizer.fit_transform(processed_docs)

# 打印TF-IDF矩阵
print(tfidf_matrix)

NMF模型训练与参数调整

NMF（非负矩阵分解）是一种将矩阵分解为两个非负矩阵的算法，特别适用于主题建模。通过NMF，我们可以从文档的词频矩阵中提取出主题。

示例代码

from sklearn.decomposition import NMF

# 设置NMF模型参数
nmf = NMF(n_components=2, random_state=1)

# 训练模型
W = nmf.fit_transform(tfidf_matrix)
H = nmf.components_

# 打印主题
feature_names = tfidf_vectorizer.get_feature_names_out()
for topic_idx, topic in enumerate(H):
    print(f"主题 {topic_idx + 1}:")
    print(" ".join([feature_names[i] for i in topic.argsort()[:-10 - 1:-1]]))

参数调整

NMF模型的参数包括n_components（主题数量）、init（初始化方法）、solver（求解器）等。调整这些参数可以优化模型的性能。

n_components：主题的数量，需要根据具体任务和数据集来确定。
init：初始化方法，可以选择'random'或'nndsvd'等。
solver：求解器，可以选择'cd'（坐标下降）或'mu'（乘法更新）。

示例代码

# 调整NMF模型参数
nmf = NMF(n_components=3, init='nndsvd', solver='mu', random_state=1)

# 训练模型
W = nmf.fit_transform(tfidf_matrix)
H = nmf.components_

# 打印主题
for topic_idx, topic in enumerate(H):
    print(f"主题 {topic_idx + 1}:")
    print(" ".join([feature_names[i] for i in topic.argsort()[:-10 - 1:-1]]))

通过上述步骤，我们可以构建并调整NMF主题模型，以适应不同的文本数据和主题提取需求。

自然语言处理之话题建模：Non-Negative Matrix Factorization (NMF) 评估方法

主题连贯性评估

主题连贯性评估是衡量话题模型质量的重要指标之一，它关注于话题内部词的语义连贯性。一个高质量的话题应该包含语义上紧密相关的词。NMF 生成的话题模型可以通过计算话题内词的共现频率或基于词向量的相似度来评估连贯性。

示例：基于词向量的连贯性评估

假设我们有以下话题模型输出的词列表：

话题1: ['机器', '学习', '算法', '数据', '挖掘']
话题2: ['自然', '语言', '处理', '文本', '分析']

我们可以使用预训练的词向量模型（如 Word2Vec 或 BERT）来计算话题内词的平均相似度。

import numpy as np
from gensim.models import KeyedVectors

# 加载预训练的词向量模型
word_vectors = KeyedVectors.load_word2vec_format('path/to/word2vec.bin', binary=True)

# 定义话题词列表
topics = [
    ['机器', '学习', '算法', '数据', '挖掘'],
    ['自然', '语言', '处理', '文本', '分析']
]

# 计算话题连贯性
def topic_coherence(topic):
    total_similarity = 0
    for i in range(len(topic)):
        for j in range(i + 1, len(topic)):
            try:
                similarity = word_vectors.similarity(topic[i], topic[j])
                total_similarity += similarity
            except KeyError:
                # 如果词不在词向量模型中，则跳过
                continue
    return total_similarity / (len(topic) * (len(topic) - 1) / 2)

# 输出每个话题的连贯性
for i, topic in enumerate(topics):
    coherence = topic_coherence(topic)
    print(f'话题{i+1}的连贯性: {coherence}')

主题多样性评估

主题多样性评估确保话题模型能够生成不同的话题，避免话题间的重叠。一个高多样性的模型意味着每个话题都有其独特的词分布。

示例：计算话题多样性

假设我们有以下话题模型输出的词分布矩阵 W 和文档-词矩阵 H：

W = np.array([[0.1, 0.2, 0.3, 0.1, 0.3],
              [0.2, 0.1, 0.1, 0.4, 0.2],
              [0.3, 0.3, 0.1, 0.1, 0.2]])

H = np.array([[0.1, 0.2, 0.3, 0.1, 0.3],
              [0.2, 0.1, 0.1, 0.4, 0.2],
              [0.3, 0.3, 0.1, 0.1, 0.2]])

我们可以计算话题间的欧氏距离或余弦相似度来评估多样性。

from sklearn.metrics.pairwise import cosine_similarity

# 计算话题多样性
def topic_diversity(H):
    # 计算话题间的余弦相似度矩阵
    similarity_matrix = cosine_similarity(H)
    # 计算话题间的平均相似度
    avg_similarity = np.mean(similarity_matrix[np.triu_indices_from(similarity_matrix, k=1)])
    # 多样性定义为 1 减去平均相似度
    return 1 - avg_similarity

# 输出话题多样性
diversity = topic_diversity(H)
print(f'话题多样性: {diversity}')

外部数据评估方法

外部数据评估方法利用额外的标注数据来评估话题模型的性能。例如，如果话题模型应用于新闻分类，我们可以使用分类准确率作为评估指标。

示例：使用分类准确率评估话题模型

假设我们有以下话题模型输出的话题标签 predicted_topics 和真实的新闻分类标签 true_labels：

predicted_topics = [1, 2, 1, 1, 2, 3, 3, 1, 2, 3]
true_labels = [1, 2, 1, 1, 2, 3, 3, 1, 2, 3]

我们可以使用分类准确率来评估模型的性能。

from sklearn.metrics import accuracy_score

# 计算分类准确率
accuracy = accuracy_score(true_labels, predicted_topics)

# 输出分类准确率
print(f'分类准确率: {accuracy}')

以上示例展示了如何使用基于词向量的连贯性评估、计算话题多样性和使用分类准确率进行外部数据评估，以全面评估 NMF 话题模型的性能。

NMF主题模型的实际应用

新闻分类与主题提取

NMF（非负矩阵分解）在新闻分类和主题提取中扮演着重要角色。通过将新闻文本的词频矩阵分解为两个非负矩阵，NMF能够揭示出文本中的潜在主题结构。下面，我们将通过一个示例来展示如何使用NMF进行新闻主题的提取。

示例代码

# 导入所需库
from sklearn.datasets import fetch_20newsgroups
from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.decomposition import NMF
import numpy as np

# 加载新闻数据集
newsgroups = fetch_20newsgroups(subset='all')
documents = newsgroups.data

# 使用TF-IDF向量化文本
vectorizer = TfidfVectorizer(max_df=0.95, min_df=2, stop_words='english')
tfidf = vectorizer.fit_transform(documents)

# 应用NMF模型
nmf = NMF(n_components=20, random_state=1)
nmf.fit(tfidf)

# 打印主题关键词
n_top_words = 10
feature_names = vectorizer.get_feature_names_out()

for topic_idx, topic in enumerate(nmf.components_):
    message = "Topic #%d: " % topic_idx
    message += " ".join([feature_names[i]
                         for i in topic.argsort()[:-n_top_words - 1:-1]])
    print(message)

示例描述

在这个示例中，我们首先从sklearn.datasets中加载了20newsgroups数据集，这是一个包含20个不同主题的新闻组数据集。然后，我们使用TfidfVectorizer将文本转换为TF-IDF特征向量，这是一种衡量词在文档中重要性的方法。接下来，我们创建了一个NMF模型，设置了20个主题，并对TF-IDF矩阵进行了拟合。最后，我们打印出了每个主题的前10个关键词，这些关键词代表了每个主题的主要内容。

社交媒体话题分析

社交媒体话题分析是NMF的另一个重要应用领域。通过分析用户在社交媒体上发布的大量文本，NMF可以帮助我们识别出热门话题和趋势。

示例代码

# 导入所需库
import pandas as pd
from sklearn.feature_extraction.text import CountVectorizer
from sklearn.decomposition import NMF

# 加载社交媒体数据
data = pd.read_csv('social_media_data.csv')
tweets = data['text']

# 使用词频向量化文本
vectorizer = CountVectorizer(max_df=0.95, min_df=2, stop_words='english')
dtm = vectorizer.fit_transform(tweets)

# 应用NMF模型
nmf = NMF(n_components=5, random_state=42)
nmf.fit(dtm)

# 打印主题关键词
n_top_words = 10
feature_names = vectorizer.get_feature_names_out()

for topic_idx, topic in enumerate(nmf.components_):
    message = "Topic #%d: " % topic_idx
    message += " ".join([feature_names[i]
                         for i in topic.argsort()[:-n_top_words - 1:-1]])
    print(message)

示例描述

在这个示例中，我们假设有一个名为social_media_data.csv的社交媒体数据集，其中包含用户发布的推文。我们使用CountVectorizer将推文转换为词频矩阵，然后应用NMF模型来识别5个主要话题。最后，我们打印出了每个话题的前10个关键词，这些关键词可以帮助我们理解每个话题的具体内容。

文档聚类与信息检索

NMF在文档聚类和信息检索中也有广泛的应用。通过将文档表示为主题的组合，NMF可以帮助我们更有效地组织和检索信息。

示例代码

# 导入所需库
from sklearn.datasets import fetch_20newsgroups
from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.decomposition import NMF
from sklearn.cluster import KMeans
from sklearn.metrics import silhouette_score

# 加载新闻数据集
newsgroups = fetch_20newsgroups(subset='all')
documents = newsgroups.data

# 使用TF-IDF向量化文本
vectorizer = TfidfVectorizer(max_df=0.95, min_df=2, stop_words='english')
tfidf = vectorizer.fit_transform(documents)

# 应用NMF模型
nmf = NMF(n_components=20, random_state=1)
W = nmf.fit_transform(tfidf)

# 使用KMeans进行聚类
kmeans = KMeans(n_clusters=5, random_state=42)
clusters = kmeans.fit_predict(W)

# 计算轮廓系数评估聚类效果
score = silhouette_score(W, clusters)
print("Silhouette Score: ", score)

示例描述

在这个示例中，我们首先加载了20newsgroups数据集，并使用TfidfVectorizer将文本转换为TF-IDF特征向量。然后，我们应用NMF模型来提取20个主题。接下来，我们使用KMeans聚类算法对NMF得到的主题权重矩阵W进行聚类，将文档分为5个不同的群组。最后，我们计算了轮廓系数（Silhouette Score）来评估聚类的效果，轮廓系数的值越接近1，表示聚类效果越好。

通过上述示例，我们可以看到NMF在新闻分类、社交媒体话题分析以及文档聚类与信息检索中的实际应用。NMF能够有效地从文本数据中提取主题，帮助我们理解和组织大量信息，从而在各种自然语言处理任务中发挥重要作用。

NMF主题模型在电影评论分析中的应用

1. 引言

在自然语言处理领域，话题建模是一种用于发现文本集合中隐藏话题结构的统计方法。Non-Negative Matrix Factorization (NMF) 是一种常用的话题建模技术，尤其适用于处理非负数据，如文本频率矩阵。本章节将通过一个电影评论分析的案例，详细介绍如何使用NMF进行话题建模，并评估其效果。

2. 数据预处理

2.1 数据收集

假设我们已经收集了一组电影评论数据，数据格式如下：

comments = [
    "这部电影的剧情非常吸引人，演员的表演也很出色。",
    "特效太棒了，但是剧情有点拖沓。",
    "演员的演技一般，但是电影的音乐非常好听。",
    # 更多评论...
]

2.2 文本清洗

文本清洗包括去除标点符号、停用词等：

import re
from sklearn.feature_extraction.text import CountVectorizer

# 定义停用词列表
stop_words = ['的', '是', '也', '但是', '在', '和', '有']

# 清洗文本
cleaned_comments = []
for comment in comments:
    cleaned_comment = re.sub(r'[^\w\s]', '', comment)  # 去除标点符号
    cleaned_comment = ' '.join([word for word in cleaned_comment.split() if word not in stop_words])  # 去除停用词
    cleaned_comments.append(cleaned_comment)

2.3 构建词频矩阵

使用CountVectorizer将文本转换为词频矩阵：

vectorizer = CountVectorizer()
X = vectorizer.fit_transform(cleaned_comments)

3. NMF模型应用

3.1 模型训练

使用NMF模型对词频矩阵进行分解：

from sklearn.decomposition import NMF

# 设置话题数量
n_topics = 3

# 初始化NMF模型
nmf = NMF(n_components=n_topics, random_state=1)

# 训练模型
W = nmf.fit_transform(X)
H = nmf.components_

3.2 话题展示

展示每个话题的关键词：

feature_names = vectorizer.get_feature_names_out()

def display_topics(model, feature_names, no_top_words):
    for topic_idx, topic in enumerate(model.components_):
        print(f"Topic {topic_idx+1}:")
        print(" ".join([feature_names[i] for i in topic.argsort()[:-no_top_words - 1:-1]]))

no_top_words = 10
display_topics(nmf, feature_names, no_top_words)

4. NMF与LDA模型的比较分析

4.1 LDA模型应用

使用Latent Dirichlet Allocation (LDA)模型进行话题建模：

from sklearn.decomposition import LatentDirichletAllocation

lda = LatentDirichletAllocation(n_components=n_topics, random_state=1)
W_lda = lda.fit_transform(X)

4.2 话题展示

展示LDA模型的话题关键词：

def display_topics_lda(model, feature_names, no_top_words):
    for topic_idx, topic in enumerate(model.components_):
        print(f"Topic {topic_idx+1}:")
        print(" ".join([feature_names[i] for i in topic.argsort()[:-no_top_words - 1:-1]]))

display_topics_lda(lda, feature_names, no_top_words)

4.3 模型评估

比较NMF和LDA模型的话题质量，可以使用Perplexity或Coherence Score等指标：

from gensim.models import CoherenceModel

def compute_coherence_score(model, texts, dictionary):
    coherence_model = CoherenceModel(model=model, texts=texts, dictionary=dictionary, coherence='c_v')
    return coherence_model.get_coherence()

# 将词频矩阵转换为gensim的corpus格式
dictionary = corpora.Dictionary([text.split() for text in cleaned_comments])
corpus = [dictionary.doc2bow(text.split()) for text in cleaned_comments]

# 计算NMF和LDA的Coherence Score
coherence_nmf = compute_coherence_score(W, cleaned_comments, dictionary)
coherence_lda = compute_coherence_score(W_lda, cleaned_comments, dictionary)

print(f"NMF Coherence Score: {coherence_nmf}")
print(f"LDA Coherence Score: {coherence_lda}")