自然语言处理之话题建模：Gibbs Sampling与高级主题模型HDP及PITM

最新推荐文章于 2024-09-26 18:01:00 发布
最新推荐文章于 2024-09-26 18:01:00 发布
阅读量758 收藏 15
点赞数 28
分类专栏： 自然语言处理 文章标签： 自然语言处理 easyui 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zhubeibei168/article/details/142468796
版权

自然语言处理之话题建模：Gibbs Sampling与高级主题模型HDP及PITM

在这里插入图片描述

自然语言处理与话题建模基础

自然语言处理简介

自然语言处理（Natural Language Processing, NLP）是计算机科学领域与人工智能领域中的一个重要方向。它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。NLP是一门多学科交叉的领域，它不仅与计算机科学有关，也与语言学、心理学、数学、逻辑学、神经科学等众多学科有关。

应用场景

  • 文本分类：如情感分析、主题分类。
  • 机器翻译：将文本从一种语言翻译成另一种语言。
  • 问答系统：自动回答用户提出的问题。
  • 语音识别：将语音转换为文本。
  • 文本生成：根据给定的条件生成新的文本。

话题建模概念

话题建模（Topic Modeling）是一种统计建模方法，用于发现文档集合或语料库中的抽象话题。它假设文档由多个话题组成，每个话题由一组经常一起出现的词语构成。话题建模可以帮助我们理解大量文档的主要内容，发现文档之间的相似性，以及进行信息检索和文本挖掘。

基本原理

话题建模的基本思想是将文档集合视为由多个话题的混合体构成，每个话题又由一组词语的概率分布表示。通过统计方法，我们可以从文档中推断出这些话题以及它们在文档中的分布。

常用模型

  • LDA（Latent Dirichlet Allocation）：隐含狄利克雷分配，是最常用的话题模型之一。
  • HDP（Hierarchical Dirichlet Process）：层次狄利克雷过程，可以自动确定话题数量。
  • PITM（Probabilistic Infinite Topic Model）：概率无限话题模型，也是自动确定话题数量的模型。

LDA模型详解

LDA模型是一种基于概率的生成模型，用于处理文档集合中的话题发现。它假设文档是由多个话题混合而成，每个话题由一组词语的概率分布表示。LDA模型通过贝叶斯方法，从文档集合中学习话题和词语的概率分布。

模型结构

LDA模型的结构可以表示为：

  • 每个文档由多个话题的混合构成。
  • 每个话题由一组词语的概率分布构成。
  • 文档中的每个词语由话题和词语的概率分布生成。

参数与超参数

  • α：话题先验参数，控制文档中话题的分布。
  • β：词语先验参数，控制话题中词语的分布。
  • K：话题数量，LDA模型需要预先设定。

Gibbs Sampling算法

Gibbs Sampling是一种用于从复杂概率分布中抽样的算法，常用于LDA模型的参数估计。它通过迭代地更新每个词语的话题分配，逐步逼近话题和词语的真实概率分布。

示例代码
# 导入必要的库
from gensim.models import LdaModel
from gensim.corpora import Dictionary
from gensim.matutils import Sparse2Corpus
import numpy as np
from sklearn.feature_extraction.text import CountVectorizer

# 示例数据
documents = [
    "Human machine interface for lab abc computer applications",
    "A survey of user opinion of computer system response time",
    "The EPS user interface management system",
    "System and human system engineering testing of EPS",
    "Relation of user perceived response time to error measurement",
    "The generation of random binary unordered trees",
    "The intersection graph of paths in trees",
    "Graph minors IV Widths of trees and well quasi ordering",
    "Graph minors A survey"
]

# 文本预处理
vectorizer = CountVectorizer()
X = vectorizer.fit_transform(documents)
corpus = Sparse2Corpus(X, documents_columns=False)
id2word = Dictionary.from_corpus(corpus, id2token=vectorizer.get_feature_names_out())

# LDA模型训练
lda = LdaModel(corpus, id2word=id2word, num_topics=2, passes=10)

# 打印话题
for topic in lda.print_topics():
    print(topic)
代码解释

这段代码首先使用gensim和sklearn库对文本数据进行预处理，然后训练一个LDA模型。num_topics参数设为2，表示我们假设数据中有两个话题。passes参数设为10，表示模型将遍历整个语料库10次以优化话题分配。

结果分析

LDA模型训练完成后，我们可以查看每个话题的词语分布，以及每个文档的话题分布。这有助于我们理解文档集合的主要内容和结构。

总结

自然语言处理中的话题建模是一种强大的工具，可以帮助我们从大量文档中提取有意义的信息。LDA模型是话题建模中最常用的方法之一，通过Gibbs Sampling算法，我们可以从文档集合中学习话题和词语的概率分布。上述代码示例展示了如何使用Python和gensim库进行LDA模型的训练和结果分析。

自然语言处理之话题建模：Gibbs Sampling算法

Gibbs Sampling原理

Gibbs Sampling是一种Markov Chain Monte Carlo (MCMC)方法，用于从复杂的联合分布中抽样，当直接抽样变得困难时，Gibbs Sampling提供了一种间接的抽样方式。在话题建模中，尤其是LDA（Latent Dirichlet Allocation）模型，Gibbs Sampling被广泛使用，因为它能够处理模型中的隐变量，通过迭代更新每个隐变量的条件概率来逼近联合分布。

条件概率更新

在Gibbs Sampling中，我们从初始状态开始，然后对每个变量依次进行更新，更新时只考虑当前变量的条件概率，而其他变量保持不变。这一过程重复进行，直到抽样结果收敛到联合分布的近似值。

收敛性

Gibbs Sampling的收敛性依赖于抽样序列的长度。理论上，随着抽样次数的增加，抽样结果将越来越接近真实的联合分布。在实际应用中，通常会先进行一定数量的“烧入期”抽样，然后才开始收集用于分析的样本。

Gibbs Sampling在LDA中的应用

LDA模型假设文档由多个话题组成，每个话题由一系列词语的概率分布表示。Gibbs Sampling在LDA中的应用主要是为了估计话题分布和词语-话题分布。

话题分配更新

对于文档中的每个词语，Gibbs Sampling会更新其话题分配，这一更新基于词语在不同话题下的条件概率。具体来说，算法会计算在移除当前词语后，文档和话题中其他词语的分布，然后根据这些分布重新分配话题。

词语-话题分布更新

同时，Gibbs Sampling也会更新词语-话题分布，即每个话题中词语出现的概率。这一更新同样基于条件概率，通过观察词语在不同话题下的出现频率来调整概率分布。

Gibbs Sampling实例分析

假设我们有以下数据集，包含两个文档和一些词语：

文档1: "自然 语言 处理"
文档2: "机器 学习 自然"

初始化话题分配

我们首先随机初始化每个词语的话题分配，假设每个词语有三个可能的话题：T1, T2, T3。

# 话题分配初始化
topic_assignment = {
    "自然": "T1",
    "语言": "T2",
    "处理": "T3",
    "机器": "T1",
    "学习": "T2"
}

更新话题分配

接下来，我们使用Gibbs Sampling来更新话题分配。以词语“自然”为例，我们计算在移除“自然”后，文档1和话题T1、T2、T3中其他词语的分布，然后根据这些分布重新分配话题。

import numpy as np

# 假设的词语-话题分布
word_topic_dist = {
    "自然": {"T1": 0.3, "T2": 0.4, "T3": 0.3},
    "语言": {"T1": 0.1, "T2": 0.8, "T3": 0.1},
    "处理": {"T1": 0.2, "T2": 0.3, "T3": 0.5},
    "机器": {"T1": 0.6, "T2": 0.2, "T3": 0.2},
    "学习": {"T1": 0.2, "T2": 0.6, "T3": 0.2}
}

# 假设的文档-话题分布
doc_topic_dist = {
    "文档1": {"T1": 0.3, "T2": 0.3, "T3": 0.4},
    "文档2": {"T1": 0.4, "T2": 0.4, "T3": 0.2}
}

# 更新话题分配
def update_topic(word, doc):
    # 移除当前词语的话题分配
    current_topic = topic_assignment[word]
    doc_topic_dist[doc][current_topic] -= 1 / len(doc.split())
    
    # 计算新的话题分配概率
    topic_probs = {}
    for topic in ["T1", "T2", "T3"]:
        # 词语-话题分布
        word_topic_prob = word_topic_dist[word][topic]
        # 文档-话题分布
        doc_topic_prob = doc_topic_dist[doc][topic]
        # 计算概率
        topic_probs[topic] = word_topic_prob * doc_topic_prob
    
    # 归一化概率
    total_prob = sum(topic_probs.values())
    for topic in topic_probs:
        topic_probs[topic] /= total_prob
    
    # 从新的概率分布中抽样
    new_topic = np.random.choice(list(topic_probs.keys()), p=list(topic_probs.values()))
    
    # 更新话题分配
    topic_assignment[word] = new_topic
    doc_topic_dist[doc][new_topic] += 1 / len(doc.split())

# 更新词语“自然”的话题分配
update_topic("自然", "文档1")

收敛与结果分析

Gibbs Sampling需要多次迭代才能收敛。在实际应用中，我们通常会进行数千次甚至数万次的迭代。迭代完成后，我们可以从最终的话题分配中分析出每个文档的话题分布和每个话题的词语分布。

# 进行多次迭代
for _ in range(10000):
    for word in topic_assignment:
        update_topic(word, "文档1" if word in ["自然", "语言", "处理"] else "文档2")

# 分析结果
print("最终的话题分配:", topic_assignment)
print("文档1的话题分布:", doc_topic_dist["文档1"])
print("文档2的话题分布:", doc_topic_dist["文档2"])

通过上述过程，Gibbs Sampling能够帮助我们从数据中学习出潜在的话题结构，这对于理解和分类大量文本数据非常有用。然而，实际的话题建模通常涉及更复杂的模型和更大的数据集，上述示例仅为简化版的说明。

高级话题模型：HDP

HDP模型背景与动机

在话题建模中，Latent Dirichlet Allocation (LDA) 是一个广泛使用的模型，它假设文档由多个话题组成，每个话题由一组词的概率分布表示。然而，LDA 需要预先设定话题数量，这在处理大规模文档集合时可能不切实际，因为话题数量可能未知或随数据变化。为了解决这个问题，Hierarchical Dirichlet Process (HDP) 被提出，它允许话题数量自动从数据中学习，而不需要预先指定。

HDP 是一个贝叶斯非参数模型，它使用 Dirichlet Process (DP) 作为先验，允许无限的话题数量。在 HDP 中，话题层级结构被引入，使得话题可以被组织成树状结构，从而捕捉话题间的层次关系。

HDP模型结构与参数

HDP 模型的结构可以描述为：

  1. 全局话题层级：在顶层，有一个全局的 DP，它生成所有文档共享的话题分布。
  2. 文档层级：对于每个文档，从全局话题分布中抽取一个子集，形成该文档特有的话题分布。
  3. 词层级：对于文档中的每个词，从该文档的话题分布中抽取一个话题，然后从该话题的词分布中抽取一个词。

HDP 的主要参数包括：

  • α：全局 DP 的集中度参数，控制全局话题分布的稀疏性。
  • γ：文档层级 DP 的集中度参数，控制文档中话题分布的稀疏性。
  • β：话题内词分布的 Dirichlet 先验参数，通常假设为对称的，控制话题内词的分布。

HDP模型的Gibbs Sampling推导

Gibbs Sampling 是一种用于从复杂联合分布中抽样的算法，特别适用于贝叶斯模型。在 HDP 中，Gibbs Sampling 可以用于推断文档中词的话题分配，以及话题的词分布。

Gibbs Sampling 步骤

  1. 初始化：为文档中的每个词随机分配一个话题。
  2. 迭代：对于文档中的每个词，根据当前的话题分配，重新抽样其话题分配。抽样时，考虑词在当前话题下的频率，以及文档中其他词的话题分配。

代码示例

下面是一个使用 Python 和 Gensim 库进行 HDP 模型训练的简单示例：

from gensim.corpora import Dictionary
from gensim.models import HdpModel

# 假设我们有以下文档集合
documents = [
    "自然语言处理是人工智能的一个重要领域",
    "机器学习可以用于自然语言处理",
    "深度学习在自然语言处理中取得巨大成功",
    "人工智能正在改变我们的生活"
]

# 将文档转换为词袋模型
dictionary = Dictionary([doc.split() for doc in documents])
corpus = [dictionary.doc2bow(doc.split()) for doc in documents]

# 训练 HDP 模型
hdp = HdpModel(corpus, id2word=dictionary)

# 查看话题
topics = hdp.show_topics(formatted=True)
for topic in topics:
    print(topic)

解释

在这个例子中，我们首先创建了一个词典，然后将文档转换为词袋模型。接着，我们使用 Gensim 的 HdpModel 类训练了一个 HDP 模型。最后，我们通过 show_topics 方法查看了模型识别出的话题。

HDP模型应用案例

HDP 模型可以应用于各种场景，例如：

  • 新闻分类：自动识别新闻文章的主题，帮助进行分类和推荐。
  • 文本摘要：基于话题识别，生成文档的摘要。
  • 情感分析：通过分析话题，理解文本中的情感倾向。

代码示例

假设我们有一组新闻文章，我们使用 HDP 模型进行主题识别：

from gensim.corpora import Dictionary
from gensim.models import HdpModel
from gensim.matutils import Sparse2Corpus
import numpy as np

# 假设我们有以下新闻文章的词频矩阵
word_freq_matrix = np.array([
    [1, 0, 3, 0, 2],
    [0, 2, 1, 0, 1],
    [1, 0, 2, 2, 1],
    [0, 2, 1, 3, 2]
])

# 将词频矩阵转换为 Gensim 可以理解的格式
corpus = Sparse2Corpus(word_freq_matrix.T)

# 创建词典
dictionary = Dictionary()
dictionary.add_documents([list(range(word_freq_matrix.shape[1]))])

# 训练 HDP 模型
hdp = HdpModel(corpus, id2word=dictionary)

# 查看话题
topics = hdp.show_topics(formatted=True)
for topic in topics:
    print(topic)

解释

在这个例子中，我们使用了一个词频矩阵来表示新闻文章，然后将其转换为 Gensim 可以处理的格式。我们创建了一个词典，并使用 HDP 模型对数据进行训练。最后，我们查看了模型识别出的话题，这可以帮助我们理解新闻文章的主要主题。

通过上述内容，我们了解了 HDP 模型的背景、结构、参数以及如何使用 Gibbs Sampling 进行推断。此外，我们还通过代码示例展示了如何使用 HDP 模型进行话题建模。HDP 模型因其灵活性和强大的话题识别能力，在自然语言处理领域有着广泛的应用。

高级话题模型：PITM

PITM模型介绍

PITM（Probabilistic Indexing Topic Model）是一种高级话题模型，它在传统的LDA（Latent Dirichlet Allocation）模型基础上进行了扩展，以解决LDA模型中话题数量需要预先设定的问题。PITM通过引入无限混合模型的概念，允许话题数量随着数据的增加而动态增长，从而更灵活地适应不同规模和复杂度的文本数据集。

原理

PITM的核心思想是将话题建模视为一个无限混合模型问题，其中每个文档可以由无限数量的话题来描述。模型中使用了Poisson-Dirichlet过程，这是一种生成无限数量话题的随机过程。在PITM中，每个话题的概率分布由一个Poisson-Dirichlet过程先验控制，而文档中的词则由这些话题的概率分布生成。

实现

PITM的实现通常依赖于Gibbs Sampling算法，这是一种迭代的采样方法，用于从复杂的联合分布中抽样。在PITM的Gibbs Sampling实现中，每个词的topic分配都会被重新采样，直到收敛到一个稳定的分布。

PITM与HDP的比较

HDP（Hierarchical Dirichlet Process）是另一种处理无限话题数量的模型。与PITM相比，HDP在话题建模中引入了层次结构，允许话题在不同层次上共享，从而可以捕捉到话题之间的层次关系。然而，PITM在处理大规模数据集时通常具有更好的计算效率，因为它避免了HDP中复杂的层次结构所带来的计算负担。

PITM模型的Gibbs Sampling实现

在PITM模型中，Gibbs Sampling的实现涉及到对每个词的topic分配进行迭代更新。以下是一个简化的PITM模型Gibbs Sampling实现的伪代码示例：

# 初始化参数
alpha = 0.1  # 话题先验参数
beta = 0.01  # 词先验参数
K = 100      # 初始话题数量
V = 10000    # 词典大小
D = 1000     # 文档数量

# 初始化话题分配
topics = [random.randint(0, K) for _ in range(sum(len(doc) for doc in corpus))]

# Gibbs Sampling迭代
for t in range(num_iterations):
    for d in range(D):
        for w in range(len(corpus[d])):
            # 从当前文档中移除词w的topic分配
            topics[d * len(corpus[d]) + w] = -1

            # 计算词w分配给每个话题的概率
            topic_probs = calculate_topic_probs(corpus[d][w], topics, d, alpha, beta)

            # 重新分配词w到一个话题
            new_topic = sample_topic(topic_probs)
            topics[d * len(corpus[d]) + w] = new_topic

# 输出最终的话题分布
final_topics = [topics[d * len(corpus[d]): (d + 1) * len(corpus[d])] for d in range(D)]

代码解释

这段伪代码展示了如何使用Gibbs Sampling算法来更新PITM模型中的话题分配。首先，初始化模型参数和话题分配，然后在每次迭代中，对每个文档中的每个词，移除其当前的话题分配，计算重新分配给每个话题的概率，最后根据这些概率重新分配话题。迭代完成后，输出最终的话题分配。

PITM在真实数据集上的应用

PITM模型在真实数据集上的应用可以揭示文本数据中隐藏的话题结构。例如，在新闻文章数据集上应用PITM，可以自动发现不同主题的新闻，如政治、体育、科技等，而无需预先指定话题数量。

数据样例

假设我们有以下新闻文章数据集：

corpus = [
    ["政治", "经济", "政策", "改革"],
    ["足球", "比赛", "进球", "胜利"],
    ["科技", "创新", "人工智能", "机器学习"],
    # 更多文章...
]

应用步骤

  1. 数据预处理：对文本数据进行分词、去除停用词等预处理步骤。
  2. 模型初始化：设置PITM模型的参数，如alpha和beta。
  3. Gibbs Sampling迭代：运行Gibbs Sampling算法，直到收敛。
  4. 话题发现：分析最终的话题分配，识别出主要的话题。

结果分析

通过分析PITM模型在新闻文章数据集上的输出，我们可以发现不同话题的词分布，从而理解每篇文章主要讨论的主题。例如，第一篇文章可能被分配到“政治”话题，而第二篇文章可能被分配到“体育”话题。

以上内容详细介绍了PITM模型的原理、与HDP的比较、Gibbs Sampling实现以及在真实数据集上的应用。通过理解和应用这些高级话题模型，我们可以更深入地分析和理解大规模文本数据中的主题结构。

实战与优化

Gibbs Sampling的效率优化

在自然语言处理中，话题建模如HDP和PITM通常依赖于Gibbs Sampling进行参数估计。Gibbs Sampling是一种迭代的条件采样方法，用于从复杂的联合分布中抽样。然而，对于大规模文本数据，Gibbs Sampling的计算效率是一个挑战。以下是一些优化策略：

1. 并行化

Gibbs Sampling可以并行化处理，将文本数据分割成多个部分，每个部分在不同的处理器上进行采样，最后合并结果。例如，使用Python的multiprocessing库：

from multiprocessing import Pool
import numpy as np

# 假设`sample`函数执行Gibbs Sampling的单次迭代
def sample(doc):
    # 采样过程
    pass

# 文档列表
docs = [np.random.randint(0, 100, 1000) for _ in range(100)]

# 使用并行处理
with Pool(processes=4) as pool:
    results = pool.map(sample, docs)

2. 避免重复计算

在每次迭代中，避免重复计算相同的值，如话题分布和词项分布。可以使用缓存机制存储这些值，减少计算时间。

3. 优化数据结构

使用高效的数据结构，如numpy数组，可以加速数据访问和操作。例如，存储文档的词项频率：

import numpy as np

# 文档词项频率
doc_term_freq = np.zeros((len(docs), len(vocab)))

for i, doc in enumerate(docs):
    for term in doc:
        doc_term_freq[i, term] += 1

HDP与PITM在文本分析中的实战

Hierarchical Dirichlet Process (HDP)

HDP是一种非参数话题模型，允许话题数量随着数据的增加而自动扩展。在实战中，HDP可以用于分析大量文本数据，自动发现话题结构。

示例代码

使用gensim库中的HdpModel进行话题建模：

from gensim.corpora import Dictionary
from gensim.models import HdpModel

# 文档列表
docs = ["自然语言处理非常有趣",
        "话题建模可以揭示文本结构",
        "Gibbs Sampling是常用的话题建模算法"]

# 创建词典
dictionary = Dictionary([doc.split() for doc in docs])

# 转换为词袋表示
corpus = [dictionary.doc2bow(doc.split()) for doc in docs]

# 训练HDP模型
model = HdpModel(corpus, id2word=dictionary)

# 打印话题
for topic in model.show_topics():
    print(topic)

Pitman-Yor Topic Model (PITM)

PITM是另一种非参数话题模型，与HDP类似，但使用Pitman-Yor过程代替Dirichlet过程，可以产生更丰富的话题结构。

示例代码

PITM的实现通常依赖于自定义代码，因为标准库如gensim不直接支持PITM。以下是一个使用Gibbs Sampling进行PITM训练的简化示例：

import numpy as np

# 假设`gibbs_sampling`函数执行PITM的Gibbs Sampling
def gibbs_sampling(corpus, alpha, gamma, iterations):
    # 初始化话题分配
    topic_assignments = np.random.randint(0, 10, size=len(corpus))
    
    # 迭代采样
    for _ in range(iterations):
        for i, doc in enumerate(corpus):
            # 更新话题分配
            topic_assignments[i] = sample_topic(doc, topic_assignments, alpha, gamma)
    
    # 计算话题分布
    topic_dist = calculate_topic_distribution(topic_assignments)
    
    return topic_dist

# 文档列表
docs = ["自然语言处理非常有趣",
        "话题建模可以揭示文本结构",
        "Gibbs Sampling是常用的话题建模算法"]

# 转换为词袋表示
corpus = [doc.split() for doc in docs]

# 训练PITM模型
topic_dist = gibbs_sampling(corpus, alpha=0.1, gamma=0.1, iterations=1000)

# 打印话题分布
print(topic_dist)

模型评估与选择

在话题建模中，模型评估是关键步骤，用于确定模型的性能和选择最佳模型。常用的方法包括：

1. 话题连贯性

评估话题中词项的相关性，通常使用人类评估或基于词向量的方法。

2. 模型似然度

计算模型对数据的拟合程度，较高的似然度表示模型拟合较好。

3. 交叉验证

将数据集分为训练集和测试集，评估模型在未见过数据上的表现。

4. 话题数量选择

使用Bayesian Information Criterion (BIC)或Akaike Information Criterion (AIC)等信息准则来选择最佳的话题数量。

示例代码

使用gensim库评估HDP模型的似然度：

from gensim.corpora import Dictionary
from gensim.models import HdpModel

# 文档列表
docs = ["自然语言处理非常有趣",
        "话题建模可以揭示文本结构",
        "Gibbs Sampling是常用的话题建模算法"]

# 创建词典
dictionary = Dictionary([doc.split() for doc in docs])

# 转换为词袋表示
corpus = [dictionary.doc2bow(doc.split()) for doc in docs]

# 训练HDP模型
model = HdpModel(corpus, id2word=dictionary)

# 计算模型似然度
log_perplexity = model.log_perplexity(corpus)

# 打印似然度
print("Log Perplexity:", log_perplexity)

通过上述代码和策略，可以有效地在自然语言处理中应用和优化高级话题模型如HDP和PITM。

zhubeibei168
关注
专栏目录
LDA模型里Gibbs sampling后验概率详细推导过程
11-17
本文档详细给出了TOTLDA和LDA两个主题概率模型的参数估计需要用到的后验概率的推导过程，并采用了两种方法，对主题概率模型研究人员具有很好的启发意义！Gibbs Sampling Derivation for LDA and ToT, Han Xiao, Ping...
基于自然语言处理NLP+LDA模型实现对电商购物评论情感分析源代码+数据集
05-11
自然语言处理（NLP）是计算机科学领域的一个关键分支，主要关注如何使计算机理解、解析、生成和操作人类语言。在电商购物评论的情感分析中，NLP技术被广泛应用于识别和提取用户情感倾向，帮助商家了解消费者的真实...
hlda:分层潜在Dirichlet分配主题模型的Gibbs采样器
05-01
hLDA模型将此先验与基于潜在Dirichlet分配的分层变体的可能性相结合。 执行 是用于hLDA推断的Gibbs采样器，基于的实现，在nCRP树上具有固定的深度。 安装 只需使用pip install hlda即可安装该软件包。 可以在找到...
GibbsLDA.NET:使用 Gibbs 采样实现 LDA 主题建模
07-07
**GibbsLDA.NET** 是一个基于 .NET 框架的库，它使用吉布斯采样（Gibbs Sampling）算法来实现主题模型（Topic Modeling）中的潜在狄利克雷分配（Latent Dirichlet Allocation, LDA）。LDA 是一种统计建模方法，常...
阅读CVPR论文——mPLUG-Owl2：革命性的多模态大语言模型与模态协作
m0_63694583的博客
09-23 511
1）实验部分非常丰富，并且论文中的图制作的非常精美，论文开篇的图制作的别出心裁，将几种不同的方法表现出的性能差异不是以普通的表格形式展现，而是制作成了一副环状折线图，论文中其他的图、表格也包含了很丰富的信息；2）模态之间协作能够使模型更好地理解和处理输入信息。
计算机前沿技术-人工智能算法-大语言模型-最新研究进展-2024-09-26
09-26 928
本文探讨了大型语言模型（LLMs）是否具备规划能力，并特别评估了OpenAI最新模型o1（草莓模型）在PlanBench基准上的表现。计算机前沿技术，人工智能算法，大语言模型，llm，在相关领域的最新研究论文10篇速读。
深度学习模型之BERT的24个小模型源码与预训练紧凑模型的重要性
aidashuju的博客
09-23 1257
自然语言表征模型的最新发展伴随着庞大而昂贵的模型，这些模型通过自监督的预训练的方式来利于通用领域文本。由于应用此模型的下任务的成本，关于预训练的语言表征模型的几个压缩技术已经被提及(Sun等.,2019a;Sanh,2019)。然而，令人惊讶的是仅预先训练和微调紧凑型模型的简单基线已经被忽视。在文本中，我们首先展示了较小体系架构中保留预训练的重要性，而且微调预先训练的紧凑模型可以与并行工作中提出的更精细的方法相竞争。
大语言模型之LlaMA系列-LlaMA 2及LlaMA_chat(下)
aidashuju的博客
09-26 1061
沿用了Llama 1的设计与架构：RoPE、RMSNorm、SwiGLU+AdamWLlama 2采用了Llama 1中的大部分预训练设置和模型架构，包括标准Transformer架构、使用RMSNorm的预归一化、SwiGLU激活函数和旋转位置嵌入(RoPE)。采用AdamW 优化器进行训练，其中β1=0.9，β2=0.95，eps=10−5β1=0.9，β2=0.95，eps=10−5。同时使用余弦(consin)学习率表, 预热2000 步，并最终将学习率衰减到了峰值学习率的10%。
NLP基础
2401_83649983的博客
09-23 698
自然语言处理（NLP）是计算机科学、人工智能和语言学的交叉领域，旨在使计算机能够理解、解释和生成自然语言。：将文本分解为单词或短语。：去掉常见的、无实际意义的词（如“是”、“的”）。：将词语还原为基本形式（如“running”还原为“run”）。：一个包含文本中所有独特词汇的列表，用于构建特征表示。：一个包含大量文本数据的集合，通常用于训练和评估模型。：一种简化的表示方法，将文本表示为词的出现频率，忽略词序。：通过考虑连续的N个词（如二元组、三元组等）来捕捉词序信息。
使用python进行自然语言处理的示例
C7211BA的博客
09-26 253
这段代码展示了如何用 nltk 进行基础的 NLP 任务，包括分词、词性标注和命名实体识别。命名实体识别：识别命名实体（如人名、地名、组织等）。词性标注：为每个单词标注其词性。分词：将输入句子拆分为单词。
NLP自然语言处理
m0_68153457的博客
09-23 1445
NLP就是人与机器沟通的“桥梁”。
【自然语言处理】词嵌入模型
藓类少女的博客
09-26 756
是一种将的技术，通常是低维度的连续向量。这些向量被设计为捕捉词汇之间的，使得语义相似的词在嵌入空间中的距离也更近。词嵌入可以看作是将，从而在一定程度上解决了自然语言处理中的语义表示问题。简单来说，词嵌入就是一种将词汇转换成向量的方法，使得计算机能够理解词与词之间的关系，并在不同的NLP任务（如文本分类、机器翻译、问答系统等）中表现出色。
NLP 生成式任务核心梳理
xymspace
09-22 1089
模型不变的情况下，进行采样策略调整，避免总选择最高概率词。能够根据历史数据预测新的数据。seq2seq 预训练。针对摘要的生成式模型。
当大语言模型应用到教育领域时会有什么火花出现？
09-21 698
AI + education， 大语言模型在教育的挑战与机遇。
EAGLE——探索混合编码器的多模态大型语言模型的设计空间
知来者逆的博客
09-22 1050
Eagle 报告 MME 的感知分数、MMBench 的 en_dev 分割、SEED 的图像分割、MathVista 的测试迷你分割、MMMU 的 val 分割、POPE 的 F1 分数和 ScienceQA 的图像分数，确保与其他模型报告的分数保持一致。一种有效而强大的策略是混合使用不同任务和输入分辨率进行预训练的视觉编码器，要么通过将更高分辨率的编码器与 CLIP 编码器融合，依次附加来自不同编码器的特征，要么采用更复杂的融合和路由策略来最大限度地发挥不同编码器的优势。探索步骤如下图所示。
语言模型发展史
最新发布
松门一枝花
09-26 279
由人工设计特征并使用统计方法对固定长度的文本窗口序列进行建模分析，这种建模方式也被称为。1）采用极大似然估计, 参数易训练2）完全包含了前n-1个词的全部信息3）可解释性强, 直观易理解1）只能建模到前n-1个词2）随着n的增大，参数空间呈指数增长3）数据稀疏，难免会出现OOV问题4）泛化能力差。
[大语言模型-论文精读] 以《黑神话：悟空》为研究案例探讨VLMs能否玩动作角色扮演游戏？
09-22 1594
随着视觉语言模型（VLMs）的出现，代理现在具备了增强的视觉理解能力，使它们能够仅使用视觉输入与游戏互动。尽管取得了这些进展，当前方法在动作导向任务中仍面临挑战，尤其是在动作角色扮演游戏（ARPGs）中，强化学习方法虽然普遍，但泛化能力差，需要大量的训练。为了解决这些限制，我们选择ARPG《黑神话：悟空》作为研究平台，探索现有VLMs在需要视觉输入和复杂动作输出的场景中的性能边界。
机器翻译之多头注意力（MultiAttentionn）在Seq2Seq的应用
Hiweir的博客
09-20 492
【代码】机器翻译之多头注意力（MultiAttentionn）在Seq2Seq的应用。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值