基于马尔可夫链的数据增强

最新推荐文章于 2024-08-12 14:30:00 发布

勋章DhR

最新推荐文章于 2024-08-12 14:30:00 发布

阅读量258

点赞数

分类专栏： NLP 文章标签： python 自然语言处理机器学习

本文链接：https://blog.csdn.net/zzjcymbq/article/details/124864080

版权

本文介绍了如何利用马尔科夫链进行数据增强，通过建立文本中子词的前后关系，生成新的句子。首先阐述了马尔科夫链的原理，然后展示了简单的马尔科夫链实现，包括构建马尔科夫链的代码和生成句子的函数。通过运行代码，可以生成接近人类语言的新句子，从而实现数据增强。

摘要由CSDN通过智能技术生成

学习笔记，仅供参考
1.原理介绍

马尔科夫链是指，具有马尔科夫性质的离散随机变量的集合。马尔科夫性质是指，在随机变量的序列中，下一个状态的概率只由当前状态决定，与之前的状态无关。
借助于马尔科夫链实现数据增强的思想是：在同类文本中，先根据上下子词（文本序列中的每一个字）之间的关系形成马尔科夫链，在马尔科夫链中为每个子词随机找到下一个子词重新组合生成句子。

2.马尔科夫链简单实现

实现马尔科夫链的数据增强，具体代码：

# 制作马尔科夫链
def make_chain(text):
    index = 1
    chain = {
   }
    for i in text:
        words = i.split()
        # 获取前后词的关系，前词作Key，后词作Value
        for word in words[index:]:
            key = words[index - 1]
            if key in chain:
                chain[key].append(word)
            else:
                chain[key] = [word]
            index += 1
        index =