NLP task2 _ 自然语言处理中N-Gram模型的Smoothing算法

使用N-Gram模型时的数据平滑算法

背景:为什么要做平滑处理?
　　零概率问题，就是在计算实例的概率时，如果某个量x，在观察样本库（训练集）中没有出现过，会导致整个实例的概率结果是0。在文本分类的问题中，当一个词语没有在训练样本中出现，该词语调概率为0，使用连乘计算文本出现概率时也为0。这是不合理的，不能因为一个事件没有观察到就武断的认为该事件的概率是0。

平滑技术
平滑技术是为了解决训练集的数据稀松问题。
零概率问题，就是在计算实例的概率时，如果某个量x，在观察样本库（训练集）中没有出现过，会导致整个实例的概率结果是0。在文本分类的问题中，当一个词语没有在训练样本中出现，该词语调概率为0，使用连乘计算文本出现概率时也为0。这是不合理的，不能因为一个事件没有观察到就武断的认为该事件的概率是0。
　一般的m阶马尔科夫链转移概率是这样训练的：

参考：https://blog.csdn.net/zhengwantong/article/details/72403808

在之前的文章《自然语言处理中的N-Gram模型详解》里，我们介绍了NLP中的模型。最后谈到，为了解决使用N-Gram模型时可能引入的稀疏数据问题，人们设计了多种平滑算法，本文将讨论其中最为重要的几种。

• Add-o