自然语言处理学习9：NLTK中BigramCollocationFinder的使用

最新推荐文章于 2025-02-05 14:12:38 发布

zhuzuwei

最新推荐文章于 2025-02-05 14:12:38 发布

阅读量4.2k

点赞数

分类专栏：自然语言处理文章标签：自然语言处理 nltk bigram BigramCollocationFinder

本文链接：https://blog.csdn.net/zhuzuwei/article/details/80654659

版权

自然语言处理专栏收录该内容

26 篇文章

订阅专栏

本文介绍如何利用NLTK库中的BigramCollocationFinder进行双词搭配的提取及频率过滤，并通过实例展示了去除特定词组的过程。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

from nltk.collocations import BigramCollocationFinder

1. nltk.collocations.BigramCollocationFinder(word_fd,bigram_fd,window_size=2)

用于查找和排列bigram搭配或其他关联度量的工具。

2. BigramCollocationFinder.from_words(words, window_size=2): 把词列表变为双词搭配。

为给定序列中的所有bigrams构建一个BigramCollocationFinder。

3.BigramCollocationFinder.score_ngram(score_fn, w1, w2):

使用给定的评分函数返回给定二元组的分数。

4. BigramCollocationFinder.apply_ngram_filter(fn):

对任意n元词组合应用函数fn,如果fn(w1,...,wn)返回结果为True，则删除此n元词组合。

5.BigramCollocationFinder.apply_word_filter(fn):

对任意n元词组合，应用函数fn,如果(fn(w1),...,fn(wn))中有一个结果是True，

则删除此n元词组合。

6. BigramCollocationFinder.apply_freq_filter(min_freq):

删除频数小于min_freq的候选项。

操作实例如下：

import re
import jieba
text2 = re.sub('[.．：。；;！!?？%\]\[\t\n\"\')(】【）（+\-\*/<>《》]', '', text1)
word_list = jieba.lcut(text2)
word_list = [word for word in word_list if len(word)>1]

from nltk.collocations import BigramCollocationFinder
bigram_finder = BigramCollocationFinder.from_words(word_list)
bigram_finder.ngram_fd

去除频数小于4的二元词组

bigram_finder.apply_freq_filter(4)
bigram_finder.ngram_fd
FreqDist({('占崩岗', '滑坡'): 4,
          ('崩岗', '滑坡'): 24,
          ('崩岗', '面积'): 4,
          ('森林', '植被'): 6,
          ('滑坡', '面积'): 6})

去除含有'植被'的词组，去除含有 '占崩岗的词组'

def fn1(*words):
    return '植被' in words
def fn2(word):
    return word == '占崩岗'

bigram_finder.apply_ngram_filter(fn1)
bigram_finder.ngram_fd
FreqDist({('占崩岗', '滑坡'): 4,
          ('崩岗', '滑坡'): 24,
          ('崩岗', '面积'): 4,
          ('滑坡', '面积'): 6})

bigram_finder.apply_word_filter(fn2)
bigram_finder.ngram_fd
FreqDist({('崩岗', '滑坡'): 24, ('崩岗', '面积'): 4, ('滑坡', '面积'): 6})