自然语言处理之话题建模：Non-Negative Matrix Factorization (NMF)与词频-逆文档频率(TF-IDF)计算

自然语言处理之话题建模：Non-Negative Matrix Factorization (NMF)与词频-逆文档频率(TF-IDF)计算

自然语言处理基础

文本预处理

文本预处理是自然语言处理中的关键步骤，它包括将原始文本转换为计算机可以理解和处理的格式。预处理通常涉及以下操作：

• 转换为小写：确保文本中所有单词都以小写形式出现，避免大小写引起的重复。
• 去除标点符号：标点符号通常不包含语义信息，可以被去除。
• 去除数字和特殊字符：除非数字和特殊字符对分析有特殊意义，否则通常会被去除。

示例代码

import re