python_案例_文本数据分析

1.储备知识
1)停用词

第一点：在文章中大量出现；
第二点：对判断没啥大用。

2)TF-IDF


3)相似度

第一步：进行分词；
第二步：获取词频向量；
第三步：计算向量之间的余弦相似度。<a,b>/(|a|*|b|)

2.代码实现

import pandas as pd
import jieba
df_news = pd.read_table("./data/val.txt",names=["category","theme","URL","content"],
encoding="utf-8")
df_news = df_news.dropna()
df_news.head()