1.储备知识
1)停用词
第一点:在文章中大量出现;
第二点:对判断没啥大用。
2)TF-IDF
3)相似度
第一步:进行分词;
第二步:获取词频向量;
第三步:计算向量之间的余弦相似度。<a,b>/(|a|*|b|)
2.代码实现
import pandas as pd
import jieba
df_news = pd.read_table("./data/val.txt",names=["category","theme","URL","content"],
encoding="utf-8")
df_news = df_news.dropna()
df_news.head()