新浪微博数据预处理

这篇博客主要介绍了如何对新浪微博的数据进行预处理,包括去除HTML标签、提取话题#和人名@、使用jieba进行分词、停用词过滤,以及处理emoji表情。在处理过程中,遇到emoji存储到文件时的编码问题,通过将文件编码格式设置为utf8mb4解决了这一问题。
摘要由CSDN通过智能技术生成

我是按用户爬取的微博内容,没有爬取评论,微博初始数据格式如下:预处理阶段包括去除html格式、去除链接、emoji表情处理、分词、去停用词,提取微博中的话题名称和@人名等等。

(1)首先去除文本中的html标签,这个是借鉴了其他博主的,具体来源记不清了:

# 过滤文本中的html链接等
def delete_html(text_context)
  re_tag = re.compile('</?\w+[^>]*>')  # HTML标签
  new_text = re.sub(re_tag, '', text_content)
  new_text = re.sub(",+", ",", new_text)  # 合并逗号
  new_text = re.sub(" +", " ", new_text)  # 合并空格
  new_text = re.sub("[...|…|。。。]+", "...", new_text)  # 合并句号
  new_text = re.sub("-+", "--", new_text)  # 合并-
  text_content = re.sub("———+", "———", new_text)  # 合并-
  return text_content

(2)提取微博中的话题名称#和人名@

def find_topic_and_name(content):
  topic_list=[]
评论 6
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值