python文本清洗

最新推荐文章于 2024-03-26 18:30:14 发布

秃头逮虾户

最新推荐文章于 2024-03-26 18:30:14 发布

阅读量92

点赞数

文章标签： python pandas 开发语言

本文链接：https://blog.csdn.net/zkeyyy/article/details/134156084

版权


```python
# 文本处理
string_data =data_all['hitRules'].to_string(index=False) #转化成字符串格式且 index=False删掉索引
# 删除空格
import re
text  = string_data
words = re.findall(r'\S+', text)
# 转化成dataframe
df = pd.DataFrame(words,columns=['rule'])
# 特殊符号如[]，逗号，-，都要加转义符\
df['rule'] = df['rule'].replace([' ', '\[', '\]','\,','\-','\''], '', regex=True)
# \d是一个正则表达式，用于匹配任何数字。r'\d'则表示原始字符串中的\d，这是因为我们需要转义反斜杠。所以，这个代码将会把每一行中的所有数字替换为空格。
df = df.apply(lambda row: row.str.replace(r'\d', '')) 

# #===================================================
df_word = df['rule'].to_string(index=False)
df_word_words = re.findall(r'\w+', df_word)
df_word_words
df2 = pd.DataFrame(df_word_words,columns=['rule'])
df2['order'] = 1
pd.DataFrame(df2.groupby(by = ['rule'])['order'].sum()).sort_values(by=['order'],ascending=False,inplace=False)