python简单实战项目:《冰与火之歌1-5》角色关系图谱构建——人物关系可视化

python简单实战项目:《冰与火之歌1-5》角色关系图谱构建

python简单实战项目:《冰与火之歌1-5》角色关系图谱构建——数据库设计

Scrapy+redis+mongodb分布式爬虫抓取小说《冰与火之歌1-5》

先来张Gephi绘制酷炫的人物关系图
这里写图片描述

图中每个节点代表一个角色,节点与节点之间的连线代表共现,而连线的粗细表示共现的频次多少。节点的大小以及颜色深浅表示度的大小,即一个角色参与共现的总频次。

现在说说这张图的实现步骤:
1.对挖掘获取的语料进行角色抽取
2.对出现同一章节的角色进行合并
3.使用步骤2中的数据进行共现矩阵计算
4.利用UCINET、NETDRAW、Gephi对共现矩阵实现可视化。

1.对挖掘获取的语料进行角色抽取

先前原本使用的是jieba和nlpir两种自然语言处理包进行角色抽取的,但是后面发现效果特别差,所有后面则从百度百科上档了一批角色列表下来,那这个与原文本进行比对,实现角色的抽取。
这里写图片描述

2.对出现同一章节的角色进行合并

写爬虫的时候就实现一边爬一边对角色进行抽取。
这里写图片描述

3.使用步骤2中的数据进行共现矩阵计算

读取数据库,使用关键词共现矩阵算法构建矩阵。
算法请参考python构建关键词共现矩阵
共现矩阵计算结果

4.利用UCINET、NETDRAW、Gephi对共现矩阵实现可视化

本博客的重点在这里~
点击打开UCINET,

点击file→Open→选择csv格式的共现矩阵数据


成功导入数据后,然后点击file→Save as,将数据保存为.##h后缀格式文件。

打开netdraw,依次如下图点击,打开刚刚保存的.##h文件
这里写图片描述


这个时候其实已经可以发现,netdraw已经把共现网络绘制出来了,但是效果太low了,所以这里使用gephi绘制更好的效果。
使用gephi之前,需要将netdraw打开的文件另存为.net文件。

打开运行gephi,使用gephi直接打开刚刚保存的.net后缀文件。

由于是对角色进行简单抽取,角色和角色之间不存在方向传递的性质,因此这里选择无向的。
13.png

14.png
如果是中文文本的话,下方的字体也需要改成中文的字体。比如黑体、宋体等。
15.png

16.png
17.png

18.png

19.png

20.png
滤波的作用是对结果进行筛选,这里设置度来作为筛选条件。
21.png

22.png

23.png

  • 0
    点赞
  • 4
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
分析红楼梦里的人物关系可以使用Python中的文本分析工具NLTK和网络分析工具NetworkX。首先,需要将红楼梦文本导入Python中。可以使用Python的文件读取函数打开红楼梦的文本文件,然后读取其中的内容。 ```python with open('hongloumeng.txt', 'r', encoding='utf-8') as f: text = f.read() ``` 接下来,需要对文本进行预处理,例如去除停用词、标点符号和数字等。可以使用NLTK库中的分词器和停用词列表完成这些操作。 ```python import nltk from nltk.corpus import stopwords from nltk.tokenize import word_tokenize # 下载停用词列表 nltk.download('stopwords') # 加载停用词列表 stop_words = set(stopwords.words('chinese')) # 分词 words = word_tokenize(text) # 去除停用词和标点符号 filtered_words = [word for word in words if word not in stop_words and word.isalpha()] ``` 接下来,需要识别人物名称并构建人物关系网络。可以使用正则表达式匹配人物名称,然后使用NetworkX库构建人物关系图。 ```python import re import networkx as nx # 构建人物名称列表 names = [] for word in filtered_words: if re.match('[\u4e00-\u9fa5]{2,}', word): names.append(word) # 构建人物关系图 G = nx.Graph() for i in range(len(names)): for j in range(i+1, len(names)): if names[i] in text and names[j] in text and text.index(names[i]) < text.index(names[j]): if G.has_edge(names[i], names[j]): G[names[i]][names[j]]['weight'] += 1 else: G.add_edge(names[i], names[j], weight=1) ``` 最后,可以使用NetworkX提供的可函数将人物关系图可。 ```python import matplotlib.pyplot as plt # 设置节点大小和标签字体 node_size = [G.degree(n) * 10 for n in G.nodes()] font_size = 10 # 设置布局算法 pos = nx.spring_layout(G, k=0.5) # 绘制节点和边 nx.draw_networkx_nodes(G, pos, node_size=node_size, node_color='lightblue') nx.draw_networkx_edges(G, pos, width=1, alpha=0.5) # 绘制节点标签 nx.draw_networkx_labels(G, pos, font_size=font_size, font_family='SimHei') plt.axis('off') plt.show() ``` 运行以上代码,就可以得到红楼梦中人物关系的可图形。可以通过调整节点大小、布局算法等参数来改变图形的外观。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值