一个小脚本从小说中过滤出经常出现的人名

一个小脚本从小说中过滤出经常出现的人名 

花名获取利器！ 
作者：高鹏 

小说中，人名后经常跟着一个动词或者介词，根据这一点可以找出常见的人名。下面用一个小shell脚本来玩一下^.^ 脚本如下: 

Shell代码  

1. #!/bin/sh  
2. # name:filter_name.sh  
3. # JH Gao <gaopenghigh@gmail.com>  
4. # function:从小说中过滤出经常出现的人名  
5. # 主要步骤如下：  
6. # 编码转换  
7. # 把动词替换为换行，于是每行的前几个字很可能就是人名,再把空行去除  
8. # 取得每行的前3个字  
9. # 过滤掉一些一般不是名字但又经常出现的字  
10. # 过滤掉一个字的行  
11. # 排序，统计，取前100个  
12.   
13. iconv -f GB18030 -t utf-8 $1 \  
14. | sed 's/[、，“”听笑说道想答。！：？]/\n/g' | sed 's/[[:space:]]*//g' | sed '/^$/d' \  
15. | cut -nb 1-9 \  
16. | grep -v -e '^$' -e [:\<\>父今哈咱\"还似转整间没他她它在地低众到却急这就怎最嗷但那是什么都拿曰吃二其每另否两么不了你啊只着突我吧各此又虽便即第嘿忽的忙] -e '其实' -e 'http' -e '……' -e '原来' -e '自己' -e '心想'  -e '终于' -e '当然' -e '微笑' -e '淡淡' -e '们' -e '然后' -e '所以' -e '可以' \  
17. | sed '/^.\{1\}$/d' \  
18. | sort | uniq -c | sort -k 1 -n -r | head -n 100  

执行结果如下: 

Shell代码  

1. $ ./filter_name.sh 天龙八部.txt  
2.     596 段誉  
3.     564 慕容复  
4.     532 木婉清  
5.     528 王语嫣  
6.     461 段正淳  
7.     358 鸠摩智  
8.     351 游坦之  
9.     323 南海鳄  
10.     297 阿紫  
11.     293 虚竹  
12.     265 阿朱  
13.     257 保定帝  
14.     249 萧峰  
15.     232 丁春秋  
16.     211 乌老大  
17.     203 马夫人  
18.     174 王夫人  
19.     160 段延庆  
20.     159 段公子  
21.     156 巴天石  
22.     143 朱丹臣  
23.     140 钟万仇  
24.     139 段誉心  
25.     137 乔峰  
26.     136 耶律洪  
27.     123 风波恶  
28.     119 寻思  
29.     113 云中鹤  
30.     108 邓百川  
31.     106 苏星河  
32.     105 钟夫人  
33.     103 王姑娘  
34.     101 少林寺  
35.      91 公冶乾  
36.      90 左子穆  
37.      90 全冠清  
38.      89 段誉见  
39.      89 李秋水  
40.      89 徐长老  
41.      87 童姥  
42.      86 慕容公  
43.      84 白世镜  
44.      84 段誉一  
45.      83 非也  
46.      83 赵钱孙  
47.      83 薛神医  
48.      81 黄眉僧  
49.      81 萧峰心  
50.      78 星宿派  
51.      78 崔百泉  
52.      77 司空玄  
53.      73 青袍客  
54.      73 大哥  
55.      72 很好  
56.      72 大伙儿  
57.      71 秦红棉  
58.      71 姊夫  
59.      71 妙极  
60.      70 乔帮主  
61.      69 镇南王  
62.      68 大声  
63.      67 阮星竹  
64.      67 薛慕华  
65.      67 萧远山  
66.      67 段誉大  
67.      67 星宿老  
68.      66 钟灵  
69.      66 司马林  
70.      62 阿碧  
71.      61 慕容博  
72.      60 虚竹心  
73.      55 段郎  
74.      54 霎时之  
75.      54 心中一  
76.      53 萧峰一  
77.      53 包三先  
78.      53 刀白凤  
79.      52 陈长老  
80.      52 诸保昆  
81.      51 玉虚散  
82.      51 江湖上  
83.      51 姑娘  
84.      50 摘星子  
85.      50 康广陵  
86.      50 姚伯当  
87.      49 飞库论  
88.      49 飞库制  
89.      49 颤声  
90.      49 」阿朱  
91.      49 电脑访  
92.      49 手机访  
93.      48 木姑娘  
94.      47 褚万里  
95.      47 虚竹一  
96.      47 少林派  
97.      46 高升泰  
98.      45 萧峰见  
99.      45 大理段  
100.      44 华赫艮  
101.      43 站起身