Word2Vec中文语料实战

最新推荐文章于 2024-07-23 17:43:49 发布

UMaker

最新推荐文章于 2024-07-23 17:43:49 发布

阅读量2.9k

点赞数 8

分类专栏：自然语言处理

自然语言处理专栏收录该内容

13 篇文章 3 订阅

订阅专栏

目录(?)[-]

Word2Vec中文语料实战

Word2Vec中文语料实战

虽然Word2Vec在NLP领域很火，但网上关于Word2Vec中文语料训练的入门级资料比较少，所以本人整理了一份，希望对感兴趣的朋友有所帮助！本文使用的语料由作者亲自收集，代码由作者亲自编写，亲测有效！

如有问题可联系作者：QQ：771966081 微信：Bryce_cvprml

1、环境配置

本人使用的是MacBook + Python2.7.11

首先，安装NLP工具包gensim，这里包含了今天的主角：Word2Vec

pip install --upgrade gensim

其次，安装中文分词工具包jieba

pip install jieba

2、语料库说明

从网上下载TXT版的《倚天屠龙记》，作为基本语料，还需要作进一步处理

3、详细实验步骤

3.1 文件编解码（非必需）

满心欢喜地打开“倚天屠龙记.txt”，竟然是这样的，难道是火星文？瞬间满脸黑线，一脸懵逼。弱弱地问一句，有人能看懂吗，膜拜一下。

很显然，这是由编解码不一致引起的问题，即写文件时的编码类型和读文件时的解码类型不同。但本人没有安装可以自定义解码方式的文本编辑器，所以只好小米加步枪，直接上代码：

  
  
   
   
    
    
     
     [python] 
     
     view plain
     
      copy
     
     
     
      
     
     
     
     
    
    
   
   
   
   #coding:utf8  
#读取倚天屠龙记文本，转码后存在新的文件里  
fin = open('倚天屠龙记.txt', 'r')  
fou = open('倚天屠龙记_uft8.txt', 'w')  
line = fin.readline()  
while line:  
    newline = line.decode('GB18030').encode('utf-8')  #用GBK、GB2312都会出错  
    print newline,  
    print >> fou, newline,  
    line = fin.readline()  
fin.close()  
fou.close()

其实很简单，从原始文件“倚天屠龙记.txt”里逐行读取文本内容，先解码再编码，然后输出到新的文件“倚天屠龙记_uft8.txt”里。新的文件长这个样子，是不是一下子能看懂了，很开心有木有^_^

3.2 中文分词

        接下来，还要分词、去掉标点符号。废话不多说，直接上代码。其实也很简单，从“倚天屠龙记_uft8.txt”里逐行读取文本，先分词，再去掉标点符号，最后保存到文件“倚天屠龙记_segmented.txt”。分词用到了jieba，本文删除标点符号的方式有点粗暴，不许笑出声来！（细心的读者可能会问，为什么这里不直接给出代码而只是代码截图呢，哈哈。。。因为这里直接贴上代码格式会很乱，为了使代码看起来清晰，只好这样了）

分词后的结果如下，内心里一阵狂喜对不对？！

3.3 模型训练


  
  
   
   
    
    
     
     [python] 
     
     view plain
     
      copy
     
     
     
      
     
     
     
     
    
    
   
   
   
   #coding:utf8  
import gensim.models.word2vec as w2v  
model_file_name = '倚天屠龙记_model.txt'  
#模型训练，生成词向量  
sentences = w2v.LineSentence('倚天屠龙记_segmented.txt')  
model = w2v.Word2Vec(sentences, size=20, window=5, min_count=5, workers=4)   
model.save(model_file_name)

3.4 模型测试

到了最激动人心的时刻，这里打印出了测试代码和结果，看起来还真有点意思啊！赵敏和自己的相似度为1；赵敏和周芷若的相似度0.98277，比较接近；赵敏和韦一笑的相似度为0.80652，远不如赵敏和周芷若相似；最后，查找与张三丰最相似的词，直觉上来看，排前6的都有一定道理，灭绝师太和他都是一代掌门，也是宗师，最相似；排到2到6的都是他的徒弟和徒孙。