本文介绍了如何在单机上使用word2vec工具，对大小为4GB、包含6.8亿词的搜狗SogouCS语料进行训练。经过68分钟的分词处理后，开始训练，设置参数如窗口大小、隐藏层数等，并预计总共需要约12.8小时完成训练。最终生成的词向量文件vectors.bin大小为450MB。数据来源于ftp://ftp.labs.sogou.com/Data/SogouCS/SogouCS.tar.gz。
[分词]
单机跑，耗时： 68分钟
[ 训练 ]
$ time ./word2vec -train /data/sogou/sohunews_segmented_1line.txt -output /data/sogou/vectors_sohunews.bin -cbow 0 -size 200 -window 5 -negative 0 -hs 1 -sample 1e-3 -threads 30 -binary 1
Starting training using file /data/sogou/sohunews_segment
最低0.47元/天 解锁文章
531
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
