最近看NLP的东西比较多。就拿现在google 基于神经网络做的 word2vec 作为博客的开始吧,今后会陆陆续续补充内容。
基本是分4块内容:
1.神经网络语言模型 (http://machinelearning.wustl.edu/mlpapers/paper_files/BengioDVJ03.pdf)
2.语言模型分层优化(http://www.iro.umontreal.ca/labs/neuro/pointeurs/hierarchical-nnlm-aistats05.pdf)
3.word2vec 原理(https://code.google.com/p/word2vec/)
4.google word2vec 代码
看一点写一点,先扔些参考资料链接上去。
附上在研究word2vec过程中的refer:
* 词向量基本概念
* hierarchical probabilistic neural network language model
* A scalable Hierarchical Distributed Language Model
* Distributed Representations of Words and Phrases and their Compositionality