表示学习1-word2vec

几点基础工作

• Representation learning
  
  • using machine learning techniques to derive data representation
• Distributed representation
  
  • different form one-hot representation, it uses dense vector to representation to represent data points
• Embedding
  
  • mapping information entities into a low-dimension space

Softmax function

函数公式：$S_i = \frac{e^{z_j}}{\sum_{k=1}^Ke^{z_k}}$ for $j = 1, ..., K$
具体Softmax function的特点可以参考 Softmax function 的特点和应用

Word2Vec
总体上，构建一个多层神经网络，在给定文本中获取对应的输入和输出，训练过程中不断修正网络的参数，最终得到输出的词向量

大体流程：
1. 分词/词干提取和词形还原
2. 构造词典，统计词频
3. 构造树形结构
4. 生成节点所在的二进制编码
5. 初始化各非叶节点的中间向量和页节点的词向量

详细介绍可参考 Word2Vec主要流程

Word2Vec中的两个重要的模型：
- CBOW
- skip-gram
可参考 CBOW 和 skip-gram