几点基础工作
- Representation learning
- using machine learning techniques to derive data representation
- Distributed representation
- different form one-hot representation, it uses dense vector to representation to represent data points
- Embedding
- mapping information entities into a low-dimension space
Softmax function
函数公式:
Si=ezj∑Kk=1ezk
for
j=1,...,K
具体Softmax function的特点可以参考 Softmax function 的特点和应用
Word2Vec
总体上,构建一个多层神经网络,在给定文本中获取对应的输入和输出,训练过程中不断修正网络的参数,最终得到输出的词向量
大体流程:
1. 分词/词干提取和词形还原
2. 构造词典,统计词频
3. 构造树形结构
4. 生成节点所在的二进制编码
5. 初始化各非叶节点的中间向量和页节点的词向量
详细介绍可参考 Word2Vec主要流程
Word2Vec中的两个重要的模型:
- CBOW
- skip-gram
可参考 CBOW 和 skip-gram