深度学习核心技术实战 NLP-word2vec

 

多分类的逻辑回归- softmax模型

word2vec：词向量  one-hot representation 对应位置为1，但不能表达词之间的关系

本质上是对词的一种表示，但是是结合了上下文内容的。无监督模型

词的两种表示：

• One-hot Representation（独热表示） 
  “苹果”表示为 [0 0 0 1 0 0 0 0 0 0 0 0 0 0 0 0 …] 
  优点：简介，缺点：词之间是孤立的，维数灾难。
• Distributed Representation（分布式表示） 
  词向量或者词嵌入（word embedding）是用一个向量来表示一个词，一定程度上可以用来刻画词之间的语义距离。 
  给出一个文档，用一个单词序列比如 “我喜欢苹果”，然后对文档中每个不同的单词都得到一个对应的低维向量表示，“苹果”表示为 [0.11, −0.77, −0.71, 0.10, −0.50, …]。 
  优点：低维、相似词的词向量距离相近，缺点：计算复杂。

 

n-gram n=1上下文无关  n=5往前看4个词（n-1）。  

n-gram n=2 bigram模型  无法建模出词之间的相似度，只能有前后的转换概率。出现没有见过的需要用laplace平滑。或者回退法。

 

训练目标一般都为最大似然+正则项，对最大似然的相反数可进行随机梯度下降优化。输出层为softmax。

 

基于决策树的，是否是xx词性，是否是XX词

最大熵模型：又叫指数模型，softmax形式。在只掌握关于未知分布的部分知识时，应当选取符合这些知识的但又能使得熵最大的概率分布。

自适应语言模型  单独训练一个局部模型，将全局和侦测到这个局部模型的区域用混合模型去解决。

 

CBOW continuous bag of words 连续词袋模型 使用当前预测词汇的前后各k个词（k为window-b，b为一个随机数） 一起输入到神经网络中projection中 再输出。 实际操作为上下文词向量（已经转换成向量的词）的加和。Neu1表示隐层向量。

有两种：hierarchical softmax negative sampling

Skip-gram模型：

Skip gram模型词语指示方向与CBOW相反预测概率p(wi|wt) t-c<i<t+c 输出的是w(t+c) ~w(t-c)的概率  使用softmax输出。会计算窗口内两两之间的概率

Skip-gram每个词都表征了上下文的分布skip指在一定窗口内的词都会两两计算概率 即使间隔一些词也会容易识别为相同的短语。

 

Hierarchical softmax:借助分类的概念 对这些词按照类别区分 二叉树：使用二分类近似多分类

Word2vec中使用huffman编码（一定的聚类思想）构造一连串的二分类

Negative sampling：使用one-versus-one近似二分类   采样一些负例  不想把分母中的所有词都算一遍，就采样计算，采样多少就是模型中负例的个数，按照词频对应的概率分布来随机抽样。

GloVe

LDA(Latent Dirichlet Allocation) PLSA(概率模型)  LSA（潜在语义模型）用于生成词向量。这些模型对全局信息应用充分但是对词之间的关联体现不出来，GloVe是一种矩阵分解方法，结合了LFM（Latent Factor Model）只是分解对象变为共现频率的对数，对高低频做了一定的权重调整。Global vectors for word representation

 

 

结论：

1. word2vec去掉了非线性隐层
2. huffman相当于做了一定的聚类，越高频计算量越小；
3. 采用negative sampling、随机梯度算法
4. 不需要反复迭代
5. 利用一些编程技巧 指数运算的与计算 高频词亚采样， 方便实行并行化。