手撕word2vec

最近看了一些招聘的面经，深感面试官问的问题很多都是理论基础，但是如果只是浅尝辄止，了解不深入的话一般很可能回答不上来。譬如说机器学习里的一些算法细节、深度学习里的一些优化，只会调包而没有透彻理解原理是万万不行的。

我感觉我之前学习方式的对找工作有很大弊端，一般都是对原理稍作了解就开始运用代码，实则并没有将理论消化吸收。比如说接触了很久的word embedding，经典模型word2vec的原理大致了解，知道skip-gram和CBOW的基本原理（如图），只知道运用了层次softmax和负采样（negetive sample），却不明了这两者是为什么而设置的，又是怎么实现的。

一、模型

1.CBOW

2.Skip-gram

其中：（来自cs224笔记）