Item2Vec: Neural Item Embedding for Collaborative Filtering,2016
abstract
该工作借鉴了word2vec的思想,学习item在低维隐含空间的嵌入表示,类似item-based CF用于推荐。item的序列等价于词的序列,将训练样本由句子该为item序列即可,item间共现为正样本,按照item的概率分布进行负采样。实验结果表明比SVD的效果更好。
模型
skip-gram:最小化目标函数
1 K ∑ i = 1 K ∑ − c ≤ j ≤ c , j ≠ 0 l o g p ( w i + j ∣ w i ) \frac{1}{K} \sum_{i=1}^{K} \sum_{-c\leq j \leq c , j\neq0}{
{\rm log \ } p(w_{i+j} | w_i)} K1i=1∑K−c≤j≤c,j̸=0∑log p(wi+j∣wi)
子采样
为了解决热门物品和冷门物品之间的不平衡,引入子采样 (subsampling),对于输入的序列,一定概率丢弃词w
p ( d i s c a r d ∣ w ) = 1 − ρ f ( w ) p(discard|w) = 1-\sqrt{\frac{\rho}{f(w)}} p(discard∣w)=1−f(w)ρ
其中 f ( w ) f(w) f(w) 为w的频率, ρ \rho