推荐系统-SVD/LFM基于模型的协同过滤

姓名：Jyx
描述：人工智能学习笔记

推荐系统SVD

在推荐系统里，我们把用户和物品放在同一个矩阵里，矩阵里的每个元素$r_{pq}$代表用户$p$对物品$q$的评分。为了发现用户和物品间的联系，我们对矩阵进行分解
$${\mathbf{R}}_{\mathbf{N}\times \mathbf{D}}={\left(\begin{array}{c}{\mathbf{p}}_1\\ {\mathbf{p}}_2\\ ⋮\\ {\mathbf{p}}_{\mathbf{N}}\end{array}\right)}_{\mathbf{N}\times \mathbf{N}}{\left(\begin{array}{cccc}{\Sigma }_{11}& 0& \cdots & 0\\ 0& {\Sigma }_{22}& \cdots & 0\\ ⋮& ⋮& \ddots & ⋮\\ 0& 0& \cdots & 0\end{array}\right)}_{\mathbf{N}\times \mathbf{D}}{\left(\begin{array}{c}{\mathbf{q}}_1\\ {\mathbf{q}}_2\\ ⋮\\ {\mathbf{q}}_{\mathbf{D}}\end{array}\right)}_{\mathbf{D}\times \mathbf{D}}^{\mathbf{T}}$$
这里$p_i$可以看成是描述用户的向量，$q_j$是描述物品的向量，$\Sigma$表示用户和物品的耦合关系，用户对任意物品的评分就是
$${\mathbf{r}}_{\mathbf{i}\mathbf{j}}={\mathbf{p}}_{\mathbf{i}}{\left(\begin{array}{cccc}{\Sigma }_{11}& 0& \cdots & 0\\ 0& {\Sigma }_{22}& \cdots & 0\\ ⋮& ⋮& \ddots & ⋮\\ 0& 0& \cdots & 0\end{array}\right)}_{\mathbf{N}\times \mathbf{D}}{\mathbf{q}}_{\mathbf{j}}^{\mathbf{T}}$$
但是SVD分解还有一些缺点

1. 时间复杂度是$O(N^3)$
2. 评分矩阵太稀疏，分解难以进行
3. SVD分解会导致大量的参数，而训练样本数有限，所以每个参数不能得到足够的训练，容易出现过拟合
   为此，我们简化SVD分解，SVD分解提供了一种思路，我们化简他的过程，只保留用户矩阵和物品矩阵，并且减少原始SVD分解的特征维数（用户N元N维，物品D元D维），变为K维，得到
   $$\begin{gathered} {\mathbf{R}}_{\mathbf{N}\times \mathbf{D}}={\left(\begin{array}{c}{\mathbf{p}}_1\\ {\mathbf{p}}_2\\ ⋮\\ {\mathbf{p}}_{\mathbf{N}}\end{array}\right)}_{\mathbf{N}\times \mathbf{K}}{\left(\begin{array}{c}{\mathbf{q}}_1\\ {\mathbf{q}}_2\\ ⋮\\ {\mathbf{q}}_{\mathbf{D}}\end{array}\right)}_{\mathbf{D}\times \mathbf{K}}^{\mathbf{T}} \\ {\mathbf{r}}_{\mathbf{i}\mathbf{j}}={\mathbf{p}}_{\mathbf{i}}{\mathbf{q}}_{\mathbf{j}}^{\mathbf{T}}=\sum _{\mathbf{k}=1}^{\mathbf{K}}{\mathbf{p}}_{\mathbf{i}\mathbf{k}}{\mathbf{q}}_{\mathbf{j}\mathbf{k}} \end{gathered}$$
   采用二次损失，有
   $${\mathrm{argmin}}_{P,Q}\frac{1}{2}\sum _{i,j}(r_{ij}-\sum _{k=1}^K{p}_{ik}{q}_{jk}{)}^2$$
   即使这样，维数依旧太高，需要加入正则，采用$L_2$正则，这样优化就变为
   $${\mathrm{argmin}}_{P,Q}\frac{1}{2}\sum _{i,j}(r_{ij}-\sum _{k=1}^K{p}_{ik}{q}_{jk}{)}^2+\frac{1}{2}{\lambda }_p\sum _{i=1}^N||{\mathbf{p}}_{\mathbf{i}}|{|}_2^2+\frac{1}{2}{\lambda }_{\mathbf{q}}\sum _{\mathbf{j}=1}^{\mathbf{D}}||{\mathbf{q}}_{\mathbf{j}}|{|}_2^2$$
   即
   $${\mathrm{argmin}}_{P,Q}\frac{1}{2}\sum _{i,j}(r_{ij}-\sum _{k=1}^K{p}_{ik}{q}_{jk}{)}^2+\frac{1}{2}{\lambda }_p\sum _{i=1}^N\sum _{k=0}^K{p}_{ik}^2+\frac{1}{2}{\lambda }_q\sum _{j=1}^D\sum _{k=1}^K{q}_{jk}^2$$
   一般我们会加上几个偏置，一个全局偏置，一个用户偏置，一个物品偏置，当然每个偏置也要相应的加正则，最终我们得到
   预测函数。因为全局偏置为一个数，用户偏置，物品偏置均为向量，和已经没法写成矩阵形式了，每个用户对物品的打分写成
   $$r_{ij}=\mu +m_i+w_j+\sum _{k=1}^K{p}_{ik}{q}_{jk}$$
   损失函数
   $${\mathrm{argmin}}_{P,Q}\frac{1}{2}\sum _{i,j}(r_{ij}-\mu -m_i-w_j-\sum _{k=1}^K{p}_{ik}{q}_{jk}{)}^2+\frac{1}{2}{\lambda }_p\sum _{i=1}^N\sum _{k=0}^K{p}_{ik}^2+\frac{1}{2}{\lambda }_q\sum _{j=1}^D\sum _{k=1}^K{q}_{jk}^2+\frac{1}{2}{\lambda }_m\sum _i{m}_i^2+\frac{1}{2}{\lambda }_w\sum _j{w}_j^2$$
   $\mu$为常量，可以根据输入矩阵直接计算出来，我们对最终得到的损失函数求梯度
   令$e_{ij}=r_{ij}-\mu -m_i-w_j-{\sum }_{k=1}^K{p}_{ik}{q}_{jk}$， 有
   $$\begin{array}{rl}\frac{\mathrm{d}loss}{\mathrm{d}{p}_{ik}}& =-\sum _j{e}_{ij}{q}_{jk}+{\lambda }_p{p}_{ik}\\ \frac{\mathrm{d}loss}{\mathrm{d}{q}_{jk}}& =-\sum _i{e}_{ij}{p}_{ik}+{\lambda }_q{q}_{jk}\\ \frac{\mathrm{d}loss}{\mathrm{d}{m}_i}& =-\sum _j{e}_{ij}+{\lambda }_m{m}_i\\ \frac{\mathrm{d}loss}{\mathrm{d}{w}_j}& =-\sum _i{e}_{ij}+{\lambda }_w{w}_j\end{array}$$
   采用梯度下降法，则更新公式为
   $$\begin{array}{rl}{p}_{ik}^{t+1}& =p_{ik}^t+\alpha (\sum _j{e}_{ij}^t{q}_{jk}^t-{\lambda }_p{p}_{ik}^t)\\ q_{jk}^{t+1}& =q_{jk}^t+\alpha (\sum _i{e}_{ij}^t{p}_{ik}^t-{\lambda }_q{q}_{jk}^t)\\ m_i^{t+1}& =m_i^t+\alpha (\sum _j{e}_{ij}^t-{\lambda }_m{m}_i^t)\\ w_j^{t+1}& =w_j^t+\alpha (\sum _i{e}_{ij}^t-{\lambda }_w{w}_j^t)\end{array}$$
   $\alpha$为学习率，${\lambda }_p$，${\lambda }_q$，${\lambda }_m$，${\lambda }_w$为正则参数