【论文笔记】FM: Factorization Machines

最新推荐文章于 2022-09-02 02:15:50 发布

xzhws

最新推荐文章于 2022-09-02 02:15:50 发布

阅读量497

点赞数 1

分类专栏：论文笔记文章标签：论文笔记推荐系统

本文链接：https://blog.csdn.net/zhuixun_/article/details/116305657

版权

论文笔记专栏收录该内容

6 篇文章 1 订阅

订阅专栏

本文详细解析了FM（Factorization Machines）算法，从二阶版本的理论推导入手，通过实对称矩阵分解降低计算复杂度，并介绍了反向传播求解方法，以及如何扩展到多阶模型。重点讲解了线性时间复杂度的实现策略。

摘要由CSDN通过智能技术生成

本文记录因子分析机FM算法的推导和理解笔记

文章目录

论文地址

https://www.csie.ntu.edu.tw/~b97053/paper/Rendle2010FM.pdf

二阶FM推导过程

FM在预测任务是考虑了不同特征之间的交叉情况，以2阶的交叉为例：
$\hat{y}(x)=w_0+\sum_{i=1}^{n}w_i*x_i+\sum_{i=1}^{n}\sum_{j=i+1}^{n}Wx_ix_j \tag{1}$
其中的 $w_0$ , $w_i$ , $W$ 是模型需要学习的内容。由于在实际场景中， $x_i$ ， $x_j$ 都是维度很大并且稀疏的one-hot类型的向量，如果直接学习交叉项的权重 $W$ 很容易过拟合。
但是注意到 $W$ 应该是一个实对称的矩阵，由实对称矩阵理论的性质：
每个实对称矩阵 $A$ 可以分解成这样一种形式： $A=Q\Lambda Q^T$ ，其中 $\Lambda$ 为对角阵， $Q$ 为正交矩阵
进而 $W$ 可以被分解成 $W=VV^T$ ，其中 $\in R^{n \times k}$ ，所以式子(1)可以化成: $\hat{y}(x)=w_0+\sum_{i=1}^{n}w_i*x_i+\sum_{i=1}^{n}\sum_{j=i+1}^{n} \langle v_i, v_j \rangle x_ix_j \tag{2}$
$v_i$ 和 $v_j$ 可以用长度为 $k$ 的向量表示： $\langle v_i, v_j \rangle = \sum_{f=1}^{k}v_{i,f} \cdot v_{j,f}$
所以有：
$\hat{y}(x)=w_0+\sum_{i=1}^{n}w_i*x_i+\sum_{i=1}^{n}\sum_{j=i+1}^{n}\sum_{f=1}^{k}v_{i,f} \cdot v_{j,f}x_ix_j \tag{3}$
直接求解这个算法的时间复杂度为 $O(kn^2)$ ，但是可以通过调整求解方式将复杂度降为 $O (k n)$

令 $M=\sum_{i=1}^{n}\sum_{j=i+1}^{n}\sum_{f=1}^{k}v_{i,f}v_{j,f}x_ix_j$
记 $N=\sum_{i=1}^{n}\sum_{j=1}^{n}\sum_{f=1}^{k}v_{i,f}v_{j,f}x_ix_j$
由于：
$\begin{aligned} N= & \sum_{i=1}^{n}\sum_{j=1}^{n}\sum_{f=1}^{k}v_{i,f}v_{j,f}x_ix_j \\ = & \sum_{i=1}^{n}\sum_{f=1}^{k}(\sum_{j=1}^{i-1} v_{i,f}v_{j,f}x_ix_j + \sum_{j=i}^{i} v_{i,f}v_{j,f}x_ix_j + \sum_{j=i+1}^{n} v_{i,f}v_{j,f}x_ix_j ) \\ = & \sum_{i=1}^{n}\sum_{f=1}^{k}(2\sum_{j=i+1}^{n}v_{i,f}v_{j,f}x_ix_j+ v_{i,f}v_{i,f}x_ix_i ) \\ = & 2 \sum_{i=1}^{n}\sum_{f=1}^{k}\sum_{j=i+1}^{n}v_{i,f}v_{j,f}x_ix_j + \sum_{i=1}^{n}\sum_{f=1}^{k} v_{i,f}v_{i,f}x_ix_i \\ = & 2M+ \sum_{i=1}^{n}\sum_{f=1}^{k} v_{i,f}v_{i,f}x_ix_i \tag{4} \end{aligned}$
所以有：
$\begin{aligned} M & = (N- \sum_{i=1}^{n}\sum_{f=1}^{k} v_{i,f}v_{i,f}x_ix_i)/2 \\ & =\frac{1}{2} \sum_{i=1}^{n}\sum_{j=1}^{n}\sum_{f=1}^{k}v_{i,f}v_{j,f}x_ix_j - \frac{1}{2} \sum_{i=1}^{n}\sum_{f=1}^{k} v_{i,f}v_{i,f}x_ix_i \\ &=\frac{1}{2} (\sum_{i=1}^{n}\sum_{f=1}^{k}v_{i,f}x_i)(\sum_{j=1}^{n}\sum_{f=1}^{k}v_{j,f}x_j) - \frac{1}{2} \sum_{i=1}^{n}\sum_{f=1}^{k} v_{i,f}^{2}x_i^2\\ &=\frac{1}{2} (\sum_{i=1}^{n}\sum_{f=1}^{k}v_{i,f}x_i)^2-\frac{1}{2} \sum_{i=1}^{n}\sum_{f=1}^{k}(v_{i,f}x_i)^2 \tag{5} \end{aligned}$
所以(3)式可以转化为：
$\hat{y}(x)=w_0+\sum_{i=1}^{n}w_i*x_i+\frac{1}{2} (\sum_{i=1}^{n}\sum_{f=1}^{k}v_{i,f}x_i)^2- \frac{1}{2} \sum_{i=1}^{n}\sum_{f=1}^{k}(v_{i,f}x_i)^2 \tag{6}$
求解上面表达式所需要的时间复杂度为 $O (k n)$ ，由于 $\ll n$ 且为常数，所以为线性复杂度。

二阶FM反向传播

在式(6)我们要求解的为模型的权重 $w_0$ , $w_i$ , $v_{i,f}$
对 $w_0$ 求导： $\frac{\partial \hat y}{ \partial w_0} =1$
对 $w_i$ 求导： $\frac{\partial \hat y}{\partial w_i} =x_i$
对 $v_{i,f}$ 求导： $\frac{\partial \hat y}{\partial v_{i,f}} =(\sum_{i=1}^{n}\sum_{f=1}^{k}v_{i,f}x_i)x_i - v_{i,f}x_i \cdot x_i$

多阶FM

设特征直接相互交叉的类别数为d,那么有：
$\hat y(x)=w_0+\sum_{i=1}^{n}w_ix_i + \sum_{l=2}^{d}\sum_{i_1=1}^n...\sum_{i_l=i_{l-1}+1}^n(\prod_{j=1}^{l}x_{i_j})(\sum_{f=1}^{k_l}\prod_{j=1}^lv_{i_j,f}^{(l)})$
直接求解的复杂度为 $O(kdn^d)$ ，但是可以通过上面的方法近似降成线性复杂度。