Bregman divergence

Bregman divergence

---

Bregman 散度（Bregman divergence or divergence distance）是一种类似于距离度量的方式，用于衡量两者之间的差异大小。

定义

可以认为，Bregman散度是损失或者失真函数。考虑如下情况：设点 p 是点 q 的失真或者近似的点，也就是说可能 p 是由 q 添加了一些噪声形成的，损失函数的目的是度量 p 近似 q 导致的失真或者损失，因而Bregman散度可以用作相异性函数。

更为形式化地，定义函数 $F:Ω \rightarrow R$ 。其中$Ω$是一个凸集，$F$是一个严格凸二次可微函数。
由该函数$F$生成的Bregman散度通过下面的公式给出：

$$D_F(p.q) = F(p)-F(q)- \left\langle\nabla F(q),(p-q)\right\rangle$$
其中$\nabla F(q)$表示函数$F$在$q$处的梯度，$(p-q)$表示两个向量的差，$\left\langle\nabla F(q),(p-q)\right\rangle$是$\nabla F(q)$和$(p-q)$的内积。
以上公式的后半部分$L(p,q)=F(q)+ \left\langle\nabla F(q),(p-q)\right\rangle$表示了函数F在$q$点附近的线性部分，而Bregman散度是一个函数与该函数的线性近似（一阶Taylor展开）之间的差，选取不同的函数F可以得到不同的Bregman散度。

性质

1.　不满足三角不等式，即对任意的x、y、z，以下不等式不一定成立：

$$D_F(x,z) \leq D_F(x,ｙ)＋D_F(ｙ,z)$$
2.　不满足对称性，即对任意ｘ和ｙ，下式不一定成立：

$$D_F(x,y)=D_F(y,x)$$
3. 非负性：对于所有的p和q，满足 $D_F(p,q)\geq0$,这一点是由函数F的凸性决定的；
4. 凸性： $D_F(p,q)$在第一个参数上是凸的,但是在第二个参数上不一定是；
5. 线性：如果我们将Bregman散度考虑为函 $F$的操作符，那么它对于非负的系数是线性的。即对于严格凸且可微的函数$F_1$和 $F_2$，以及系数 $\lambda\geq0$，满足：
$$D_{F_1+ \lambda F_2}(p,q) = D_{F_1}(p,q)+ \lambda D_{F_2}(p,q)$$
6. 对偶性：函数 $F$具有凸的共轭$F^*$，则 $F^*$的Bregman散度与 $D_F(p,q)$存在着如下的联系：
$$D_F^*(p^*,q^*)=D_F(q,p)$$
其中， $p^*=\nabla F(p)$， $q^*=\nabla F(q)$是p和q的对偶点。

举例

选择不同的函数$F$，就可以得到不同的Bregman散度形式：

• 欧式距离平方
  

  $$D_F(x,y)=||x-y||^2$$
  是令$F(x)=||x||^2$得到的。

  • 马氏距离平方
    

    $$D_F(x,y)=\frac12(x-y)^TQ(x-y)$$
    是令$F(x)=\frac12x^TQx$得到的，这可以看作是以上欧式距离平方的推广。

  • KL散度
    

    $$D_F(p,q)= \sum p(i)log\frac{p(i)}{q(i)} - \sum p(i) + \sum q(i)$$
    是令$F(p)=\sum p(i)logp(i) - \sum p(i)$得到的。

  • IS距离
    

    $$D_F(p,q)= \sum_{i}(\frac{p(i)}{q(i)}-log\frac{p(i)}{q(i)}-1)$$
    是令$F(p)= - \sum p(i)$得到的。