On the capacity of face representation

On the capacity of face representation

Capacity of face representation

人脸特征模型$M$是一个带参数的embedding函数，用来将某个ID$c$的人脸图像$s$映射到向量空间$x\in {\mathbb{R}}^p$，即$\mathbf{x}=f_M\left(\mathbf{s};{\theta }_p\right)$，其中${\theta }_p$为参数

我们将人脸特征模型占据的空间建模为一个嵌入在高维空间${P\in \mathbb{R}}^p$的低维的population
manifold
$\mathcal{M}\in {\mathbb{R}}^m$。在该模型下，一个身份为$c$的人脸特征组成了一个manifold
${\mathcal{M}}_c\subseteq \mathcal{M}$。直接估计这些manifold的support和volumes是非常有挑战的，特别是考虑到在${\mathbb{R}}^p$中的manifold可能是高度纠缠(entangle)的。所以，我们首先学习一个映射，将population
manifold投影并展开到其密度、support以及volume可以更可靠的估计的低维空间。

我们的投影和展开基于Multidimensional
scaling(MDS)，其目的是在将样本潜入低维空间以后，他们之间的局部距离（相似度）依然能够保持。设 X = { x 1 , ⋯   , x n } \mathbf{X} = \left\{ x_{1},\cdots,x_{n} \right\} X={x1​,⋯,xn​}为高维空间zhong的样本点， Y = { y 1 , ⋯   , y n } \mathbf{Y} = \left\{ y_{1},\cdots,y_{n} \right\} Y={y1​,⋯,yn​}为对应的低维空间中的点。则MDS问题可以形式化为

$$\min \sum _{i<j}{\left(d_H\left({\mathbf{x}}_i,{\mathbf{x}}_j\right)-d_L\left({\mathbf{y}}_i,{\mathbf{y}}_j\right)\right)}^2$$

其中$d_H\left(.\right)$和$d_L\left(.\right)$分别为高维和低维空间的距离度量。

我们使用DNN来学习这个映射，即通过$\mathbf{y}=f_P\left(\mathbf{x};{\theta }_{\mathcal{M}}\right)$来学习，则目标变为

$$\min \sum _{i<j}{\left(d_H\left({\mathbf{x}}_i,{\mathbf{x}}_j\right)-d_L\left(f\left({\mathbf{x}}_i;{\theta }_{\mathcal{M}}\right),f\left({\mathbf{x}}_j;{\theta }_{\mathcal{M}}\right)\right)\right)}^2+\lambda {\Vert {\theta }_{\mathcal{M}}\Vert }_2^2\text{\hspace{1em}(2)}$$

我们选择$d_H\left({\mathbf{x}}_i,{\mathbf{x}}_j\right)=1+\frac{{\mathbf{x}}_i^T{\mathbf{x}}_j}{{\Vert {\mathbf{x}}_i\Vert }_2{\Vert {\mathbf{x}}_j\Vert }_2}$，$d_L\left({\mathbf{y}}_i,{\mathbf{y}}_j\right)={\Vert {\mathbf{y}}_i-{\mathbf{y}}_j\Vert }_2$（为什么两个不一样？）

Estimating Uncertainities in Representations

前一章节学习到的模型只能用来估计manifold中的单个样本，无法给出不确定度。要准确估计人脸特征的不确定度，需要对特征中由于人脸特征提取过程中不同的噪声（例如姿态、光照等）导致的不确定度进行建模。

由黑盒模型$M_t$(教师网络，其参数为 { θ P , θ M } \left\{ \mathbf{\theta}_{\mathcal{P}},\mathbf{\theta}_{\mathcal{M}} \right\} {θP​,θM​})产生的噪声embedding
$\mathbf{y}$的概率模型为

$$\begin{array}{rl}p\left(\mathbf{y}|{\mathbf{S}}^{\ast },{\mathbf{Y}}^{\ast }\right)& ={\int }_{}^{}p(\mathbf{y}|{\mathbf{s},\mathbf{S}}^{\ast },{\mathbf{Y}}^{\ast })p\left({s|S}^{\ast },{\mathbf{Y}}^{\ast }\right)d\mathbf{s}\\ & ={\int }_{}^{}{\int }_{}^{}p\left(\mathbf{y}|\mathbf{s},\theta \right)p\left(\theta |{\mathbf{S}}^{\ast },{\mathbf{Y}}^{\ast }\right)p\left(s|{\mathbf{S}}^{\ast },{\mathbf{Y}}^{\ast }\right)d\theta d\mathbf{s}\end{array}$$

其中， Y ∗ = { y 1 , ⋯   , y N } \mathbf{Y}^{*} = \left\{ \mathbf{y}_{1},\cdots,\mathbf{y}_{N} \right\} Y∗={y1​,⋯,yN​}和 S ∗ = { s 1 , ⋯   , s N } \mathbf{S}^{*} = \left\{ \mathbf{s}_{1},\cdots,\mathbf{s}_{N} \right\} S∗={s1​,⋯,sN​}为用于训练参数$\theta$的样本。$p\left(\mathbf{y}|\mathbf{s},\theta \right)$是aleatoric(data)不确定度，$p\left(\theta |{\mathbf{S}}^{\ast },{\mathbf{Y}}^{\ast }\right)$是epistemic(model)不确定度，$p\left(s|{\mathbf{S}}^{\ast },{\mathbf{Y}}^{\ast }\right)\sim \mathcal{N}\left({\mu }_g,{\Sigma }_g\right)$是对噪声embedding的manifold的高斯近似。另外，我们假设从图像$\mathbf{s}$到无噪声的embedding$\mu$的映射是一个确定的未知的函数$\mu =f\left(\mathbf{s},\theta \right)$

教师网络的黑盒特性使得模型只能给出了训练集 D = { s i , y i } i = 1 N \mathcal{D =}\left\{ \mathbf{s}_{i},\mathbf{y}_{i} \right\}_{i = 1}^{N} D={si​,yi​}i=1N​中的一个样本(意思是无法对分布进行建模)，所以需要用一个学生网络$M_s$(其参数为$w$)来模拟教师网络，更具体的说，学生网络是用来输出近似数据不确定度$p\left({\mathbf{y}}_i|{\mathbf{s}}_i,\mathbf{w}\right)\sim \mathcal{N}\left({\mu }_i,{\mathbf{\Sigma }}_i\right)$，其中${\mu }_i$表示的是无噪声的embedding的数据相关的均值近似，${\mathbf{\Sigma }}_i$表示数据相关的不确定度。所以，学生网络可以看作是教师网络的无法知道的分布的近似，通过该模型，输入一张图像$\mathbf{s}$，产生一个噪声embedding，其对应的无噪声embedding为$\mu$。即$p\left({\mathbf{y}}_{\mathbf{i}}|{\mathbf{s}}_{\mathbf{i}},\mathbf{w}\right)\approx p\left({\mathbf{y}}_{\mathbf{i}}|{\mu }_{\mathbf{i}},\theta \right)$。

然后，我们用变分分布来近似教师网络的模型不确定度，即$p\left(\mathbf{w}|{\mathbf{S}}^{\ast },{\mathbf{Y}}^{\ast }\right)\approx p\left(\theta |{\mathbf{S}}^{\ast },{\mathbf{Y}}^{\ast }\right)$

如何学习： 关键是学习学生网络。给定训练图像及其教师网络的embedding。我们用学生网络来学习高斯分布的参数，然后再通过高斯分布来模拟教师网络的embedding。

具体来说，我们用两个网络，${\mu }_i=f\left({\mathbf{s}}_i;{\mathbf{w}}_{\mu }\right)$和${\mathbf{\Sigma }}_i=f\left({\mathbf{s}}_i;{\mathbf{w}}_{\mathbf{\Sigma }}\right)$来表示数据的不确定度$p\left({\mathbf{y}}_i|{\mathbf{s}}_i,\mathbf{w}\right)$，其中 w = { w μ , w Σ } \mathbf{w}\mathbf{=}\left\{ \mathbf{w}_{\mathbf{\mu}}\mathbf{,}\mathbf{w}_{\mathbf{\Sigma}} \right\} w={wμ​,wΣ​}。对于模型不确定度，这里简单的用dropout来近似变分分布(可以看成是网络权重的伯努利采样的不确定度,这里直接用dropout是否太简单，用variational
inference会不会更好?可参考论文1506.02142，1505.05424以及《Weight
uncertainty in neural networks》)

我们的模型参数为 ϕ = { w μ , w Σ , μ g , Σ g } \phi = \left\{ \mathbf{w}_{\mathbf{\mu}}\mathbf{,}\mathbf{w}_{\mathbf{\Sigma}}\mathbf{,}\mathbf{\mu}_{g}\mathbf{,}\mathbf{\Sigma}_{g} \right\} ϕ={wμ​,wΣ​,μg​,Σg​}，学习采用最大似然估计，即最小化观察值 Y = { y 1 , ⋯   , y N } \mathbf{Y} = \left\{ \mathbf{y}_{1},\cdots,\mathbf{y}_{N} \right\} Y={y1​,⋯,yN​}的负log-likelihood。

整体的loss函数为

$$\underset{\varphi }{\min }{\mathcal{L}}_s+\lambda {\mathcal{L}}_g+\gamma {\mathcal{L}}_{r_s}+\delta {\mathcal{L}}_{r_g}\text{\hspace{1em}(4)}$$

其中${\mathcal{L}}_{r_s}=\frac{1}{2N}{\sum }_{i=1}^N{\Vert {\mathbf{\Sigma }}_i\Vert }_F^2$和${\mathcal{L}}_{r_g}=\frac{1}{2N}{\sum }_{i=1}^N{\Vert {\mathbf{\Sigma }}_g\Vert }_F^2$是正则项，${\mathcal{L}}_s$是学生网络用高斯分布$\mathcal{N}\left({\mu }_i,{\mathbf{\Sigma }}_i\right)$来表示噪声特征${\mathbf{y}}_i$的log似然，即

$${\mathcal{L}}_s=\frac{1}{2}\sum _{i=1}^N\ln \left|{\mathbf{\Sigma }}_i\right|+\frac{1}{2}\text{Trace}\left(\sum _{i=1}^N{\mathbf{\Sigma }}_i^{-1}\left[\left({\mathbf{y}}_i-{\mu }_i\right){\left({\mathbf{y}}_i-{\mu }_i\right)}^T\right]\right)$$

${\mathcal{L}}_g$是population
manifold（即所有人的manifold）的log-likelihood，形式为多元高斯$\mathcal{N}\left({\mu }_g,{\mathbf{\Sigma }}_g\right)$。注意与${\mathcal{L}}_s$的区别，${\mathcal{L}}_g$是总的，所以要对统计所有样本才能算方差，所以求和是在最里面，${\mathcal{L}}_s$是对单个人的，loss是考虑所有人，所以求和是在${\mathbf{\Sigma }}_i^{-1}$之外。

$${\mathcal{L}}_g=\frac{N}{2}\ln \left|{\mathbf{\Sigma }}_g\right|+\frac{1}{2}\text{Trace}\left({\mathbf{\Sigma }}_g^{-1}\sum _{i=1}^N\left[\left({\mathbf{y}}_i-{\mu }_g\right){\left({\mathbf{y}}_i-{\mu }_g\right)}^T\right]\right)$$

为了计算方便，我们假设协方差矩阵$\mathbf{\Sigma }$是一个对角阵，这也意味着我们假设embedding的各个维度的不确定度是独立的。这个假设会带来两个便利：1）学生网络只需要预测协方差矩阵的对角元素；2）半正定约束在对角矩阵中，只需要保证对角元素非负即可。由于对角元素非负，我们可以计算对角元素的log值，$l_j=\log {\sigma }_j^2$。（为什么要强调非负呢，方差不是一定为正吗，关键原因是这是网络预测的，不是计算出来的），基于此假设，我们可以简化

$${\mathcal{L}}_s=\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^d{l}_i^j+\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^d\frac{{\left(y_i^j-{\mu }_i^j\right)}^2}{\exp \left(l_i^j\right)}$$

同样，我们可以对${\mathcal{L}}_g、{\mathcal{L}}_{r_s}、{\mathcal{L}}_{r_g}$进行简化。

在实际学习参数时，我们用所有训练样本的平均脸作为${\mu }_g$，然后学习其他三组参数 { w μ , w Σ , Σ g } \left\{ \mathbf{w}_{\mathbf{\mu}}\mathbf{,}\mathbf{w}_{\mathbf{\Sigma}}\mathbf{,}\mathbf{\Sigma}_{g} \right\} {wμ​,wΣ​,Σg​}

推断： 对于一张人脸图像$\mathbf{s}$，数据不确定度可以如下计算

$$\mu =f\left(\mathbf{s};{\mathbf{w}}_{\mu }\right)$$

$$\mathbf{\Sigma }=f\left(\mathbf{s},{\mathbf{w}}_{\mathbf{\Sigma }}\right)$$

模型不确定度可以通过对模型参数$\mathbf{w}$的不同采样求蒙特卡洛积分得到。具体来说，对$\mathbf{w}$的不同采样通过dropout来实现，经过$T$轮估计，最终可得模型不确定度可通过蒙特卡洛积分计算

$${\hat{\mu }}_i=\frac{1}{T}\sum _{t=1}^T{\mu }_i^t{\hat{\Sigma }}_i=\frac{1}{T}\sum _{t=1}^T\left({\mu }_i^t-{\hat{\mu }}_i\right){\left({\mu }_i^t-{\hat{\mu }}_i\right)}^T+\frac{1}{T}\sum _{t=1}^T{\Sigma }_i^t$$

其中${\mu }_i^t$和${\Sigma }_i^t$是学生网络预测的数据不确定度

manifold approximation

近似manifold的方法可以有参数化和无参数化两种，参数化的方法(比如多元高斯)计算简单，泛化性能好，但对density和support的估计没那么准(相当于模型的bias偏大，但variance正常)，无参数化方法则相反(bias小而variance大)。本文采用参数化方法
，在embedding投影的低维空间中使用多元高斯模型来近似population和单个类别的manifold的近似。

之所以要选择多元高斯，是因为(1)从概率的角度来看，更鲁棒、计算manifold的密度更简单；(2)从几何角度来看，多元高斯假设manifold呈超椭球，这在计算指定误报下的manifold的support和volume有好处；(3)通过MDS得到的低维映射本身包含了将同一人的图像聚在一起的要求，所以使用
高斯分布来近似manifold也是合理的

计算方法如下，population embedding的均值计算方法为${\mu }_{{\mathbf{y}}_c}=\frac{1}{C}{\sum }_{c=1}^C{\hat{\mu }}^c$，其中${\hat{\mu }}^c=\frac{1}{N_c}{\sum }_{i=1}^{N_c}{\hat{\mu }}_i^c$。population embedding的方差${\Sigma }_{{\mathbf{y}}_c}$估计如下

KaTeX parse error: Unexpected end of input in a macro argument, expected '}' at position 25: …ligned} \tilde \̲m̲a̲t̲h̲b̲f̲ ̲\Sigma^c &= \un…

$${\Sigma }_{{\mathbf{z}}_c}=\frac{1}{N_{c}T}\sum _{i=1}^{N_c}\sum _{t=1}^T\left[\left({\mu }_i^t-{\hat{\mu }}_i\right){\left({\mu }_i^t-{\hat{\mu }}_i\right)}^T+{\mathbf{\Sigma }}_i^t\right]\text{\hspace{1em}(9)}$$

model capacity

下面我们要建立population和单个类的manifold与FAR的函数关系

我们用一个多元高斯分布来建模population manifold，对每一个类的噪声embedding也用一个多元高斯模型来建模。在此设定下，判别函数决定了决策边界以及分类正确率。
如何引入FAR呢？实际上，对于二分类来说，分类面决定了阈值，从而关联到FAR。对于多类分类来说，判别函数是被所有两两分类的分类面包围的表面(如下图黄色区域)，可以渐进的用超椭球表示
该超椭球的support可以用可以接受的FAR来决定。

在多类分类设定下，capacity估计问题可以等价于ellipse packing问题，即估计在一个大椭球里，最多可以包裹多少个小椭球的问题(对于人脸识别来说，大椭球是所有人撑起的空间，小椭球是单个人)。超椭球的容量$V$对应于马氏距离
$r^2=(x-\mu {)}^T{\Sigma }^{-1}(x-\mu )$，其中，协方差矩阵 $\Sigma$计算公式为 $V=V_d{\left|\Sigma \right|}^{\frac{1}{2}}{r}^d$，其中$V_d$为d维超球的容量。人脸特征的capacity的上限可以用population的volume和单个人的volume之比
来计算
$$\begin{array}{rl}C& \le \left(\frac{V_{y_c,z_c}}{V_{z_c}}\right)\\ & =\left(\frac{V_d{\left|{\Sigma }_{y_c}+{\Sigma }_{z_c}\right|}^{\frac{1}{2}}{r}_{y_c}^d}{V_d{\left|{\Sigma }_{z_c}\right|}^{\frac{1}{2}}{r}_{z_c}^d}\right)=\left(\frac{{\left|{\Sigma }_{y_c}+{\Sigma }_{z_c}\right|}^{\frac{1}{2}}{r}_{y_c}^d}{\left|{\Sigma }_{z_c}^{\frac{1}{2}}\right|r_{z_c}^d}\right)\\ & =\left(\frac{{\left|{\bar{\Sigma }}_{y_c,z_c}\right|}^{\frac{1}{2}}}{{\left|{\bar{\Sigma }}_{z_c}\right|}^{\frac{1}{2}}}\right)\end{array}\text{\hspace{1em}(10)}$$

其中，$V_{y_c,z_c}$为population超椭球的容量， $V_{z_c}$为单个类的容量。population超椭球的size $r_{y_c}$通过设定包含多少个人（类别）来确定， $r_{z_c}$决定了单个类别的size。 ${\bar{\Sigma }}_{y_c,z_c}$以及 ${\bar{\Sigma }}_{z_c}$为包围进来的population和单个类的effective size

实际如何做

设 Ω = { x ∣ r 2 ≥ ( x − μ ) T Σ − 1 ( x − μ ) } \Omega=\{ x | r^2 \ge (x-\mu)^T \Sigma^{-1} (x-\mu)\} Ω={x∣r2≥(x−μ)TΣ−1(x−μ)}为图中黄色的超椭球，不失一般性的，假设单个类的超椭球中心在原点，则误报$q$可以计算如下
$$q=1-{\int }_{x\in \Omega }\frac{1}{\sqrt{(2\pi {)}^d\left|\Sigma \right|}}\exp \left(-\frac{x^T{\Sigma }^{-1}x}{2}\right)dx$$

设$y={\Sigma }^{-\frac{1}{2}}x$，则有 Ω = { y ∣ r 2 ≥ y T y } \Omega=\{y|r^2 \ge y^Ty\} Ω={y∣r2≥yTy}，q为
$$q=1-{\int }_{y\in \Omega }\frac{1}{\sqrt{(2\pi {)}^d}}\exp \left(-\frac{y^{T}y}{2}\right)dy\text{\hspace{1em}(12)}$$
其中, { y 1 , ⋯   , y n } \{y_1,\cdots,y_n\} {y1​,⋯,yn​}为独立的标准归一化的随机变量。马氏距离$r^2$服从卡方分布 ${\chi }^2(r^2,d)$，自由度为 $d$， $1-q$为卡方分布${\chi }^2(r^2,d)$的CDF(为什么？)，所以，给定FAR $q$，对应的马氏距离 $r_{z_c}$可以从卡方分布的inverse CDF计算得到。同样，population超椭球的size $r_{y_c}$
可以从 ${\chi }^2(r_y^2,d)$的inverse CDF计算得到。然后就可以计算得到capacity $C$

算法流程如下

实验

数据集

CASIA: 训练教师学生网络

LFW & IJB-A/B/C: 估计教师网络的capacity

Face Representation performance

学生网络：每个卷积层以及manifold projection之前都有dropout

manifold projection and unfolding部分使用CASIA WebFace来训练，训练样本为随机选择的$x_i$和$y_i$。使用ADAM，正则化参数为 $\lambda =3\times 10^{-4}$，
用cos学习率下降方式对训练mapping至关重要

学生网络的训练目标是优化公式(4)中的loss。卷积的dropout ratio为0.05，FC层为0.2
inference阶段，每张图都过学生网络1000遍，然后计算蒙特卡洛积分来计算image embedding的均值和方差

实验： 在LFW、IJB-A、IJB-B、IJB-C来评估。

实验结果如下

说明学生网络能接近教师网络的性能

Face Representation Capacity

实现细节

我们用公式10来估计模型的capacity，对于每个测试集，都需要估计population的${\Sigma }_{y_c}$和单个类的${\Sigma }_{z_c}$，具体计算是在inference时加入dropout，对每张图进行1000次
前向，为了去除outlier的影响，对于LFW，我们选择2张以上的类，对于IJB-A/B/C，则选择5张以上的类。