对极几何的基础矩阵和本质矩阵2

上一篇文章介绍了基础矩阵F和本质矩阵E１，下面主要介绍如何求解Ｆ矩阵。F的自由度为5，理论上5对点就可以求解，但是考虑到非线性的关系和约束问题，并且具有尺度不变性， 常用的是8点法。
假设有一组匹配的图像点，可以通过特征点匹配获得。
$$p_i=\left[\begin{array}{c}{u}_i\\ v_i\\ 1\end{array}\right]p_i^{{}^{\prime }}=\left[\begin{array}{c}{u}_i^{{}^{\prime }}\\ v_i^{{}^{\prime }}\\ 1\end{array}\right]$$
根据方程：
$$p_i^{{}^{\prime }T}F{p}_i=0$$
$$\left[\begin{array}{ccc}{u}_i^{{}^{\prime }}& v_i^{{}^{\prime }}& 1\end{array}\right]\left[\begin{array}{ccc}{F}_{11}& F_{12}& F_{13}\\ F_{21}& F_{22}& F_{23}\\ F_{31}& F_{32}& F_{33}\end{array}\right]\left[\begin{array}{c}{u}_i\\ v_i\\ 1\end{array}\right]=0$$

展开成Af=0 的形式

$$\left[\begin{array}{ccccccccc}{u}_i^{{}^{\prime }}{u}_i& u_i^{{}^{\prime }}{v}_i& u_i^{{}^{\prime }}& v_i^{{}^{\prime }}{u}_i& v_i^{{}^{\prime }}{v}_i& v_i^{{}^{\prime }}& u_i& v_i& 1\end{array}\right]\left[\begin{array}{c}{F}_{11}\\ F_{12}\\ F_{13}\\ F_{21}\\ F_{22}\\ F_{23}\\ F_{31}\\ F_{32}\\ F_{33}\end{array}\right]=0$$
每一对点一个方程，8对点8个方程：

$$\left[\begin{array}{ccccccccc}{u}_1^{{}^{\prime }}{u}_1& u_1^{{}^{\prime }}{v}_1& u_1^{{}^{\prime }}& v_1^{{}^{\prime }}{u}_1& v_1^{{}^{\prime }}{v}_1& v_1^{{}^{\prime }}& u_1& v_1& 1\\ u_2^{{}^{\prime }}{u}_2& u_2^{{}^{\prime }}{v}_2& u_2^{{}^{\prime }}& v_2^{{}^{\prime }}{u}_2& v_2^{{}^{\prime }}{v}_2& v_2^{{}^{\prime }}& u_2& v_2& 1\\ u_3^{{}^{\prime }}{u}_3& u_3^{{}^{\prime }}{v}_3& u_3^{{}^{\prime }}& v_3^{{}^{\prime }}{u}_3& v_3^{{}^{\prime }}{v}_3& v_3^{{}^{\prime }}& u_3& v_3& 1\\ u_4^{{}^{\prime }}{u}_4& u_4^{{}^{\prime }}{v}_4& u_4^{{}^{\prime }}& v_4^{{}^{\prime }}{u}_4& v_4^{{}^{\prime }}{v}_4& v_4^{{}^{\prime }}& u_4& v_4& 1\\ u_5^{{}^{\prime }}{u}_5& u_5^{{}^{\prime }}{v}_5& u_5^{{}^{\prime }}& v_5^{{}^{\prime }}{u}_5& v_5^{{}^{\prime }}{v}_5& v_5^{{}^{\prime }}& u_5& v_5& 1\\ u_6^{{}^{\prime }}{u}_6& u_6^{{}^{\prime }}{v}_6& u_6^{{}^{\prime }}& v_6^{{}^{\prime }}{u}_6& v_6^{{}^{\prime }}{v}_6& v_6^{{}^{\prime }}& u_6& v_6& 1\\ u_7^{{}^{\prime }}{u}_7& u_7^{{}^{\prime }}{v}_7& u_7^{{}^{\prime }}& v_7^{{}^{\prime }}{u}_7& v_7^{{}^{\prime }}{v}_7& v_7^{{}^{\prime }}& u_7& v_7& 1\\ u_8^{{}^{\prime }}{u}_8& u_8^{{}^{\prime }}{v}_8& u_8^{{}^{\prime }}& v_8^{{}^{\prime }}{u}_8& v_8^{{}^{\prime }}{v}_8& v_8^{{}^{\prime }}& u_8& v_8& 1\end{array}\right]\left[\begin{array}{c}{F}_{11}\\ F_{12}\\ F_{13}\\ F_{21}\\ F_{22}\\ F_{23}\\ F_{31}\\ F_{32}\\ F_{33}\end{array}\right]=0$$

A矩阵Nx9, N=8 如果满秩，有唯一不为零的解。当N>8，A为超定方程，需要最小化二乘法，求最优解。
这里的解法和单应性矩阵求法一样，SVD分解。但是求的结果$\hat{F}$不满足秩为2的约束，因而需要求一个近似的F，使得：
$$\begin{gathered} min||F-\hat{F}|| \\ det(F)=0 \end{gathered}$$
可以把$\hat{F}$通过SVD分解,令奇异矩阵E的第三个特征值为0，然后再反求出F矩阵。
$$\begin{gathered} \hat{F}=UE{V}^T \\ F=U\left[\begin{array}{ccc}E11& 0& 0\\ 0& E22& 0\\ 0& 0& 0\end{array}\right]V^T \end{gathered}$$

虽然这样也能求出F矩阵，但是误差有可能较大，主要是由于匹配的点的数值可能相差比较大，因而可以先对样本点做归一化，然后求解，这种解法叫做Normalized Eight-Point Algorithm归一化8点法。
具体做法，就是先计算每组像素点的相似变换矩阵（包含平移和缩放）。
$$\begin{gathered} q_i=T{p}_i \\ {q}_i^{{}^{\prime }}=T^{{}^{\prime }}{p}_i^{{}^{\prime }} \end{gathered}$$

计算T包括两步(具体可参考单应性矩阵优化求解)：

1. 先分别计算u和v的平均值 u0和v0
2. 然后所有的像素分别减去u0和v0，也就是平移到（0， 0）为中心的坐标系
3. 计算像素点到中心的距离的平方和最大为2。

然后利用SVD分解，求得Fq, 最后转换为原始的F：
$$F=T^{{}^{\prime }T}{F}_{q}T$$

思考：
实际情况我们会通过特征点匹配出很多点对，会存在异常点和噪声数据，常用的方法是通过ＲANSAC方法，随机选择８对不共线的点，然后通过上述的８点法，计算出Ｆ矩阵，然后通过设定阈值，计算内点个数，当内点个数满足一定条件时，就可以把所有的内点，通过最小二乘法或这LM算法优化求解，作为最后的结果。

那么距离误差用什么来衡量呢，根据多视觉立体几何一书中可以采用Sampson距离，

下一篇会讲解如何求解E，并对E进行分解R和T。