[图像拼接]APAP算法及相关问题研究

---

图像拼接首先通过一些手段（标定、SIFT等特征点、其他传感器等）获取图像间的对应关系（2D-2D）。

这个对应关系可以用单应性矩阵$H$（也称透视变换）描述
$$\begin{array}{rl}\left[\begin{array}{c}{x}^{\prime }\\ y^{\prime }\\ w^{\prime }\end{array}\right]=& \left[\begin{array}{ccc}{h}_{00}& h_{01}& h_{02}\\ h_{10}& h_{11}& h_{12}\\ h_{20}& h_{21}& h_{22}\end{array}\right]\left[\begin{array}{c}x\\ y\\ w\end{array}\right]\\ =& H\left[\begin{array}{c}x\\ y\\ w\end{array}\right]\end{array}\text{\hspace{1em}(1)}$$

但上述思路的前提是：待拼接的目标处于或者近似处于同一平面。否则就会产生遮挡和角度差异，从而造成拼接图的“虚影”

                                                 图1. 由于相机角度差异造成的虚影现象（红圈）

针对上述问题，Autostitch（OpenCV实现的方法）和Photosynth等方法走的是一个全局H + 虚影后处理的路线；
APAP【1】算法则使用多个局部H的方式尝试在拼接时就尽可能精确。

---

APAP算法思路

APAP算法官方主页提供了matlab的源码
Github上有第三方实现的C++代码

算法以A图为基准，首先计算B图到A图的全局变换$H$（DLT方法）,
然后将B图等间距划分小网格，逐个计算B图每个小网格与A图的局部变换$H_{\ast }$（Moving DLT方法）,
最后将B图每个网格内的点按对应的$H_{\ast }$做局部变换，与A图融合。

                                                        图2. 网格局部变换（摘自APAP论文）

---

几个问题

SVD在最小二乘中的应用

参考博文《SVD之最小二乘【推导与证明】》

- 模型$Ax=b$的求解
令$A$尺寸为$m\times n$，且$m>n$（超定问题）
则优化目标为$min||Ax-b||$

首先对$A$做SVD分解，有
$$A=U\Sigma V^T\text{\hspace{1em}(2)}$$
其中$U$和$V$分别称为$A$的左、右奇异向量，满足正交性（即$U^T=U^{-1}$）
Σ