相机成像原理与数学模型

相机的成像结果可以抽象为一个小孔和一个平面，用小孔成像模型描述。

三维世界的光线经过小孔即光心到达成像平面，形成二维投影。以相机的光心O为原点，$X_c$ 、$Y_c$ 、$Z_c$ 为坐标轴组成相机坐标系；以成像平面的中心 $O^{\prime }$为原点，$x^{\prime }$ 、$y^{\prime }$ 为坐标轴组成图像坐标系。成像过程即为相机坐标系下的三维点变换为图像坐标系下的二维点的过程。

假设P为三维空间中一点。在相机坐标系下，其坐标为 $P=[X,Y,Z{]}^T$；在图像坐标系下为点 $p$，其坐标为$p=[x,y{]}^T$。

连接O 、O^’ 与光轴重合，且与成像平面垂直，则p在相机坐标系下$p=[x,y,z{]}^T$，其中 $z=f$，$f$表示相机的焦距。仅考虑水平和光轴方向，模型抽象为一组相似三角形。

由几何关系：
$$\frac{Z}{f}=\frac{X}{x}=\frac{Y}{y}$$
整理得：
$$\begin{gathered} x=f\cdot \frac{X}{Z} \\ y=f\cdot \frac{Y}{Z} \\ z=f \\ \text{\hspace{1em}(1)} \end{gathered}$$
扩展坐标的维度，将$Z$线性化：
$$\left[\begin{array}{c}\hat{x}\\ \hat{y}\\ \hat{z}\end{array}\right]=\left[\begin{array}{cccc}f& 0& 0& 0\\ 0& f& 0& 0\\ 0& 0& 1& 0\end{array}\right]\left[\begin{array}{c}X\\ Y\\ Z\\ 1\end{array}\right]$$
则坐标$(\hat{x},\hat{y},\hat{z})$ 就是 $p=(x,y)$的齐次坐标。

相机的像素信息的计算机中占据一段连续的磁盘或内存空间，为了从存储信息的首地址开始读写，以成像平面的左上角为原点，水平向右作为$u$轴正向，竖直向下作为$v$轴正向，建立像素坐标系，其基本单位为像素。
两个坐标系的对应关系如下：

由此可知，图像坐标系和像素坐标系虽然在同一平面，但是相差了一个缩放和一个原点的平移。由于像素块是一个矩形，设其水平长度为$\alpha$，竖直长度为$\beta$。将图像坐标系下的点$(x,y)$在水平方向上缩放 $\alpha$倍、平移$c_x$，竖直方向上缩放$\beta$倍、平移$c_y$，得到像素坐标系下坐标$(u,v)$
$$\begin{gathered} u=\alpha \cdot x+c_x \\ v=\beta \cdot y+c_y \end{gathered}$$
式(1)带入：
$$\begin{gathered} f_x=\alpha \cdot f \\ {f}_y=\beta \cdot f \end{gathered}$$
写成齐次坐标的形式：
$$\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=\frac{1}{Z}\left[\begin{array}{ccc}{f}_x& 0& c_x\\ 0& f_y& c_y\\ 0& 0& 1\end{array}\right]$$
得相机得内参数矩阵：
$$K=\left[\begin{array}{ccc}{f}_x& 0& c_x\\ 0& f_y& c_y\\ 0& 0& 1\end{array}\right]$$
其中$K$称为相机的内参数矩阵，有四个未知数，这与相机的构造有关。根据以上推导可知，$f_x$ 、$f_y$ 与相机的焦距、像素的长宽有关； $c_x$、$c_y$ 与相机的成像平面大小有关。
综上所述，相机的成像过程为：
$$p=K\cdot P$$
当相机移动时，相机坐标系的原点和坐标轴的方向也会随之变化，所以需要将其变换到系统的绝对坐标系下，即世界坐标系。

相机的运动可以用一个旋转和一个平移描述。设某一点在相机坐标系下坐标为$P_c$，在世界坐标系下坐标为 $P_w$，旋转矩阵为$R$，平移向量为$t$，则其转换关系为：$$P_c=R\cdot P_w+t$$
写成齐次坐标形式为
$$\left[\begin{array}{c}{X}_c\\ Y_c\\ Z_c\\ 1\end{array}\right]=\left[\begin{array}{cccc}{R}_{11}& R_{12}& R_{13}& t_1\\ R_{21}& R_{22}& R_{23}& t_2\\ R_{31}& R_{32}& R_{33}& t_3\\ 0& 0& 0& 1\end{array}\right]\left[\begin{array}{c}{X}_w\\ Y_w\\ Z_w\\ 1\end{array}\right]$$
即
$$\left[\begin{array}{c}{X}_c\\ Y_c\\ Z_c\\ 1\end{array}\right]=\left[\begin{array}{cc}R& t\\ 0& 1\end{array}\right]\left[\begin{array}{c}{X}_w\\ Y_w\\ Z_w\\ 1\end{array}\right]$$
得到相机的外参数矩阵
$$T=\left[\begin{array}{cc}R& t\\ 0& 1\end{array}\right]$$
综上所述，就得到了一个相机的矩阵：
$$\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=\left[\begin{array}{ccc}\frac{1}{dx}& 0& c_x\\ 0& \frac{1}{dy}& c_y\\ 0& 0& 1\end{array}\right]\left[\begin{array}{cccc}f& 0& 0& 0\\ 0& f& 0& 0\\ 0& 0& 1& 0\end{array}\right]\left[\begin{array}{cc}R& t\\ 0& 1\end{array}\right]\left[\begin{array}{c}{X}_w\\ Y_w\\ Z_w\\ 1\end{array}\right]$$
其中：

• $(u,v,1)$表示像素坐标系下点的齐次坐标形式；
• $dx，dy$表示相机像素的长和宽，承前，$\alpha =\frac{1}{dx},\beta =\frac{1}{dy}$;
• $c_x,c_y$表示图像坐标系原点和像素坐标系原点的偏移值；
• $f$表示相机的焦距;
• $R$表示相机的旋转矩阵
• $t$表示相机的平移矩阵
• $(X_w,Y_w,Z_w,1)$表示点在世界坐标系下坐标的的齐次坐标形式

这就推得了相机矩阵。相机矩阵的参数由内参数和外参数组成。相机在制造的过程中，难免会出现偏差，仅仅使用出厂参数是不够的，另外还要考虑镜头畸变引起的误差。相机标定是一个获取相机内参数和外参数以及矫正镜头畸变的过程。相机标定的结果的精度将直接影响相机工作时所得结果的准确度。

标定方法使用张定友教授提出的张氏标定法。

参考：高翔《视觉SLAM十四讲》