摄像头基础及校准

Camera系列文章

传感器融合是将多个传感器采集的数据进行融合处理，以更好感知周围环境；这里首先介绍Camera的相关内容，包括摄像头及图像知识基本介绍，OpenCV图像识别（特征提取，目标分类等），融合激光点云和图像进行TTC估计。

系列文章目录
1. 摄像头基础及校准
2. Lidar TTC估计
3. Camera TTC估计

---

---

# 前言 相机将三维世界中的坐标点（单位为米）映射到二维图像平面（单位为像素）的过程常用**针孔相机模型**来进行描述。针孔模型描述了一束光线通过针孔后，在针孔背面投影成像的关系。同时，由于相机镜头上的透镜的存在，使得光线投影到成像平面的过程中会产生**畸变**，因此我们使用针孔和畸变模型来对整个投影过程进行建模。

针孔摄像头模型

小孔成像模型——成像平面到像素坐标

原始形式（真实成像是倒立的）：
$$\frac{Z}{f}=-\frac{X}{X^{\prime }}=-\frac{Y}{Y^{\prime }}①$$
翻转到前面（摄像头图像输出时通常会进行翻转）：
$$\frac{Z}{f}=\frac{X}{X^{\prime }}=\frac{Y}{Y^{\prime }}②$$
整理得到：
$$X^{\prime }=f\frac{X}{Z}③$$
$$Y^{\prime }=f\frac{Y}{Z}④$$
像素坐标系：原点$O^{\prime }$位于图像左上角，$u$轴向右与$x$轴平行，$v$轴向下与$y$轴平行。像素坐标系与成像平面之间相差一个缩放和原点的平移，假设像素坐标在$u$轴上缩放$\alpha$倍，在$v$上缩放KaTeX parse error: Undefined control sequence: \belta at position 1: \̲b̲e̲l̲t̲a̲倍。同时，原点平移了$[c_x,c_y{]}^T$

成孔平面到$P^{\prime }$像素坐标$[u,v{]}^T$：
$$u=\alpha X^{\prime }$$