三维激光点云到二维图像的投影

最新推荐文章于 2024-08-15 10:11:42 发布

庐陵小子

最新推荐文章于 2024-08-15 10:11:42 发布

阅读量1.8w

点赞数 8

分类专栏： Camera

本文链接：https://blog.csdn.net/zqshust/article/details/116241074

版权

本文介绍了如何将三维激光点云数据投影到二维图像上，涉及摄像头的内外参、齐次坐标系、以及激光雷达与摄像头之间的坐标变换。通过理解内外参矩阵和外参矩阵，可以实现3D激光点云到摄像头图像的精确映射，增强传感器融合的效果。

摘要由CSDN通过智能技术生成

Camera系列文章

传感器融合是将多个传感器采集的数据进行融合处理，以更好感知周围环境；这里首先介绍Camera的相关内容，包括摄像头及图像知识基本介绍，OpenCV图像识别（特征提取，目标分类等），融合激光点云和图像进行TTC估计。

系列文章目录
1. 摄像头基础及校准
 2. Lidar TTC估计
 3. Camera TTC估计
 4. OpenCV图像特征提取
 5. 常见特征检测算法介绍
 6. 常见特征描述符介绍
 7. YOLOv3物体检测
 8. 三维激光点云到二维图像的投影

前言

我们可以使用摄像头或激光雷达跟踪物体。单一传感器的主要问题是，每个传感器都有其弱点，某些场景可能会可靠性降低，因此需要恰当的融合摄像头和激光雷达以提升跟踪过程效果。
本章中将介绍如何融合3D激光雷达点云数据和摄像头跟踪的特征点——将激光点云投影到Camera图像上。

齐次坐标系

相机坐标系下，3D空间点 $\vec{P}$ 到图像坐标系中 $\vec{P'}$ 的映射公式如下：
在这里插入图片描述
除了上述针孔相机模型几何投影对应的摄像头内参，也需要摄像头和雷达在同一坐标系下的相对位置和方位关系。激光雷达到摄像头的转换包含对每个点进行平移和旋转操作。使用线性变换（映射），3D点使用向量表示，旋转、平移、缩放操作、透视变换使用对向量的矩阵乘表示。3D空间点到2D图像的变换会丢掉Z轴（距离）信息，导致非线性，通常解决办法是引入齐次坐标系（Homogenous coordinate system）替代原有的欧氏坐标系（Euclidean coordinate system），如下所示，通过简答的矩阵-向量乘即可实现，具体如下：
在这里插入图片描述

内外参（Intrinsic and Extrinsic Parameters）

内参

以下是针孔摄像头模型的投影方程。
在这里插入图片描述
内参矩阵K的参数对成像的影响可参考如下网站：Dissecting the Camera Matrix, Part 3: The Intrinsic Matrix

外参

目前我们讨论了摄像头坐标系中的3D空间点P到2D图像平面的映射。但通常有多个传感器，每个传感器都有各自的坐标系，同时还有车辆坐标系。如下图所示，车辆坐标系的坐标原点位于后轴中心点的地面上，X轴指向行车方向，Y轴指向车辆左侧，Z轴向上，符合右手定则。围绕X、Y、Z的旋转为roll, pitch，yaw。
在这里插入图片描述
当车辆同时配备激光雷达和摄像头时，就需要进行坐标系变换（映射），通常包括：①平移（如下图所示， $\vec{P}$ → $\vec{P'}$ ）,使用平移向量 $\vec{t}$ 。齐次坐标系中，可以使用N*N的单位矩阵I和平移向量 $\vec{t}$