1.4.1 摄像机与激光雷达的联合标定

多传感器标定是智能网联汽车实现的基本需求。良好的标定是多传感器信息融合的基础。一辆车上装了多个（多种）传感器，而它们之间的坐标关系是需要确定的，不同传感器有着独立的坐标系和不同的采集频率，必须把不同坐标系的数据转换到同一坐标系并进行时间配准，才能实现融合。对于激光雷达和相机的联合标定，其基本原理就是得到激光雷达和相机数据之间的转换关系[18]，即找到同一时刻激光点云数据和图像中对应的像素点。

激光雷达坐标系可以描述物体与激光雷达的相对位置，表示为［X_L，Y_L，Z_L］。其中，原点为激光雷达几何中心，X_L轴水平向前，Y_L轴水平向左，Z_L轴竖直向上，符合右手坐标系规则。相机系统中存在三个坐标系：像素坐标系、图像坐标系和相机坐标系。像素坐标系表示为［u，v］。其中，原点为图像左上角，u轴水平向右，v轴竖直向下。图像坐标系指在图像像素坐标系下建立以物理单位（如毫米）表示的坐标系，使像素尺度具有物理意义，表示为［x，y］。其中，原点为相机主点，即相机光轴与图像平面的交点，一般位于图像平面中心；x轴与u轴平行，y轴与v轴平行。相机坐标系可以描述物体与相机的相对位置，表示为［X_C，Y_C，Z_C］。其中，原点为相机光心O点，X_C轴与x轴平行，Y_C轴与y轴平行，Z_C轴与摄像机光轴平行，与图像平面垂直。坐标变换流程框图如图1-25所示。

坐标变换过程一般可以分成三个步骤：

步骤1 从激光雷达坐标系变换为相机坐标系，可以用旋转矩阵R和平移矩阵T表示。其中，R是大小为3×3的矩阵，表示空间坐标旋转；T是大小为3 ×1的矩阵，表示空间坐标平移。变换公式为

图1-25 坐标变换流程框图

步骤2 从相机坐标系到图像坐标系的变换，是从三维坐标系变换为二维坐标系的过程，属于透视投影关系，满足三角形的相似定理。其中，f为相机焦距。变换公式为

步骤3 从图像坐标系到像素坐标系的变换，此时不存在旋转变换，但是坐标原点位置不同，单位长度不同，主要涉及伸缩变换和平移变换。变换公式为

综上所述，激光雷达和相机的坐标转换关系可以表示为

通过最终的变换将激光点云数据投影到图像上，通过张正友标定法[19]可以得到坐标变换关系，实现激光雷达和相机的空间联合标定。

激光雷达的采集频率大约为35Hz，而相机的为15Hz。那么，当摄像头采集到一帧图像数据时，对应的时间标签为t₁，激光雷达采集数据帧对应的时间标签为t₂，这两个时间分为对应计算机采集到数据时的记录时间，这就造成了两者在时间空间上的不一致。也就是说，由于传感器的采集频率不同，图像数据时间和激光雷达数据时间并不相同。采集数据时间尽管不同，但仍然可以用于激光雷达和相机的联合标定。但是，一旦当智能车辆高速运动时，这两者间的时间差就将会影响最后的检测，所以，如何减少相机和激光雷达传感器的同步问题是实现数据融合的又一关键问题。简言之，可以认为空间联合标定是相机和激光雷达数据空间上的标定，而时间同步标定则是相机和激光雷达时间上的标定，只有在“时”与“空”上都完整进行标定，才能使最后的实验结果更精确。时间上的标定，可采用时间最近邻匹配的方法，找到与每一帧激光雷达数据时间间隔最小的图像数据进行处理，实现激光雷达和相机的时间配准。