第42卷第3期 2021年3月
激光杂志
LASER JOURNAL
Vol. 42,No. 3
M arch, 2021
范生宏K2，王强、勾志阳2，冯晨阳、夏常青3，金辉3
1天津师范大学地理与环境科学学院，天津300387;
2普达迪泰（天津）智能装备科技有限公司，天津300393;
3中车长春轨道客车股份有限公司，长春130062
摘要：将激光雷达点云与光学影像进行配准融合，在数字城市建模、自动驾驶和导航避障等方面有重要 的应 用价值。当前多数自动配准方法需要专门设计特殊的场景结构，操作复杂。根据激光雷达对破璃具有穿透的 特性，提出利用透明的门窗等室内建筑物场景来实现对激光雷达点云与光学影像的自动配准。首先，将激光点 云量化为图像，提取光学影像与量化图像的门窗角点特征，并利用相关系数法实现特征点的自动匹配；然后，对 激光雷达与相机之间的配准转换参数进行求解；最后，对两种数据进行配准融合。实验结果表明：利用室内门 窗这种规则的半透明场景，可以轻松实现激光点云与光学影像的自动化配准，简单实用，操作性强。 关键词：光学影像；激光雷达点云；自动化配准；量化影像
中图分类号:TN29 文献标识码：A doi：10. 14016/j. cnki. jgzz. 2021.03. 157
A simple automatic registration method for Lidar point cloud and optical image
FAN Shenghong1 ,WANG Qiang*,GOU Zhiyang1 ,FENG Chenyang2,XIA Changqing3,JIN Hui3 {School o f Geographic and Environment Science y Tianjin Normal University, Tianjin300387, China；
2 PRODETEC {Tianjin) Intelligent Equipment Technology CO. LTD, Tianjin 300393, China \
3CRRC Changchun Rail Bus Co., Ltd., Changchun130062, Jilin, China
Abstract ： The registration and fusion of lidar point clouds and optical images have an essential application value in digital city modelling, autonomous driving and navigation obstacle avoidance. Most current automatic registration methods require a unique design of a particular scene structure and complex operations. The penetration characteristics of lidar to glass proposes transparent doors and windows and other indoor building scenes to realize automatic registration of lidar point clouds and optical images. First, quantify the laser point cloud into an im age, extract the door and window comer features of the optical image and the quantized im age, and use the correlation coefficient method to a- chieve automatic matching of feature points；then, solve the registration conversion parameters between the lidar and the cam era；Finally, the two data are registered and fused. The experimental results show that regular translucent scenes, such as indoor doors and windows, can quickly realize the automatic registration of laser point clouds and optical images, which is practical and straightforward and has strong operability.
Key words：optical im age；lidar point cloud；automatic registration；quantitative image
i引言
多传感器数据融合往往可以获取更加全面的信息。激光雷达（Light Detection and Ranging, LiDAR)
收稿日期:2020-08-01
基金项目：天津市应用基础计划项目（18J C QNJC70400)
作者简介：范生宏（1978-)，男，博士，从事摄影测量与工业测量研究。E-mail：shenghongfanOOl@163. com
通讯作者：王强，男，博士，讲师。E-mail:wangqiang_study@163. com 被广泛应用于无人驾驶汽车[|4]、室内定位与建图[15]等领域，发展前景十分广阔。但激光点云数据难以获 得目标光谱信息，彩单一，不利于处理和理解。光 学影像数据则含有丰富的光谱纹理彩信息，能够快 速识别地物属性，视觉效果更佳。将三维激光点云数 据与二维光学影像数据进行配准融合，可获得富有纹 理的彩点云，加强目视判别地物属性的能力[1]。
单张影像与点云的配准大多基于影像配准的方 法。首先将点云进行投影得到点云投影图像，然后采
158范生宏，等：一种简易的激光雷达点云与光学影像自动配准方法
用适当的量化方法对投影图像进行处理得到量化图 像，再对量化图像与光学影像进行配准，进而获得影 像与点云的索引关系。其将2D-3D匹配问题转换为 目前较为成熟的2D-2D配准问题，有配准精度较高、方法易实现等优点。Dalponte等人[2]将高光谱影像数据与激光雷达点云数据进行配准融合，并对
复杂森 林地区的分类进行研究；李忠富[3]基于严格的共线方 程模型，实现了三维激光点云与二维光学影像的高精 度配准与融合，并研究了多测站的激光点云拼接，在 工程领域的应用中可以显著提升作业效率；Davide Scaramuzza等人h进行了自然环境下三维激光扫描仪与相机的标定，但需要手动匹配点云与影像的同名 点，耗费了大量的人力物力财力。自动配准的关键在 于同名特征的提取。黄志安[5]进行了基于图像匹配 的点云与影像的配准算法研究。通过正射影像图与 点云正向投影影像进行配准，建立点云与影像像元之 间的一一映射关系，提高了算法的灵活性与准确性；方伟[6]利用不同的投影方式将点云进行投影，并转换 为反射强度图像，然后基于影像配准方法，使用SIFT 算子提取特征点将强度图像与光学影像进行配准。胡戬[7]在建筑物丰富的环境中，以建筑物中存在的大 量直线与平面特征为基础，提取点云与影像中的直线 特征，利用灭点原理在二维影像中计算三维特征，实 现影像与点云的配准。
当前自动化配准方法大多选择人造标定场景实 现高精度的自动化配准，不够灵活简单。本研究将基 于简单的门窗等半透明场景，将激光点云投影得到对 比度明显的量化影像，采用角点特征提取匹配方法即 可实现激光点云与光学影像的自动高精度自动配准，极大地增加了实际可操作性。特别的，将自动化配准 方法与手动配准方法的精度和效果进行对比，从而对 自动化配准精度进行定量评价。本文研究技术路线如图1所示。
图1技术路线图
2 激光雷达点云与光学影像配准的基 本理论
(1) 点云深度图像与强度图像生成
传统的遥感影像配准方法是基于2D-2D数据之 间的配准，而影像和点云数据的配准是基于2D-3D 数据之间的配准，实质上是各自同名点的提取与匹 配[8]。目前针对三维激光点云的特征（点、线、面）直 接识别与提取算法存在计算复杂、效率低、提取特征 点不准确等弊端，不利于实验进行。
因此，采用点云投影的方法，将三维激光点云投 影至某一平面，生成二维投影图像，将2D-3D配准问 题转化为2D-2D的配准问题。
(2) 透视变换矩阵与点云透视投影生成
透视投影是将相机空间中的点从视锥体变换到 规则观察体中。根据给定的位置和姿态，计算出透视 变换矩阵并进行透视变换。
通过旋转矩阵定义翻滚角、俯仰角和偏航角控制 观察视点的方向。旋转变换矩阵表达如下：
尺 3x3 =r cos^Scosy cos^Ssiny一sin/3>
sinasin^cosy-cosasiny sinasin/3siny+cosacosy sinacos^S
、cosasir^0cosy+sinasiny cosasin/^siny-sinacosy cosacos/3^
(i)
其中:a、；8、y分别为沿Z、F和Z轴旋转的弧度。
平移矩阵将观察视点沿X、F和Z轴进行平移，用 Lxl表本：转矩阵组成的新矩阵，由两者相乘得到：
M=(尺3x3Cxi卜(尺3x3
(3)
^o + Tx)(T：
^3x1 =y〇+Ty=Ty(2)
^〇+Tz y k J
上式中，％、；T()和4为初始观察点的坐标。由于初 始视点在坐标系原点，因此*。=7。=2。=〇。和八 分别为U和Z轴上平移量。
透视变换矩阵M为4x4矩阵，是平移矩阵与旋
经过透视变换后，指定了相机传感器位置和姿态，设置适当的投影平面，根据这些参数即可创建单 一颜的透视投影图像，为深度量化与强度量化奠定 基础。
(3)深度图像与强度图像生成
点云透视投影后得到纯的投影图像，将投影图 像按照激光点到传感器距离的远近，对透视投影图像 中的对应像元赋予不同的颜值，生成深度图像；按
范生宏，等：一种简易的激光雷达点云与光学影像自动配准方法159
照激光点返回的强度值不同，在对应像元赋予不同的
灰度值，生成强度图像。
3基于特征的深度/强度图像与光学影 像配准
3. 1特征点提取与同名点匹配
在得到深度与强度量化的投影图像后，需要进行 特征点提取。M o r a v e c算子比较简单，但边缘与噪声 对其影响很大，且需要手动设定经验值W。Harris算 子是一种基于信号的点特征提取算子，角点提取 可靠性更高["_12]。采用Harris算子对特征点进行提取。
特征点匹配算法主要有：相关系数法、最小二乘 法、松弛法等。相关系数越接近1，说明相关程度越 高[13]。利用相关系数法对提取的特征点进行匹配。
3.2直接线性变换方程求解
根据已知的同名匹配点可求解直接线性变换方 程的参数。
由公式（1)、（2)、（3)可建立由物方空间坐标系 与像素坐标之间的关系：
，丄
dx0
\
(f00
丄
0f0
dy y
、〇0
1
0i >
h h
刹车蹄块
h k k
y,
r j
u’io I n Z
12
\/山
(4)
其中，（4,^)为物方点4在像素坐标系下的坐 标,（\，匕，24)为物体在激光点云坐标系下坐标。令公式(4)中可得出直接线性变换方程(5):
l t X+l2Y+l3Z+l,
U+l9X+ll0Y+luZ+l
l5X+l6Y+l7Z+l,
V+lgX+ll0Y+luZ+l
(5)
将公式(5)中《作为未知数列出方程(6):
z丨
1000
1
44x\^\>f
-U,\
0001
芩y丨y丨l J\z\
l2
1
10000
1
xn Xn xnZn
0000Xn
Y n Zn
1
认y Jn JnZn
V 11/—vn
K V
V/
(6)
根据公式(6)列出法方程：
L=(BrB)-'BJW(7)
其中：1;;(^|，^2，^3，^»，^5，匕，^7，<8,29,21。，211)，,~Vi ,-u2,-v2,-" ,-u^-v J1,
r x,F,Z,10 0 0 0 x,X,x,Z A
数字高清网络摄像机o o o o z,y,z,i 7lz,y.K,7lz,
B=■：\〇x n Yn z n\o o o o x…z…
k0 0 0 0Xn Yn Zn1r…Z…ynYn yn Zn y
根据公式（7)可求解出直接线性变换参数A ~
/…，获得三维点云与二维影像之间的对应关系，便于
后续数据融合。
3.3数据融合
在投影图像与光学影像匹配后，获得了投影图像 和光学影像像素点之间的索引关系，从而获得了光学 影像像素坐标与激光点云坐标之间的映射关系。遍 历点云中每个点的坐标，利用映射关系到光学影像 中对应的像元，获取其彩信息并将其赋值给点云，即可完成光学影像与三维点云的数据融合。索引关 系如图3所示。
|激光点云h—投影图像h—-I貴化影像h—>1光学彩像i
图2索引关系图
上述自动化配准流程可以归纳如图3所示。
图3配准流程图
160范生宏，等：一种简易的激光雷达点云与光学影像自动配准方法4实验与精度对比分析
4.1实验场景选择与数据获取
本实验选取天津师范大学博理楼走廊，场景空 旷，遮挡物较少，如图4所示（原图为彩影像，在本 文中黑白显示）。将地面激光扫描仪安置在场景中 央，获得测试区域三维点云数据。进行裁剪去噪抽稀 后的点云如图5所示。
图5经裁剪与抽稀的激光点云
4.2投影图像生成与影像配准
利用传感器位姿参数对点云进行投影变换，得到 纯的透视投影图像，如图6(a)所示。根据不同的 距离为透视投影添加渐变颜，得到深度图像，如图6 (b)所示。将点云强度值进行线性变换，并赋予像元 不同灰度值，得到强度图像，如图6(c)所示。
■m i■〇m M
(a)透视投影图像 （b)深度图像 （〇强度图像
图6透视投影图像、深度图像与强度图像U)光学影像特征点提取（b)深度图像特征点提取（c)强度 图像特征点提取
图7不同类型图像的特征提取情况对比
利用Harris算子进行角点检测。由提取结果可 以看出，彩影像在门窗附近可以提取出大量角点，如图7(a)所示。
采用深度投影方式得到的图像有少量角点显示 清晰，但由于图中细节特征的大量缺失，特征点提取 较为困难，仅能够获得少量分布集中的特征点，如图7 (b)所示。位于窗和门中清晰的边界才能得到较好的 提取结果，在两侧的墙面采用深度投影不能较好地描 述其特征，导致大量角点提取不准确，甚至在地上提 取出了错误角点，为特征点配准带来了难度。
双片糊箱机强度投影方法获得的图像细节显示更完整，空间 感更强。采用Harris算子进行特征点提取，能够得到 更多的特征角点，且均匀分布在整幅画面，标靶与安 全出口标识被检测出较多角点，右侧门与窗相较于深 度图像能够提取出更多特征点，如图7(C)所示。
深度投影和强度投影提取特征点的数量情况如 表1所示。
表1深度投影与强度投影提取角点数量对比
类型视觉效果细节提取角点数量/个深度投影较差少68
强度投影较好多127
采用相关系数法，分别遍历深度图像与强度图像 中每个特征点作为待匹配点，取出以每个待匹配点为 中心7x7范围的影像信号。同时遍历光学影像区域 中的特征点，对每个特征点同样提取7x7的影像信 号，计算量化图像与光学影像区域内每个特征点的相 关系数，将相关系数最大值点作为待匹配点的同名点，并建立索引。基于深度图和强度图的特征点匹配 结果分别如图8和图9所示。
从图7( b)中可以看出深度图像不易提取在同一 个平面上对比度明显的标志点，这是因为标志点与墙 体大致在同一平面，深度值变化较小。强度图像中由 于测试区各个物体表面反射率不同，强度图像能够清
晰地反映出物体轮廓，正面门窗细节明显，相较于深 度图像能够识别更多物体，角点更加显著。(a)光学影像匹配特征 （b)深度图像匹配特征
图8基于深度图像的特征点匹配
范生宏，等：一种简易的激光雷达点云与光学影像自动配准方法161
(a)光学影像匹配特征 （b)强度图像匹配特征
图9基于强度图像的特征点匹配
4.3直接线性变换解算与数据融合
利用上述操作，采用深度量化与强度量化的方法 分别获得了 52和120对同名点，将同名点的坐标代 人方程(7)即可估算出直接线性变换参数，如表2和 表3所示。
表2基于深度图像的直接线性变换参数
系数值系数值
-40. 248 910’770.475 391 z2-40.515 524h-245.073 019
h-8. 384 885’9-0. 022 806
U-326. 330 583名10-0. 046 011
h13. 240 888'1丨0. 020 568
k5.047 637
表3基于强度图像的直接线性变换参数
系数值系数值
-110. 852 406Z7197. 670 937 h-178.677 574’8-326.301 557
h-1.716 464I9-0. 107 071
u-455. 100 099名100. 121 181
牧一征
ls36. 459 332之丨0.006 499
k-39.410 757
再利用目视的方法手动选取同名点，进行人工配 准。人工选择的同名点如图10所示。
图10人工选点
根据以上11对同名点估算出直接线性变换方程 参数，如表4所示。收获时间到
求得直接线性变换参数后，获得三维点云与二维 影像的对应关系，即可进行数据融合，如图11所示。
表4人工配准的直接线性变换参数
系数值系数值
’1-130.420 538Z7227. 462 265
h-224. 132 498h-306. 604 003
h-9. 273 183I9-0. 132 560
u-497.948 751名100. 181 154
Is47.194 1510.028 919
k-60. 503 265
_ 靡14^
(a)深度图配准结果（b)强度图配准结果（c)人工配准结果
图11三种不同方式下的配准结果对比
4.4配准精度对分析
首先根据图11的结果进行定性分析：
a. 通过深度图像进行自动配准的点云融合结果 精度较低。从图11中可以看出，正面墙壁门窗位置
有少量向右偏移，左侧墙壁标靶配准大小与真实大小
不符，地面与右侧门的位置发生较大移动。这是因为
在深度图像中提取出的特征点数量较少，且大多分布
在正面门窗附近，特征点近似处于同一平面，导致直
接线性变换计算精度下降。
b. 利用强度图像进行自动配准的结果相较于深 度图像质量更高。左侧墙壁标靶位置大小基本正常，
正面门窗向右侧稍有偏移。
c. 采用人工选取同名控制点的人工配准方法目 视精度最高。标靶与安全出口标识位置准确，正面门
窗位置较为准确，仅有少量“白边”错误匹配。
为了定量分析与对比自动配准与人工配准的精
度，选取20对同名点作为标准，分别使用基于强度、
深度的自动配准与人工配准估算得到的直接线性变
换参数进行像元坐标计算，同时计算其最大误差、最
小误差与平均误差，并定位最大误差点，如表5所示。
从表6中可以明显看出，在测试区采用深度图像
数码贴膜
自动配准方法的平均误差最大，最大误差点的偏离与
极差较大。可能由于选定的测试区域深度特征不明
显，导致算子提取的控制点分布集中，各个点的配准
精度不均勻。人工配准在三者中精度最高，极差最
小，整体配准效果最好。基于强度投影的自动配准方
法平均误差较低，配准精度较高，控制点遍布画面，因
此极差较小，达到了常规可接受的程度。
豫公网安备41160202000603
站长QQ:729038198
关于我们
投诉建议