2022年 / 第2期 物联网技术
3
0 引 言
近两年，智慧公路的信息化、智能化建设受到了前所未有的关注，多源信息感知是智慧公路发展中尤为重要的一环，是实现其智慧化的基础。“智慧”是指通过光传感器、声传感器、波传感器和电传感器对多样化动态信息进行实时采集。智慧公路的交通信息感知系统是基于全息交通理论，利用多种传感器技术，结合先进的数据分析方法与物联网技术，通过移动边缘计算[1]（Molile Edge Computing, MEC ）等实现交通信息汇聚和处理，从而实现公路管理的信息化、自动化、智能化。 1 背景技术
依靠车载或路侧传感器实现实时、精确交通场景目标检测，是实现智慧公路多源信息感知的基础。围绕智慧公路环境感知的需求，将全天候摄像机和雷达相结合，并对摄像机和激光雷达进行联合标定，建立空间同步和时间同步方案。基于边缘计算服务器，能够将路侧端传感器和车载端传感器数据进行汇聚、融合与分析，在路侧设施和智能车辆之间共享计算结果，提高智能车的感知能力，以及公路管理的信息化、自动化、智能化，进而提高道路的通行效率和安全性能。 摄像机可以输出高分辨率的图像，包含丰富的颜、纹理信息，特别适合精确的目标分类。传统的目标检测算法如SIFT 、HOG 、SURF ，利用不同大小的滑动窗口描绘图像上需要检测的区域并提取特征点，然后使用机器学习方法对这些特征进行分类。近年来，在图像识别领域的研究已经拓展到使用深度学习领域的方法，常用方法可分为两步法和一步法。两步法如R-CNN [2]，Fast R-CNN [3]和Faster R-CNN [4]等，
以及递归卷积神经网络（RCNN ）算法系列，均获得了良好的识别效果。一步法，如YOLO 系列算法，能够获得良好的目标检测结果。
在智慧公路环境中，雷达的基本任务是发射电磁波，对目标进行照射并接收其回波，由此获得目标至电磁波发射点的距离、方向、速度等状态参数，能够全天候、全天时准确测量物体距离和运动速度。摄像机可识别物体类别、车辆高度，在物体高度与宽度测量精度、车道线识别、行人识别准确度等方
面具有较大优势，是实现车道偏离预警、交通标志识别等功能不可缺少的传感器，但作用距离和测距精度不如毫米波雷达，并且容易受光照、天气等因素的影响。摄像机和毫米波雷达在目标识别与跟踪技术领域各有优劣，充分利用雷达和相机数据的互补性，实现多源交通信息融合，为交通信息感知提供了一种可行的方案。
路侧传感器作为智慧高速的重要组成部分，能够感知各类道路交通环境，获取重要的交通信息[5]。具体做法：在道路一侧安置固定的传感器，如视觉传感器、毫米波传感器等，将传感器收集的信息送至边缘服务器处理，提取车辆位置、车辆轨迹等信息[6]；根据路侧传感器获取的多源信息，进行实时数据处理以分析交通状况，并可以在路侧设施和车辆之间共享计算结果。移动边缘计算能够提供强大的计算和存储功能，基于边缘服务器将路侧端摄像机和毫米波雷达进行融合，通过数据预处理、空间同步、时间同步和跟踪算法等，实现两者的相互配合，共同构建道路环境感知系统，使其更稳定、更可靠。基于边缘计算的智慧公路多源感知图示如 图1所示，系统结构如图2所示。
2 数据预处理
YOLOv3是一种快速、准确的深度学习方法[7]，用于处理摄像机图像数据。相较YOLOv2和YOLOv1，YOLOv3调
宋晓鹏1，梁睿琳2，郭 迎2
（1.长安大学，陕西 西安 710064；2.浙江数智交院科技股份有限公司，浙江 杭州 310031）
摘 要：
移动边缘计算能够提供强大的计算和存储功能，是实现智慧公路交通信息感知的有力保障。文中将路侧端摄像机和毫米波雷达进行融合，作为移动边缘计算的一项应用。通过数据预处理、空间同步、时间同步和跟踪算法等，实现两者的相互融合、取长补短，共同构造更稳定、更可靠的智慧公路交通信息感知系统。
关键词：
智慧公路；边缘计算；传感器融合；路侧感知；摄像机；雷达中图分类号：TP39；TN929 文献标识码：A 文章编号：
2095-1302（2022）02-0003-04收稿日期：2021-04-27 修回日期：2021-05-26
基金项目：浙江省重点研发计划项目：智慧高速关键技术研究及应
用示范（2020C01057）
物联网技术 2022年 / 第2期
4
图1 基于边缘计算的智慧公路多源感知
图2 系统结构
图3 YOLOv3网络结构热传导方程
雷达通过一些内置算法来处理原始反射点以检测目标。反射的检测点并不总准确，并且有时在同一车辆上会有多个检测点，因此需要采用聚类方法来进一步处理反射结果。通常，我们使用DBSCAN 聚类方法[8]处理雷达检测数据。DBSCAN 为密度聚类的无监督方法，该方法无需知道经过处
图4 YOLOv3多尺度检测方法
3 传感器空间同步
毫米波雷达和摄像机在不同位置获得多元信息，传感器融合需包含时间同步和空间同步。空间同步通过联合校准标定完成，摄像机标定包括坐标变换和畸变校正。坐标变换主要涉及4个坐标系，包括世界坐标系、摄像机坐标系、图像坐标系和像素坐标系，如图5所示。相关参数介绍见表1所列。
图5 坐标系变换表1 相关参数
参 数描 述
O w -X w Y w Z w 世界坐标系，描述相机位置，单位为m O c -X c Y c Z c
相机坐标系，光心为圆点，单位为m o -xy 图像坐标系，光心为图像中点，单位为mm uv
像素坐标系，原点位于图像左上角，单位为pixel
P 世界坐标系中的成像点，即真实的一点p 图像中的成像点，在图像坐标系中的坐标为
（x ，y ），在像素坐标系中的坐标为（u ，v ）f
相机焦距，为o 与O c 间的距离，f =||o -O c ||
通过上述4个坐标系的转换得到世界坐标系到像素坐标系的转换公式：
5
明溪蓝宝石
式中，
f
f
000
000
0010
和
R T
01
中国电梯网
分别表示相机内参和相机
外参。
一战雷达校准主要通过预期的位置和角度进行精确安装。摄
像机和雷达联合校准的目的是将来自这2个传感器的测量值
转换为相同的坐标系。通过公式（2），我们将雷达坐标系的
测量值转换为摄像机坐标系。将雷达与地面平行放置，使雷
达的检测范围与摄像机保持在同一水平。摄像机和雷达的联
合校准示意图如图6所示。
x
y
z
x
y
z
c
c
c
r
r
r
=
+
六氟异丙醇R T（2）
图6 摄像机和雷达联合校准
4 传感器时间同步
雷达和摄像机具有不同的采样频率，在空间同步之后需
要进行时间同步，以提高每帧目标定位的准确性以及不同传
感器数据的综合利用率。通过多线程时间同步方法，能够实
现不同采样频率的摄像机和雷达的时间同步。多线程时间同
步方法包含3个线程：雷达线程、摄像机线程和融合线程。
雷达线程和摄像机线程分别用于以不同采样率从雷达和摄像
机收集数据。实时获取的数据将被发送到预处理模块，预处
理模块分别采用YOLOv3深度学习算法和DBSCAN聚类算
法对相机和雷达数据进行处理。
将获得的预处理结果存储在缓冲区中，并使用直接更新
方法进行实时更新。缓冲区中仅存储一帧有效的雷达检测数
据。如果摄像机和雷达已检测到新目标并对其进行聚类，则
立即替换缓冲区中的数据。
融合线程由3部分组成，包括判断模块、检测分配和测
量融合。判断模块由时间控制，且融合间隔必须长于摄像机
和雷达的采样间隔。当系统时间达到融合时间时，将从雷达
和摄像机缓冲区中提取数据以进行后续处理。检测分配是一
种将摄像机和雷达检测配对的对象关联技术，以确保在多个
目标的情况下两者可以相互匹配，通常选用分配算法或聚类
算法。摄相机与雷达时间融合流程如图7所示。
图7 相机与雷达时间融合流程
目标速度为毫米波雷达检测到的速度，由摄像机识别目
标类型、大小，摄像机检测和雷达检测的平均位置为目标
国榷
位置。
5 多目标关联与跟踪
采用雷达和摄像机进行多目标跟踪需要着重于以下
几点：
（1）对象关联：雷达检测应与摄像机检测相关联，而当
前融合检测必须与现有轨迹相关联；
（2）跟踪环节：应选用合适的滤波器进行跟踪，系统采
用卡尔曼滤波；
（3）跟踪管理：需维护跟踪对象数据库，并且定义跟踪
过程，包括初始化、更新和删除。
多目标跟踪过程如图8所示。
1
001
010
1
w0101
w
2022年 / 第2期物联网技术
物联网技术 2022年 / 第2期
6图8 多目标跟踪
5.1 目标关联
系统采用Munkres 算法[9]进行目标关联、对象关联，以解决目标分配问题。该算法中的分配数量和任务数量必须一一对应。假设有M 个目标需要与N 个目标进行匹配，可使用Munkres 算法构造方阵，并使用传统的匈牙利算法获得匹配结果。目标关联结果可以分为3类：已分配的检测，未分配的雷达检测和未分配的摄像机检测。未分配的摄像机检测用作有效检测，毫米波雷达误检率较高，直接删除未分配的雷达检测数据。
对于多目标跟踪，将检测结果分为3类：未分配的检测，未分配的轨迹和已分配的轨迹。目标关联算法执行完毕，在随后的处理中将未分配的检测用于目标库中生成新轨迹，已分配的轨迹用于轨迹更新，未分配的轨迹用于判断是否需要删除现有轨迹。5.2 目标跟踪
卡尔曼滤波广泛用于位置估计和目标跟踪[10]。它包括 2个过程：预测过程和更新过程。
预测过程：
X FX B k k L k U =++−1ω （3）P FP F Q k k k =+−1T （4）
式中：X k 为k 时刻的状态预测值；F 为状态转移矩阵；X k -1为k -1时刻的最优估计；B U L 为外部输入；ωk 为过程激励噪声；P 为预测误差；P k 表示为k 次先验估计协方差矩阵；P k -1为k -1次后验估计协方差矩阵；Q k 为过程激励噪声协方差 矩阵。
更新过程：
K P H HP H R =+()−k k T T 1
（5）
X X K Z HX k k k k =+−() （6）
P KH P k k =−()1 （7）
式中：K 为卡尔曼增益矩阵；H 为观测矩阵；R 为测量噪声协方差矩阵；Z k 为k 时刻的测量值。
围绕智慧高速公路环境感知的需求，本文将路侧全天候摄像机和毫米波雷达相结合，作为边缘计算的应用。系统对摄像机和毫米波雷达进行联合标定，建立多传感器间坐标系转换关系，实现智慧公路检测区域内的空间同步；通过多线程时间同步方法，实现不同采样频率摄像机和雷达的时间同步；最后采用适当的融合算法将同一目标的所有传感器数据进行融合与目标关联，得出一致性检测结果，进行目标跟踪与目标管理。在以后的工作中，将继续围绕路侧设施和移动边缘计算服务器开展相关融合算法研究，并做进一步改进。
参
考
文
献
[1]T RAN T X ，HAJISAMI A ，PANDEY P ，et al. Collaborative mobile edge computing in 5G netw
orks ：New paradigms ，scenarios ，and challenges [J]. IEEE communications magazine ，2017，55（4）：54-61.
[2]M inemura K ，Liau H ，Monrroy A ，et al. LMNet ： Real-time Multiclass Object Detection on CPU Using 3D LiDAR [C]// 2018 3rd Asia-Pacific Conference on Intelligent Robot Systems （ACIRS ）.IEEE ，2018：28-34.[3] G irshick R. Fast r-cnn [C]// Proceedings of the IEEE International Conference on Computer Vision. 2015：1440-1448.[4] R en S ，He K ，Girshick R ，et al. Faster r-cnn ： Towards real-time object detection with region proposal networks [C]// Advances in Neural Information Processing Systems. 2015：91-99.
[5]M ICHAEL GABB ，HOLGER DIGEL ，et al.Infrastructure-supported Perception and track-level Fusion using Edge Computing [J]. IEEE intelligent vehicles symposium （IV ），2019：1739-1745.[6]B haranidhar D ，Tilo S. Combi-Tor ： Track-to-Track Association Framework for Automotive Sensor Fusion [C]// 2015 IEEE 18th International Conference on Intelligent Transportation Systems.2015：1617-1623.
[7]R edmon J ，Farhadi A.YOLOv3： An incremental improvement [Z].arXiv preprint arXiv ：1804.02767，April 2018.
[8]M Ester ，H P Kriegel ，J Sander ，et al.A density-based algorithm for discovering clusters in large spatial datasets with noise [C]// Proc. of the Second International Conference on Knowledge Discovery and Data Mining ，Portland ，Oregon ，1996：226-231.[9] J AMES M. Algorithms for the assignment and transportation problems [J]. J. Soc. Ind. Appl. Math.，1957，5（1）：32-38.[10] R EID D. An algorithm for tracking multiple targets [J]. Proc. IEEE
transactions on automatic control ，1979，24（6）：843-854.
作者简介： 宋晓鹏（1987—），男，高级工程师，研究方向为智慧高速公路关键技术。
梁睿琳（1998—），女，硕士研究生在读，研究方向为车路协同关键技术及应用、深度学习。
郭 迎（1989—），女，陕西西安人，硕士，工程师，研究方向为智慧高速全息感知关键技术、深度学习。
豫公网安备41160202000603
站长QQ:729038198
关于我们
投诉建议