第３１卷第１０期
中国机械工程
V o l ．３１㊀N o ．１０２０２０年５月
C H I N A M E C HA N I C A LE N G I N E E R I N G
p p
．１１９０Ｇ１１９６基于信息融合的自动泊车系统车位 线车位识别和决策规划
姜武华１㊀辛㊀鑫１㊀陈无畏１㊀谢有浩２
１．合肥工业大学汽车与交通工程学院，合肥,２３０００９２．滁州学院机械与汽车工程学院，滁州，安徽,２３９０００
摘要：通过融合距离和视觉信息，提出了一种基于信息融合的车位线车位识别方法.首先利用摄像头采集车位角点在俯视图像中的坐标，然后采用基于逆透视变换的平面测距模型获取车身侧面距车位角点 的侧向距离，最后融合超声波传感器和车辆里程信息建立车位线车位平面模型，确定了车辆后轴中心点坐标及相对初始偏航角，实现车位线车位的识别.根据识别出的车位信息进行路径规划并仿真分析，经过实车试验验证，该车位识别方法能够有效实现对车位线车位的识别，所规划路径合理㊁可行
甘薯苗
.
关键词：车位线车位；信息融合；平面测距模型；车位线车位平面模型中图分类号:U ４６１．１
D O I :１０．３９６９/j ．i s s n ．１００４ １３２X．２０２０．１０．００９开放科学(资源服务)标识码(O S I D )
:P a r k i n g L i n eP a r k i n g S l o tR e c o g n i t i o na n dD e c i s i o nP l a n n i n g o
f A u t o m a t i cP a r k i n
g S y
s t e m sB a s e do n I n f o r m a t i o nF u s i o n J I A N G W u h u a １㊀X I N X i n １㊀C H E N W u w e i １㊀X I EY o u h a o
２
１．S c h o o l o fA u t o m o t i v e a n dT r a n s p o r t a t i o nE n g i n e e r i n g ,H e f e iU n i v e r s i t y o fT e c h n o l o g y ,H
e f e i ,２３０００９２．S c h o o l o fM e c h a n i c a l a n dA u t o m o t i v eE n g i n e e r i n g ,C h u z h o uU n i v e r s i t y
,
C h u z h o u ,A n h u i ,２３９０００A b s t r a c t :A p a r k i n g s p a c er e c o g n i t i o n m e t h o d w a s p r o p o s e db a s e do n i n f o r m a t i o nf u s i o nb y i
n Ｇt e g r a t i n g d i s t a n c e a n dv i s u a l i n f o r m a t i o n s ．F i r s t l y ,t h e c o o r d i n a t e so f t h e c o r n e r so f p a r k i n g s p
a c e i n o v e r h e a d i m a g ew e r e c a p t u r e d
b y
c a m e r a ．T h e n t h e l a t e r a l
d i s t a n c
e s o
f t h e v e h i c l e b o d y
f r o mt h e c o r Ｇn e r s o f t h e p a r k i n
g s p a c ew e r e o b t a i n e db y u s i n g t
h e p l a n e r a n g
i n g m o d e l b a s e d o n i n v e r s e p e r s p
e c t i v e t r a n s
f o r m a t i o n ．F i n a l l y ,t h e p a r k i n
g l i n e p a r k i n g p l a n em o d e l w a s e s t a b l i s
h e db y c o m b
i n i n g u l t r a s o n i c s e n s o r a n dv e h i c l e m i l e a g
e i n
f o r m a t i o n ．T h e p l a n e m o d e ld e t e r m i n e dt h ec o o r d i n a t e so ft h ec e n t e r p o i n t o f r e a r a x l e o f v e h i c l e a n d t h e r e l a t i v e i n i t i a l y a wa n
g l e t o r e a l i z e t
h e r e c o g n
i t i o no f t h e p a r k i n g
l i n e p a r k i n g s l o t ．B a s e do nt h e i d e n t i f i e d p a r k i n g i n f o r m a t i o n ,p a t h p l a n n i n g a n ds i m u l a t i o na n a l y s i s w e r e c a r r i e do u ta n dv e r i f i e db y t h er e a lv e h i c l et e s t s ．R e s u l t ss h o wt h a t t h e p a r k i n g i
d e n t i f i c a t i o n m e t h o do f t h e v e h i c l em a y e f f e c t i v e l y r e a l i z e t h e i d e n t i f i c a t i o no f p a r k i n g l i n e p a r k i n g s p
a c e ,a n d t h e p
l a n n e d p a t h i s r e a s o n a b l e a n d f e a s i b l e ．K e y w o r d s :p a r k i n g l i n e p a r k i n g s l o t ;i n f o r m a t i o n f u s i o n ;p l a n e r a n g i n g m o d e l ;p a r k i n g l i n e p a r k i n g p
l a n em o d e l 收稿日期:２０１８１１２７㊀㊀修回日期:２０１９１２１５
基金项目：国家自然科学基金资助项目(５１６７５１５１)；安徽省科技重大专项(１７０３０９０１０６０)；江苏省道路载运工具新技术应用重点实验室开放课题资助项目(B M ２００８２０６１７０３
)０㊀引言
在日益拥挤的城市中，自动泊车系统成为了解决停车困难的有效手段，是当前智能驾驶汽车领域的研究热点之一.自动泊车系统一般包含车
位识别㊁决策规划和执行控制三大关键技术，而车
位识别技术是实现自动泊车功能的前提[
１Ｇ６
].自动泊车系统的车位识别方法主要分为两
类，即基于车位两侧车辆的方法(针对空间车位)和基于地面车位标识线的方法(针对线车位).基于两侧车辆的方法目前被广泛应用，其原理是利用装在车身两侧的超声波雷达探测侧
方构成车位的两车间距来识别车位[７]，缺点是
要求车位的两侧(或单侧)有车辆的存在，对于
０９１１
停车场中仅有车位标识线存在的场景，则无法识别到车位.基于地面车位标识线的方法不依赖车位两侧
的车辆，通过对车位标识线的识别来识别车位[８]
，其缺点是不适用于无车位线的停车场地,
而且不能判断车位尺寸是否适合本车.
多传感器信息融合技术一直以来受到移动机器人导航研究者的广泛关注，近几年，自动泊车的研究者也开始将多传感器信息融合技术应用在车
位识别上.如李臣旭[９
]通过将视觉传感器和超声
波传感器信息进行融合，实现了对垂直车位的智能识别.
从国内外研究现状来看，基于地面车位标识线的车位识别方法大都仅仅依靠机器视觉.白中
浩等[１０]通过聚类算法提取车位边框直线到交
点，初步定位车位角，然后通过骨架提取模板匹配
的方法精确定位车位角.Z H A N G 等[１１]基于３６０
环视系统，通过A d a b o o s t ＋深度学习方法，利用大量的车位角点作为样本，训练出分类器，实现了
对线车位的准确识别.L E E 等[１２]和S UH R
等[１３
]通过不同的车位线检测算法，实现了对平行
车位和垂直车位的识别.然而仅仅依靠机器视觉的线车位识别方法对如何确定自车与车位的相对位置及如何判断车位内有无障碍物都没有提及，很难应用到泊车系统中.
本文基于信息融合的方法，首先利用摄像头识别车位角点，然后根据逆透视变换的平面测距模型获取车身侧面与车位角点侧向距离，最后融合自车行驶距离值及超声波雷达测距值设计融合算法.
１㊀车位线车位识别原理
如图１所示，自车在前进过程中，超声波传感
器和摄像头实时对自车右侧空间进行单向探测，轮速传感器实时记录自车行驶距离
.
图１㊀车位探测示意图F i g ．１㊀P a r k i n g d e t e c t i o nd i a g
r a m 基于多传感器信息融合的车位线车位识别原理如图２所示.带有自动泊车系统的汽车(以下简称自车)两侧装有摄像头和超声波传感器，两后轮分别装有轮速传感器.超声波传感器用于探测车位内有无障碍物，摄像头用于识别车位环境的
车位角点信息，轮速传感器用于计算并获取自车的行驶距离
.
图２㊀车位线车位识别原理F i g ．２㊀P a r k i n g l i n e r e c o g n i t i o n p r i n c i p
l e 在寻车位过程中，环境感知系统实时融合轮速传感器行驶距离信息和摄像头视觉信息，导入车位特征参数采集模块，车位特征参数采集模块将采集到的车位特征参数传入车位线车位平面模型，车位线车位平面模型模块输出车位类型，路径规划模块根据车位类型进行泊车方案匹配，如匹配成功，则语音提示驾驶员 停车并开启泊车 ；若未匹配成功，则继续向前寻合适车位.
２㊀图像采集及预处理
２．１㊀图像采集
图像采集过程见图３
.为获取车辆两侧的图像，在汽车的左右两侧后视镜上安装单目摄像头.在获取两侧图像过程中，涉及到３个图像坐标系的转换，即输入图像坐标系㊁矫正图像坐标系和俯视图像坐标系.输入图像坐标系和矫正图像坐标系可通过相对图像中心的五阶多项式进行描述，采用棋盘法标定相机的内参数㊁外参数㊁畸变系数等.矫正图像坐标系与俯视图像坐标系可通过一个单
应性矩阵H 进行描述，矫正图像中的一点(u ,
v )，对应地面坐标系中的点(X ,Y )
，其表达式为u v １éëêêêùûúúú＝s H X Y １éëêêêù
û
ú
úú(１
)式中,H 为图像的单应性矩阵;s 为缩放尺寸
.
(a
)
原始图像(b
)
矫正图像(c
)俯视图像图３㊀图像采集过程
F i g ．３㊀I m a g e a c q
u i s i t i o n p r o c e s s
１９１１ 基于信息融合的自动泊车系统车位线车位识别和决策规划
姜武华㊀辛㊀鑫㊀陈无畏等
最终得到车位线图像的俯视图(图３c
)，以便后续算法实现.
２．２㊀图像预处理
为了去除图像中的无关信息，需要将图像进行预处理.本文的预处理过程包括图像灰度化㊁图像滤波㊁图像二值化特征提取和图像细化.图像灰度化将B ㊁G ㊁R 三通道图像转化为由灰度表
示的单通道图像，可以减少算法的计算量，同时易于后续提取车位标志线的特征.图像滤波采用的是高斯滤波法，目的是为了降低图像噪声以平滑图像.经过上述两步得到处理后图像如图４a 所示.高斯滤波算法可表示为
I σ(i ,j )＝I (i ,j )
∗G σ(２
)G σ＝１２πσe x p (－(i ２
＋j ２
)２σ
２
)式中,∗表示卷积操作;i ,j 分别表示图像在坐标系中的横㊁纵坐标;I σ(i ,j )为经过滤波后的图像;I (i ,j )为原始输入的图像;G σ是标准差为σ的二维高斯核.
车位标志线通常使用颜明亮的白涂料画在颜灰暗的地面上，图像能被分成两个部分，即明亮的
车位标志线和灰暗的地面.在车身侧面俯视图中，车位标志线的灰度值高于位于车位标志线两侧的像素灰度值，若存在一个像素比其左右(或上下)相距一个预定车位标志线宽度的像素灰度值高，即认为该像素为一个可能的车位标志线像素，对该像素点置２５５,
否则对该像素点置０:㊀f １(x ,y )
＝２５５(d V＋e (x ,y )＞δ０ɡd V－e ＞δ０)ᶱ(d P ＋e (x ,y )
＞δ０ɡd P －e ＞δ０)０
其他
{
(３)d V＋e (x ,y )＝g (x ,y )－g (x ＋e ,y )d V－e (x ,y )＝g (x ,y )－g (x －e ,y )d P ＋e (x ,y )＝g (x ,y )－g (x ,y ＋e )d P －e (x ,y )＝g (x ,y )－g (x ,y －
e )式中,d V＋e (x ,y )为车位标志线特征模板右移时求取的特征;d V－e (x ,y )为车位标志线特征模板左移时求取的特征;d P ＋e (x ,y )为车位标志线特征模板上移时求取的特征;d P －e (x ,y )为车位标志线特征模板下移时求取的特征;g (x ,y )为输入的灰度滤波图;g (x ,y ʃe )为将灰度滤波图按e 个像素进行左右平移后的图;g (x ʃe ,y )为将灰度滤波图按e 个像素进行上下平移后的图;δ０为设定阈值;
f １(x ,y )
为初步车位标志线特征图，如图４b 所示.对于提取出的初步车位标志线特征图(图
４b )，由于俯视图内边缘与外边缘比较也符合式(３
)的条件，且一旦标定后，此边缘线为固定曲线，故通过离线方法获取两条曲线上的若干像素点坐标，再利用MA T L A Bc f t o o l 进行曲线拟合.对上述初步车位标志线特征图进行如下处理:㊀f ２(x ,y )
＝０
y ＞F L (
x n )ᶱy ＞F R (x n )f １(x ,y )
其他
{
(４
)F L (x n )＝a n x n ＋a n －１
x n －１＋ ＋a ０F R (x n )＝b n x n ＋b n －１x n －１＋ ＋b ０
式中,F L (x n )㊁F R (x n )分别为左右拟合曲线方程;f ２(
x ,y )
为输出的车位标志线特征图，如图４c 所示.对车位标志线特征图采用Z h a n g
ＧS u e n 细化算法得到图像骨架[１４]
，如图４d 所示
.
(a
)灰度图
㊀
(b
)初步车位标志线特征图(c
)最终车位标志线特征图㊀
(d
)细化图图４㊀图像预处理过程
F i g ．４㊀I m a g e p r e p r o c e s s i n g
３㊀车位角点检测原理
采用基于霍夫变换的方法识别停车位的车位角点，对细化后的车身侧面俯视图像R O I (r e g
i o n o f i n t e r e s t
)区域做概率霍夫变换以检测直线及求取检测直线的交点坐标，即车位角点在俯视图像中的坐标.
３．１㊀车位角点特征提取
对得到的图像骨架R O I 区域(俯视图像下半边缘)进行概率霍夫变换检测，根据长度分别保留径向和切向最长线段，求取线段的直线方程并求取其交点.
如图５所示，已知两条不平行的直线１(切向线段所在直线)的两个点(x １,y １)㊁(x ２,y ２)
和直线２(径向线段所在直线)的两个点(x ３,y ３)㊁(x ４,y ４)，分以下情况讨论
.
图５㊀俯视图像坐标系
F i g ．５㊀T h e o v e r h e a d c o o r d i n a t e s y
s t e m
２９１１ 中国机械工程第３１卷第１０期２０２０年５月下半月
(１
)仅有一条直线垂直于x 轴(如图５中直线２)，即斜率k １或k ２不存在.直线１的方程为
y ＝
k １x ＋b １，于是两直线交点坐标(即车位角点在俯视图坐标系下的坐标)为
x i n t e r ＝
x ３＝x ４y
i n t e r ＝k １x i n t e r ＋b １(２)两条直线都没有垂直于x 轴，即k １㊁k ２
都存在.直线１的方程为y ＝k １x ＋b １，直线２方程为y ＝k ２x ＋b ２，于是两直线交点坐标(即车位角点在俯视图坐标系下的坐标)为
x i n t e r ＝(b ２－b １)
/(k １－k ２)y
i n t e r ＝k １x i n t e r ＋b １３．２㊀车位角点类型划分
根据交点(x i n t e r ,y
i n t e r )及直线１(切向线段所在直线)的两个点(x １,y １)㊁(x ２,y ２)将车位标志线分为T 型㊁R L 型㊁L L 型三类，如图６所示.判断标准如下:①若满足((x i n t e r －x １)＞
δ１ɡx i n t e r －x ２＜δ２)ᶱ((x i n t e r －x ２)＞δ１ɡx i n t e r －x １＜δ２)
，则为L L 型;②否则若满足x i n t e r －x １＞δ１ɡx i n t e r －x ２＞δ１,
单人被则为T 型;③若以上皆不满足，则为R L 型.其中,δ１,δ２为
设定的阈值.最终得到效果如图７所示
压力维持阀
.
(a )R L 型
㊀㊀
(b )T 型
㊀㊀
(c )L L 型
图６㊀车位角点类型划分
F i g ．６㊀D i v i s i o no f p a r k i n g a n g l e t y p
e 图７㊀车位角点检测结果
F i g ．７㊀P a r k i n g c
o r n e r d e t e c t i o n r e s u l t s ４㊀车位平面模型
４．１㊀基于逆透视变换的平面测距模型
在本文中，摄像头安装在车身侧面后视镜处(图８)，基于逆透视变换的平面测距原理
[１５]
为：逆
透视图像理论上与真实平面具有严格的线型关系，即俯视图像中每一个像素块(１p i x e lˑ１
p
i x e l )对应的实际面积都是相等的，或者说俯视图像中的某两点间的距离与真实世界平面中对应的两点的距离存在以下关系:
D A B ＝K ＋k d a b
式中,D A B 为真实世界平面上点A 与点B 之间的欧氏距离,mm ;d a b 为真实世界平面点A 和点B 在俯视图像中对应的点a 和点b 之间的欧氏距离,p i x e l ;k 为俯视图像与真实世界平面的关系系数,mm /p i x e l ;K 为摄像头的盲区，由摄像头安装俯仰角和高度决定
.
图８㊀平面测距模型F i g ．８㊀P l a n e r a n g
em o d e l 于是由基于逆透视变换的平面测距模型得到的车位角点到车身侧面的距离为
y P ＝K ＋(
Y －y i n t e r )k (５
)式中,y P 为车位角点距车身侧面的距离;Y 为俯视图像纵坐标最大值.
４．２㊀车位特征参数采集
考虑到车位线车位内可能存在的车辆及其他障碍物情况，本文融合超声波传感器信息㊁自车行驶里程值信息和视觉信息进行车位特征参数采集，具体步骤如下(图９
).图９㊀车位特征参数采集
F i g ．９㊀C o l l e c t i o no f p a r k i n g s p
a c e f e a t u r e p a r a m e t e r s (１
)摄像头检测标识车位线车位的车位角点，且车位角点与摄像头处于平行位置，记录此时的
车位角点坐标，并令其为第一车位角点P １.
自动泊车功能
(２
)超声波传感器开始探测侧向是否有车辆或障碍物，若有则回到步骤(１)，若无则进行步骤(３).(３
)摄像头检测标识车位线车位的车位角点，且车位角点与摄像头处于平行位置，记录此时的车位角点坐标，并令其为第二车位角点P ２.
(４
)将车位角点特征参数导入车位线车位平面模型.其中车位角点与摄像头处于平行位置的判断条件为
X m /２－δ３ɤx i n t e r ɤX m /２＋δ３
(６
)式中,X m 为俯视图像横坐标最大值;δ３为设定的阈值.
４．３㊀车位线车位平面模型
如图１０所示，当摄像头与第一车位角点P １处于平行位置时，以此时的摄像头为坐标原点㊁自
３９１１ 基于信息融合的自动泊车系统车位线车位识别和决策规划
姜武华㊀辛㊀鑫㊀陈无畏等
车行驶方向为x 轴正方向建立o １x y 坐标系；以第一车位角点P １为原点㊁自车行驶方向为X 轴正方向建立O X Y 坐标系.识别出车位角点且车位角点与摄像头处于平行位置(图中Ⅰ位置)时,
记录此时的车位角点坐标，并令其为第一车位角点P １(x P １,y P １)
复合片钻头，同理获得第二车位角点P ２(x P ２,y P ２).其中x P １㊁y P １㊁x P ２㊁y P ２为车位角
点在o １x y 坐标系下的坐标值,x P １㊁x P ２由轮速传感器获取的自车行驶里程得到,y P １㊁y P ２由４．１节所述测距模型得到
.
液态金属机器人图１０㊀车位线车位平面模型F i g ．１０㊀P a r k i n g s p
a c e p l a n em o d e l 则车位大致宽度为
L P ＝x P ２－x P １
(７
)据此判断车位为平行车位或垂直车位.如图１０所示,
自车与车位两车位角点所在直线的相对初始偏航角为
θ＝a r c s i n ((y P ２－y P １)/W )(８)式中,W 为车位实际宽度，由超声波雷达探测得知或由国标得知.
则当自车行驶到图中Ⅱ位置时，自车后轴中心在
O X Y 坐标系的坐标为
X r ＝(x c －L )c o s θ
Y r ＝(x c －L )s i n θ＋(w /２)c o s θ＋y P １/c o s θ
}
(９
)式中,L 为摄像头距后轴的距离;w 为自车车宽;x c ㊁y c 为摄像头在Ⅱ位置时在o １x y 坐标系下的坐标.
最终我们根据自车后轴中心坐标(X r ,Y r )
确定了自车与车位的相对位置，并结合自车相对偏航角θ及由L P 确定的车位类型进行下一步的路径规划及泊车入位.
５㊀路径规划及仿真分析
５．１㊀平行及垂直车位线车位路径规划
本文以汽车后轴中心点为轨迹参考点进行路径规划.对于平行车位，如图１１a 所示，采用圆弧 直线 圆弧式路径.各点坐标如下:
S １＝(X r ,Y r )
O １＝(X r ＋R m i n s i n θ,Y r －R m i n
c o s θ)S ２＝(X r －(R m i n s i n (φ１＋
θ)－R m i n s i n θ),Y r －[R m i n c o s θ－R m i n (１－c o s (φ１＋
θ))])S ３＝(X S ２－L ２c o s (φ１＋θ),Y S ２－L ２s i n (φ１＋
θ))O ２＝(X N ３－R m i n s i n φ２,Y N ３＋R m i n c o s φ２)
S ４＝(X O ２,Y O ２－R m i n )
其中,L ２为车辆后退直线距离S ２S ３;φ１＋θ＝φ２，一般取φ２＝π/４;R m i n 表示车辆最小转弯半径.对于垂直车位，如图１１b 所示,
采用三段圆弧式的垂直车位路径规划，各点的坐标如下:
S １＝(X r ,Y r )
O １＝(X r ＋R m i n s i n θ,Y r －R m i n c o s θ)S ２＝(０,Y r －[R m i n c o s θ－R m i n (１－c o s (φ１＋
θ))])O ２＝(－X O １,２Y S ２－Y O １)
S ３＝(X O ２＋R m i n c o s φ３,Y O ２－R m i n s i n φ３)O ３＝(X S ３＋R m i n c o s φ３,Y S ３－R m i n s i n φ３)
S ４＝(０,Y O ３)
其中,φ１＋φ２＋φ３＝π
/２－θ.(a
)平行车位(b
)垂直车位图１１㊀平行及垂直车位路径规划
F i g ．１１㊀P l a n n i n g o f p a r a l l e l a n d v e r t i c a l p a r k i n g S p
a c e s ５．２㊀仿真分析
如图１２a ~图１２c 所示,
自车的初始相对偏航角分别为０ʎ㊁５ʎ㊁－５ʎ，根据不同的偏航角，对平行车位线车位规划出圆弧 直线 圆弧式路径，第一段为圆弧后退，第二段为直线后退，第三段为圆弧后退.如图１２d ~图１２f 所示，自车的初始相对偏航角分别为０ʎ㊁５ʎ㊁－５ʎ，根据不同的偏航角，对垂直车位线车位规划出三段弧式路径，第一段为圆弧后退，第二段为圆弧前进，第三段为圆弧后退.
由仿真结果可知，根据自车相对车位的初始偏航角所做的路径规划可使自车准确地泊入停车位，验证了路径规划的可行性.
４９１１ 中国机械工程第３１卷第１０期２０２０年５月下半月
豫公网安备41160202000603
站长QQ:729038198
关于我们
投诉建议