基于车道线模型检测方法和在线学习方法的车道偏离报警系统

本发明涉及智能交通和智能车辆研究领域，尤其是一种车道偏离报警系统。

本发明能够通过车辆的前置摄像头实时采集的图像信号，通过图像处理技术对车道线进行检测，同时， 能够通过模式识别技术来学习驾驶员的驾驶模式，对驾驶员在疲劳驾驶或疏忽驾驶情况下产生的车辆偏离 车道的状态进行警报，提醒驾驶员对车辆进行纠偏操作，从而减少潜在交通事故的发生。

随着经济和交通事业的不断发展，汽车已经成为人们不可或缺的交通工具。但随着汽车使用率的不断 提高，交通事故率也呈现出了逐年上升的趋势。据统计，在所有机动车事故中，由于车道偏离而造成的交 通事故占所有交通事故的百分之二十，更严重的是，由车道偏离而引起的交通事故死亡率占所有交通死亡 率的百分之三十七。从这一数据可以看出，车道偏离事故已经严重影响到了人们的生命财产安全。因此， 近年来国内外许多研究机构开始致力于车道偏离报警系统的研究。

现有技术提供了一种车道偏离报警系统。该系统通过对前视摄像头实时采集来的图像信息进行处理， 通过使用图像滤波技术提取车道线特征，然后利用检测技术将提取到的特征进行参数估计，估计出车道线 参数，再通过计算这些参数与车辆之间的相对位置关系，当车辆偏离车道线时，给出警告，提醒驾驶员纠 正车辆回到安全行驶状态。

但是这些研究的重点往往放在了如何提高车道线的检测精度和系统运行的实时性上，而忽略了一个很 关键的问题：驾驶员是否是在疲劳驾驶或疏忽驾驶状态等无意识状态下使车辆偏离车道。因为，换道和超 车等操作本身也会产生车道偏离状态。如果一种车道偏离报警系统没有有效的区分驾驶员的换道行为，而 简单的在每一种车道偏离状态都给出警告，会产生两种设计缺陷：1，报警信号会对正确驾驶行为下的驾 驶员产生注意力干扰，从而引发交通事故；2，频繁报警会促使驾驶员关闭车道偏离报警系统，从而使系 统失去其作用和意义。

另外，基于视觉的车道偏离报警系统，其车道线检测方法在各种复杂环境和各种路况下的抗干扰性和 鲁棒性仍然是现有技术的瓶颈。

为了解决现有技术方案所存在的问题，本发明提供了一种基于车道线模型检测方法和在线学习方法的 车道偏离报警系统。以便能够对各种路况下以及各种复杂环境下的车道线进行精确的检测，并通过在线学 习驾驶员的驾驶模式，只对驾驶员在无意识状态下时的车道偏离状态产生警告。

本发明采用分层的设计方法，将系统按照不同的功能分为底层系统(P1)和上层系统(P2)，底层系 统(P1)由系统的硬件部分，其中含有信号层(L1)。上层系统(P2)是系统的软件部分，包括检测层(L2) 和决策层(L3)。信号层(L1)为上层系统计算所需的信号量提供接口、驱动以及信号的计算平台。在上 层系统(P2)中，检测层(L2)负责接收由信号层(L1)传递的车速信号、车辆加速度信号、转向灯信号、 油门信号、制动信号和图像信号，并通过对图像信号进行处理，提取出车道线信号；决策层(L3)负责用 检测层(L2)传递的信号来量化驾驶模式，然后通过学习这些驾驶模式，并对本次车道偏离状态进行判断， 对不符合安全驾驶行为下的车道偏离状态进行警告。

一种基于车道线模型检测方法和在线学习方法的车道偏离报警系统，硬件系统包括：图像传感模块 (H1)，用于实时获取汽车前方图像数据；CAN总线通讯模块(H2)，与汽车CAN总线进行通讯，实时 获取车速信号、转向灯信号、制动信号、油门信号；中央处理器模块(H3)，为车道线模型检测方法(S1) 和在线学习方法(S2)提供计算平台，人机交互模块(H4)，该模块包括开关、两个调节按钮、LED显示 器和喇叭，开关用于开启和关闭车道偏离报警系统，两个调节按钮分别用来设定危险预警级别，LED显示 器用来显示左右车道线，喇叭用来提供车道偏离预警声音；数据存储器模块(H5)，用于存储摄像机标定 参数和S2在线学习方法中所使用的样本数据。软件系统包括：车道线模型检测方法(S1)，用于实时检测 汽车前方车道线，并计算车道线与汽车之间的相对位置；在线学习方法(S2)，通过该方法对汽车偏离车 道的状态进行在线学习，有效区分驾驶员有意识的换道操作而造成的车道偏离状态和驾驶员无意识下使汽 车偏离车道行驶的车道偏离状态，并通过学习结果，对第二种车道偏离状态进行预警。

本发明在信号层(L1)的设计如下：

本发明所设计的信号层(L1)如附图3所示，其目的是为了为检测层(L2)和决策层(L3)提供信号、 信号接口、信号驱动以及信号的计算平台。其中，图像传感模块(H1)由镜头(H1P1)和CMOS传感器(H1P2) 组成，负责提供的实时前方道路图像数据；CAN总线通讯模块(H2)由一个CAN收发器(H2P1)组成，负责 提供车速信号、车辆加速度信号、转向灯信号、油门信号和制动信号；数据存储器模块(H5)包括Flash 存储器(H5P1)和SDRAM存储器(H5P2)，其作用是用来存储软件计算时所需要的中间变量以及驾驶模式 样本数据；人机交互模块(H4)由开关(H4P1)、键盘(H4P2)和喇叭(H4P3)组成，其作用是为检测层 (L2)和决策层(L3)提供开关命令和安全级别命令，并接收来自决策层(L3)的报警命令。

本发明在检测层(L2)的设计如下：

本发明设计的检测层(L2)的示意图如附图4所示，其实现的功能是通过计算由信号层(L1)提供的 图像数据，经过四个模块对车道线进行精确的识别和跟踪，上述四个模块分别为：图像信息获取模块(a)、 车道线滤波处理模块(b)、车道线投影变换模块(c)、车道线模型检测模块(d)；同时，为了实现对车辆 状态的精确估计，本发明使用卡尔曼滤波器模块(L2P1)对车速信号、车辆加速度信号、油门信号和制动 信号进行滤波处理；由于状态信号之间的关系是非同步的，本发明使用信号同步模块(L2P2)将卡尔曼滤 波器模块(L2P2)所提供的滤波信号进行线性内插值和外插值处理，以解决各信号之间的同步问题。

本发明在决策层(L3)的设计如下：

本发明设计的决策层(L3)的示意图如附图5所示，其包括驾驶模式在线学习模块(f)和车道偏离 危险状态估计模块(g)。

其中，驾驶模式在线学习模块(f)具有以下两个工作步骤：

步骤1：车道偏离判断模块(FP1)通过检测层(L2)传递的左车道线位置、右车道线位置和转向灯信 号判断是否启动车道偏离危险状态估计模块(g)和在线学习模块(FP2)。判断方法为，当检测到车道偏 离时，如果相应偏离方向的转向灯未开启，则启动模块(g)，并将本次驾驶模式状态发送给模块(g)，反 之，则启动模块(FP2)并将本次驾驶模式状态发送给模块(FP2)；

步骤2：当收到车道偏离判断模块发来的启动命令后，在线学习模块(FP2)对换道过程进行监测并记 录驾驶状态数据，然后，将记录的数据存放在正样本数据库中。

另外，车道偏离危险状态估计模块(g)的两个工作步骤为：

步骤1：由危险级别计算模块(GP1)通过利用Fisher线性判别准则对样本库中的正负样本进行统计， 计算出正负样本的线性决策面，然后，计算由模块(f)提供的本次驾驶模式状态到决策面的距离，并将 该距离值传递给报警决策(GP2)；

步骤2：将危险级别计算(GP1)传递的距离值与用户预设安全级别进行对比，通过查询表1来判断是 否发送报警命令。

表1

本发明的积极效果在于：能够在在大多数天气状况下(如雨天、雪天、阴天、晴天等)以及复杂环境 下(如拥堵路段、阴影较多的路段等)准确的检测到车道线，并且能够通过对驾驶员驾驶习惯的学习，准 确判断驾驶员的驾驶意图，对驾驶员在无意识情况下产生的车道偏离情况给出警告。而对于驾驶员在有意 识换道超车等操作下产生的车道偏离情况不给出预警。而且，该发明给用户提供了预设安全级别的接口， 用户可以根据需要，设定安全级别，安全级别越高，系统的敏感性越高，同时，该发明还提供了安全级别 4的选择，当用户设定了该安全级别，系统将对任何无转向信号等状况下的换道操作进行警告。

图1.基于车道线模型检测方法和在线学习方法的车道偏离报警系统的示意图

图2.系统设计层次图

图3.信号层工作原理示意图

图4.检测层工作原理示意图

图5.决策层工作原理示意图

图6.实施例一信号层结构示意图

图7.车道线特征前处理示意图

图8.车道线与车辆关系三维示意图

图9.车道偏离判断模块工作流程图

图1中，H1为图像传感模块，H2为CAN总线通讯模块，H3为数据存储器模块，H4为人机交互模块， H5为中央处理器模块，H1、H2、H3、H4和H5组成了系统硬件结构部分；S1为车道线模型检测方法，S2 为在线学习方法，S1和S2组成了系统的软件方法部分；S1中包括：a.图像信息获取模块、b.车道线滤波 处理模块、c.车道线投影变换模块、d.车道线模型检测模块；S2中包括：f.驾驶模式在线学习模块、g. 车道偏离危险状态模块

为了更清楚地说明本发明，使得本领域普通技术人员能够在不付出创造性劳动的前提下能够实现本发 明中所有的技术方案，下面将清楚、完整地描述本发明的几个实施例，显然，所描述的实施例仅仅是本发 明一部分实施例，而不是全部实施例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动 前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例一给出了信号层的硬件结构的详细说明：

一种基于车道线模型检测方法和在线学习方法的车道偏离报警系统，硬件系统包括：图像传感模块 (H1)，用于实时获取汽车前方图像数据；CAN总线通讯模块(H2)，与汽车CAN总线进行通讯，实时 获取车速信号、转向灯信号、制动信号、油门信号；中央处理器模块(H3)，为车道线模型检测方法(S1) 和在线学习方法(S2)提供计算平台，人机交互模块(H4)，该模块包括开关、两个调节按钮、LED显示 器和喇叭，开关用于开启和关闭车道偏离报警系统，两个调节按钮分别用来设定危险预警级别，LED显示 器用来显示左右车道线，喇叭用来提供车道偏离预警声音；数据存储器模块(H5)，用于存储摄像机标定 参数和S2在线学习方法中所使用的样本数据。如图6，为了描述简洁，只描述了实时本发明所需用到的核 心元器件，本领域普通技术人员可根据该实施例的核心器件在没有做出创造性劳动前提下，复现本发明的 信号层，其核心元器件分别对应实现本发明信号层的几个模块的功能，它们分别为：

12毫米镜头和OV2610型号的CMOS传感器实现图像传感模块(H1)；

82C250型号的CAN收发器，将收发器的CAN高和CAN低两线与汽车低速总线相连接，用以实现CAN总 线通讯模块；

M29W640DT型号的FLASH和MT48LC16M16A2型号的SDRAM用来实现信号层的数据存储模块(H5)；

ADSP‑BF561型号的数字信号处理器，为该实例的中央处理器模块(H3)，该模块中包含了本发明中的 检测层(L2)和决策层(L3)中的软件方法。

实施例二给出了检测层各模块的详细说明：

一种基于车道线模型检测方法和在线学习方法的车道偏离报警系统，软件系统包括：车道线模型检测 方法(S1)，用于实时检测汽车前方车道线，并计算车道线与汽车之间的相对位置；在线学习方法(S2)， 通过该方法对汽车偏离车道的状态进行在线学习，有效区分驾驶员有意识的换道操作而造成的车道偏离状 态和驾驶员无意识下使汽车偏离车道行驶的车道偏离状态，并通过学习结果，对第二种车道偏离状态进行 预警。其中，本实施例描述了车道线模型检测方法(S1)的实施方法。

图像信息获取模块(a)：该模块负责接收由图像传感模块(H1)传递来的图像数据，并传递给车道线 滤波处理模块(b)进行处理，其中图像数据的宽度和高度分别为752像素和480像素，图像数据的属性 为三通道彩图像；

车道线滤波处理模块(b)：该模块根据四个步骤从图像数据中提取车道线特征。

步骤1：通过彩空间变换(b1)将图像从彩图像变换为灰度图片，变换方式如公式(1)所示：

Gray(x，y)＝0.2989×R(x，y)+0.5870×G(x，y)+0.1140×B(x，y)             (1)

其中，Gray(x，y)为灰度图片，R(x，y)为彩图片的红通道，G(x，y)为彩图片的绿通道，B(x，y) 为彩图片的蓝通道；

步骤2：通过中值滤波处理(b2)对灰度图片降噪处理，本发明实施例中采用的中值滤波器大小为1 行5列，按照逐行扫描的方式对灰度图片进行中值滤波处理，得到滤波后图片I(x，y)；

步骤3：根据交通法规规定，车道线为白或者黄，车道线的灰度值要比道路部分的灰度值高，如 图7中车道线示意图(0701)所示，因此，车道线特征前处理(b3)根据这一特征，对图片中的车道线进行 特征提取，其计算过程如下面公式所示：

其中，x和y分别对应图片中的行和列，F(x，y)为滤波后图片，T为灰度差阈值，在本实施例中，T 为10，如图7中车道线特征示意图(0702)所示；

步骤4：得到车道线边界的上升沿信号和下降沿信号后，按照逐行检测的方式，利用车道线提取(b4) 方法，按照公式(3)对车道线的中线进行特征提取：

其中，L(x，y)为车道线图像，l为小于W的任意自然数，W为车道线宽度阈值，在本实施例中，W 为30。提取结果如图7中车道线结果示意图(0703)所示。

车道线投影变换模块(c)：该模块的目的是将利用三个参数表达的车道线信息投影到利用两个参数表 达的新的特征空间，与传统的Hough变换不同，新的特征空间对应的是车道线在原始图片中的延长线与图 片的最低位置的横坐标和最高位置的横坐标的交点，并且，该交点在车辆与车道线发生相对运动的时候， 其变化更加接近于线性变化，从而，更加有利于车道线的识别和跟踪，其变换方法如公式(4)所示：

$S(i,j)=\underset{\mathrm{\α}=0}{\overset{H}{\mathrm{\Σ}}}L(G\left((j-i)\frac{\mathrm{\α}}{H}\right),a),---\left(4\right)$

i＝A，A+1，...，B，j＝C，C+1，...，D

其中，i和j分别为投影变换空间的横坐标和纵坐标，S(i，j)是投影空间矩阵，G(·)是绝对值函数，L 是车道线图像，H是图像的高度，A和B分别对应投影空间在横坐标方向上的最小值和最大值，C和D 分别对应投影空间在纵坐标方向上的最小值和最大值。在本实施例中，H为480，A为0，B为752，C为 0，D为752.

车道线模型检测模块(d)：该模块通过建模的方式对车道线进行模型化匹配检测。在新的投影空间中， 车道线参数表现为左右车道线横坐标截距差、左右车道线纵坐标截距差和左右车道线中心位置，在投影空 间中，用数学分析方法中的非最大值抑制方法，到两个极大值点，并通过合理性验证方法，判断该亮点 是否符合车道线合理性要求，将符合验证要求的两个极大值点在投影空间中分别计算车道线模型，并利用 得到的模型，对车道线进行跟踪检测。

卡尔曼滤波和信号同步模块(L2P1)：车载CAN总线模块获取到的各信号之间以及各信号与车道线信 号的采样频率和更新频率均不同，决策层需要系统能够提供相同时间内的车辆状态信息。本实施例介绍利 用卡尔曼滤波和信号同步模块(L2P1)实现信号同步的问题。在本实施例中，将以车速信号为例，说明如 何实现该模块，本领域普通技术人员可以通过不需要付出创造性劳动的条件下利用该模块实现其它信号的 同步问题。根据卡尔曼滤波理论，可以分别得到状态方程和测量方程，分别如公式(5)和公式(6)所示：

xk＝Axk‑1+Buk‑1+wk‑1                                               (5)

zk＝Hxk+vk                                                         (6)

其中，w_k和v_k代表第k时刻的过程噪声和测量噪声，A为状态转移矩阵，B为控制输入矩阵，H为测量
矩阵，x_k表示第k时刻的状态变量，u_k表示第k时刻的输入变量，z_k表示第k时刻的观测变量。在本实
施例中，状态变量 $x_k=[x_k^1,x_k^2]=[v_k,v_k-v_{k-1}],$ v_k表示第k时刻的车速， $z_k=[{\stackrel{\‾}{v}}_k,{\stackrel{\‾}{v}}_k-{\stackrel{\‾}{v}}_{k-1}],$ 表示
第k时刻从信号层(L1)直接观测得到的车速， $A=\left[\begin{array}{cc}1& 1\\ 0& 1\end{array}\right],$ $H=\left[\begin{array}{cc}1& 0\\ 0& 1\end{array}\right],$ B＝0，过程噪声的协方差
矩阵为 $\left[\begin{array}{cc}0.1& 0\\ 0& 0.1\end{array}\right],$ 测量噪声的协方差矩阵为 $\left[\begin{array}{cc}0.2& 0\\ 0& 0.4\end{array}\right].$ 利用卡尔曼滤波方法对信号进行估计后再利用插
值的方法对系统进行预测，如公式(7)：

$x_t=x_k^1+(t-k)\×x_k^2---\left(7\right)$

其中，x_t为信号在t时刻时的预测值，和分别为卡尔曼滤波器在k时刻估计的车速和车辆加速度值。

实施例三给出了决策层各模块的详细说明：

本发明设计的决策层(L3)的示意图如附图5所示，其包括驾驶模式在线学习模块(f)和车道偏离 危险状态估计模块(g)。其中，驾驶模式在线学习模块(f)包括车道偏离判断模块(FP1)和在线学习模 块(FP2)。车道偏离危险状态估计模块(g)包括危险级别计算模块(GP1)和报警决策(GP2)。

车道偏离判断模块(FP1)：首先，该模块利用照相机标定的内参数和外参数计算车道线与车辆在三维 空间坐标系下的位置关系，如图8所示。然后，按照公式(8)的方法计算车道偏离速率：

$V_{\mathrm{departure}}=\tan \left(a\right)\frac{V}{d}---\left(8\right)$

其中Vdeparture表示车道偏离速率，V为车速。图9给出了车道偏离判断模块(FP1)的工作流程，

在线学习模块(FP2)：该模块主要是对驾驶员在正确换道操作下的驾驶模式进行在线学习。当收到车 道偏离判断模块(FP1)发来的启动命令后，在线学习模块(FP2)将记录当前时刻的驾驶状态信号，并将 各信号作为正样本记录在数据存储器中，同时，利用Fisher线性判别方法计算线性决策面，为了描述清 晰起见，将驾驶员有意识换道操作下的驾驶状态称为正样本，驾驶员无意识换道造作下的驾驶状态成为负 样本，计算方法如公式(9‑14)所示：

$m_1=\frac{1}{N_1}\underset{x\∈D_1}{\mathrm{\Σ}}x---\left(9\right)$

$m_2=\frac{1}{N_2}\underset{x\∈D_2}{\mathrm{\Σ}}x---\left(10\right)$

$S_1=\underset{x\∈D_1}{\mathrm{\Σ}}{(x-m_1)(x-m_1)}^{\′}---\left(11\right)$

$S_2=\underset{x\∈D_2}{\mathrm{\Σ}}{(x-m_2)(x-m_2)}^{\′}---\left(12\right)$

Sw＝S1+S2                                                       (13)

$w=S_w^{-1}(m_1-m_2)---\left(14\right)$

其中，x为驾驶状态向量，其包含的元素分别为车速信号、车辆加速度信号、油门开度信号、制动踏板开 度信号和车道偏离速率，D1为正样本集，D2为负样本集，m1为正样本均值，m2为负样本均值，N1为正 样本个数，N2为负样本个数，S1为正样本自相关矩阵，S2为负样本自相关矩阵，Sw正负样本自相关矩 阵和，w为正负样本Fisher线性判别面。

需要补充说明的是，首先，在实施该模块前，需要先通过实验对疲劳驾驶状态下和无意识状态下的驾 驶状态进行样本收集。具体实施方法为，模拟疲劳驾驶状态下引起的车道偏离状态，并利用系统的信号层 和检测层对驾驶状态进行记录。将记录的数据存放在数据存储模块中，并作为永久性存放的静态数据。需 要注意的是，实施该实验时具有一定的危险性，应在专业的汽车实验场中进行。其次，由于数据存储器容 量的限制，无法存放太多的数据样本，在本实施例中，负样本个数N2为3000，正样本个数N1为3000， 由于系统会不断的在线学习驾驶员的有意识换道驾驶模式，因此，为了维持正样本个数，在学习新的驾驶 模式后，需要按照时间顺序，将最早的一种驾驶模式数据删除。

危险级别计算模块(GP1)：当接收到由车道偏离判断模块(FP1)的启动命令后，该模块根据在线学 习模块(FP2)提供的Fisher线性判别面，对驾驶员当前换道操作的驾驶状态进行判断，判断方法按照公 式(15‑19)的计算步骤：

$N_A=\underset{x\∈D_1}{\mathrm{\Σ}}F\left(x\right)---\left(15\right)$

$N_B=\underset{x\∈D_2}{\mathrm{\Σ}}G\left(x\right)---\left(16\right)$

$V_{\mathrm{Danger}}=\frac{N_A+0.00001}{N_A+N_B}---\left(17\right)$

$F\left(x\right)=\left\{\begin{array}{ccc}1,& \mathrm{if}& w(x-x_t)\<=0\\ 0,& \mathrm{if}& w(x-x_t)>0\end{array}\right.---\left(18\right)$

$G\left(x\right)=\left\{\begin{array}{ccc}1,& \mathrm{if}& w(x-x_t)>0\\ 0,& \mathrm{if}& w(x-x_t)\<=0\end{array}\right.---\left(19\right)$

其中，NA为正样本投票数，NB为负样本投票数，VDanger为危险值，w为Fisher线性判别面，D1为正 样本集，D2为负样本集，x为样本数据，xt为当前驾驶状态量。将计算得出的VDanger提供给报警决策模 块(GP2)。

报警决策模块(GP2)：根据由危险级别计算模块(GP1)提供的危险值和信号层提供的预设安全级别， 通过查表1，判断是否需要报警，如需要报警，则发送报警命令给信号层，对车道偏离状态进行报警。