(19)国家知识产权局
(12)发明专利申请
(10)申请公布号 (43)申请公布日 (21)申请号 202210630228.3
(22)申请日 2022.06.06
(71)申请人 安徽理工大学
地址 232001 安徽省淮南市田家庵区泰丰
大街168号
(72)发明人 郭永存 杨豚 童佳乐 王文善
何磊
(74)专利代理机构 合肥和瑞知识产权代理事务
所(普通合伙) 34118
专利代理师 柯凯敏
(51)Int.Cl.
G06V 20/58(2022.01)
G06V 10/764(2022.01)
G06V 10/774(2022.01)
G06V 10/82(2022.01)
G06N 3/04(2006.01)G06N 3/08(2006.01)
(54)发明名称一种基于Tiny-Yolov4的无人驾驶电机车障碍物检测方法及电子设备(57)摘要本发明涉及图像处理技术领域,具体是一种基于Tiny ‑Yolov4的无人驾驶电机车障碍物检测方法及电子设备,包括以下步骤:S1、获取障碍物检测目标图像数据,将检测目标图像数据划分为训练集、验证集和测试集;S2、将Tiny ‑Yolov4算法中的颈部Neck的LeakyRelu激活函数改成Mish 激活函数;S3、增加Tiny ‑Yolov4头部Head的预测尺度,得到改进后的Tiny ‑Yolov4模型;S4、将S1的数据导入改进后的Tiny ‑Yolov4模型中,经训练、验证和测试后得到的最优配置参数的改进Tiny ‑Yolov4模型作为检测模型;S5、向所述检测模型输入待检测的障碍物图像数据,通过所述检测模型实现对待检测的障碍物图像数据的检测处理;本发明能够准确快速的检测并识别煤矿运 输巷道中的障碍物。权利要求书2页 说明书5页 附图2页CN 115116028 A 2022.09.27
C N 115116028
A
1.一种基于Tiny‑Yolov4的无人驾驶电机车障碍物检测方法,其特征在于,包括以下步骤:
S1、获取障碍物检测目标图像数据,将检测目标图像数据划分为训练集、验证集和测试集;
S2、将Tiny‑Yolov4算法中的颈部Neck的Leaky Relu激活函数改成Mish激活函数;
S3、增加Tiny‑Yolov4头部Head的预测尺度,得到改进后的Tiny‑Yolov4模型;
S4、将S1的数据导入改进后的Tiny‑Yolov4模型中,经训练、验证和测试后得到的最优配置参数的改进Tiny‑Yolov4模型作为检测模型;
S5、向所述检测模型输入待检测的障碍物图像数据,通过所述检测模型实现对待检测的障碍物图像数据的检测处理。
2.根据权利要求1所述的一种基于Tiny‑Yolov4的无人驾驶电机车障碍物检测方法,其特征在于,所述步
骤S1将对应的障碍物检测目标图像分成四类:工人、电机车、指示灯和石头;采用LabelImg图像标注工具以矩形框的形式将图像中的目标框选出来,并分别采用“person”、“locomotive”、“lamp”和“stone”作为工人、电机车、指示灯和石头目标的标签,将标注完成的图像保存为YOLO格式。
3.根据权利要求2所述的一种基于Tiny‑Yolov4的无人驾驶电机车障碍物检测方法,其特征在于,所述步骤S2中的Mish激活函数为光滑的非单调激活函数,其表达式f(x)如下:f (x)=x·tan(ζ(x)),其中ζ(x)是一个softmax激活函数和,ζ(x)表达式为:ζ(x)=SoftPlus(x)=ln(1+e x)
其中x为输入数据,e为纳皮尔常数。
4.根据权利要求3所述的一种基于Tiny‑Yolov4的无人驾驶电机车障碍物检测方法,其特征在于,所述步骤S3是将Tiny‑Yolov4头部Head设置为三尺度预测。
5.根据权利要求1‑4中任一项所述的一种基于Tiny‑Yolov4的无人驾驶电机车障碍物检测方法,其特征在于,所述步骤S4具体如下:所述将步骤S1得到的训练集导入至步骤S3得到的改进Tiny‑Yolov4模型,对改进Tiny‑Yolov4模型进行训练;然后通过步骤S1得到的验证集进行验证,以及通过步骤S1得到的测试集对改进Tiny‑Yolov4模型的鲁棒性进行测试,根据验证和测试结果将训练后改进Tiny‑Yolov4模型的配置参数调节为最优配置参数。
6.根据权利要求5所述的一种基于Tiny‑Yolov4的无人驾驶电机车障碍物检测方法,其特征在于,所述步骤S5的过程如下:在人工智能开发板装置上配置检测模型的代码运行环境,安装相关依赖包,完成环境配置;然后将泛化最强的检测模块迁移至人工智能开发板装置,并测试检测模型在人工智能开发板装置上的执行效果,完成模型部署,从外接摄像头中获取障碍物图像数据,以帧为单位将图像传入模型中,对图片进行降分辨率处理,以提高运行速度,将模型输出结果显示在外接屏幕上,完成对障碍物分类的检测。
7.根据权利要求1所述的一种基于Tiny‑Yolov4的无人驾驶电机车障碍物检测方法,其特征在于,改进后的Tiny‑Yolov4模型中的CBL模块由卷积层Conv、批标准化层BN和Leaky Relu激活函数组成;CBM模块由卷积层Conv、批标准化层BN和Mish激活函数组成。
8.一种电子设备,其特征在于,包括处理器、输入设备、输出设备和存储器,所述处理器、输入设备、输出设备和存储器依次连接,所述存储器用于存储计算机程序,所述计算机程序包括程序指令,所述处理器被配置用于调用所述程序指令,执行如权利要求1‑3任一项
所述的方法。
一种基于Tiny‑Yolov4的无人驾驶电机车障碍物检测方法及
电子设备
技术领域
[0001]本发明涉及图像处理技术领域,具体是一种基于Tiny‑Yolov4的无人驾驶电机车障碍物检测方法及电子设备。
背景技术
[0002]煤矿运输是煤炭开采的重要环节之一,煤矿井下运输分为主运输与辅助运输,其中煤矿辅助运输是指除煤炭运输之外的各种运输总和,其运输方式主要分为有轨式和无轨式。 [0003]煤矿井下轨道电机车在煤矿辅助运输中扮演着重要角,主要用以运送人员、矸石、物料等。然而,目前大多数煤矿电机车仍然依靠人工驾驶,由于煤矿巷道较为狭窄且光照条件不足,易造成驾驶员视觉上的疲劳,导致煤矿电机车的运输事故频发。针对这一问题,国内少数煤矿通过远程监控及遥控技术实现电机车的无人驾驶,但这种无人驾驶模式不能及时发现电机车前方轨道上的障碍物,并且调度室的监控人员长时间工作容易出现疲劳,仍存在较大的安全风险,因此亟待解决。
发明内容
[0004]为了避免和克服现有技术中存在的技术问题,本发明提供了一种基于Tiny‑Yolov4的无人驾驶电机车障碍物检测方法。本发明能够准确快速的检测并识别煤矿运输巷道中的障碍物。
[0005]为实现上述目的,本发明提供如下技术方案:
[0006]一种基于Tiny‑Yolov4的无人驾驶电机车障碍物检测方法,包括以下步骤:[0007]S1、获取障碍物检测目标图像数据,将检测目标图像数据划分为训练集、验证集和测试集;
[0008]S2、将Tiny‑Yolov4算法中的颈部Neck的Leaky Relu激活函数改成Mish激活函数;[0009]S3、增加Tiny‑Yolov4头部Head的预测尺度,得到改进后的Tiny‑Yolov4模型;[0010]S4、将S1的数据导入改进后的Tiny‑Yolov4模型中,经训练、验证和测试后得到的最优配置参数的改进Tiny‑Yolov4模型作为检测模型;
[0011]S5、向检测模型输入待检测的障碍物图像数据,通过检测模型实现对待检测的障碍物图像数据的检测处理。
[0012]作为本发明进一步的方案:步骤S1将对应的障碍物检测目标图像分成四类:工人、电机车、指示灯和石头;采用LabelImg图像标注工具以矩形框的形式将图像中的目标框选出来,并分别采用“person”、“locomotive”、“lamp”和“stone”作为工人、电机车、指示灯和石头目标的标签,将标注完成的图像保存为YOLO格式。
[0013]作为本发明再进一步的方案:步骤S2中的Mish激活函数为光滑的非单调激活函数,其表达式f(x)如下:f(x)=x·tan(ζ(x)),其中ζ(x)是一个softmax激活函数和,ζ(x)表
达式为:
[0014]ζ(x)=SoftPlus(x)=ln(1+e x)
[0015]其中x为输入数据。
[0016]作为本发明再进一步的方案:步骤S3是将传统的Tiny‑Yolov4头部Head的两尺度预测(19×19,38×38)增加至三尺度预测(19×19,38×38,76×76)。
[0017]作为本发明再进一步的方案:步骤S4具体如下:将步骤S1得到的训练集导入至步骤S3得到的改进Tiny‑Yolov4模型,对改进Tiny‑Yolov4模型进行训练;然后通过步骤S1得到的验证集进行验证,以及通过步骤S1得到的测试集对改进Tiny‑Yolov4模型的鲁棒性进行测试,根据验证和测试结果将训练后改进Tiny‑Yolov4模型的配置参数调节为最优配置参数。
[0018]作为本发明再进一步的方案:步骤S5的过程如下:在人工智能开发板装置上配置检测模型的代码运行环境,安装相关依赖包,完成环境配置;然后将泛化最强的检测模块迁移至人工智能开发板装置,并测试检测模型在人工智能开发板装置上的执行效果,完成模型部署,从外接摄像头中获取障碍物图像数据,以帧为单位将图像传入模型中,对图片进行降分辨率处理,以提高运行速度,将模型输出结果显示在外接屏幕上,完成对障碍物分类的检测。
[0019]作为本发明再进一步的方案:改进后的Tiny‑Yolov4模型中的CBL模块由卷积层Conv、批标准化层BN和Leaky Relu激活函数组成;CBM模块由卷积层Conv、批标准化层BN和Mish激活函数组成。
[0020]优选的,一种电子设备,其特征在于,包括处理器、输入设备、输出设备和存储器,所述处理器、输入设备、输出设备和存储器依次连接,所述存储器用于存储计算机程序,所述计算机程序包括程序指令,所述处理器被配置用于调用所述程序指令,执行所述的方法。[0021]与现有技术相比,本发明的有益效果是:
[0022]1、本发明对Tiny‑Yolov4进行了改进,能够准确的识别煤矿运输巷道中的障碍物,并快速的对齐进行分类,提高了检测目标的识别精度。
[0023]2、本发明增加Tiny‑Yolov4头部Head的预测尺度,可以提高算法对小目标的检测能力。
附图说明
[0024]图1为改进后的Tiny‑Yolov4网络模型结构。
[0025]图2为改进后算法的训练平均损失。
[0026]图3为本发明的电子设备框架示意图。
[0027]本发明各标号与部件名称的实际对应关系如下:
[0028]10‑电子设备
[0029]11‑处理器 12‑存储器 13‑输入装置 14‑输出装置
具体实施方式
[0030]下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于