适用于带式输送机的声光巡检方法、终端及可读存储介质

1.本发明涉及自动化巡检技术领域，具体涉及一种适用于带式输送机的声光巡检方法、终端及可读存储介质。

背景技术：

2.带式输送机以挠性输送带作物料承载和牵引构件的连续输送机械。一条无端的输送带环绕驱动滚筒和改向滚筒。两滚筒之间的上下分支各以若干托辊支承。
3.由于输送物质特殊，带式输送机系统摩擦力大、磨损大的特点，带式输送机在实际的工作中经常会出现一些故障，影响到整个生产过程的顺利进行。此外，随着物料运输的封闭化改造，封闭通廊中的生产异常难以被及时发现并处理。同时，由于通廊的超长距离，在封闭空间内，传统人工巡检方式效率低且存在人员安全问题，对实际生产造成了巨大影响。近年来，由于带式输送机故障问题导致的火灾问题屡屡发生。

技术实现要素：

4.本发明所要解决的技术问题是带式输送机的巡检依靠人工，目的在于提供一种适用于带式输送机的声光巡检方法、终端及可读存储介质，解决了传统人工巡检方式效率低且存在人员安全问题。
5.本发明通过下述技术方案实现：
6.一种适用于带式输送机的声光巡检方法，包括：
7.规划实时巡检路径，并在巡检中获取当前位置的巡检图像和巡检声音；
8.构建卷积神经网络，经训练获得损坏识别认知视觉模型；
9.从巡检图像中获取带式输送机的输送带表面图像数据，输入至损坏识别认知视觉模型，判断输送带表面是否损坏；
10.从巡检声音中获取带式输送机的托辊转动的声音信号，判断托辊的运行状态是否正常；
11.根据输送带表面判断结果和托辊运行状态判断结构输出巡检结果。
12.具体地，规划实时巡检路径的方法基于巡检机器人，所述巡检机器人包括主体以及设置在主体下方的履带，两个所述履带平行设置，且两个所述履带分别通过差动履带轮驱动，所述主体上设置有用于测距避障的超声波传感器、用于检测障碍物避障的红外传感器；
13.规划实时巡检路径的方法包括：
14.将巡检机器人放置在待巡检区域内，并确定待巡检区域的总面积sm；
15.根据工作环境确定巡检机器人的图像采集最佳宽度d1和声音采集最佳宽度d2，并计算最佳采集宽度d＝max{d1,d2}；d1和d2平行于xr轴，巡检机器人位于和处；
16.创建全局坐标系oxy和机器人坐标系orxryr，并将巡检机器人的初始位置作为全局
坐标系的原点，将两个履带构成的矩形中心点作为机器人坐标系的原点，将巡检机器人的前移方向作为机器人坐标系的xr轴；
17.巡检机器人按照设定的直线-转向规则移动，并进行轨迹推算定位；
18.记录巡检轨迹，并获得巡检覆盖面积s＝轨迹长度
×
d，若s≥sm，则完成巡检。
19.具体地，直线-转向规则包括：
20.巡检机器人实时监测前侧、左侧和右侧是否存在障碍物；
21.若仅前侧存在障碍物，则控制巡检机器人旋转180
°
，且偏移d,0＜d＜d，巡检机器人的旋转方向与上一次转向的方向相反；
22.若仅前侧和左侧存在障碍物，则控制巡检机器人向右旋转180
°
，且偏移d,0＜d＜d，
23.若仅前侧和右侧存在障碍物，则控制巡检机器人向左旋转180
°
，且偏移d,0＜d＜d，
24.若前侧、左侧和右侧均存在障碍物，则控制巡检机器人旋转180
°
，且偏移d＝0。
25.可选地，轨迹推算定位方法包括：
26.获取巡检机器人在n时刻的全局坐标系坐标(xn,yn)、航向角θn、巡检机器人移动线速度vn、巡检机器人旋转角速度ωn；
27.计算δt时间后的n+1时刻巡检机器人的状态参数
[0028][0029]
连接(xn,yn)与(x
n+1
,y
n+1
)获得n时刻到n+1时刻的轨迹，并对n进行迭代，获得巡检机器人的巡检轨迹。
[0030]
具体地，损坏识别认知视觉模型的获得方法包括：
[0031]
获取输送带表面数据集，所述数据集中包括多张输送带表面图像，且覆盖多种破损类别；
[0032]
获得特征图的映射向量p，计算式为其中，i和j为图像索引值，k为特征图索引，为权重，q(i,j)为卷积操作后的小区域图像；
[0033]
对映射向量p进行全局平均池化，计算式为其中为权重，p
l
为当前层输入，为偏移量，为中间输出，f为激活函数；
[0034]
获得损失函数c，计算式为其中m为输出类别，d为输入样本，e为实际输出，a为模型预测输出；
[0035]
获取学习率l，计算式为其中为学习
率上限值，为学习率下限值，tc为当前迭代数，ti为当前运行中总迭代数；
[0036]
通过损失函数和学习率对卷积神经网络进行迭代训练，并持续监测验证集上的损失函数值，当连续n个迭代未下降时，停止训练并获得损坏识别认知视觉模型；否则保持当前学习率继续训练。
[0037]
具体地，判断托辊的运行状态是否正常的方法包括：
[0038]
获取异常声音数据集，获取声谱图数据集；
[0039]
建立卷积神经网络，并利用声谱图数据集进行训练，获得异常声音识别模型；
[0040]
获取巡检声音的实时声谱图；
[0041]
将实时声谱图输入异常声音识别模型，获得检测结果。
[0042]
可选地，声谱图的提取方法包括：
[0043]
通过高通滤波器对声音信号进行滤波，获取滤波后的平坦的信号频谱，然后通过汉明窗进行加窗处理获得gs(h)；
[0044]
设定短时幅度阈值d和短时过动态门限率阈值zcr；
[0045]
使s在(1，l]中进行迭代，循环步长为1，l为gs(h)的长度；
[0046]
计算短时幅度短时过动态门限率t为动态门限，sgn为符号函数，若函数值不小于0则输出1，若函数值小于0则输出-1；
[0047]
若ds＞d且zcrs＞zcr，则记录此时的gs(h)为声音起点s；
[0048]
若ds≤d且zcrs≤zcr，则记录此时的gs(h)为声音终点e；
[0049]
获取有效声音片段gs(τ)，其为s-e段，处理后获得gs(τ)的声谱图。
[0050]
具体地，异常声音识别模型的构建方法包括：
[0051]
步骤一、利用声谱图数据集训练卷积神经网络至收敛，获得卷积模型；
[0052]
步骤二、计算卷积模型每个隐层节点的重要性i(u,v)＝s
in
(u,v)+s
out
(u,v),其中s
in
(u,v)为第u层节点v的输入权重标准差，s
out
(u,v)为第u层节点v的输出权重标准差；
[0053]
步骤三、在每个隐层中，根据重要性对节点排序，裁剪重要度低于设定值的节点；
[0054]
步骤四、对步骤三中裁剪后模型的进行重新训练，直至再次收敛；
[0055]
步骤五、重复步骤二至步骤四至参数达到预设规模，输出异常声音识别模型。
[0056]
一种适用于带式输送机的声光巡检终端，包括存储器、处理器以及存储在存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述的一种适用于带式输送机的声光巡检方法的步骤。
[0057]
一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上述的一种适用于带式输送机的声光巡检方法的步骤。
[0058]
本发明与现有技术相比，具有如下的优点和有益效果：
[0059]
本发明通过规划实时巡检路径达到对待巡检区域的全面巡视，并获取当前位置的巡检图像和巡检声音，然后通过损坏识别认知视觉模型判断输送带表面是否被损坏，通过声音信号确定托辊是否正常工作，从而在巡检机器人的配合下，可以实现自动巡检的目的。
附图说明
[0060]
附图示出了本发明的示例性实施方式，并与其说明一起用于解释本发明的原理，其中包括了这些附图以提供对本发明的进一步理解，并且附图包括在本说明书中并构成本说明书的一部分，并不构成对本发明实施例的限定。
[0061]
图1是根据本发明所述的一种适用于带式输送机的声光巡检方法的流程示意图。
[0062]
图2是根据本发明所述的路径规划的方法的流程示意图。
[0063]
图3是根据本发明所述的输送带表面巡检方法的流程示意图。
[0064]
图4是根据本发明所述的声谱图提取方法的流程示意图。
[0065]
图5是根据本发明所述的托辊运行状态巡检方法的流程示意图。
具体实施方式
[0066]
为使本发明的目的、技术方案和优点更加清楚明白，下面结合附图和实施方式对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施方式仅用于解释相关内容，而非对本发明的限定。
[0067]
另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分。
[0068]
在不冲突的情况下，本发明中的实施方式及实施方式中的特征可以相互组合。下面将参考附图并结合实施方式来详细说明本发明。
[0069]
本发明中的巡检方法基于一种巡检机器人，巡检机器人包括主体以及设置在主体下方的履带，两个履带平行设置，且两个履带分别通过差动履带轮驱动，主体上设置有用于测距避障的超声波传感器、用于检测障碍物避障的红外传感器。
[0070]
该巡检机器人使用ros主控系统，以jetsonnano作为上位机，使用stm32f103rct6作为底层控制板。主要功能分为：故障检测、环境监测。
[0071]
故障检测是对带式输送机的故障进行检测，带式输送机的故障至少有两个，其一是输送带表面出现破碎，其二是托辊出现转动异常，因此可以通过图像采集识别来对输送带表面的情况进行故障检测，托辊出现异常会导致出现异响，则可以通过声音检测来对托辊的情况进行故障检测，所以巡检机器人将搭配图像采集器和拾音器。
[0072]
为了实现准确的采样，一般设定图像采集器的高度高于输送带，拾音器不强制要求，但也应该与托辊的高度相当。
[0073]
环境监测基于环保需求以及人员健康的考虑，巡检巡检机器人将搭载有实时监测温湿度、粉尘、一氧化碳和二氧化硫等环境指标的传感器，可实现异常实时报警，防患于未然。
[0074]
巡检机器人的结构设计分为移动机构设计、升降机构设计和驱动装置设计，由于腿足式结构复杂、稳定性差且负载能力弱，轮式结构对地面压强较大，在潮湿泥泞或松软土壤上易陷车打滑，移动机构设计采用履带式移动机构，升降机构部分巡检机器人选用了滑杆式升降结构，常用驱动方式对于传统履带行走机构，传动路线为柴油机—液压泵—行走马达—减速器—驱动轮，传动结构复杂，体积质量都比较大，并不适合本工况的需求。选用重量和体积更小，并且寿命长，维护方便，噪声较小的直流无刷电机和相较于传统的齿轮减速器结构，其具备体积质量小、减速比大、传动效率高的特点的行星齿轮减速器。因此采用直流无刷伺服电机作为动力源，经过行星齿轮减速器减速后直连驱动轮带动履带运行。
[0075]
巡检机器人在正常移动时，布置在两侧履带中的驱动装置以相同速度驱动履带向前行驶，可以实现平稳行驶和越障，而当巡检机器人需要转向时，两侧的履带差动运行，通过两侧履带的差速即可实现巡检机器人的转向。
[0076]
实施例一
[0077]
基于上述的巡检机器人，本实施例提供如图1所示的一种适用于带式输送机的声光巡检方法，包括：
[0078]
第一步，规划实时巡检路径，并在巡检中获取当前位置的巡检图像和巡检声音。
[0079]
将巡检机器人放置至巡检区域的任意位置，巡检机器人自动规划巡检路径，最终目的是完成对整个巡检区域的巡检，并在移动图中通过图像采集器和拾音器等设备采集巡检图像和巡检声音。
[0080]
第二步，构建卷积神经网络，经训练获得损坏识别认知视觉模型；从巡检图像中获取带式输送机的输送带表面图像数据，输入至损坏识别认知视觉模型，判断输送带表面是否损坏；
[0081]
构建损坏识别认知视觉模型，并将巡检图像输入到模型中，通过模型判断输送带表面是否损坏。
[0082]
第三步，从巡检声音中获取带式输送机的托辊转动的声音信号，判断托辊的运行状态是否正常；
[0083]
对巡检声音进行预处理，从巡检声音中摘选出有效声音片段，并通过有效声音片段判断托辊的转动状态，从而可以判断其与运行是否正常。
[0084]
第四步，根据输送带表面判断结果和托辊运行状态判断结构输出巡检结果。
[0085]
如果第二步和第三步中判断出现异常，则发出异常信号，并且可以配合第一步中的巡检路径，确定具体的异常位置。
[0086]
另外，在本实施例中，第一步、第二步、第三步和第四步是同时运行的，不存在前后关系。
[0087]
实施例二
[0088]
如图2所示，本实施例对实施例一中的第一步进行具体说明。规划实时巡检路径的方法基于巡检机器人，因此规划实时巡检路径的方法包括：
[0089]
s11、将巡检机器人放置在待巡检区域内，并确定待巡检区域的总面积sm；总面积可以是一个估算面积，一般情况整个带巡检区域位于厂房内，因此可以将总面积认为是房屋面积。
[0090]
s12、根据工作环境确定巡检机器人的图像采集最佳宽度d1和声音采集最佳宽度d2，并计算最佳采集宽度d＝max{d1,d2}；d1和d2平行于xr轴，巡检机器人位于和处；图像采集的最佳宽度为图像采集器的能够获得的清晰图像的宽度，且如果工作环境较暗，则d1较小；如果光照环境较好，则d1较大。同理，声音采集最佳宽度为拾音器能够获得清洗声音的宽度，且根据工作环境的噪音情况有关，噪音越大，d2值越小。
[0091]
s13、创建全局坐标系oxy和机器人坐标系orxryr，并将巡检机器人的初始位置作为全局坐标系的原点，将两个履带构成的矩形中心点作为机器人坐标系的原点，将巡检机器人的前移方向作为机器人坐标系的xr轴；全局坐标系可以参照待巡检区域的长宽来进行设
置。
[0092]
s14、巡检机器人按照设定的直线-转向规则移动，并进行轨迹推算定位；
[0093]
其中，直线-转向规则包括：
[0094]
s1411、巡检机器人实时监测前侧、左侧和右侧是否存在障碍物；
[0095]
s1412、若仅前侧存在障碍物，则控制巡检机器人旋转180
°
，且偏移d,0＜d＜d，巡检机器人的旋转方向与上一次转向的方向相反；
[0096]
s1413、若仅前侧和左侧存在障碍物，则控制巡检机器人向右旋转180
°
，且偏移d,0＜d＜d，
[0097]
s1414、若仅前侧和右侧存在障碍物，则控制巡检机器人向左旋转180
°
，且偏移d,0＜d＜d，
[0098]
s1415、若前侧、左侧和右侧均存在障碍物，则控制巡检机器人旋转180
°
，且偏移d＝0。
[0099]
其中，s1412、s1413、s1414、s1415四个步骤只能择一执行，根据检测的障碍物的情况确定执行某一个步骤，偏移d可以使得巡检机器人在调头后，向左或向右移动一段距离，可以避免重复对一个线路进行巡检。
[0100]
其中，轨迹推算定位方法包括：
[0101]
s1421、获取巡检机器人在n时刻的全局坐标系坐标(xn,yn)、航向角θn、巡检机器人移动线速度vn、巡检机器人旋转角速度ωn；
[0102]
s1422、计算δt时间后的n+1时刻巡检机器人的状态参数在较短的δt时间内，可以认定vn和ωn为不变量，且vn和ωn均可以通过巡检机器人自身的传感器获得，例如速度传感器、霍尔编码器、电机转速等各种现有的传感器。
[0103]
从而能够根据巡检机器人在n时刻以及δt时间内的位移以及偏向角，测得巡检机器人在n+1时刻的位移以及航向角。
[0104]
δt时间内的位移与n时刻的坐标(xn,yn)之和，即可以获得n+1时刻的(x
n+1
,y
n+1
)。
[0105]
s1423、连接(xn,yn)与(x
n+1
,y
n+1
)获得n时刻到n+1时刻的轨迹，并对n进行迭代，获得巡检机器人的巡检轨迹。n从0开始进行迭代，迭代步长为δt，且δt的取值越小，整个巡检轨迹越准确。
[0106]
s15、记录巡检轨迹，并获得巡检覆盖面积s＝轨迹长度
×
d，若s≥sm，则完成巡检。
[0107]
需要判断是否对整个待巡检区域均进行了巡检，因为偏移d后d存在重叠，所以应有s≥sm。
[0108]
实施例三
[0109]
如图3所示，本实施例对实施例一中的第二步进行具体说明。第二步在进行识别运行前，先需要建立损坏识别认知视觉模型，其具体方法包括：
[0110]
s21、获取输送带表面数据集，数据集中包括多张输送带表面图像，且覆盖多种破损类别；本数据集的主要特点是不同类之间的缺陷特征存在相似性，即使是同类别，也有若
干差异，因此，需在数据集预处理。
[0111]
数据集增强策略等预处理措施对提升模型准确率，泛化能力，降低损失和抑制过拟合等方面具备一定的促进作用。本实施例中采用了剪切强度为0.2的逆时针剪切变换，幅度为0.2的随机缩放，比例为0.2的水平和竖直偏移，随机水平翻转等数据集增强策略。既可对数据集进行衍生扩充，又可弱化不相关的特征，为后续深度神经网络模型训练奠定基础。
[0112]
s22、建立cnn神经网络模型，有卷积层、池化层、全连接层，本实施例中采用vgg16卷积神经网络进行优化建模，由13个卷积层，5个池化层和3个全连接层组成。
[0113]
将其分为6个部分，前五部分是卷积层和池化层的组合，其中第一部分包括2个卷积层和1个池化层，第二部分包括2个卷积层和1个池化层，第三部分包括3个卷积层和1个池化层，第四部分包括3个卷积层和1个池化层，第五部分包括3个卷积层和1个池化层。最后一部分是3个全连接层外加softmax输出。
[0114]
s23、全连接层的主要作用是汇总特征，即将输出特征图映射成向量，从而获得特征图的映射向量p，计算式为其中，i和j为图像索引值，k为特征图索引，为权重，q(i,j)为卷积操作后的小区域图像；
[0115]
s24、对映射向量p进行全局平均池化，计算式为其中为权重，p
l
为当前层输入，为偏移量，为中间输出，f为激活函数；将全连接层改为全局平均池化层后，剔除黑盒效应，抑制过拟合，加入全局网络结构正则化，增强了特征映射和输出类别之间的对应关系。
[0116]
s25、获得损失函数c，计算式为其中m为输出类别，d为输入样本，e为实际输出，a为模型预测输出；
[0117]
s26、获取学习率l，计算式为其中为学习率上限值，为学习率下限值，tc为当前迭代数，ti为当前运行中总迭代数；
[0118]
s27、通过损失函数和学习率对卷积神经网络进行迭代训练；
[0119]
s28、并持续监测验证集上的损失函数值，当连续n个迭代未下降时，停止训练并获得损坏识别认知视觉模型；否则保持当前学习率继续训练。采用此种策略的好处是可及时获取较优模型，减少不必要的迭代，提升训练效率，避免随着迭代的增加而发生过拟合的现象。
[0120]
s29、将巡检图像进行如s21中描述的处理方式进行处理，获得可以输入至损坏识别认知视觉模型的图像数据，然后将其输入至损坏识别认知视觉模型，通过损坏识别认知视觉模型对输送带表面的情况进行判定。
[0121]
实施例四
[0122]
如图4所示，本实施例是对实施例一中第三步的具体说明，判断托辊的运行状态是否正常的方法包括：
[0123]
s31、获取异常声音数据集，获取声谱图数据集；即需要对声音进行预处理，预处理一般包含预加重、分帧、加窗以及端点检测等过程。如图5所示，声谱图的提取方法包括：
[0124]
s311、通过高通滤波器对声音信号进行滤波，主要作用是提升信号中的高频部分，获取滤波后的平坦的信号频谱。
[0125]
在对信号截取后，容易存在信号的泄露问题，所以对声音信号进行截取时要进行加窗，可以使时域信号更好地满足周期性的要求，因此通过汉明窗进行加窗处理获得gs(h)；
[0126]
s312、设定短时幅度阈值d和短时过动态门限率阈值zcr；根据工作环境的噪音情况进行确定。
[0127]
s313、使s在(1，l]中进行迭代，循环步长为1，l为gs(h)的长度；
[0128]
计算短时幅度短时过动态门限率t为动态门限，sgn为符号函数，若函数值不小于0则输出1，若函数值小于0则输出-1；
[0129]
s314、若ds＞d且zcrs＞zcr，则记录此时的gs(h)为声音起点s；
[0130]
若ds≤d且zcrs≤zcr，则记录此时的gs(h)为声音终点e。
[0131]
通过s313中循环计算的值与阈值进行对比，获得终点和起点。
[0132]
s315、获取有效声音片段gs(τ)，其为s-e段，处理后获得gs(τ)的声谱图，声谱图分别从频率、时间和声压三个方向对声音信号进行描述，在声谱图中利用颜的灰度值来表示，为了加强声音信号的特征，通常采用声压值来表示。
[0133]
s32、建立卷积神经网络，并利用声谱图数据集进行训练，获得异常声音识别模型；构建方法包括：
[0134]
s321、利用声谱图数据集训练卷积神经网络至收敛，获得卷积模型；但是卷积模型中的大量冗余参数，往往造成了设备的资源的浪费。
[0135]
s322、计算卷积模型每个隐层节点的重要性i(u,v)＝s
in
(u,v)+s
out
(u,v),其中s
in
(u,v)为第u层节点v的输入权重标准差，s
out
(u,v)为第u层节点v的输出权重标准差；
[0136]
s323、在每个隐层中，根据重要性对节点排序，裁剪重要度低于设定值的节点；
[0137]
s324、对步骤三中裁剪后模型的进行重新训练，直至再次收敛；
[0138]
s325、重复s322至s324至参数达到预设规模，输出异常声音识别模型。
[0139]
迭代式裁剪依次裁剪隐层中节点，裁剪后再进行重新训练，根据验证集上的准确率来判断节点的敏感度，若准确率下降的较多，则说明裁剪的节点敏感度较大。本方法没有采用根据阈值大小进行直接裁剪节点，因为如果裁剪该层的节点都小于阈值，则会对整个网络的结构造成破坏，同时在相关的裁剪算法中很难确定最终的阈值。根据卷积层中滤波器的敏感程度，分别设置了不同的裁剪比，确保不会因裁剪过多，而破坏模型结果。
[0140]
s33、获取巡检声音的实时声谱图；即通过拾音器获得声音信号后，将声音信号经s311-s315的处理，获得巡检声音中的有效声音片段，并获得相关实时声谱图。
[0141]
s34、将s33获得的实时声谱图输入s321-s325获得异常声音识别模型，获得检测结
果。
[0142]
实施例五
[0143]
一种适用于带式输送机的声光巡检终端，包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序，处理器执行计算机程序时实现如上述的一种适用于带式输送机的声光巡检方法的步骤。
[0144]
存储器可用于存储软件程序以及模块,处理器通过运行存储在存储器的软件程序以及模块,从而执行终端的各种功能应用以及数据处理。存储器可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的执行程序等。
[0145]
存储数据区可存储根据终端的使用所创建的数据等。此外,存储器可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件,闪存器件、或其他易失性固态存储器件。
[0146]
一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时实现如上述的一种适用于带式输送机的声光巡检方法的步骤。
[0147]
不失一般性，计算机可读介质可以包括计算机存储介质和通信介质。计算机存储介质包括以用于存储诸如计算机可读指令数据结构,程序模块或其他数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括ram、rom、eprom、eeprom、闪存或其他固态存储技术,cd-rom、dvd或其他光学存储﹑磁带盒﹑磁带﹑磁盘存储或其他磁性存储设备。当然,本领域技术人员可知计算机存储介质不局限于上述几种。上述的系统存储器和大容量存储设备可以统称为存储器。
[0148]
在本说明书的描述中，参考术语“一个实施例/方式”、“一些实施例/方式”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例/方式或示例描述的具体特征、结构、材料或者特点包含于本技术的至少一个实施例/方式或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例/方式或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例/方式或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例/方式或示例以及不同实施例/方式或示例的特征进行结合和组合。
[0149]
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本技术的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
[0150]
本领域的技术人员应当理解，上述实施方式仅仅是为了清楚地说明本发明，而并非是对本发明的范围进行限定。对于所属领域的技术人员而言，在上述发明的基础上还可以做出其它变化或变型，并且这些变化或变型仍处于本发明的范围内。

技术特征：

1.一种适用于带式输送机的声光巡检方法，其特征在于，包括：规划实时巡检路径，并在巡检中获取当前位置的巡检图像和巡检声音；构建卷积神经网络，经训练获得损坏识别认知视觉模型；从巡检图像中获取带式输送机的输送带表面图像数据，输入至损坏识别认知视觉模型，判断输送带表面是否损坏；从巡检声音中获取带式输送机的托辊转动的声音信号，判断托辊的运行状态是否正常；根据输送带表面判断结果和托辊运行状态判断结构输出巡检结果。2.根据权利要求1所述的一种适用于带式输送机的声光巡检方法，其特征在于，规划实时巡检路径的方法基于巡检机器人，所述巡检机器人包括主体以及设置在主体下方的履带，两个所述履带平行设置，且两个所述履带分别通过差动履带轮驱动，所述主体上设置有用于测距避障的超声波传感器、用于检测障碍物避障的红外传感器；规划实时巡检路径的方法包括：将巡检机器人放置在待巡检区域内，并确定待巡检区域的总面积s
m
；根据工作环境确定巡检机器人的图像采集最佳宽度d1和声音采集最佳宽度d2，并计算最佳采集宽度d＝max{d1,d2}；d1和d2平行于x
r
轴，巡检机器人位于和处；创建全局坐标系oxy和机器人坐标系o
r
x
r
y
r
，并将巡检机器人的初始位置作为全局坐标系的原点，将两个履带构成的矩形中心点作为机器人坐标系的原点，将巡检机器人的前移方向作为机器人坐标系的x
r
轴；巡检机器人按照设定的直线-转向规则移动，并进行轨迹推算定位；记录巡检轨迹，并获得巡检覆盖面积s＝轨迹长度
×
d，若s≥s
m
，则完成巡检。3.根据权利要求2所述的一种适用于带式输送机的声光巡检方法，其特征在于，直线-转向规则包括：巡检机器人实时监测前侧、左侧和右侧是否存在障碍物；若仅前侧存在障碍物，则控制巡检机器人旋转180
°
，且偏移d,0＜d＜d，巡检机器人的旋转方向与上一次转向的方向相反；若仅前侧和左侧存在障碍物，则控制巡检机器人向右旋转180
°
，且偏移d,0＜d＜d，若仅前侧和右侧存在障碍物，则控制巡检机器人向左旋转180
°
，且偏移d,0＜d＜d，若前侧、左侧和右侧均存在障碍物，则控制巡检机器人旋转180
°
，且偏移d＝0。4.根据权利要求2所述的一种适用于带式输送机的声光巡检方法，其特征在于，轨迹推算定位方法包括：获取巡检机器人在n时刻的全局坐标系坐标(x
n
,y
n
)、航向角θ
n
、巡检机器人移动线速度v
n
、巡检机器人旋转角速度ωn；计算δt时间后的n+1时刻巡检机器人的状态参数连接(x
n
,y
n
)与(x
n+1
,y
n+1
)获得n时刻到n+1时刻的轨迹，并对n进行迭代，获得巡检机器
人的巡检轨迹。5.根据权利要求1所述的一种适用于带式输送机的声光巡检方法，其特征在于，损坏识别认知视觉模型的获得方法包括：获取输送带表面数据集，所述数据集中包括多张输送带表面图像，且覆盖多种破损类别；获得特征图的映射向量p，计算式为其中，i和j为图像索引值，k为特征图索引，为权重，q(i,j)为卷积操作后的小区域图像；对映射向量p进行全局平均池化，计算式为其中为权重，p
l
为当前层输入，为偏移量，为中间输出，f为激活函数；获得损失函数c，计算式为其中m为输出类别，d为输入样本，e为实际输出，a为模型预测输出；获取学习率l，计算式为其中为学习率上限值，为学习率下限值，t
c
为当前迭代数，t
i
为当前运行中总迭代数；通过损失函数和学习率对卷积神经网络进行迭代训练，并持续监测验证集上的损失函数值，当连续n个迭代未下降时，停止训练并获得损坏识别认知视觉模型；否则保持当前学习率继续训练。6.根据权利要求1所述的一种适用于带式输送机的声光巡检方法，其特征在于，判断托辊的运行状态是否正常的方法包括：获取异常声音数据集，获取声谱图数据集；建立卷积神经网络，并利用声谱图数据集进行训练，获得异常声音识别模型；获取巡检声音的实时声谱图；将实时声谱图输入异常声音识别模型，获得检测结果。7.根据权利要求6所述的一种适用于带式输送机的声光巡检方法，其特征在于，声谱图的提取方法包括：通过高通滤波器对声音信号进行滤波，获取滤波后的平坦的信号频谱，然后通过汉明窗进行加窗处理获得g
s
(h)；设定短时幅度阈值d和短时过动态门限率阈值zcr；使s在(1，l]中进行迭代，循环步长为1，l为g
s
(h)的长度；计算短时幅度短时过动态门限率t为动态门限，sgn为符号函数，若
函数值不小于0则输出1，若函数值小于0则输出-1；若d
s
＞d且zcr
s
＞zcr，则记录此时的g
s
(h)为声音起点s；若d
s
≤d且zcr
s
≤zcr，则记录此时的g
s
(h)为声音终点e；获取有效声音片段g
s
(τ)，其为s-e段，处理后获得g
s
(τ)的声谱图。8.根据权利要求7所述的一种适用于带式输送机的声光巡检方法，其特征在于，异常声音识别模型的构建方法包括：步骤一、利用声谱图数据集训练卷积神经网络至收敛，获得卷积模型；步骤二、计算卷积模型每个隐层节点的重要性i(u,v)＝s
in
(u,v)+s
out
(u,v),其中s
in
(u,v)为第u层节点v的输入权重标准差，s
out
(u,v)为第u层节点v的输出权重标准差；步骤三、在每个隐层中，根据重要性对节点排序，裁剪重要度低于设定值的节点；步骤四、对步骤三中裁剪后模型的进行重新训练，直至再次收敛；步骤五、重复步骤二至步骤四至参数达到预设规模，输出异常声音识别模型。9.一种适用于带式输送机的声光巡检终端，包括存储器、处理器以及存储在存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1-8中任一项所述的一种适用于带式输送机的声光巡检方法的步骤。10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-8中任一项所述的一种适用于带式输送机的声光巡检方法的步骤。

技术总结

本发明公开了一种适用于带式输送机的声光巡检方法、终端及可读存储介质，方法包括规划实时巡检路径，并在巡检中获取当前位置的巡检图像和巡检声音；从巡检图像中获取带式输送机的输送带表面图像数据，输入至损坏识别认知视觉模型，判断输送带表面是否损坏；从巡检声音中获取带式输送机的托辊转动的声音信号，判断托辊的运行状态是否正常；根据输送带表面判断结果和托辊运行状态判断结构输出巡检结果；本发明通过规划实时巡检路径达到对待巡检区域的全面巡视，并获取当前位置的巡检图像和巡检声音，然后通过损坏识别认知视觉模型判断输送带表面是否被损坏，通过声音信号确定托辊是否正常工作，从而在巡检机器人的配合下，可以实现自动巡检的目的。实现自动巡检的目的。实现自动巡检的目的。