基于深度学习和激光的封顶管片自动拼装系统的制作方法

1.本发明涉及机械工程技术领域，具体涉及一种隧道施工的大尺寸封顶管片自动拼装系统。

背景技术：

2.自动拼装技术广泛用于机器人目标检测中，其大部分采用的是基于计算机视觉系统的识别和定位系统。视觉系统大多数是基于传统算法搭配单目视觉或双目视觉，在目标定位方面，大部分采用的是模板匹配算法。但传统算法技术存在图像识别定位效果不佳以及行进电机运动惯性导致的摇摆现象导致识别定位不准确等问题。作为本发明所需的可以结合的目标检测模型，其中有yolov5神经网络。如图1所示，为yolov5网络结构示意图。
3.在自动化程度较高的隧道的盾构法施工领域，存在管片自动抓取和拼装技术仍不成熟的现象，尤其是封顶管片要求的精度更高。传统的人工操作抓取和拼装封顶管片决定着这一环管片的拼装质量，因封顶管片两侧都是已拼管片，没有多余的旋转方向空间进行人工调整，所以对封顶管片拼装的精度要求最高，在拼装途中必须要求在已拼管片上方进行位置校准，相较于普通管片的平行拼装要更为困难，在狭小的拼装空间下人工操作很难对管片两侧进行校准。

技术实现要素：

4.本发明旨在提出一种基于深度学习和激光的封顶管片自动拼装系统，通过基于yolov5神经网络识别定位来控制拼装机移动以及借助激光测距完成封顶管片自动拼装。
5.本发明利用以下技术方案实现：
6.一种基于深度学习和激光的封顶管片自动拼装系统，该系统包括通过局域网络连接的自动拼装控制单元和上位机，所述自动拼装控制单元进一步包括自动拼装机装置和yolov5目标检测模块，其中：
7.所述自动拼装机装置至少包括第一单目智能相机、第二单目智能相机、四个点激光位移传感器、两个一字阵列激光器、用于抓取盾构封顶管片的拼装机；所述第一单目智能相机和所述激光位移传感器安装在拼装机上与盾构机掘进方向相反的边缘位置，所述拼装机上垂直于掘进方向设置有两个定位销，所述第二单目智能相机和所述一字阵列激光器安装在拼装机的侧边缘，且所述一字阵列激光器位于两个定位销中心连线的两侧端点上；所述激光位移传感器用于测量拼装机位移；所述一字阵列激光器用于测量封顶管片和已拼管片的相对高度，进行封顶管片和已拼管片的准直；
8.所述yolov5目标检测模块，用于利用yolov5网络训练好的权重模型yolov5s预测和识别第一单目智能相机所拍摄的图像中封顶管片上的凹槽目标物的位置，对封顶管片的凹槽目标物进行识别定位；以及预测和识别第二单目智能相机所拍摄的图像中，对已拼管片的凹槽目标物进行识别定位；
9.所述自动拼装控制单元，用于根据封顶管片的凹槽目标物的识别定位计算出拼装
机与封顶管片的相对偏移量，控制拼装机移动，完成自动拼装机对封顶管片的自动抓取；之后，根据已拼管片的凹槽目标物的识别定位计算出封顶管片与已拼管片的高度差，控制拼装机进行封顶管片拼装，封顶管片与两侧已拼管片平行，实现封顶管片侧边平面调平；
10.所述上位机，用于对自动拼装控制单元发出控制命令。
11.所述自动拼装控制单元包括以下控制流程：
12.步骤一、预先设定粗定位位置为封顶管片的正上方，将拼装机送入粗定位位置，准备进行封顶管片自动抓取；
13.步骤二、当所述拼装机在所述封顶管片正上方时，所述第一单目智能相机在凹槽目标物正上方，利用第一单目智能相机拍摄并且识别凹槽目标物的位置坐标值，结合点激光位移传感器的测距结果调整拼装机，判断调整是否达到标定误差允许范围？具体地，上位机通过局域网络连接第一单目智能相机获取当前视场图片，利用yolov5网络训练好的模型yolov5s对视场中封顶管片上的凹槽目标物进行预测，再利用opencv的最小外接矩形算法对预测框进行优化处理，得到凹槽目标物的中心坐标，从而确定封顶管片的多自由度位置信息；
14.若未达到标定误差允许范围，则返回步骤二，继续不断地用第一单目智能相机拍摄，继续识别凹槽目标物的位置值，结合点激光位移传感器的测距结果继续调整拼装机，直至达到标定误差允许范围；
15.步骤三，若达到标定误差允许范围，进行封顶管片自动抓取，将抓取的封顶管片送到粗定位位置；
16.步骤四、继续用第一单目智能相机进行拍摄，识别封顶管片与上一环已拼管片上的凹槽目标物，计算封顶管片与上一环已拼管片上的凹槽目标物之间的平面相对位置；另外，用第二单目智能相机进行拍摄，利用yolov5网络训练好的模型yolov5s对视场中封顶管片上的凹槽目标物进行预测，再利用opencv的最小外接矩形算法对预测框进行优化处理，得到当前状态下封顶管片上的凹槽目标物的中心坐标，结合一字阵列激光测量结果，计算封顶管片与已拼管片的相对高度，依据封顶管片与已拼管片的相对高度调整拼装机，判断是否达到标定误差允许范围？
17.步骤五、如达到标定误差允许范围，则进行自动拼装，完成一环管片；
18.如未达到标定误差允许范围，返回步骤四的操作，直至达到标定误差允许范围。
19.根据结合点激光位移传感器的测距结果调整拼装机包括调整拼装机平行于盾构机掘进方向的滑动自由度、垂直于掘进方向的环向旋转自由度、垂直于地面的伸缩自由度及以封顶管片为轴点的横摇自由度和俯仰自由度。
20.所述第一单目智能相机和所述点激光位移传感器的光轴与封顶管片的表面垂直；所述第二单目智能相机的光轴与当前环已拼管片的表面垂直。
21.所述凹槽目标物在封顶管片的边缘关于封顶管片几何中心轴对称。
22.与现有技术相比，本发明的基于深度学习和激光的封顶管片自动拼装系统能够达到以下的技术效果：
23.1)在基于神经网络识别定位的过程中，成功克服在复杂环境下目标识别不准确、行进电机运动惯性导致的图像振荡问题，通过yolov5网络结合opencv最小外接矩形算法解决了封顶管片精度要求高的问题，提高了整个系统的鲁棒性，使得封顶管片自动拼装整个
过程定位准确、耗时低、安全稳定；
24.2)实现了封顶管片侧边平面调平，从而保证激光测距传感器测量的准确度。
附图说明
25.图1为yolov5网络结构示意图；
26.图2为本发明的基于深度学习和激光的封顶管片自动拼装系统架构示意图；
27.图3为自动拼装机结构示意图；(3a)主视图，(3b)俯视图；
28.图4为凹槽目标物结构示意图；
29.图5为封顶管片结构示意图；
30.图6为本发明的基于深度学习和激光的封顶管片自动拼装方法整体流程图；
31.图7为自动拼装控制单元的图像处理流程图；
32.图8为最小外接矩形算法示意图；
33.图9为一字阵列激光器辅助单目智能相机调平封顶管片侧边的原理示意图；
34.图10为整体拼装管片实施例示意图；
35.附图标记：
36.1、第一单目智能相机，2、第二单目智能相机，3、激光位移传感器阵列，4、一字阵列激光器，5、拼装机，6、封顶管片，7、凹槽目标物，8、pc上位机，9、定位销，10、定位孔，11、已拼管片，12、当前环的管片。
具体实施方式
37.下面将结合附图和实施例，对技术方案进行清楚地描述。基于本发明中的实施例，本领域普通技术人员在不脱离本发明精神和没有做出创造性劳动情况下所获得的所有其他实施例和实施例的技术替换，都将落入本发明保护的范围。
38.本发明的基于深度学习和激光的封顶管片自动拼装系统包括自动拼装机、封顶管片。如图2所示，本发明的基于深度学习和激光的封顶管片自动拼装系统架构示意图。系统包括通过局域网络连接的自动拼装控制单元100和上位机200，所述自动拼装控制单元100进一步包括自动拼装机装置110和yolov5目标检测模块120，其中：
39.所述自动拼装机装置110至少包括第一单目智能相机1、第二单目智能相机2、四个点激光位移传感器3、两个一字阵列激光器4、用于抓取盾构封顶管片的拼装机5；第一单目智能相机1和激光位移传感器3安装在拼装机上与盾构机掘进方向相反的边缘位置，拼装机5上垂直于掘进方向设置有两个定位销9，第二单目智能相机2和一字阵列激光器4安装在拼装机5的侧边缘，且一字阵列激光器4位于两个定位销9中心连线的两侧端点上；激光位移传感器3用于测量拼装机5位移；一字阵列激光器4用于测量封顶管片6和已拼管片的相对高度，进行封顶管片和已拼管片的准直；
40.所述yolov5目标检测模块120，用于利用yolov5网络训练好的权重模型yolov5s预测和识别第一单目智能相机1所拍摄的图像中封顶管片上的凹槽目标物的位置，对封顶管片的凹槽目标物7进行识别定位；以及预测和识别第二单目智能相机2所拍摄的图像中，对已拼管片的凹槽目标物进行识别定位；
41.所述自动拼装控制单元100，用于根据封顶管片的凹槽目标物的识别定位计算出
拼装机与封顶管片的相对位置的偏移量，控制拼装机移动，完成自动拼装机对封顶管片的自动抓取；之后，根据已拼管片的凹槽目标物的识别定位计算出封顶管片与已拼管片的相对位置的高度差，控制拼装机进行封顶管片拼装，封顶管片与两侧已拼管片平行，实现封顶管片侧边平面调平；
42.所述上位机200，用于对自动拼装控制单元发出控制命令。
43.如图3所示，为自动拼装机装置结构示意图。该封顶管片自动拼装机装置包括第一单目智能相机1、第二单目智能相机2、四个点激光位移传感器3、两个一字阵列激光器4，用于抓取盾构封顶管片的拼装机5、封顶管片6、两个凹槽目标物7、pc上位机8、定位销9和定位孔10。其中：第一单目智能相机1和四个激光位移传感器3安装在拼装机5的前方(与盾构机掘进方向相反)边缘位置，负责调整平行于盾构机掘进方向的滑动自由度、垂直于掘进方向的环向旋转自由度、垂直于地面的伸缩自由度及以封顶管片为轴点的横摇自由度和俯仰自由度。拼装机5上垂直于掘进方向设置有两个定位销9，负责真空抓取。第二单目智能相机2和一字阵列激光器4安装在拼装机5的侧边缘，负责自动拼装时辅助第一单目智能相机和第一激光位移传感器调整后的侧边高度微调以保证与两侧已拼管片平行。一字阵列激光器4位于两个定位销9中心连线的两侧端点上。当拼装机5在封顶管片6正上方时，第一单目智能相机1在凹槽目标物7正上方。凹槽目标物7在封顶管片6的边缘并关于封顶管片6几何中心轴对称。拼装机5上的两个定位销9在封顶管片6的两个定位孔10的正上方。第一单目智能相机1和激光位移传感器3的光轴与封顶管片6的表面垂直；当拼装机5将封顶管片6抓取后移动到当前环的管片封顶位置的正上方时，第二单目智能相机2的光轴与当前环的已拼管片的表面垂直。如图4所示，为凹槽目标物结构示意图。如图5所示，为封顶管片结构示意图。
44.如图6所示，为本发明的一种基于深度学习和激光的封顶管片自动拼装方法，包括以下步骤：
45.步骤一、将拼装机5预先设定的的粗定位位置，准备进行封顶管片自动抓取；也就预先设定的粗定位位置即封顶管片的正上方；
46.步骤二、利用第一单目智能相机1拍摄并且识别凹槽目标物7的位置坐标值，结合点激光位移传感器3的测距结果调整拼装机5，判断调整是否达到标定误差允许范围？
47.即，上位机(例如pc)100通过局域网络连接第一单目智能相机1获取当前视场图片，利用yolov5网络训练好的模型yolov5s对视场中封顶管片6上的凹槽目标物7进行预测，再利用opencv的最小外接矩形算法对预测框进行优化处理，得到目标物中心坐标，以确定封顶管片6的多自由度位置信息；
48.若未达到标定误差允许范围，则返回步骤二，继续不断地用第一单目智能相机1拍摄并且识别凹槽目标物7的位置坐标值，结合点激光位移传感器3的测距结果调整拼装机5，判断调整是否达到标定误差允许范围，直至达到标定误差允许范围，进行拼装机5与封顶管片6的相对位置检测；
49.步骤三，若达到标定误差允许范围，将抓取好的封顶管片送到粗定位位置，进行封顶管片自动抓取；
50.步骤四、继续不断地用第一单目智能相机1拍摄并且识别封顶管片与上一环已拼管片上的凹槽目标物，计算平面相对位置，用第二单目智能相机2拍摄并且识别一字阵列激光计算相对高度，调整拼装机，判断是否达到标定误差允许范围？
51.步骤五、如达到标定误差允许范围，则进行自动拼装，完成一环管片；
52.如未达到标定误差允许范围，返回步骤四：继续不断地用第一单目智能相机1拍摄并且识别封顶管片与上一环已拼管片上的凹槽目标物，计算平面相对位置，用第二单目智能相机2拍摄并且识别一字阵列激光计算相对高度，调整拼装机，判断是否达到标定误差允许范围？直至达到标定误差允许范围。
53.如图7所示，为自动拼装控制单元的图像处理流程图。上位机工作线程发出指令給第一单目智能相机和第二单目智能相机，控制第一单目智能相机和第二单目智能相机进行拍摄，对所得到的拍摄图像进行预处理，例如依序进行高斯平滑处理
‑‑
》二值化处理
‑‑
》形态学处理；利用yolov5网络对凹槽目标物进行推理预测，对预测结果进行canny算子边缘检测
‑‑
》多边形拟合
‑‑
》最小外接矩形拼接，直至求得凹槽目标物的几何中心位置，获得几何中心坐标，传输給上位机。
54.例如，识别封顶管片6两侧一字阵列激光器4的坐标所采用的图像处理方法如下：对所拍摄打在封顶管片6侧边与已拼管片的一字阵列激光图像用otsu算法二值化图像，对二值化图像取反操作，再利用shi-tomasi角点检测算法检测两个角点的坐标并进行线性回归，像素级分块矩阵具体如下：
[0055][0056]
其中，每一个数值代表一个块矩阵，两个角点的坐标就是一字阵列激光在中间0像素值断点两侧最近的255像素点。
[0057]
用相机在t内以的时间间隔采集图像k张，然后分别对这些图片的目标物进行识别得到它们的坐标，然后根据以下面公式求取当前位置下目标物的坐标：
[0058][0059]
其中，x、y为当前位置下目标物的横、纵坐标，xi、yi分别为抽取的图像的目标物的坐标，k为抽取的图像的张数。
[0060]
其中，最小外接矩形是利用神经网络预测的候选框中心点坐标(x,y)的坐标进行几何变换来实现。变换方法为：
[0061][0062]
p0坐标值：
[0063]
p1坐标值：
[0064]
p2坐标值：
[0065]
p3坐标值：
[0066]
其中，p0、p1、p2、p3为新的外接矩形角点坐标。
[0067]
本发明实施例描述如下：
[0068]
利用点激光位移传感器3和第一单目智能相机1对拼装机5进行调平，使拼装机5平行于封顶管片6的切平面；
[0069]
根据点激光位移传感器3的测量数值确定封顶管片6与拼装机5的下方高度，根据标定值计算四个点激光位移传感器3的相对高度，调整油缸以调平拼装机平面，使拼装机5的两个定位销9成功插入封顶管片的两个定位孔10，抓取封顶管片6；
[0070]
将封顶管片6抓取后送入本环管片的封顶位置，向外即盾构机掘进方向行走至下放到粗定位范围；
[0071]
用第一单目智能相机1识别位于已拼的两侧管片上的凹槽目标物7，利用训练好的网络模型进行识别及算法优化，通过计算两部智能相机1分别识别的凹槽目标物7的坐标，判断当前封顶管片6相较于周围已拼管片的相对位置，并控制拼装机5进行下放拼装；
[0072]
在拼装机5控制封顶管片6下放过程中，利用第二单目智能相机2和一字阵列激光器4作用在管片边缘，其中一字阵列激光器4打在管片之间的边缘会产生折点，利用shi-tomasi角点检测算法检测两个角点的坐标并进行线性回归，到水平点，进行伸缩油缸后封顶管片6两边缘与已拼管片的高度对准，最后控制拼装机下放管片成功拼装；
[0073]
计算当前拼装机5与已抓取的封顶管片6要下放到的封顶位置和与已拼管片之间的相对位置，与标定值进行对比，计算出拼装机5需要移动的距离和旋转的角度，具体步骤如下：
[0074]
第一单目智能相机1拍摄参数调为20000曝光值、20增益值，拍摄在封顶管片6上的凹槽目标物7，用yolov5网络训练好的权重模型yolov5s预测每个相机识别目标物的区域坐标，然后以最小二乘法计算最佳灰度值为二值化阈值对图像进行二值化处理，同时用canny算子提取二值化图像轮廓，然后利用opencv的最小外接矩形算法minarearect清除预测框中的信息冗余得到目标物的准确坐标，并计算出两部相机识别目标物的坐标值获取当前拼装机5与封顶管片6的相对位置；
[0075]
建立第一单目智能相机1视场内二维坐标系，以标定好的凹槽坐标为目的坐标(x
10
,y
10
)，(x
20
,y
20
)，其中凹槽坐标(x1,y1)，(x2,y2)与标定坐标(x
10
,y
10
)，(x
20
,y
20
)的差值计算拼装机5与封顶管片6的相对偏移量(δx,δy)，即：
[0076][0077]
[0078]
δx0＝|δx
1-δx2|
[0079][0080]
其中，δx为横坐标差值，判断滑动油缸的偏移量即盾构机掘进方向，δy为纵坐标差值，判断旋转油缸的偏移量即管片环向方向，同时垂直于盾构机掘进方向，δx0为横摇方向的误差判断横摇油缸的偏移量，与盾构机掘进方向为同一水平面，调整顺序为横摇、旋转、滑动；
[0081]
建立第二单目智能相机2视场内三维坐标系，激光位移传感器4以固定的出射角打向封顶管片6，且打出的激光线和与管片的短边缘平行，相机平面与线激光所在的切平面平行，高度固定且兼顾系统的精度以及图像的视场大小，其中a、b两点为线激光打到被测物体表面上，以三维坐标系的z轴为基准，具有高度差h的两点，分别对应于封顶管片二维平面中的o1和o2，相机平面平行于参考点a所在的平面，且线激光打出的光线与图像传感平面的y轴平行，线激光和相机的相对位置固定不变，线激光的出射角度为α，相机平面距参考点a所在的平面高度为d。并且记a点在图像中成像点a1的坐标值为y1，b点在图像中成像点b1的坐标值为y2，两坐标点之间的差值y
1-y2记为y
′
，图像像素中心o1的坐标值为y0，b1离图像中心o1的差值y
0-y2为y2′
，上述的坐标值差值均有正负；
[0082]
根据三角形相似定理，在δoa1b1和δoae中有：
[0083][0084]
可得：
[0085][0086]
因为δoo1b1～δbce，所以有：
[0087][0088]
且有：
[0089][0090]
可得：
[0091][0092]
所以就能求出高度差h为：
[0093][0094]
通过激光传感器返回的高度差h控制伸缩油缸进行高度调整，成功拼装；
[0095]
利用第一激光位移传感器3和第一单目智能相机1对拼装机5进行调平，使之平行
于封顶管片6的切平面；调平参数通过以下处理得到：
[0096]
根据第一激光位移传感器3的测量数值确定封顶管片6的距离拼装机5的下方高度，根据标定值计算四个点激光位移传感器(3)相对高度，调整油缸然后以调平拼装机平面，使拼装机5的两个定位销9成功插入管片的两个定位孔10，并抓取封顶管片6；
[0097]
将封顶管片6抓取后送入本环管片的封顶位置，并往掘进方向行走至下放到粗定位范围；
[0098]
用第一单目智能相机1识别位于已拼的两侧管片上的凹槽目标物7，同步骤二利用训练好的网络模型进行识别及优化，通过计算两部智能相机1分别识别的凹槽目标物7的坐标，判断当前封顶管片6相较于周围已拼管片的相对位置，并控制拼装机5进行下放拼装；
[0099]
在拼装机5控制封顶管片6下放过程中，第二单目智能相机2和一字激光器4作用在管片边缘，其中一字激光器4打在管片之间的边缘会产生折点，利用shi-tomasi角点检测算法检测两个角点的坐标并进行线性回归，到水平点，进行伸缩油缸后封顶管片6两侧边缘与已拼管片的高度对准，最后拼成一环管片；包括以下步骤：
[0100]
计算拼装机5在移动过程中的惯性运动周期，然后以1/10运动周期的采样间隔采集图像并识别、根据以下公式求取当前位置下凹槽的坐标：
[0101][0102]
其中，x、y为当前位置下凹槽的横、纵坐标，xi、yi分别为抽取的图像的凹槽的坐标，k为抽取的图像的张数。
[0103]
本发明的标定过程和识别过程分别描述如下：
[0104]
标定过程：利用智能相机和激光对目标进行标定，标定方法为：将拼装机5在喂片机上精准抓取封顶管片6，然后用两个单目智能相机即第一单目智能相机1分别拍摄识别封顶管片上的凹槽目标物，将当前的凹槽目标物坐标值作为自动抓取相机的标定值。记录此时激光传感器的数值作为自动抓取激光的第一组标定值，再将拼装机5提升直到提升油缸收缩到极限，记录此时激光传感器的数值作为自动抓取激光的第二组标定值。在拼装机5自动拼装中，将已抓取封顶管片的拼装机5下放到本环管片封顶位置并向外即盾构机掘进方向移动10cm，将当前封顶管片6与上一环管片的凹槽目标物坐标值作为自动拼装相机的标定值，记录此时激光传感器的数值作为自动拼装激光的标定值，同时将打在封顶管片6与两侧管片一字激光折点坐标值作为侧边调整标定值。
[0105]
识别过程：用第一单目智能相机1拍摄凹槽目标物识别出封顶管片6的相对位置所采用的深度学习神经网络主要包括fpn特征金字塔提取网络结构、区域候选网络以及分类和回归网络。特征提取网络采用resnet网络框架，网络里隐藏层的层数为101。区域候选网络用于提出候选对象边界框。然后使用分类和回归网络从每个候选框中提取特征，并对每个感兴趣区域执行分类、边界框回归和二进制掩码，再利用最小外接矩形算法minarearect实现凹槽目标物的精准识别。

技术特征：

1.一种基于深度学习和激光的封顶管片自动拼装系统，其特征在于，该系统包括通过局域网络连接的自动拼装控制单元和上位机，所述自动拼装控制单元进一步包括自动拼装机装置和yolov5目标检测模块，其中：所述自动拼装机装置至少包括第一单目智能相机、第二单目智能相机、四个点激光位移传感器、两个一字阵列激光器、用于抓取盾构封顶管片的拼装机；所述第一单目智能相机和所述激光位移传感器安装在拼装机上与盾构机掘进方向相反的边缘位置，所述拼装机上垂直于掘进方向设置有两个定位销，所述第二单目智能相机和所述一字阵列激光器安装在拼装机的侧边缘，且所述一字阵列激光器位于两个定位销中心连线的两侧端点上；所述激光位移传感器用于测量拼装机位移；所述一字阵列激光器用于测量封顶管片和已拼管片的相对高度，进行封顶管片和已拼管片的准直；所述yolov5目标检测模块，用于利用yolov5网络训练好的权重模型yolov5s预测和识别第一单目智能相机所拍摄的图像中封顶管片上的凹槽目标物的位置，对封顶管片的凹槽目标物进行识别定位；以及预测和识别第二单目智能相机所拍摄的图像中，对已拼管片的凹槽目标物进行识别定位；所述自动拼装控制单元，用于根据封顶管片的凹槽目标物的识别定位计算出拼装机与封顶管片的相对偏移量，控制拼装机移动，完成自动拼装机对封顶管片的自动抓取；之后，根据已拼管片的凹槽目标物的识别定位计算出封顶管片与已拼管片的高度差，控制拼装机进行封顶管片拼装，封顶管片与两侧已拼管片平行，实现封顶管片侧边平面调平；所述上位机，用于对自动拼装控制单元发出控制命令。2.如权利要求1所述的一种基于深度学习和激光的封顶管片自动拼装系统，其特征在于，所述自动拼装控制单元包括以下控制流程：步骤一、预先设定粗定位位置为封顶管片的正上方，将拼装机送入粗定位位置，准备进行封顶管片自动抓取；步骤二、当所述拼装机在所述封顶管片正上方时，所述第一单目智能相机在凹槽目标物正上方，利用第一单目智能相机拍摄并且识别凹槽目标物的位置坐标值，进行拼装机与封顶管片的相对位置检测，结合点激光位移传感器的测距结果调整拼装机，逐步控制拼装机移动至管片正上方，判断调整是否达到标定误差允许范围？具体地，上位机通过局域网络连接第一单目智能相机获取当前视场图片，利用yolov5网络训练好的模型yolov5s对视场中封顶管片上的凹槽目标物进行预测，再利用opencv的最小外接矩形算法对预测框进行优化处理，得到凹槽目标物的中心坐标，从而确定封顶管片的多自由度位置信息；若未达到标定误差允许范围，则返回步骤二，继续不断地用第一单目智能相机拍摄，继续识别凹槽目标物的位置值，结合点激光位移传感器的测距结果继续调整拼装机，直至达到标定误差允许范围；步骤三，若达到标定误差允许范围，进行封顶管片自动抓取，将抓取的封顶管片送到粗定位位置；步骤四、继续用第一单目智能相机进行拍摄，识别封顶管片与上一环已拼管片上的凹槽目标物，计算封顶管片与上一环已拼管片上的凹槽目标物之间的平面相对位置；另外，用第二单目智能相机进行拍摄，利用yolov5网络训练好的模型yolov5s对视场中封顶管片上的凹槽目标物进行预测，再利用opencv的最小外接矩形算法对预测框进行优化处理，得到
当前状态下封顶管片上的凹槽目标物的中心坐标，结合一字阵列激光测量结果，计算封顶管片与已拼管片的相对高度，依据封顶管片与已拼管片的相对高度调整拼装机，判断是否达到标定误差允许范围？步骤五、如达到标定误差允许范围，则进行自动拼装，完成一环管片；如未达到标定误差允许范围，返回步骤四的操作，直至达到标定误差允许范围。3.如权利要求2所述的一种基于深度学习和激光的封顶管片自动拼装系统，其特征在于，根据结合点激光位移传感器的测距结果调整拼装机包括调整拼装机平行于盾构机掘进方向的滑动自由度、垂直于掘进方向的环向旋转自由度、垂直于地面的伸缩自由度及以封顶管片为轴点的横摇自由度和俯仰自由度。4.如权利要求1所述的一种基于深度学习和激光的封顶管片自动拼装系统，其特征在于，所述第一单目智能相机和所述点激光位移传感器的光轴与封顶管片的表面垂直；所述第二单目智能相机的光轴与当前环已拼管片的表面垂直。5.如权利要求1所述的一种基于深度学习和激光的封顶管片自动拼装系统，其特征在于，所述凹槽目标物在封顶管片的边缘关于封顶管片几何中心轴对称。6.如权利要求1所述的一种基于深度学习和激光的封顶管片自动拼装系统，其特征在于，该系统的自动拼装控制单元还包括标定过程：将拼装机在喂片机上精准抓取封顶管片，然后用两个单目智能相机即第一单目智能相机分别拍摄识别封顶管片上的凹槽目标物，将当前的凹槽目标物坐标值作为自动抓取相机的标定值；记录此时激光传感器的数值作为自动抓取激光的第一组标定值，再将拼装机提升直到提升油缸收缩到极限，记录此时激光传感器的数值作为自动抓取激光的第二组标定值；在拼装机自动拼装中，将已抓取封顶管片的拼装机下放到本环管片封顶位置并向外即盾构机掘进方向移动10cm，将当前封顶管片与上一环管片的凹槽目标物坐标值作为自动拼装相机的标定值，记录此时激光传感器的数值作为自动拼装激光的标定值，同时将打在封顶管片与两侧管片一字激光折点坐标值作为侧边调整标定值。7.如权利要求1所述的一种基于深度学习和激光的封顶管片自动拼装系统，其特征在于，所述拼装机与封顶管片的相对偏移量的计算公式如下：其中，δx为横坐标差值，判断滑动油缸的偏移量即盾构机掘进方向，δy为纵坐标差值，判断旋转油缸的偏移量即管片环向方向，同时垂直于盾构机掘进方向，δx1、δy1、δx2、δy2为凹槽坐标(x1,y1)、(x2,y2)与标定坐标(x
10
,y
10
)、(x
20
,y
20
)的差值。8.如权利要求1所述的一种基于深度学习和激光的封顶管片自动拼装系统，其特征在于，所述封顶管片与已拼管片的高度差的计算公式如下：其中，d为相机平面距参考点a所在的平面高度，α为线激光的出射角度，参考点b点在图像中成像点b1离图像中心o1的差值y2′
，y
′
为参考点a在图像中成像点a1和与参考点b在图像
中成像点b1之间的差值，f为相机焦距。

技术总结

本发明公布了一种基于深度学习和激光的封顶管片自动拼装系统，选择已经训练好的模型YOLOv5s，通过单目视觉智能相机对封顶管片的凹槽目标物进行识别定位进而计算出拼装机与封顶管片的相对位置，控制拼装机移动以及借助激光测距完成拼装机对封顶管片自动抓取；再通过单目视觉智能相机对已拼管片的凹槽目标物进行识别并计算出封顶管片与已拼管片的相对位置，控制拼装机移的自动拼装。最终实现封顶管片的自动抓取和拼装。本发明解决了封顶管片精度要求高的问题，提高了整个系统的鲁棒性，使得封顶管片自动拼装整个过程定位准确、耗时低、安全稳定。安全稳定。安全稳定。