基于深度相机的智能化铺砖实现方法及装置、铺砖机器人与流程

1.本发明涉及智能铺砖机器人技术领域，尤其涉及一种基于深度相机的智能化铺砖实现方法及装置、铺砖机器人。

背景技术：

2.园林通体砖铺贴是一项户外项目，需要按照制定好的铺贴计划在相应区域完成铺砖，且其对铺砖精度及铺砖效率均有一定的要求。目前，业界园林通体砖铺贴大都数靠人工实现，人工铺砖存在铺砖效率低的问题，此外，由于铺贴质量受人工自身经验与技术的影响较大，人工铺砖也存在铺砖精度低的问题。
3.可见，如何提供一种智能化的铺砖方法以提高铺砖效率及铺砖精度显得尤为重要。

技术实现要素：

4.本发明提供了一种基于深度相机的智能化铺砖实现方法及装置、铺砖机器人，能够基于铺砖机器人上安装的深度相机及机械手实现智能化、自动化铺砖，有利于提高铺砖效率及铺砖精度。
5.本发明第一方面公开了一种基于深度相机的智能化铺砖实现方法，所述方法应用于铺砖机器人，所述铺砖机器人上安装有机械手及深度相机，所述深度相机安装在所述机械手的末端且随所述机械手移动，所述方法包括：
6.获取所述深度相机采集到的铺砖区域图像，对所述铺砖区域图像进行分析，得到图像分析结果，并根据所述图像分析结果判断所述铺砖区域图像中是否包括铺砖标记线，得到判断结果；
7.获取与所述判断结果相匹配的铺砖信息确定方式，并基于所述铺砖信息确定方式确定待铺设砖块对应的中心点信息；
8.根据所述待铺设砖块对应的中心点信息控制所述机械手执行相匹配的铺砖操作。
9.作为一种可选的实施方式，在本发明第一方面中，所述基于所述铺砖信息确定方式确定待铺设砖块对应的中心点信息，包括：
10.基于所述铺砖信息确定方式确定待建立的中心点坐标系的原点及三维坐标轴，并基于确定出的所述原点及所述三维坐标轴创建待铺设砖块对应的中心点坐标系，作为所述待铺设砖块对应的中心点信息；
11.以及，所述根据所述待铺设砖块对应的中心点信息控制所述机械手执行相匹配的铺砖操作，包括：
12.根据所述待铺设砖块对应的中心点信息，生成所述机械手对应的铺砖控制参数，并基于所述铺砖控制参数控制所述机械手执行所述待铺设砖块对应的铺砖操作。
13.作为一种可选的实施方式，在本发明第一方面中，当所述判断结果表示采集到的所述铺砖区域图像包括所述铺砖标记线时，所述铺砖信息确定方式为基于所述铺砖标记线
的看线铺砖方式；
14.当所述判断结果表示采集到的所述铺砖区域图像未包括所述铺砖标记线时，所述铺砖信息确定方式为基于已铺设砖块的看砖铺砖方式。
15.作为一种可选的实施方式，在本发明第一方面中，所述基于所述铺砖信息确定方式确定待建立的中心点坐标系的原点及三维坐标轴，并基于确定出的所述原点及所述三维坐标轴创建待铺设砖块对应的中心点坐标系，作为所述待铺设砖块对应的中心点信息，包括：
16.当所述铺砖信息确定方式为所述看砖铺砖方式时，基于所述铺砖区域图像识别所述深度相机的视野采集范围内的所有已铺设砖块；
17.对于每个所述已铺设砖块，确定该已铺设砖块对应的目标矩形框的四个砖角点所对应的坐标信息；
18.根据所有所述砖角点对应的坐标信息，将所有所述已铺设砖块对应的目标矩形框的四个砖角点拟合成目标平面，并将所有所述砖角点按照法向量垂直投射至所述目标平面，得到所有所述砖角点在所述目标平面上的所有投影砖角点；
19.对于每个所述已铺设砖块，根据对应的四个投影砖角点按照横向、纵向拟合出对应的网格，并根据铺砖规划计算出待铺设砖块的位置编号；
20.根据所述位置编号以及拟合出的所有所述网格确定与所述位置编号相匹配的两条目标横向直线以及两条目标纵向直线，根据两条所述目标横向直线与两条所述目标纵向直线确定出所述待铺设砖块的四个目标砖角点，基于四个所述目标砖角点确定所述待铺设砖块的中心点，以所述待铺设砖块的中心点为原点、以横向为x轴、以纵向为y轴创建所述待铺设砖块对应的中心点坐标系，作为所述待铺设砖块对应的中心点信息。
21.作为一种可选的实施方式，在本发明第一方面中，所述对于每个所述已铺设砖块，确定该已铺设砖块对应的目标矩形框的四个砖角点所对应的坐标信息，包括：
22.对于每个所述已铺设砖块，从所述深度相机采集到的所有点云中识别出落入到该已铺设砖块对应的目标矩形框中的所有目标点云，将落入到该已铺设砖块对应的目标矩形框中的所有目标点云拟合成平面方程，并将该已铺设砖块对应的目标矩形框的四个砖角点由像素坐标系映射至彩相机坐标系，得到映射结果，根据由落入到该已铺设砖块对应的目标矩形框中的所有目标点云拟合成的平面方程以及所述映射结果确定该已铺设砖块对应的目标矩形框的四个砖角点对应的坐标信息。
23.作为一种可选的实施方式，在本发明第一方面中，所述对于每个所述已铺设砖块，从所述深度相机采集到的所有点云中识别出落入到该已铺设砖块对应的目标矩形框中的所有目标点云，包括：
24.基于确定出的变换矩阵将所述深度相机获取到的所有点云转换至彩相机坐标系中，得到每个所述点云在所述彩相机坐标系中所对应的坐标点；
25.基于预先确定出的转换公式，将所有所述点云在所述彩相机坐标系中所对应的坐标点转换至像素坐标系中，得到所有所述点云在所述像素坐标系中对应的坐标点；
26.对于每个所述已铺设砖块，从所有所述点云在所述像素坐标系中对应的坐标点中识别出位于该已铺设砖块对应的目标矩形框内所有目标坐标点，作为落入到该已铺设砖块对应的目标矩形框中的所有目标点云。
27.作为一种可选的实施方式，在本发明第一方面中，对于每个所述已铺设砖块，该已铺设砖块对应的目标矩形框是根据针对该已铺设砖块确定出的砖角点确定出的，且针对该已铺设砖块确定出的砖角点是通过以下方式确定出的：
28.基于该已铺设砖块所在的位置确定初始矩形框，根据预先确定出的预设距离值以及预设宽度值分别在该初始矩形框的每条边生成对应的子矩形框，其中，所述预设距离值为每个所述子矩形框距离所述初始矩形框的顶点的距离值，所述预设宽度值为每个所述子矩形框的宽度；
29.在每个所述子矩形框内分别识别该已铺设砖块的边界上的若干边界点，并基于识别到的每条所述边界上的若干边界点拟合成每条所述边界对应的直线；
30.延伸该已铺设砖块的所有所述边界对应的直线，得到所有所述边界对应的直线的延伸交点，将所有所述边界对应的直线的延伸交点确定为该已铺设砖块对应的目标矩形框的砖角点。
31.作为一种可选的实施方式，在本发明第一方面中，所述基于所述铺砖信息确定方式确定待建立的中心点坐标系的原点及三维坐标轴，并基于确定出的所述原点及所述三维坐标轴创建待铺设砖块对应的中心点坐标系，作为所述待铺设砖块对应的中心点信息，包括：
32.当所述铺砖信息确定方式为所述看线铺砖方式时，识别所述铺砖标记线上的目标标记区域；
33.确定所述目标标记区域的十字交叉区域所对应的区域中心点，将所述区域中心点映射至彩相机坐标系下，得到所述区域中心点在所述彩相机坐标系下的第一映射坐标点；
34.在所述十字交叉区域的横向方向上选取与所述区域中心点不重合的目标参考点，将所述目标参考点映射至所述彩相机坐标系下，得到所述目标参考点在所述彩相机坐标系下的第二映射坐标点；
35.根据所述第一映射坐标点及所述第二映射坐标点建立x轴、根据平面法向量确定z轴以及根据确定出的x轴及z轴确定y轴，以所述第一映射坐标点为原点、以确定出的x轴、y轴及z轴创建所述待铺设砖块对应的中心点坐标系，作为所述待铺设砖块对应的中心点信息。
36.本发明第二方面公开了一种基于深度相机的智能化铺砖实现装置，所述装置应用于铺砖机器人，所述铺砖机器人上安装有机械手及深度相机，所述深度相机安装在所述机械手的末端且随所述机械手移动，所述装置包括：
37.图像分析模块，用于获取所述深度相机采集到的铺砖区域图像，对所述铺砖区域图像进行分析，得到图像分析结果；
38.图像判断模块，用于根据所述图像分析结果判断所述铺砖区域图像中是否包括铺砖标记线，得到判断结果；
39.确定模块，用于获取与所述判断结果相匹配的铺砖信息确定方式，并基于所述铺砖信息确定方式确定待铺设砖块对应的中心点信息；
40.铺砖控制模块，用于根据所述待铺设砖块对应的中心点信息控制所述机械手执行相匹配的铺砖操作。
41.作为一种可选的实施方式，在本发明第二方面中，所述确定模块基于所述铺砖信息确定方式确定待铺设砖块对应的中心点信息的具体方式包括：
42.基于所述铺砖信息确定方式确定待建立的中心点坐标系的原点及三维坐标轴，并基于确定出的所述原点及所述三维坐标轴创建待铺设砖块对应的中心点坐标系，作为所述待铺设砖块对应的中心点信息；
43.以及，所述铺砖控制模块根据所述待铺设砖块对应的中心点信息控制所述机械手执行相匹配的铺砖操作的具体方式包括：
44.根据所述待铺设砖块对应的中心点信息，生成所述机械手对应的铺砖控制参数，并基于所述铺砖控制参数控制所述机械手执行所述待铺设砖块对应的铺砖操作。
45.作为一种可选的实施方式，在本发明第二方面中，当所述判断结果表示采集到的所述铺砖区域图像包括所述铺砖标记线时，所述铺砖信息确定方式为基于所述铺砖标记线的看线铺砖方式；
46.当所述判断结果表示采集到的所述铺砖区域图像未包括所述铺砖标记线时，所述铺砖信息确定方式为基于已铺设砖块的看砖铺砖方式。
47.作为一种可选的实施方式，在本发明第二方面中，所述确定模块基于所述铺砖信息确定方式确定待建立的中心点坐标系的原点及三维坐标轴，并基于确定出的所述原点及所述三维坐标轴创建待铺设砖块对应的中心点坐标系，作为所述待铺设砖块对应的中心点信息的具体方式包括：
48.当所述铺砖信息确定方式为所述看砖铺砖方式时，基于所述铺砖区域图像识别所述深度相机的视野采集范围内的所有已铺设砖块；
49.对于每个所述已铺设砖块，确定该已铺设砖块对应的目标矩形框的四个砖角点所对应的坐标信息；
50.根据所有所述砖角点对应的坐标信息，将所有所述已铺设砖块对应的目标矩形框的四个砖角点拟合成目标平面，并将所有所述砖角点按照法向量垂直投射至所述目标平面，得到所有所述砖角点在所述目标平面上的所有投影砖角点；
51.对于每个所述已铺设砖块，根据对应的四个投影砖角点按照横向、纵向拟合出对应的网格，并根据铺砖规划计算出待铺设砖块的位置编号；
52.根据所述位置编号以及拟合出的所有所述网格确定与所述位置编号相匹配的两条目标横向直线以及两条目标纵向直线，根据两条所述目标横向直线与两条所述目标纵向直线确定出所述待铺设砖块的四个目标砖角点，基于四个所述目标砖角点确定所述待铺设砖块的中心点，以所述待铺设砖块的中心点为原点、以横向为x轴、以纵向为y轴创建所述待铺设砖块对应的中心点坐标系，作为所述待铺设砖块对应的中心点信息。
53.作为一种可选的实施方式，在本发明第二方面中，对于每个所述已铺设砖块，所述确定模块确定该已铺设砖块对应的目标矩形框的四个砖角点所对应的坐标信息的具体方式包括：
54.从所述深度相机采集到的所有点云中识别出落入到该已铺设砖块对应的目标矩形框中的所有目标点云，将落入到该已铺设砖块对应的目标矩形框中的所有目标点云拟合成平面方程，并将该已铺设砖块对应的目标矩形框的四个砖角点由像素坐标系映射至彩相机坐标系，得到映射结果，根据由落入到该已铺设砖块对应的目标矩形框中的所有目标
点云拟合成的平面方程以及所述映射结果确定该已铺设砖块对应的目标矩形框的四个砖角点对应的坐标信息。
55.作为一种可选的实施方式，在本发明第二方面中，对于每个所述已铺设砖块，所述确定模块从所述深度相机采集到的所有点云中识别出落入到该已铺设砖块对应的目标矩形框中的所有目标点云的具体方式包括：
56.基于确定出的变换矩阵将所述深度相机获取到的所有点云转换至彩相机坐标系中，得到每个所述点云在所述彩相机坐标系中所对应的坐标点；
57.基于预先确定出的转换公式，将所有所述点云在所述彩相机坐标系中所对应的坐标点转换至像素坐标系中，得到所有所述点云在所述像素坐标系中对应的坐标点；
58.对于每个所述已铺设砖块，从所有所述点云在所述像素坐标系中对应的坐标点中识别出位于该已铺设砖块对应的目标矩形框内所有目标坐标点，作为落入到该已铺设砖块对应的目标矩形框中的所有目标点云。
59.作为一种可选的实施方式，在本发明第二方面中，对于每个所述已铺设砖块，该已铺设砖块对应的目标矩形框是根据针对该已铺设砖块确定出的砖角点确定出的，且针对该已铺设砖块确定出的砖角点是通过以下方式确定出的：
60.基于该已铺设砖块所在的位置确定初始矩形框，根据预先确定出的预设距离值以及预设宽度值分别在该初始矩形框的每条边生成对应的子矩形框，其中，所述预设距离值为每个所述子矩形框距离所述初始矩形框的顶点的距离值，所述预设宽度值为每个所述子矩形框的宽度；
61.在每个所述子矩形框内分别识别该已铺设砖块的边界上的若干边界点，并基于识别到的每条所述边界上的若干边界点拟合成每条所述边界对应的直线；
62.延伸该已铺设砖块的所有所述边界对应的直线，得到所有所述边界对应的直线的延伸交点，将所有所述边界对应的直线的延伸交点确定为该已铺设砖块对应的目标矩形框的砖角点。
63.作为一种可选的实施方式，在本发明第二方面中，所述确定模块基于所述铺砖信息确定方式确定待建立的中心点坐标系的原点及三维坐标轴，并基于确定出的所述原点及所述三维坐标轴创建待铺设砖块对应的中心点坐标系，作为所述待铺设砖块对应的中心点信息的具体方式包括：
64.当所述铺砖信息确定方式为所述看线铺砖方式时，识别所述铺砖标记线上的目标标记区域；
65.确定所述目标标记区域的十字交叉区域所对应的区域中心点，将所述区域中心点映射至彩相机坐标系下，得到所述区域中心点在所述彩相机坐标系下的第一映射坐标点；
66.在所述十字交叉区域的横向方向上选取与所述区域中心点不重合的目标参考点，将所述目标参考点映射至所述彩相机坐标系下，得到所述目标参考点在所述彩相机坐标系下的第二映射坐标点；
67.根据所述第一映射坐标点及所述第二映射坐标点建立x轴、根据平面法向量确定z轴以及根据确定出的x轴及z轴确定y轴，以所述第一映射坐标点为原点、以确定出的x轴、y轴及z轴创建所述待铺设砖块对应的中心点坐标系，作为所述待铺设砖块对应的中心点信
息。
68.本发明第三方面公开了另一种基于深度相机的智能化铺砖实现装置，所述装置应用于铺砖机器人，所述铺砖机器人上安装有机械手及深度相机，所述深度相机安装在所述机械手的末端且随所述机械手移动，所述装置包括：
69.存储有可执行程序代码的存储器；
70.与所述存储器耦合的处理器；
71.所述处理器调用所述存储器中存储的所述可执行程序代码，执行本发明第一方面公开的任意一种基于深度相机的智能化铺砖实现方法中的部分或全部步骤。
72.本发明第四方面公开了一种铺砖机器人，所述铺砖机器人上安装有机械手及深度相机，所述深度相机安装在所述机械手的末端且随所述机械手移动；
73.其中，所述铺砖机器人用于执行本发明第一方面公开的任意一种基于深度相机的智能化铺砖实现方法中的部分或全部步骤。
74.本发明第五方面公开了一种计算机存储介质，所述计算机存储介质存储有计算机指令，所述计算机指令被调用时，用于执行本发明第一方面公开的任意一种基于深度相机的智能化铺砖实现方法中的部分或全部步骤。
75.与现有技术相比，本发明实施例具有以下有益效果：
76.本发明实施例中，获取深度相机采集到的铺砖区域图像，对铺砖区域图像进行分析得到图像分析结果，并根据图像分析结果判断铺砖区域图像中是否包括铺砖标记线得到判断结果；获取与判断结果相匹配的铺砖信息确定方式并基于铺砖信息确定方式确定待铺设砖块对应的中心点信息；根据待铺设砖块对应的中心点信息控制机械手执行铺砖操作。可见，本发明能够基于安装有机械手和深度相机的铺砖机器人实现智能化铺砖，有利于提高铺砖效率及铺砖精度；此外，还能够根据铺砖标记线识别结果匹配铺砖信息确定方式，有利于提高铺砖信息的确定效率及准确性，进而有利于进一步提高铺砖效率及铺砖精度。
附图说明
77.为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
78.图1是本发明实施例公开的一种基于深度相机的智能化铺砖实现方法的流程示意图；
79.图2是本发明实施例公开的一种基于看砖铺砖方式的智能化铺砖实现方法的流程示意图；
80.图3是本发明实施例公开的一种基于看线铺砖方式的智能化铺砖实现方法的流程示意图；
81.图4是本发明实施例公开的基于深度相机的智能化铺砖实现装置的结构示意图；
82.图5是本发明实施例公开的另一种基于深度相机的智能化铺砖实现装置的结构示意图；
83.图6是本发明实施例公开的已铺设砖块的位置编号示意图；
84.图7是本发明实施例公开的已铺设砖块对应目标矩形框的砖角点的确定原理示意图；
85.图8是本发明实施例公开的待铺设砖块对应的中心点的确定原理示意图；
86.图9是本发明实施例公开的看线铺砖方式下识别出的标记区域示意图；
87.图10是本发明实施例公开的在看线铺砖方式下识别出十字交叉区域的区域中心点的原理示意图。
具体实施方式
88.为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
89.本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、装置、产品或端没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或端固有的其他步骤或单元。
90.在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本发明的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
91.本发明公开了一种基于深度相机的智能化铺砖实现方法及装置、铺砖机器人，能够基于安装有机械手和深度相机的铺砖机器人实现智能化铺砖，有利于提高铺砖效率及铺砖精度；此外，还能够根据铺砖标记线识别结果匹配铺砖信息确定方式，有利于提高铺砖信息的确定效率及准确性，进而有利于进一步提高铺砖效率及铺砖精度。以下分别进行详细的说明。
92.实施例一
93.请参阅图1，图1是本发明实施例公开的一种基于深度相机的智能化铺砖实现方法的流程示意图。其中，图1所示的方法可以应用于智能化铺砖控制装置中，该智能化铺砖控制装置用于控制安装有机械手及深度相机的铺砖机器人执行铺砖操作，深度相机具体可以安装在机械手的末端且随着机械手移动，可选的，该智能化铺砖控制装置可以集成在铺砖机器人中，也可以独立于铺砖机器人而存在，如设置在云控制平台等，本发明实施例不做限定。如图1所示，该基于深度相机的智能化铺砖实现方法可以包括以下操作：
94.101、获取深度相机采集到的铺砖区域图像，对铺砖区域图像进行分析，得到图像分析结果。
95.可选的，铺砖机器人的机械手末端所安装的深度相机，其型号可以为kinect-dk，像素可以为1200万像素，且在实际工作过程中，深度相机安装于机械手末端且随机械手移动，正面朝下拍照，这样通过安装在机械手末端且随机械手移动的深度相机进行铺砖区域图像采集的方式，有利于提高铺砖区域图像的采集灵活性。
96.102、根据图像分析结果判断铺砖区域图像中是否包括铺砖标记线，得到判断结果。
97.其中，该铺砖标记线也可以理解为铺砖定位线。需要说明的是，在实际应用中，若深度相机距离铺砖区域的距离较近，其视场范围较小，可能存在“铺砖区域有铺砖标记线但采集到的铺砖区域图像中未包括铺砖标记线”或者“铺砖区域有铺砖标记线但采集到的铺砖标记线有多条”的情况，为了减少或者避免这一情况，在实际采集过程中，可以调整深度相机距离铺砖区域的距离进行多次采集，以采集到合适的铺砖区域图像，提高了采集到的铺砖区域图像的准确性及可靠性，进而有利于提高上述判断结果的准确性及可靠性。
98.103、获取与上述判断结果相匹配的铺砖信息确定方式，并基于铺砖信息确定方式确定待铺设砖块对应的中心点信息。
99.可选的，当上述判断结果表示采集到的铺砖区域图像包括铺砖标记线时，铺砖信息确定方式为基于铺砖标记线的看线铺砖方式；当上述判断结果表示采集到的铺砖区域图像未包括铺砖标记线时，铺砖信息确定方式为基于已铺设砖块的看砖铺砖方式。最优选的，当上述判断结果表示采集到的铺砖区域图像包括铺砖标记线且包括的铺砖标记线只有一条时，铺砖信息确定方式为基于铺砖标记线的看线铺砖方式。
100.需要说明的是，本发明实施例所描述的方法在实际应用时，采取看砖铺砖与看线铺砖相结合的方式实现铺砖区域待铺设砖块的铺设或者铺贴，也即：在初始铺砖时，先进行看砖铺砖，而后判断采集到的铺砖区域是存在铺砖标记线，则再进行看线铺砖。
101.104、根据待铺设砖块对应的中心点信息控制机械手执行相匹配的铺砖操作。
102.可见，实施本发明实施例所描述的方法能够基于安装有机械手和深度相机的铺砖机器人实现智能化铺砖，有利于提高铺砖效率及铺砖精度；此外，还能够根据铺砖标记线识别结果匹配铺砖信息确定方式，有利于提高铺砖信息的确定效率及准确性，进而有利于进一步提高铺砖效率及铺砖精度。
103.在一个可选的实施例中，上述的基于铺砖信息确定方式确定待铺设砖块对应的中心点信息，可以包括：
104.基于上述铺砖信息确定方式确定待建立的中心点坐标系的原点及三维坐标轴，并基于确定出的原点及三维坐标轴创建待铺设砖块对应的中心点坐标系，作为待铺设砖块对应的中心点信息。
105.需要特别说明的是，待铺设砖块对应的中心点坐标系也可以理解为待铺砖位姿。
106.可见，该可选的实施例能够根据与铺砖标记线识别结果相匹配的铺砖信息确定方式确定用于创建坐标系的原点及坐标轴，提高了确定出的原点及坐标轴的准确性，有利于提高确定出的待铺设砖块对应的中心点信息的准确性，进而有利于提高对铺砖机器人执行铺砖控制操作的控制准确性及控制效率。
107.在又一个可选的实施例中，上述的根据待铺设砖块对应的中心点信息控制机械手执行相匹配的铺砖操作，可以包括：
108.根据待铺设砖块对应的中心点信息，生成机械手对应的铺砖控制参数，并基于铺砖控制参数控制机械手执行待铺设砖块对应的铺砖操作。
109.可见，该可选的实施例能够根据待铺设砖块对应的中心点信息生成机械手对应的铺砖控制参数，进而基于铺砖控制参数控制机械手执行对应的铺砖操作，有利于提高铺砖
效率及铺砖控制精准性。
110.实施例二
111.请参阅图2，图2是本发明实施例公开的一种基于看砖铺砖方式的智能化铺砖实现方法的流程示意图。其中，图2所示的方法可以应用于智能化铺砖控制装置中，该智能化铺砖控制装置用于控制安装有机械手及深度相机的铺砖机器人执行铺砖操作，深度相机具体可以安装在机械手的末端且随着机械手移动，可选的，该智能化铺砖控制装置可以集成在铺砖机器人中，也可以独立于铺砖机器人而存在，如设置在云控制平台等，本发明实施例不做限定，需要说明的是，图2所示的方法适用于基于深度相机采集到的铺砖区域图像中不存在铺砖标记线的场景。如图2所示，该方法可以包括以下操作：
112.201、获取深度相机采集到的铺砖区域图像，对铺砖区域图像进行分析，得到图像分析结果。
113.202、根据图像分析结果判断铺砖区域图像中是否包括铺砖标记线，得到判断结果。
114.其中，关于步骤201-步骤202的相关描述，请参阅实施例一中针对步骤101-步骤102的详细描述，本发明实施例不再赘述。
115.203、当上述判断结果表示铺砖区域图像中未包含铺砖标记线时，基于铺砖区域图像识别深度相机的视野采集范围内的所有已铺设砖块。
116.其中，当上述判断结果表示铺砖区域图像中未包含铺砖标记线时，对应的铺砖信息确定方式为看砖铺砖方式，也即：基于已铺设砖块完成待铺设砖块的铺设。本发明实施例中，在识别出深度相机的视野采集范围内的所有已铺设砖块之后，可以按照预先设定好的命名规则或者编码规则为每个已铺设砖块设置唯一对应的砖块标识。可选的，已铺设砖块唯一对应的砖块标识可以具体是已铺设砖块在铺砖区域图像对应的图像坐标系中的位置标识(如位置编号等)，该位置标识可以由已铺设砖块所在行的行标识与该已铺设砖块所在列的列标识组成。举例来说，基于铺砖区域图像识别出的深度相机的视野采集范围内的所有已铺设砖块的位置编号可以具体如图6所示，图6是本发明实施例公开的已铺设砖块的位置编号示意图。
117.204、对于每个已铺设砖块，确定该已铺设砖块对应的目标矩形框的四个砖角点所对应的坐标信息。
118.在一个可选的实施例中，上述的对于每个已铺设砖块，确定该已铺设砖块对应的目标矩形框的四个砖角点所对应的坐标信息，可以包括：
119.对于每个已铺设砖块，从深度相机采集到的所有点云中识别出落入到该已铺设砖块对应的目标矩形框中的所有目标点云，将落入到该已铺设砖块对应的目标矩形框中的所有目标点云拟合成平面方程，并将该已铺设砖块对应的目标矩形框的四个砖角点由像素坐标系映射至彩相机坐标系，得到映射结果，根据由落入到该已铺设砖块对应的目标矩形框中的所有目标点云拟合成的平面方程以及映射结果确定该已铺设砖块对应的目标矩形框的四个砖角点对应的坐标信息。
120.在该可选的实施例中，进一步可选的，对于每个已铺设砖块，从深度相机采集到的所有点云中识别出落入到该已铺设砖块对应的目标矩形框中的所有目标点云，可以包括：
121.基于确定出的变换矩阵将深度相机获取到的所有点云转换至彩相机坐标系中，
得到每个点云在彩相机坐标系中所对应的坐标点；
122.基于预先确定出的转换公式，将所有点云在彩相机坐标系中所对应的坐标点转换至像素坐标系中，得到所有点云在像素坐标系中对应的坐标点；
123.对于每个已铺设砖块，从所有点云在像素坐标系中对应的坐标点中识别出位于该已铺设砖块对应的目标矩形框内所有目标坐标点，作为落入到该已铺设砖块对应的目标矩形框中的所有目标点云。
124.在该可选的实施例中，将点云坐标转换至彩相机坐标系所使用的变换公式(1)可以为：
125.p
color
＝chdp
depth
……
(1)
126.其中，chd为深度相机在彩相机坐标系下的位置姿态，p
depth
为深度点云信息(也即点云在深度相机下的坐标信息)，p
color
为点云在彩相机坐标系下的坐标信息。
127.以及，在该可选的实施例中，将所有点云在彩相机坐标系下所对应的坐标点转换至像素坐标系时所使用的转换公式包括公式(2)、公式(3)及公式(4)，分别为：
[0128][0129][0130][0131]
上述公式(2)、公式(3)及公式(4)中涉及的相关参数说明如下：点云在彩相机坐标系下的坐标信息p
color
为(x，y，z)，对应点云在像素坐标系下的坐标信息为(u，v)，k1、k2、k3、k4、k5、k6为径向畸变系数，p1和p2为切向失真系数，且r2＝x'2+y'2。其中，径向畸变系数与切向失真系数为深度相机的内部参数。
[0132]
又进一步可选的，对于每个已铺设砖块，该已铺设砖块对应的目标矩形框是根据针对该已铺设砖块确定出的砖角点确定出的，且针对该已铺设砖块确定出的砖角点是通过以下方式确定出的：
[0133]
基于该已铺设砖块所在的位置确定初始矩形框，根据预先确定出的预设距离值以及预设宽度值分别在该初始矩形框的每条边生成对应的子矩形框，其中，预设距离值为每个子矩形框距离初始矩形框的顶点的距离值，预设宽度值为每个子矩形框的宽度；
[0134]
在每个子矩形框内分别识别该已铺设砖块的边界上的若干边界点，并基于识别到的每条边界上的若干边界点拟合成每条边界对应的直线；
[0135]
延伸该已铺设砖块的所有边界对应的直线，得到所有边界对应的直线的延伸交点，将所有边界对应的直线的延伸交点确定为该已铺设砖块对应的目标矩形框的砖角点。
[0136]
其中，任一已铺设砖块对应的目标矩形框的砖角点的确定原理可以如图7所示，图7是本发明实施例公开的已铺设砖块对应目标矩形框的砖角点的确定原理示意图。具体的，初始矩形框a’b’c’d’可以是通过yolov4-tiny识别出的，在识别出初始矩形框a’b’c’d’之
后，分别在初始矩形框a’b’c’d’的每条边生成一个子矩形框，每个子矩形框距离每个点的预设距离值为l1，每个子矩形框的预设宽度值为l2，且将四个子矩形框旋转成如图7所示的顺时针方向，而后通过卡尺算法到已铺设砖块边界上的若干点，再将每条边界上的若干点拟合成一条直线，四条直线延伸的交点即为已铺设砖块在像素坐标系下的四个砖角点。
[0137]
可见，本发明实施例能够在通过深度学习算法识别出初始矩形框之后，基于边界上的若干点拟合成的直线的延伸交点生成目标矩形框，有利于提高生成的矩形框的精度。
[0138]
又进一步可选的，对于任一已铺设砖块，上述的将落入到该已铺设砖块对应的目标矩形框中的所有目标点云拟合成平面方程可以为：ax+by+cz＝0，且将该已铺设砖块对应的目标矩形框的四个砖角点由像素坐标系映射至彩相机坐标系所使用的公式包括公式(5)、公式(6)以及公式(7)，具体分别如下：
[0139][0140][0141][0142]
上述公式(5)、公式(6)及公式(7)中涉及的相关参数说明如下：已铺设砖块对应的目标矩形框的砖角点在像素坐标系下的坐标信息为(u，v)，已铺设砖块对应的目标矩形框的砖角点由像素坐标系映射至彩相机坐标系下的坐标信息(x，y，z)，k1、k2、k3、k4、k5、k6为径向畸变系数，p1和p2为切向失真系数，且r2＝x'2+y'2。其中，径向畸变系数与切向失真系数为深度相机的内部参数。
[0143]
205、根据所有砖角点对应的坐标信息，将所有已铺设砖块对应的目标矩形框的四个砖角点拟合成目标平面，并将所有砖角点按照法向量垂直投射至目标平面，得到所有砖角点在目标平面上的所有投影砖角点。
[0144]
206、对于每个已铺设砖块，根据对应的四个投影砖角点按照横向、纵向拟合出对应的网格，并根据铺砖规划计算出待铺设砖块的位置编号。
[0145]
207、根据上述位置编号以及拟合出的所有网格确定与上述位置编号相匹配的两条目标横向直线以及两条目标纵向直线。
[0146]
208、根据两条目标横向直线与两条目标纵向直线确定出待铺设砖块的四个目标砖角点，基于四个目标砖角点确定待铺设砖块的中心点。
[0147]
本发明实施例中，待铺设砖块的中心点可以具体是四个目标砖角点中对角的一对目标砖角点之间的连线与对角的另一对目标砖角点之间的连线的交点。具体的，待铺设砖块的中心点的确定原理可以如图8所示，图8是本发明实施例公开的待铺设砖块对应的中心点的确定原理示意图。具体的，先基于待铺设砖块对应位置区域的位置编号以及已铺设砖
块拟合出的所有网格确定出图8中所示的2条目标横向直线与2条目标纵向直线，且2条目标横向直线与2条目标纵向直线之间的交点a1、b1、c1及d1即为待铺设砖块的四个目标砖角点，a1、d1的连线与b1、c1的连线的交点e即为待铺设砖块的中心点。
[0148]
209、以待铺设砖块的中心点为原点、以横向为x轴、以纵向为y轴创建待铺设砖块对应的中心点坐标系，作为待铺设砖块对应的中心点信息。
[0149]
其中，以图7所示的目标砖角点及中心点为例，以中心点e为坐标原点，以a1到b1的方向为x轴方向、以a1到c1的方向为y轴方向创建待铺设砖块对应的中心点坐标系，作为待铺设砖块对应的中心点信息。其中，待铺设砖块对应的中心点信息也可以理解为待铺砖姿态
camerahbrick
。
[0150]
210、根据待铺设砖块对应的中心点信息，生成机械手对应的铺砖控制参数，并基于铺砖控制参数控制机械手执行待铺设砖块对应的铺砖操作。
[0151]
其中，基于上述待铺砖姿态
camerahbrick
生成铺砖控制参数可以具体参照公式(8)，且公式(8)为：
[0152]
basehtarget
＝
basehtool
·
toolhcamera
·
camerahbrick
·
brickhtarget
......(8)；
[0153]
其中，
camerahbrick
为待铺砖姿态，
camerahbrick
为待铺设砖块到深度相机的转换矩阵，
toolhcamera
为深度相机到机械臂的转换矩阵，
basehtool
为机械臂到末端的转换矩阵。
[0154]
本发明实施例中，基于机械手对应的铺砖控制参数控制机械手运动让深度相机留在待铺设砖块的上方执行拍照，进而根据拍照结果及铺砖控制参数控制机械手执行铺砖操作。
[0155]
可见，实施本发明实施例所描述的方法能够基于已铺设砖块的相关信息确定待铺设砖块对应的中心点坐标系，基于看砖铺砖方式实现了待铺砖姿态的智能化、精确化确定，进而有利于基于铺砖机器人实现高效且高精准性的自动化铺砖。
[0156]
实施例三
[0157]
请参阅图3，图3是本发明实施例公开的一种基于看线铺砖方式的智能化铺砖实现方法的流程示意图。其中，图3所示的方法可以应用于智能化铺砖控制装置中，该智能化铺砖控制装置用于控制安装有机械手及深度相机的铺砖机器人执行铺砖操作，深度相机具体可以安装在机械手的末端且随着机械手移动，可选的，该智能化铺砖控制装置可以集成在铺砖机器人中，也可以独立于铺砖机器人而存在，如设置在云控制平台等，本发明实施例不做限定，需要说明的是，图3所示的方法适用于基于深度相机采集到的铺砖区域图像中存在铺砖标记线的场景。如图3所示，该方法可以包括以下操作：
[0158]
301、获取深度相机采集到的铺砖区域图像，对铺砖区域图像进行分析，得到图像分析结果。
[0159]
302、根据图像分析结果判断铺砖区域图像中是否包括铺砖标记线，得到判断结果。
[0160]
其中，关于步骤301-步骤302的相关描述，请参阅实施例一中针对步骤101-步骤102的详细描述，本发明实施例不再赘述。
[0161]
303、当上述判断结果表示铺砖区域图像中包含铺砖标记线时，识别铺砖标记线上的目标标记区域。
[0162]
其中，本发明实施例可以通过颜增强或者深度学习算法(如ssd)识别出铺砖标
记线上的目标标记区域。举例来说，识别出的目标标记区域可以如图9所示，图9是本发明实施例公开的看线铺砖方式下识别出的标记区域示意图。
[0163]
304、确定目标标记区域的十字交叉区域所对应的区域中心点，将区域中心点映射至彩相机坐标系下，得到区域中心点在彩相机坐标系下的第一映射坐标点。
[0164]
本发明实施例中，在确定出区域中心点(u1，v1)之后可以设置一个mask矩形区域，参照实施例二中的方式确定出落入到该mask矩形区域内的所有点云坐标的z轴坐标的平均值，作为标记点的z轴坐标，而后再将区域中心点(u1，v1)由像素坐标系映射至彩相机坐标系，得到区域中心点(u1，v1)在彩相机坐标系下的第一映射坐标点(x1，y1，z1)。而后，根据第一映射坐标点(x1，y1，z1)与待铺地面平面方程ax+by+cz+d＝0得到过第一映射坐标点(x1，y1，z1)的平面方程a(x-x1)+b(y-y1)+c(z-z1)＝0，且a、b均为0，也即：该平面方程a(x-x1)+b(y-y1)+c(z-z1)＝0为平面法向量(0,0,1)。
[0165]
本发明实施例中，在将区域中心点由像素坐标系映射至彩相机坐标系所采用的公式可以参照实施例二中将目标矩形框的转角点由像素坐标系映射至彩相机坐标系所使用的公式(5)、公式(6)以及公式(7)，本发明实施例不再重复赘述。需要说明的是，在使用上述公式(5)、公式(6)以及公式(7)将区域中心点由像素坐标系映射至彩相机坐标系时，(u，v)具体为区域中心点在像素坐标系下的坐标信息(u1，v1)，(x，y，z)为将区域中心点由像素坐标系映射至彩相机坐标系之后在彩相机坐标系下的坐标信息(x1，y1，z1)。
[0166]
举例来说，区域中心点的确定原理或者确定过程可以如图10所示，图10是本发明实施例公开的在看线铺砖方式下识别出十字交叉区域的区域中心点的原理示意图。
[0167]
305、在十字交叉区域的横向方向上选取与区域中心点不重合的目标参考点，将目标参考点映射至彩相机坐标系下，得到目标参考点在彩相机坐标系下的第二映射坐标点。
[0168]
其中，在十字交叉区域的横向方向上选取与区域中心点不重合的目标参考点可以是在横线方向上且在区域中心点的右侧选取与区域中心点不重合的目标参考点，如在横线方向上且在区域中心点的右侧选取与区域中心点不重合且距离区域中心点的距离值为100像素单位的目标参考点。其中，目标参考点在像素坐标系下的坐标信息(u2，v2)可以通过下述公式(9)表示：
[0169][0170]
本发明实施例中，在将目标参考点由像素坐标系映射至彩相机坐标系所采用的公式可以参照实施例二中将目标矩形框的转角点由像素坐标系映射至彩相机坐标系所使用的公式(5)、公式(6)以及公式(7)，本发明实施例不再重复赘述。需要说明的是，在使用上述公式(5)、公式(6)以及公式(7)将目标参考点由像素坐标系映射至彩相机坐标系时，(u，v)具体为目标参考点在像素坐标系下的坐标信息(u2，v2)，(x，y，z)为将目标参考点由像素坐标系映射至彩相机坐标系之后在彩相机坐标系下的坐标信息(x2，y2，z2)。
[0171]
306、根据第一映射坐标点及第二映射坐标点建立x轴、根据平面法向量确定z轴以及根据确定出的x轴及z轴确定y轴，以第一映射坐标点为原点、以确定出的x轴、y轴及z轴创建待铺设砖块对应的中心点坐标系，作为待铺设砖块对应的中心点信息。
[0172]
307、根据待铺设砖块对应的中心点信息，生成机械手对应的铺砖控制参数，并基
于铺砖控制参数控制机械手执行待铺设砖块对应的铺砖操作。
[0173]
其中，在彩相机坐标系下待铺砖坐标为(x0,y0,z0)，其可以通过公式(10)求得，公式(10)具体为：
[0174][0175]
在公式(10)中，s砖块的平均边长，w标准线宽。
[0176]
进一步的，在看线铺砖方式中，可以通过公式(11)进行一些列的坐标转换，得到实际的作业位置(也即铺砖控制参数)，且公式(11)具体如下：
[0177]
basehtarget
＝
basehtool
·
toolhcamera
·
camerahmarker
·
markerhtarget
......(11)
[0178]
其中，
markerhtarget
为目标点到标记点的转换矩阵，
camerahmar
ker为标记点到深度相机的转换矩阵，
toolhcamera
为深度相机到机械臂的转换矩阵，
basehtool
为机械臂到末端的转换矩阵。
[0179]
可见，实施本发明实施例所描述的方法能够基于看线铺砖方式确定待铺设砖块对应的中心点坐标系，基于看线铺砖方式实现了待铺砖姿态的智能化、精确化确定，进而有利于基于铺砖机器人实现高效且高精准性的自动化铺砖。
[0180]
实施例四
[0181]
请参阅图4，图4是本发明实施例公开的基于深度相机的智能化铺砖实现装置的结构示意图。其中，图4所描述的装置用于控制安装有机械手及深度相机的铺砖机器人执行铺砖操作，深度相机具体可以安装在机械手的末端且随着机械手移动，可选的，该装置可以集成在铺砖机器人中，也可以独立于铺砖机器人而存在，如设置在云控制平台等，本发明实施例不做限定。如图4所示，该基于深度相机的智能化铺砖实现装置可以包括：
[0182]
图像分析模块401，用于获取深度相机采集到的铺砖区域图像，对铺砖区域图像进行分析，得到图像分析结果；
[0183]
图像判断模块402，用于根据图像分析结果判断铺砖区域图像中是否包括铺砖标记线，得到判断结果；
[0184]
确定模块403，用于获取与判断结果相匹配的铺砖信息确定方式，并基于铺砖信息确定方式确定待铺设砖块对应的中心点信息；
[0185]
铺砖控制模块404，用于根据待铺设砖块对应的中心点信息控制机械手执行相匹配的铺砖操作。
[0186]
可见，本发明实施例所描述的装置能够基于安装有机械手和深度相机的铺砖机器人实现智能化铺砖，有利于提高铺砖效率及铺砖精度；此外，还能够根据铺砖标记线识别结果匹配铺砖信息确定方式，有利于提高铺砖信息的确定效率及准确性，进而有利于进一步提高铺砖效率及铺砖精度。
[0187]
在一个可选的实施例中，确定模块403基于铺砖信息确定方式确定待铺设砖块对应的中心点信息的具体方式包括：
[0188]
基于铺砖信息确定方式确定待建立的中心点坐标系的原点及三维坐标轴，并基于确定出的原点及三维坐标轴创建待铺设砖块对应的中心点坐标系，作为待铺设砖块对应的中心点信息。
[0189]
可见，该可选的实施例还能够根据与铺砖标记线识别结果相匹配的铺砖信息确定方式确定用于创建坐标系的原点及坐标轴，提高了确定出的原点及坐标轴的准确性，有利于提高确定出的待铺设砖块对应的中心点信息的准确性，进而有利于提高对铺砖机器人执行铺砖控制操作的控制准确性及控制效率。
[0190]
在另一个可选的实施例中，铺砖控制模块404根据待铺设砖块对应的中心点信息控制机械手执行相匹配的铺砖操作的具体方式包括：
[0191]
根据待铺设砖块对应的中心点信息，生成机械手对应的铺砖控制参数，并基于铺砖控制参数控制机械手执行待铺设砖块对应的铺砖操作。
[0192]
可选的，当判断结果表示采集到的铺砖区域图像包括铺砖标记线时，铺砖信息确定方式为基于铺砖标记线的看线铺砖方式；当判断结果表示采集到的铺砖区域图像未包括铺砖标记线时，铺砖信息确定方式为基于已铺设砖块的看砖铺砖方式。
[0193]
可见，该可选的实施例能够根据待铺设砖块对应的中心点信息生成机械手对应的铺砖控制参数，进而基于铺砖控制参数控制机械手执行对应的铺砖操作，有利于提高铺砖效率及铺砖控制精准性。
[0194]
在又一个可选的实施例中，确定模块403基于铺砖信息确定方式确定待建立的中心点坐标系的原点及三维坐标轴，并基于确定出的原点及三维坐标轴创建待铺设砖块对应的中心点坐标系，作为待铺设砖块对应的中心点信息的具体方式包括：
[0195]
当铺砖信息确定方式为看砖铺砖方式时，基于铺砖区域图像识别深度相机的视野采集范围内的所有已铺设砖块；
[0196]
对于每个已铺设砖块，确定该已铺设砖块对应的目标矩形框的四个砖角点所对应的坐标信息；
[0197]
根据所有砖角点对应的坐标信息，将所有已铺设砖块对应的目标矩形框的四个砖角点拟合成目标平面，并将所有砖角点按照法向量垂直投射至目标平面，得到所有砖角点在目标平面上的所有投影砖角点；
[0198]
对于每个已铺设砖块，根据对应的四个投影砖角点按照横向、纵向拟合出对应的网格，并根据铺砖规划计算出待铺设砖块的位置编号；
[0199]
根据位置编号以及拟合出的所有网格确定与位置编号相匹配的两条目标横向直线以及两条目标纵向直线，根据两条目标横向直线与两条目标纵向直线确定出待铺设砖块的四个目标砖角点，基于四个目标砖角点确定待铺设砖块的中心点，以待铺设砖块的中心点为原点、以横向为x轴、以纵向为y轴创建待铺设砖块对应的中心点坐标系，作为待铺设砖块对应的中心点信息。
[0200]
在该可选的实施例中，进一步可选的，对于每个已铺设砖块，确定模块403确定该已铺设砖块对应的目标矩形框的四个砖角点所对应的坐标信息的具体方式包括：
[0201]
从深度相机采集到的所有点云中识别出落入到该已铺设砖块对应的目标矩形框中的所有目标点云，将落入到该已铺设砖块对应的目标矩形框中的所有目标点云拟合成平面方程，并将该已铺设砖块对应的目标矩形框的四个砖角点由像素坐标系映射至彩相机坐标系，得到映射结果，根据由落入到该已铺设砖块对应的目标矩形框中的所有目标点云拟合成的平面方程以及映射结果确定该已铺设砖块对应的目标矩形框的四个砖角点对应的坐标信息。
[0202]
又进一步可选的，对于每个已铺设砖块，确定模块403从深度相机采集到的所有点云中识别出落入到该已铺设砖块对应的目标矩形框中的所有目标点云的具体方式包括：
[0203]
基于确定出的变换矩阵将深度相机获取到的所有点云转换至彩相机坐标系中，得到每个点云在彩相机坐标系中所对应的坐标点；
[0204]
基于预先确定出的转换公式，将所有点云在彩相机坐标系中所对应的坐标点转换至像素坐标系中，得到所有点云在像素坐标系中对应的坐标点；
[0205]
对于每个已铺设砖块，从所有点云在像素坐标系中对应的坐标点中识别出位于该已铺设砖块对应的目标矩形框内所有目标坐标点，作为落入到该已铺设砖块对应的目标矩形框中的所有目标点云。
[0206]
又进一步可选的，对于每个已铺设砖块，该已铺设砖块对应的目标矩形框是根据针对该已铺设砖块确定出的砖角点确定出的，且针对该已铺设砖块确定出的砖角点是通过以下方式确定出的：
[0207]
基于该已铺设砖块所在的位置确定初始矩形框，根据预先确定出的预设距离值以及预设宽度值分别在该初始矩形框的每条边生成对应的子矩形框，其中，预设距离值为每个子矩形框距离初始矩形框的顶点的距离值，预设宽度值为每个子矩形框的宽度；
[0208]
在每个子矩形框内分别识别该已铺设砖块的边界上的若干边界点，并基于识别到的每条边界上的若干边界点拟合成每条边界对应的直线；
[0209]
延伸该已铺设砖块的所有边界对应的直线，得到所有边界对应的直线的延伸交点，将所有边界对应的直线的延伸交点确定为该已铺设砖块对应的目标矩形框的砖角点。
[0210]
可见，该可选的实施例还能够基于已铺设砖块的相关信息确定待铺设砖块对应的中心点坐标系，基于看砖铺砖方式实现了待铺砖姿态的智能化、精确化确定，进而有利于基于铺砖机器人实现高效且高精准性的自动化铺砖
[0211]
在又一个可选的实施例中，确定模块403基于铺砖信息确定方式确定待建立的中心点坐标系的原点及三维坐标轴，并基于确定出的原点及三维坐标轴创建待铺设砖块对应的中心点坐标系，作为待铺设砖块对应的中心点信息的具体方式包括：
[0212]
当铺砖信息确定方式为看线铺砖方式时，识别铺砖标记线上的目标标记区域；
[0213]
确定目标标记区域的十字交叉区域所对应的区域中心点，将区域中心点映射至彩相机坐标系下，得到区域中心点在彩相机坐标系下的第一映射坐标点；
[0214]
在十字交叉区域的横向方向上选取与区域中心点不重合的目标参考点，将目标参考点映射至彩相机坐标系下，得到目标参考点在彩相机坐标系下的第二映射坐标点；
[0215]
根据第一映射坐标点及第二映射坐标点建立x轴、根据平面法向量确定z轴以及根据确定出的x轴及z轴确定y轴，以第一映射坐标点为原点、以确定出的x轴、y轴及z轴创建待铺设砖块对应的中心点坐标系，作为待铺设砖块对应的中心点信息。
[0216]
可见，该可选的实施例还能够基于看线铺砖方式确定待铺设砖块对应的中心点坐标系，基于看线铺砖方式实现了待铺砖姿态的智能化、精确化确定，进而有利于基于铺砖机器人实现高效且高精准性的自动化铺砖。
[0217]
实施例五
[0218]
请参阅图5，图5是本发明实施例公开的另一种基于深度相机的智能化铺砖实现装置的结构示意图。其中，图5所描述的装置用于控制安装有机械手及深度相机的铺砖机器人
执行铺砖操作，深度相机具体可以安装在机械手的末端且随着机械手移动，可选的，该装置可以集成在铺砖机器人中，也可以独立于铺砖机器人而存在，如设置在云控制平台等，本发明实施例不做限定。如图5所示，该基于深度相机的智能化铺砖实现装置可以包括：
[0219]
存储有可执行程序代码的存储器501；
[0220]
与存储器501耦合的处理器5402；
[0221]
其中，处理器502调用存储器501中存储的可执行程序代码，执行本发明实施例一-实施例三任一公开的基于深度相机的智能化铺砖实现方法中的部分或全部步骤。
[0222]
实施例六
[0223]
本发明实施例公开了一种计算机存储介质，该计算机存储介质存储有计算机指令，该计算机指令被调用时，用于执行本发明实施例一-实施例三任一公开的基于深度相机的智能化铺砖实现方法中的部分或全部步骤。
[0224]
实施例七
[0225]
本发明实施例公开了一种铺砖机器人，该铺砖机器人上安装有机械手及深度相机，深度相机安装在机械手的末端且随机械手移动。其中，铺砖机器人用于执行本发明实施例一-实施例三任一公开的基于深度相机的智能化铺砖实现方法中的部分或全部步骤，或者，铺砖机器人可以包括实施例四所描述的任一基于深度相机的智能化铺砖实现装置。
[0226]
以上所描述的装置实施例仅是示意性的，其中所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
[0227]
通过以上的实施例的具体描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中,存储介质包括只读存储器(read-only memory，rom)、随机存储器(random access memory，ram)、可编程只读存储器(programmable read-only memory，prom)、可擦除可编程只读存储器(erasable programmable read only memory，eprom)、一次可编程只读存储器(one-time programmable read-only memory，otprom)、电子抹除式可复写只读存储器(electrically-erasable programmable read-only memory，eeprom)、只读光盘(compact disc read-only memory，cd-rom)或其他光盘存储器、磁盘存储器、磁带存储器、或者能够用于携带或存储数据的计算机可读的任何其他介质。
[0228]
最后应说明的是：本发明实施例公开的基于深度相机的智能化铺砖实现方法及装置、铺砖机器人所揭露的仅为本发明较佳实施例而已，仅用于说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解；其依然可以对前述各项实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或替换，并不使相应的技术方案的本质脱离本发明各项实施例技术方案的精神和范围。

技术特征：

1.一种基于深度相机的智能化铺砖实现方法，其特征在于，所述方法应用于铺砖机器人，所述铺砖机器人上安装有机械手及深度相机，所述深度相机安装在所述机械手的末端且随所述机械手移动，所述方法包括：获取所述深度相机采集到的铺砖区域图像，对所述铺砖区域图像进行分析，得到图像分析结果，并根据所述图像分析结果判断所述铺砖区域图像中是否包括铺砖标记线，得到判断结果；获取与所述判断结果相匹配的铺砖信息确定方式，并基于所述铺砖信息确定方式确定待铺设砖块对应的中心点信息；根据所述待铺设砖块对应的中心点信息控制所述机械手执行相匹配的铺砖操作。2.根据权利要求1所述的基于深度相机的智能化铺砖实现方法，其特征在于，所述基于所述铺砖信息确定方式确定待铺设砖块对应的中心点信息，包括：基于所述铺砖信息确定方式确定待建立的中心点坐标系的原点及三维坐标轴，并基于确定出的所述原点及所述三维坐标轴创建待铺设砖块对应的中心点坐标系，作为所述待铺设砖块对应的中心点信息；以及，所述根据所述待铺设砖块对应的中心点信息控制所述机械手执行相匹配的铺砖操作，包括：根据所述待铺设砖块对应的中心点信息，生成所述机械手对应的铺砖控制参数，并基于所述铺砖控制参数控制所述机械手执行所述待铺设砖块对应的铺砖操作。3.根据权利要求2所述的基于深度相机的智能化铺砖实现方法，其特征在于，当所述判断结果表示采集到的所述铺砖区域图像包括所述铺砖标记线时，所述铺砖信息确定方式为基于所述铺砖标记线的看线铺砖方式；当所述判断结果表示采集到的所述铺砖区域图像未包括所述铺砖标记线时，所述铺砖信息确定方式为基于已铺设砖块的看砖铺砖方式。4.根据权利要求3所述的基于深度相机的智能化铺砖实现方法，其特征在于，所述基于所述铺砖信息确定方式确定待建立的中心点坐标系的原点及三维坐标轴，并基于确定出的所述原点及所述三维坐标轴创建待铺设砖块对应的中心点坐标系，作为所述待铺设砖块对应的中心点信息，包括：当所述铺砖信息确定方式为所述看砖铺砖方式时，基于所述铺砖区域图像识别所述深度相机的视野采集范围内的所有已铺设砖块；对于每个所述已铺设砖块，确定该已铺设砖块对应的目标矩形框的四个砖角点所对应的坐标信息；根据所有所述砖角点对应的坐标信息，将所有所述已铺设砖块对应的目标矩形框的四个砖角点拟合成目标平面，并将所有所述砖角点按照法向量垂直投射至所述目标平面，得到所有所述砖角点在所述目标平面上的所有投影砖角点；对于每个所述已铺设砖块，根据对应的四个投影砖角点按照横向、纵向拟合出对应的网格，并根据铺砖规划计算出待铺设砖块的位置编号；根据所述位置编号以及拟合出的所有所述网格确定与所述位置编号相匹配的两条目标横向直线以及两条目标纵向直线，根据两条所述目标横向直线与两条所述目标纵向直线确定出所述待铺设砖块的四个目标砖角点，基于四个所述目标砖角点确定所述待铺设砖块
的中心点，以所述待铺设砖块的中心点为原点、以横向为x轴、以纵向为y轴创建所述待铺设砖块对应的中心点坐标系，作为所述待铺设砖块对应的中心点信息。5.根据权利要求4所述的基于深度相机的智能化铺砖实现方法，其特征在于，所述对于每个所述已铺设砖块，确定该已铺设砖块对应的目标矩形框的四个砖角点所对应的坐标信息，包括：对于每个所述已铺设砖块，从所述深度相机采集到的所有点云中识别出落入到该已铺设砖块对应的目标矩形框中的所有目标点云，将落入到该已铺设砖块对应的目标矩形框中的所有目标点云拟合成平面方程，并将该已铺设砖块对应的目标矩形框的四个砖角点由像素坐标系映射至彩相机坐标系，得到映射结果，根据由落入到该已铺设砖块对应的目标矩形框中的所有目标点云拟合成的平面方程以及所述映射结果确定该已铺设砖块对应的目标矩形框的四个砖角点对应的坐标信息。6.根据权利要求5所述的基于深度相机的智能化铺砖实现方法，其特征在于，所述对于每个所述已铺设砖块，从所述深度相机采集到的所有点云中识别出落入到该已铺设砖块对应的目标矩形框中的所有目标点云，包括：基于确定出的变换矩阵将所述深度相机获取到的所有点云转换至彩相机坐标系中，得到每个所述点云在所述彩相机坐标系中所对应的坐标点；基于预先确定出的转换公式，将所有所述点云在所述彩相机坐标系中所对应的坐标点转换至像素坐标系中，得到所有所述点云在所述像素坐标系中对应的坐标点；对于每个所述已铺设砖块，从所有所述点云在所述像素坐标系中对应的坐标点中识别出位于该已铺设砖块对应的目标矩形框内所有目标坐标点，作为落入到该已铺设砖块对应的目标矩形框中的所有目标点云。7.根据权利要求5或6所述的基于深度相机的智能化铺砖实现方法，其特征在于，对于每个所述已铺设砖块，该已铺设砖块对应的目标矩形框是根据针对该已铺设砖块确定出的砖角点确定出的，且针对该已铺设砖块确定出的砖角点是通过以下方式确定出的：基于该已铺设砖块所在的位置确定初始矩形框，根据预先确定出的预设距离值以及预设宽度值分别在该初始矩形框的每条边生成对应的子矩形框，其中，所述预设距离值为每个所述子矩形框距离所述初始矩形框的顶点的距离值，所述预设宽度值为每个所述子矩形框的宽度；在每个所述子矩形框内分别识别该已铺设砖块的边界上的若干边界点，并基于识别到的每条所述边界上的若干边界点拟合成每条所述边界对应的直线；延伸该已铺设砖块的所有所述边界对应的直线，得到所有所述边界对应的直线的延伸交点，将所有所述边界对应的直线的延伸交点确定为该已铺设砖块对应的目标矩形框的砖角点。8.根据权利要求3所述的基于深度相机的智能化铺砖实现方法，其特征在于，所述基于所述铺砖信息确定方式确定待建立的中心点坐标系的原点及三维坐标轴，并基于确定出的所述原点及所述三维坐标轴创建待铺设砖块对应的中心点坐标系，作为所述待铺设砖块对应的中心点信息，包括：当所述铺砖信息确定方式为所述看线铺砖方式时，识别所述铺砖标记线上的目标标记区域；
确定所述目标标记区域的十字交叉区域所对应的区域中心点，将所述区域中心点映射至彩相机坐标系下，得到所述区域中心点在所述彩相机坐标系下的第一映射坐标点；在所述十字交叉区域的横向方向上选取与所述区域中心点不重合的目标参考点，将所述目标参考点映射至所述彩相机坐标系下，得到所述目标参考点在所述彩相机坐标系下的第二映射坐标点；根据所述第一映射坐标点及所述第二映射坐标点建立x轴、根据平面法向量确定z轴以及根据确定出的x轴及z轴确定y轴，以所述第一映射坐标点为原点、以确定出的x轴、y轴及z轴创建所述待铺设砖块对应的中心点坐标系，作为所述待铺设砖块对应的中心点信息。9.一种基于深度相机的智能化铺砖实现装置，其特征在于，所述装置应用于铺砖机器人，所述铺砖机器人上安装有机械手及深度相机，所述深度相机安装在所述机械手的末端且随所述机械手移动，所述装置包括：图像分析模块，用于获取所述深度相机采集到的铺砖区域图像，对所述铺砖区域图像进行分析，得到图像分析结果；图像判断模块，用于根据所述图像分析结果判断所述铺砖区域图像中是否包括铺砖标记线，得到判断结果；确定模块，用于获取与所述判断结果相匹配的铺砖信息确定方式，并基于所述铺砖信息确定方式确定待铺设砖块对应的中心点信息；铺砖控制模块，用于根据所述待铺设砖块对应的中心点信息控制所述机械手执行相匹配的铺砖操作。10.一种基于深度相机的智能化铺砖实现装置，其特征在于，所述装置应用于铺砖机器人，所述铺砖机器人上安装有机械手及深度相机，所述深度相机安装在所述机械手的末端且随所述机械手移动，所述装置包括：存储有可执行程序代码的存储器；与所述存储器耦合的处理器；所述处理器调用所述存储器中存储的所述可执行程序代码，执行如权利要求1-8任一项所述的基于深度相机的智能化铺砖实现方法。11.一种铺砖机器人，其特征在于，所述铺砖机器人上安装有机械手及深度相机，所述深度相机安装在所述机械手的末端且随所述机械手移动；其中，所述铺砖机器人用于执行如权利要求1-8任一项所述的基于深度相机的智能化铺砖实现方法。

技术总结

本发明公开了基于深度相机的智能化铺砖实现方法及装置、铺砖机器人，该方法包括：获取深度相机采集到的铺砖区域图像，对铺砖区域图像进行分析得到图像分析结果，并根据图像分析结果判断铺砖区域图像中是否包括铺砖标记线得到判断结果；获取与判断结果相匹配的铺砖信息确定方式并基于铺砖信息确定方式确定待铺设砖块对应的中心点信息；根据待铺设砖块对应的中心点信息控制机械手执行铺砖操作。可见，本发明能够基于安装有机械手和深度相机的铺砖机器人实现智能化铺砖，有利于提高铺砖效率及铺砖精度；此外，还能够根据铺砖标记线识别结果匹配铺砖信息确定方式，有利于提高铺砖信息的确定效率及准确性，进而有利于进一步提高铺砖效率及铺砖精度。铺砖效率及铺砖精度。铺砖效率及铺砖精度。