位置确定装置

著录项
  • CN202010070452.2
  • 20200121
  • CN111466295A
  • 20200731
  • 莱利专利股份有限公司
  • M·I·加尼夫;N·D·瓦尔德
  • A01J5/00
  • A01J5/00 A01J7/00 G01S17/06 G01S17/08 G01S17/894 G01B11/06

  • 荷兰马斯勒伊斯
  • 荷兰(NL)
  • 20190124 NL2022442
  • 中国国际贸易促进委员会专利商标事务所
  • 高文静
摘要
本发明提供一种用于确定物体的相对位置的位置确定装置以及挤奶装置,包括:具有像素的2D布置的3D飞行时间相机,所述相机被配置用于尤其重复地记录空间的图像;以及控制单元,所述控制单元连接至所述相机并且包括图像处理装置。所述3D飞行时间相机具有可控的光源,并且被配置用于既通过反射的发射光来记录所述空间的2D图像,又收集一个或多个像素的距离信息。所述图像处理装置被配置用于基于图像处理指标将2D图像中的可能物体识别为第一组像素,并且针对所述像素的子组确定距离信息,并且通过分析2D图像和所述距离信息来确定所述相对位置。由于为更少的(图像)点确定了通常比2D亮度信息具有大得多的噪声的距离信息,因此可以更快更可靠地确定位置。
权利要求

1.一种位置确定装置,用于尤其重复地确定空间中的物体相对于所述位置确定装置的位置,

所述位置确定装置包括:

-具有像素的2D布置的3D飞行时间相机,所述相机被配置用于尤其重复地记录所述空间的图像,以及

-控制单元,所述控制单元连接至所述相机并且包括用于处理所记录的图像的图像处理装置,

其中,所述3D飞行时间相机包括用于发射光的光源,所述光源由所述控制单元控制,并且被配置用于既通过反射的发射光来记录所述空间的2D图像,又收集一个或多个像素的距离信息,

其中,所述图像处理装置被配置用于:

-基于一个或多个图像处理指标来识别所述2D图像中的可能物体,所述可能物体包括所述图像的第一组像素,

-确定所述第一组像素中小于所述第一组的子组的距离信息,以及

-通过分析所述2D图像并通过所述像素子组的距离信息来确定相对于所述相机的位置。

2.根据权利要求1所述的位置确定装置,其中,所述图像处理装置被配置用于将所述2D图像中所述可能物体的所述子组确定为仅1个像素,所述像素特别地在所有侧均被所述第一组中的其他像素环绕,并且更特别地为所述可能物体的几何重心。

3.根据权利要求1所述的位置确定装置,其中,所述图像处理装置被配置用于将所述2D图像中所述可能物体的所述子组确定为精确地2或3个像素。

4.根据前述权利要求之一所述的位置确定装置,其中,所述像素的2D布置还包括彩像素,尤其是RGB像素,其中,所述3D飞行时间相机被配置用于记录所述空间的彩图像。

5.根据前述权利要求之一所述的位置确定装置,其中,所述图像处理装置被配置用于如果所述图像处理装置将所记录的图像的若干不同像素组识别为可能物体,则针对相关联像素子组确定每个可能物体的距离信息,并且进一步被配置用于根据预定的分类指标基于针对其确定的距离信息将所述可能物体进行分类。

6.一种位置确定装置,用于尤其重复地确定空间中的物体相对于所述位置确定装置的位置,

所述位置确定装置包括:

-具有像素的2D布置的2D相机,所述相机被配置用于尤其重复地记录所述空间的图像,

-高度确定装置,用于确定所述空间中所述物体的高度,以及

-控制单元,所述控制单元连接至所述相机和所述高度确定装置,并且包括用于处理所记录的图像的图像处理装置,

其中,所述图像处理装置被配置用于:

-基于一个或多个图像处理指标来识别所述2D图像中的可能物体,以及

-通过分析所述2D图像和所确定的高度来确定相对于所述相机的位置。

7.根据权利要求6所述的位置确定装置,其中,高度计包括激光测距仪或一系列光电管。

8.一种用于对乳畜动物进行挤奶的挤奶装置,所述挤奶装置包括挤奶杯、用于将所述挤奶杯附接至所述乳畜动物的乳头的机器人臂、以及用于控制所述机器人臂的机器人控制单元,

其中,所述控制单元包括根据前述权利要求之一所述的位置确定装置。

9.根据权利要求8所述的挤奶装置,其中,所述位置确定装置被配置用于确定所述乳畜动物的乳头的位置。

10.根据权利要求8或9所述的挤奶装置,其中,所述挤奶装置包括用于对所述乳畜动物进行挤奶的挤奶畜棚,并且其中,所述位置确定装置被配置用于确定挤奶畜棚中是否存在乳畜动物和/或确定所述乳畜动物在所述畜棚中的位置。

11.根据权利要求10所述的挤奶装置,其中,所述机器人控制单元被配置用于基于由所述位置确定装置确定的所述乳畜动物在所述挤奶畜棚中的位置,来控制所述机器人臂。

12.根据权利要求8所述的挤奶装置,所述挤奶装置设有根据权利要求6所述的位置确定装置,其中,所述高度确定装置包括用于识别要被挤奶的乳畜动物的动物识别装置、以及操作性地连接至所述挤奶装置的数据库,所述数据库包含每个乳畜动物的高度,并且其中,所述高度确定装置通过从所述数据库中检索与所识别的乳畜动物相关联的高度数据来确定所述乳畜动物的高度。

说明书

位置确定装置

本发明涉及一种位置确定装置,用于确定空间中的物体相对于该位置确定装置的位置。

这种位置确定装置可以用在许多应用中,比如用于自主车辆的导航或物体的处理,比如通过生产线中的机器人等。

原则上,需要某种形式的立体视觉,以确定空间中的位置。为了能够确定所需的位置数据,已知的位置确定装置通常包括两个2D相机和一个用于通过例如三角测量来比较图像的控制单元,或具有内置距离确定装置的3D装置。后一种3D装置的示例是激光器或激光雷达扫描仪,以及3D飞行时间相机(以下称为TOF相机),如Th.Ringbeck和B.Hagebeuker在“Optical 3-D Measurement Techniques[光学3-D测量技术]09-12.07.2007,苏黎世联邦理工学院(ETH Zürich)”中的文章“用于物体检测的3D飞行时间相机”中所描述的。这种3DTOF相机自身发出经调制的光,在这种情况下,反射的辐射碰撞一系列像素。通过确定辐射的传播时间或调制的相移,可以确定相机到将辐射反射到像素的物体的距离。

在实践中,这种已知的装置存在各种缺点。因此,包括两个2D相机的立体相机需要大量的图像处理,以便能够使图像彼此正确关联。此外,为了实现足够的准确性,这两个相机通常必须相距较远,因此所得的装置将相应地较大。尽管3D TOF相机紧凑得多,但它们仍需要相对较长的曝光时间以提供足够量的无噪音(距离)信息,因此,例如,很难捕捉到快速移动。此外,它们会产生大量的信息,因此从这些信息确定实际位置通常费力且费时。

因此,需要一种位置确定装置,该位置确定装置部分地消除了所提到的缺点,并且借助于该位置确定装置,可以实现紧凑、快速并且有效地确定物体的位置。

本发明通过根据权利要求1所述的位置确定装置来实现该目的,尤其是通过用于确定空间中的物体相对于其的位置的位置确定装置,该位置确定装置包括:具有像素的2D布置的3D TOF相机,所述相机被配置用于记录所述空间的图像;以及控制单元,所述控制单元连接至所述相机并且包括用于处理所记录的图像的图像处理装置,其中,所述3D TOF相机包括用于发射光的光源,所述光源可由所述控制单元控制并且被配置用于既通过反射的发射光来记录所述空间的2D图像,又收集一个或多个像素的距离信息,其中,所述图像处理装置被配置用于:基于一个或多个图像处理指标来识别所述2D图像中的可能物体,所述可能物体包括图像的第一组像素;确定所述第一组像素中小于所述第一组的子组的距离信息;并且通过分析所述2D图像并通过所述像素子组的距离信息来确定相对于所述相机的位置。

本发明是基于以下观点:通常无需针对物体的特定图像中的每个记录的像素来收集距离信息,因为2D图像中的物体将提供连续的、不间断的像素组,而且还在颜和/或亮度方面。为了计算空间中的位置,不需要建立该组中每个点的3D位置,因此不需要生成和分析物体的3D表示。此外,空间上延伸物体的“位置”实际上不是该组的每个单一点的位置,而是物体的单一点的位置,除非指示了物体的空间边界。例如通常,在某个方向上的最大大小/位置将决定物体的位置,比如球体的中心或立方体的拐角。尤其是在这种情况下,清楚的是,已知每个像素的完整空间位置包含大量的多余信息。尽管3D TOF相机原则上同时确定所有像素的距离信息,但这些信息接着仍必须由图像处理装置读取和处理,例如为了得出相关联点的坐标并且因此得出空间位置。根据本发明通过仅选择子组,可以更快速且高效地执行这个过程。在这种情况下,以下是重要的考虑因素。大多数3D TOF相机具有的像素从捕获的反射辐射来确定亮度信息和距离信息。通常,但不一定总是,这种辐射是(近)红外辐射,并且亮度信息通常是绝对的,也就是说与波长无关。因此,亮度图像因此为灰阴影,没有任何颜信息。然而,由于确定了从空间中的该点反射的发射(经调制)辐射的相移,因此同一像素检测到空间的正是这个完全相同点的距离信息。在这种情况下,重要的是在亮度图像与距离信息之间没有视差或其他位移,并且该信息也(几乎)同时被确定。这意味着一旦选择了具有的距离信息被认为相关的像素,就可以读取和处理已经可获得的距离信息。这节省了读取和处理的时间。此外,与3D距离信息相比,可以以足够的信号强度和可靠性快得多地确定亮度信息。因此,期望的子组可以如此快速地确定,而使得收集这个期望的距离信息时几乎不必发生任何延迟。顺便提及,也可以从随后的所记录的图像中确定期望的距离信息,但是这主要在物体相对于TOF相机缓慢移动或根本不移动时有效。

特别地,所述位置确定装置被配置用于通过3D TOF相机重复地记录空间的图像来重复地确定物体的位置。在这个实施例中,当物体移动时跟随物体变成可能。这可能是物体本身在空间中的移动,但也可能是由于位置确定装置移动或移位而产生的相对运动。跟随物体将变得更加准确,因为图像重复频率增加和/或所记录的图像信息的准确性和可靠性提高。使用本发明,通过仅使用相机的一部分3D距离信息就可以改善这两个因素。

在所附从属权利要求中和以下描述部分中描述了特定实施例。

在实施例中,所述图像处理装置被配置用于将所述2D图像中所述可能物体的所述子组确定为仅1个像素。特别地,所述一个像素在所有侧均被所述第一组中的其他像素环绕。结果,降低了距离信息中强烈局部变化的风险以及不准确的风险。更特别地,所述一个像素是所述可能物体的几何重心。没有关于物体的更详细信息时,距离信息中存在局部极端的风险相当大,并且因此这个距离中仅有小的(如果有的话)局部变化,这可以利于准确性。

清楚的是,具有仅一个像素的子组产生要读取和处理的绝对最小量的(距离)信息,而通常仍然可以确定有用的空间位置。明显有利的用途涉及具有几乎平坦顶侧的物体,在这种情况下,例如仅需要确定图像中检测到的可能物体是实际物体还是仅是背景或地面上的污渍。一旦从与相机的距离清楚地知道它是实际物体,就已经可以基于2D图像、例如亮度图像以令人满意的方式确定相对于相机在空间中的3D位置。另一个示例涉及不同大小的多个相同物体。在这种情况下,对于可能物体的子组中的一个点确定到相机的距离就已经足够基于2D图像来确定物体的位置。如果在此示例中的物体是尺寸不同的球体,则将有利地将这一个点选择为中心。从针对该像素确定的到相机的距离,并且还优选地通过针对相机的相关联观察方向而言已知的到地面的距离,可以使用简单的测角术来确定球体的直径。使用所述中心相对于相机的已知位置,则可以确定球体的全部位置。类似的情况也适用于具有本身已知的形状的其他物体。应注意的是,事先(即,一次)测量背景和/或地面是有用的。然后,将相机的每个像素与到该背景和/或地面的某个距离相关联,从而将背景和/或地面完全映射。

在实施例中,所述图像处理装置被配置用于将所述2D图像中所述可能物体的所述子组确定为精确地2或3个像素。通过这些实施例,分别确定两个或三个点的位置可以帮助确定物体的取向。当然,这对于已知具有一个或多个大的侧表面的物体最有效。例如,当已经测量了三个点时,就已经完全确定了表面的取向,这对于高效地计算相关联物体的位置可能是有利的。

在实施例中,所述图像处理装置被配置用于如果所述图像处理装置将所记录的图像的若干不同像素组识别为可能物体,则针对相关联像素子组确定每个可能物体的距离信息,并且进一步根据预定的分类指标基于针对其确定的距离信息将所述可能物体进行分类。例如,图像处理装置识别图像中的两个可能物体。为每个可能物体确定相关联像素的子组的距离信息。作为指标,假定物体(其整体或非整体)必须在某个距离范围内。然后通过对于每个可能物体评估距离信息,图像处理装置(或整个位置确定装置)能够确定哪个可能物体是“正确”物体,并且仅确定后者的位置。

在特定实施例中,像素的2D布置还包括彩像素,尤其是RGB像素。在这种情况下,3D TOF相机被配置用于记录空间的彩图像。在这种情况下,3D相机带有附加的彩像素,彩像素优选地分布在用于收集距离信息的像素之间。在过去,后者要大得多,因此为较小的RGB像素留出空间。但是还与测量距离的像素(同时变得较小并且通常仅对发射的(单)辐射或所有辐射敏感一起,在2D布置中包含RGB像素是有利的。尽管这可能会损害可能可实现的3D分辨率,但是在本发明的情况下,这关系不大。相反,与用于收集和处理该信息的已知高效技术相结合,纳入RGB像素提供了增加可用信息量的优点。例如,由于图像中的每种颜等的对比度可能不同,现在可用的颜信息在确定物体时具有优点。顺便提及,如果可以对要读取的颜进行选择,实际上不必增加要处理的信息总量。这意味着,有时具有红(R)像素的图像比具有绿或蓝像素、或者显然任何其他组合产生好得多的物体识别结果。然后通过仅从像素(在这种情况下为红像素)读取相关联的信息,信息量不比要读取3D像素的亮度时更大。顺便提及,彩/RGB像素现在不再与3D距离信息像素完全重合,但实际上偏移很小从而不再重要,尤其是如果选择与可能物体的边缘相距一定距离的像素,则不再重要。

本发明的上述方面涉及一种位置确定装置,该位置确定装置原则上仅使用一个测量装置或传感器装置,即3D飞行时间相机。在这种情况下,除了对一个点进行距离或高度测量之外,仅使用2D图像,例如亮度图像。替代性地,可以通过单独的高度确定装置来确定位置。因此根据另一方面,本发明有利地涉及一种位置确定装置,所述位置确定装置用于尤其重复地确定空间中的物体相对于所述位置确定装置的位置,所述位置确定装置包括:具有像素的2D布置的2D相机,所述相机被配置用于尤其重复地记录所述空间的图像;高度确定装置,用于确定所述空间中所述物体的高度;以及控制单元,所述控制单元连接至所述相机和所述高度确定装置,并且包括用于处理所记录的图像的图像处理装置,其中,所述图像处理装置被配置用于基于一个或多个图像处理指标来识别所述2D图像中的可能物体,以及通过分析所述2D图像和所确定的高度来确定相对于所述相机的位置。在这种情况下,3D相机被替换为标准2D相机。这具有的优点是,与3D相机的情况相比,信息密度和图像频率可以(显著)更高。同样,在这种情况下,使用RGB相机更容易,因此呈颜信息形式的更多信息可用于检测和识别物体。

高度确定装置不受具体限制,但是有利地包括激光测距仪或一系列光电管。这使得可以以相对简单的方式测量物体的高度,例如使用激光测距仪在物体上方的竖直布置,或光电管(一侧为发射器,另一侧为检测器)的侧向布置。在本发明的上下文中,“物体”通常是乳畜动物。在这种情况下,尤其在脊柱位置处的高度是重要的。例如,这可以通过激光扫描仪移动器、旋转反射镜等横向移动跨过乳畜动物来进行测量。对于光电管,可以侧向设置一系列光电管,其中最高的管记录指示动物的上边界的辐射。

此外本发明涉及根据权利要求8所述的挤奶装置,尤其是用于对乳畜动物进行挤奶的挤奶装置,所述挤奶装置包括挤奶杯、用于将所述挤奶杯附接至所述乳畜动物的乳头的机器人臂、以及用于控制所述机器人臂的机器人控制单元,其中,所述控制单元包括根据本发明的位置确定装置。对于这种挤奶机器人装置,有利的是具有令人满意的、可靠的且快速的位置确定装置,因为乳畜动物由于成长和由于乳房充盈,会随着时间会改变形状,而且此外显然相对于彼此的形状和尺寸也明显不同,并且此外由于压力或玩乐而可能会做出或多或少的激烈运动。在所有这些情况下将挤奶杯正确且快速地附接至乳头是重要的。例如在这种情况下,为了防止关于动物的不必要的动乱和其他不便,并且为了使挤奶装置的容量尽可能大,机器人臂的移动次数必须保持是有限的。本发明通过新的动物定位装置来实现。因此,所给出的、包括有利的和特殊的实施例在内的描述完全适用于根据本发明的挤奶装置。

在实施例中,所述位置确定装置被配置用于确定所述乳畜动物的乳头的位置。如上文描述的,将挤奶杯附接至乳头是自动挤奶装置中机器人臂最重要的任务。在这种情况下,应注意的是,不仅是乳畜动物本身在移动,而且带有乳头的乳房由于相对于例如奶乳畜动物的腿被柔性地悬吊而也可以移动、并且因此非常容易在空间中移动。此外,由催产素触发的泌乳反射仅持续有限的时间,因而出于这个原因,将挤奶杯快速且高效地附接至乳头也很重要。本发明通过使得能够将图像中的乳头与例如腿、尾巴或栅栏高效地区分来辅助这点。

在实施例中,所述挤奶装置包括用于对所述乳畜动物进行挤奶的挤奶畜棚,并且所述位置确定装置被配置用于确定挤奶畜棚中是否存在乳畜动物和/或确定所述乳畜动物在所述畜棚中的位置。特别地,所述机器人控制单元被配置用于基于由所述位置确定装置确定的所述乳畜动物在挤奶畜棚中的位置来控制所述机器人臂。

重要的是不要不必要地移动机器人臂,而仅当挤奶畜棚中确实存在乳畜动物时才移动。如果乳畜动物移动得太快,也可能危险。大多数乳畜动物、尤其是奶牛是非常大的,以至于可以通过从一个或两个像素确定图像中适当位置处(例如挤奶畜棚的中心)的距离来容易识别它们,并且将其与先前进行的背景测量进行比较。确定乳畜动物在挤奶畜棚中的位置甚至可能更为重要。其原因在于,基于该信息,可以将机器人臂高效地布置在乳畜动物的下方。一方面,这可以例如防止与腿的碰撞。另一方面,机器人臂和布置在其上的乳头检测装置一起可以布置在基础位置,使得基础位置可以甚至更快地确定乳头的位置。在这种情况下,乳畜动物的“位置”优选但非排他地是乳畜动物的后端的位置,例如尾巴根部的位置。尤其是对于奶牛,这是相对固定的点,此外这个点相对容易确定。为此,参考1984年翻译成英文的标题为“Report of study and investigation concerning milking systemfor milk cow aiming at resource saving and high productivity breeding[旨在节约资源和高产育种的用于奶牛的挤奶系统研究与调查报告]”。该文献教导了在从上方拍摄的奶牛的2D图像中寻尾巴的附接点以便使附接高效,然后基于先前确定的乳房/乳头位置与尾巴附接点的位置之间的相关性来定位具有乳头检测装置的机器人臂。

碰巧,乳畜奶牛和其他乳畜动物的高度相差很大,在牛中可以达到半米。如果尾巴的根部不在相机的竖直下方,相对于此竖直方向在不同高度处的侧向移位将导致在x,y平面上位置的不同。根据本发明,当已知乳畜动物的高度时,可以更准确地确定正确的位置。并且正是这个高度可以通过对乳畜动物的仅单一像素进行距离(即高度)测量而容易地确定。由于奶牛的顶侧相对平坦,因此像素的选择不受具体限制。也可以使用指示了几乎恒定高度的其他容易识别的点。然而,在脊柱上取一点是有利的,这可以以根本上有利的方式通过沿着已被识别为乳畜动物/奶牛的物体在纵向方向上观察时的中心选择一点来完成。这些点形成几乎与脊柱相对应的线。对乳畜动物/奶牛高度的了解使得将侧向移动后的位置耦合至空间位置更加容易。当跟随乳畜动物在空间中的位置时,这一点尤为明显,这进而在附接移动的乳畜动物时是重要的。

在替代性实施例中,挤奶装置设有根据本发明第二方面的位置确定装置,其中所述高度确定装置包括用于识别要被挤奶的乳畜动物的动物识别装置、以及操作性地连接至所述挤奶装置的数据库,所述数据库包含每个乳畜动物的高度,并且其中,所述高度确定装置通过从所述数据库中检索与所识别的乳畜动物相关联的高度数据来确定所述乳畜动物的高度。然后,在自动或挤奶机器人装置中总是设置的动物识别装置在要被挤奶的乳畜动物出现在挤奶畜棚中时,识别该乳畜动物并且接着从数据库中检索与该乳畜动物相关联的高度值。由于高度是根据先前存储的数据确定的,因此无需单独的高度测量装置。另一方面,因此不能考虑由于成长而已经改变的高度或被错误输入的高度。

现在将参考附图解释本发明,在附图中:

-图1示出了根据本发明的挤奶装置的图解侧视图;

-图2示出了由根据本发明的位置确定装置记录的图解图像,

-图3示出了根据现有技术的用于确定位置的图,以及

-图4示出了使用根据本发明的位置确定装置来计算坐标的图。

图1示出了根据本发明的挤奶装置1的图解侧视图。挤奶装置1包括在机器人臂3上的挤奶杯2、以及乳头检测相机4。3D飞行时间(TOF)相机用附图标记5表示,并且替代性的TOF相机用附图标记5'表示,后者位于朝向杆8上的小推车7的连接臂6上。

在这种情况下乳畜动物是奶牛,用附图标记9表示,并且具有乳头10。TOF相机5具有发射射线11,而附图标记12表示朝向乳头10之间的中心正上方的点P的线或方向。尾巴根部的位置用字母S表示。最后,附图标记13表示控制单元。为清楚起见,没有示出或表示常规的组件,例如3D TOF相机5、5'中的光源,以及并入后者中或控制单元13中的图像处理装置。

这样的挤奶装置1自动将挤奶杯2附接至乳头10。为此,乳头检测相机4确定乳头10相对于相机的位置。优选地将相机4放置在乳头附近,之后才可以确定乳头的位置。在这种情况下,经常使用以下事实,即乳房并且因此乳头相对于奶牛9的固定点的位置是相对稳定的,除了奶牛缓慢成长之外。然后,有利的是知道例如尾巴的根部S的位置与乳头的位置之间的关系,乳头的位置要么呈在乳头的中心正上方的点P形式,要么在将挤奶杯2附接至乳头10之后确定。这样的关系可以存储在控制单元13中。在随后的挤奶操作期间,则检测相同的点S(或者,如果期望,为另一个先前确定的点)并通过这个关系来确定点P和/或直接确定乳头的相关联估计位置就足够获得良好的基础位置来使机器人臂3摆入并且放置乳头检测相机4。

本身已知使用3D相机来确定点S的位置,这是通过生成奶牛9的3D表示,并且在3D中通过例如观察边缘检测(其中奶牛高度快速下降)等对其进行分析。根据本发明,这样的3D分析不是必需的,并且它足以测量到相机5(或5')、例如到点P的单一距离。稍后将对此进行解释。

所展示的3D TOF相机5具有相对较宽的发射光线11,因此很有可能奶牛9将在图像中足够清晰地出现,并且相机5可以记录相关的一个或多个点。替代性地,还可以通过连接臂6将3D TOF相机5'安装到小推车7上,小推车可沿挤奶装置1的杆8移位。因此,相机5'可以总是以最佳方式定位,在这种情况下,相机5'的射线可以更窄是有利的,因此提高了3D TOF相机5'的可靠性、准确性和光照度。

例如,在放置小推车时,而且还在试图到乳房/乳头的位置与尾巴的根部S的位置之间的上述关系时,使用动物识别。在每个自动挤奶装置中,通过标签和标签读取系统(为简单起见,此处未单独示出)可识别奶牛。

图2示出了使用根据本发明的位置确定装置记录的图解图像。为清楚起见,该图像仅示出轮廓20。可以例如通过边缘检测技术、亮度阈值或本身已知的其他图像处理技术到轮廓20。轮廓并非总是能如此清晰地立即到,但是经常以令人满意的方式通过对所预期的物体的了解(例如,通过动物识别和在这种情况下,对奶牛的了解)以及算法形式的人工智能来内插。被轮廓环绕的这样一组像素被解释为“物体”。可以通过确定到该物体中的点的距离并将其与背景值(即,在没有任何物体存时所测量的距离)进行比较来支持对这种物体的检测。

在根据图1的挤奶装置1的情况下,这相当于确定相机5、5'的观看方向与到挤奶装置的地板的参考距离之间的相关性。如果识别出物体,在这种情况下是奶牛的轮廓20,如果到物体的中心的点的测得距离、或者例如沿着线12到点P的测得距离(远)小于相关联参考距离,则可以确认存在。

也有可能在图像中识别出若干候选物体。然后,控制单元可以通过对每个候选物测量距离来分析候选物体,并且不仅将其与参考距离进行比较,而且还与该距离的预期值进行比较,例如基于确定的动物身份或对进入挤奶装置中的奶牛9的常识。

然后,控制单元13对轮廓20进行分析。下面列出了一些有用的分析步骤,但要强调的是,其他步骤也是可能的。

首先,通过确定轮廓的纵向方向并将其一分为二来确定奶牛在图像中的中心线21。原则上,这条中心线21代表奶牛的脊柱的位置、以及奶牛背部的最高点连线。原则上,这条中心线也可以从轮廓的平行切线R1与R2之间的中心确定。

随后,以与中心线21成直角的方式确定轮廓20的切线R3。在这种情况下,控制单元将中心线21与切线R3的交点22确定为固定点。这个点22对应于奶牛尾巴的根部的位置。乳头相对于这个尾巴根部的预期位置可以由控制单元确定。这通过例如在四个乳头之间的中心处的点P的位置来确定,该点沿着中心线21在向前方向上位于距离D处。原则上,该距离D是固定值,该固定值只会在成长的奶牛上发生变化,但是一旦附接了挤奶杯就可以容易地被确定。此外,可以为每个单独的乳头10确定相对于所述点P的参考位置,从而随后的机器人臂可以将挤奶杯带到更精确的起始位置。

最后,在中心线上的一点上,例如在与点P在中心线上的投影相对应的点上,确定奶牛的高度,并且在图中,该点显然与点P相对应。对于图像中与该点相对应的像素,通过相机的3D特性来确定该高度。这样,其位置可以根据(参考)距离D与奶牛的总长度之间的比率令人满意地确定。对于成长的奶牛,这个比率也可能会不时更新。应注意的是,原则上,点P的高度很好地对应于点22的高度,将要确定的是尾巴根部的位置。当然,这个点22也可以用于测量距离并根据距离来测量高度或甚至坐标。然而,点P的高度可以更容易且更准确地确定,因为点P位于奶牛的或多或少平坦的部分上,并且相比之下点22位于边缘上,从而通过对于点P利用3D TOF相机进行距离确定是更可靠的。通常,因此有利的是,用于确定动物高度的点不位于轮廓20上,而是相反地在所有侧被图像中物体的其他点环绕。例如,也可以将轮廓20的几何重心用作替代性的点。由于奶牛背部的相对平坦性,其高度仍然很好地对应,因此偏差仍然是可接受的。

图3图解地示出了根据现有技术的用于确定位置的图。在此,将展示必须提高上述确定位置的方式。毕竟,在现有技术中,控制单元通过相机的图像确定奶牛图像的固定点的x和/或y坐标。在该图中,指示了例如通过对于图2描述的方法所确定的那个点22。应注意的是,在此,点22在线y=0之外。这对应于并不确切位于相机下方中央的奶牛,毕竟这是很容易存在的。此外,相对于与相机中心相对应并且用字母“O”表示的原点(0,0)指示对x和y坐标的校准。根据该校准,点22的坐标将等于(xm,ym)。然而,这没有考虑点22所位于的高度,即z坐标。实际上,控制单元不是从相机的奶牛图像来确定点22的真实坐标,而是一方面确定x-y平面中的角度β(极坐标)以及与经过原点的竖直线之间的角度α。这个角度是奶牛图像中的点22与原点之间的距离的直接并且明确的函数。换句话说,在与“O”相关联的像素周围的像素半径为A的每个环(即,在所展示地板表面上的竖直投影)与同竖直方向的角度α相关联。该函数仅需确定一次,并且甚至可以基于相机的光学特性、尤其是透镜和具有像素的成像装置的图像角度来计算。清楚的是,在角度α不等于零时,不能确定x和y的唯一值集。相反,可以根据奶牛图像中的距离A确定与竖直方向的角度α。

因此,在不知道相机下方的高度或地板表面上方的高度的情况下,就无法确定“真实的”x和y坐标。根据本发明,如果知道关于高度的更多信息,则实际上可以准确地确定那些真实坐标,如通过图4展示的。

图4图解地示出了使用根据本发明的位置确定装置来计算坐标的这样的图。奶牛图像除了原点O外还示出了点22(=尾巴的根部)以及点P(针对这个点来确定到相机的距离)。对于点P,到奶牛图像中原点的距离被确定为AP(为任意单位)并且由其确定角度αP、以及经过奶牛图像中“O”和P的线相对于线y=0的角度确定为βP。对于点22,相应的值被确定为A22、α22和β22。此外,对于点P通过3D TOF相机来确定到相机的真实距离d。相机下方的高度hP,即O点下方的高度,可以根据下式确定:

hP=dcos(αP)。

该高度等于点22的相应高度。在一些测角计算后,然后可以确定空间中的点22的坐标为(在每种情况下,除了减号之外):

x22=d(sinαP/tan(α22))x cos(β22)

y22=d(sin(αP))/(tan(α22))x sin(β22)

h22=hP=dcos(αP)

顺便提及,3D TOF相机通常已经包括或被提供有自动确定所测量像素的坐标的程序,因此不必执行整个上述方法。然而,应注意的是,坐标被如此确定的点仍必需由用户确定或由控制单元自动确定。

另一个重要的注意是,这个示例使用了以下事实,即动物的取向与线y=0平行。如果动物成一定角度,则还必须通过例如对所确定的轮廓20进行2D分析来确定取向,以便考虑点S的位置与乳头/点P的位置之间的关系。

清楚的是,关于例如对用于确定高度的点和坐标的计算方式的选择可能存在变化。再次强调,本发明提供了优点,因为它仅分析二维图像,并且通过单一距离测量极大地提高了从该二维图像来确定位置的准确性,而无需三维图像分析,该三维图像分析需要大量的计算能力。

还应注意的是,可以针对奶牛的两个或三个点来测量距离,并确定它们的坐标。以这种方式,可以更好地考虑到奶牛或其他乳畜动物的形状特性,但是仍然不必分析复杂的3D表示。例如,这2个确定一条线或相应地3个点确定一个平面,因而,例如奶牛的取向就变得更加清晰。进而,因此可以以最佳方式使用尾巴的根部位置与乳头位置之间的关系。

另一替代方案涉及具有优选地设置在TOF像素之间的附加RGB像素的3D TOF相机。这使得可以在图像中收集附加的颜信息,这可以例如通过所确定的候选物体可以被排除的事实、或者通过由于匹配颜等而容易确定两个或多个候选物属于一体的事实来辅助控制单元对2D图像进行分析。

最后,在此指出,所展示示例中的位置确定装置旨在确定动物的位置。然而,也可以确定其他物体的位置。这通常是指畜棚,能够自由移动的实体(物体、动物、人)在每种情况下在该畜棚内终止。可以考虑在动物园或野外的(牢笼)笼子,人们可能在其中的空间中终止,等等。

这里提及的具体示例涉及如图1所示的挤奶装置。在此展示的乳头检测相机4原则上也可以设计为根据本发明的位置确定装置。在这种情况下,该相机拍摄存在可见的一个或多个乳头的照片。考虑具有相机4的机器人臂3优选已经处于使得图像中可见一个(或可选地若干)乳头的位置。该图像也是2D图像,并且同样,到乳头上的一点的单一距离测量将足以以足够的准确性确定相对于相机4的位置。这里,用“乳头10的轮廓”代替“奶牛9的轮廓”,并且可以采用上述方法。因此,在此不需要进一步的阐述。然而,应注意的是,在这种情况下,在图像中识别出若干物体的出现频率会更高。通常,则会期望对每个识别的物体(至少对于每个乳头)执行距离测量。因此,例如容易确定乳头是前乳头还是后乳头,或甚至是后腿。在这种情况下,也可能更准确地将识别的物体进行分类。例如,可能发生图像中的前乳头和后乳头部分彼此覆盖的情况。于是,整个物体不再类似于乳头,而是更类似于以“W”型为轮廓的物体。在这种情况下,控制单元/相机4可以测试W的两个支腿是否处于(相当大的)不同距离处。如果是这样,则可能是一组两个乳头。由此,控制单元可以关于“W”的轮廓以及如何将其分为两个乳头做出某些决定。

所描述的实施例和所提及的替代方案并非旨在进行限制。保护范围由所附权利要求确定。

本文发布于:2024-09-25 19:13:55,感谢您对本站的认可!

本文链接:https://www.17tex.com/tex/3/71873.html

版权声明:本站内容均来自互联网,仅供演示用,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系,我们将在24小时内删除。

留言与评论(共有 0 条评论)
   
验证码:
Copyright ©2019-2024 Comsenz Inc.Powered by © 易纺专利技术学习网 豫ICP备2022007602号 豫公网安备41160202000603 站长QQ:729038198 关于我们 投诉建议