采摘机器人分割与识别算法的研究现状

 山东农业科学 2021,53(10):140~148ShandongAgriculturalSciences DOI:10.14083/j.issn.1001-4942.2021.10.022
采摘机器人分割识别算法的研究现状
李天华1,2,3,孙萌1,娄伟1,2,张观山1,2,李玉华1,2,李钦正1
(1.山东农业大学机械与电子工程学院,山东泰安 271018;
2.山东省农业装备智能化工程实验室,山东泰安 271018;
3.农业部黄淮海设施农业工程科学观测实验站,山东泰安 271018)
  摘要:针对人工采摘效率低、成本高且劳动力缺乏的问题,利用采摘机器人实现果实的自动化采摘日益成
为研究的热点。视觉识别作为采摘机器人的关键技术之一,其发展对实现自动化采摘具有重要意义。采摘环
境的复杂性为机器人正确识别目标带来了困难,使得目前的识别算法研究仍面临着较大的挑战。本文阐述了
常见的几种目标分割识别算法,并将其归纳为基于特征、像素和深度学习的三类识别方法,综述了国内外学者
在采摘机器人识别目标时应用到的分割和识别算法,并对目前存在的问题进行总结,同时对今后的研究趋势
进行展望,以期为采摘机器人的研究设计提供参考。
关键词:采摘机器人;分割算法;识别算法
中图分类号:S126  文献标识号:A  文章编号:1001-4942(2021)10-0140-09
ResearchStatusofPickingRobot
SegmentationandRecognitionAlgorithms
LiTianhua1,2,3,SunMeng1,LouWei1,2,ZhangGuanshan1,2,LiYuhua1,2,LiQinzheng1(1.CollegeofMechanicalandElectricalEngineering,ShandongAgriculturalUniversity,Taian271018,China;
2.ShandongProvincialEngineeringLaboratoryofAgriculturalEquipmentIntelligence,Taian271018,China;
3.ScientificObservingandExperimentalStationofEnvironmentControlledAgriculturalEngineeringin
Huanghe Huaihe HaiheRegion,MinistryofAgriculture,Taian271018,China)Abstract Inviewoftheproblemsoflowefficiency,highcostandlackoflaborforceofmanualpicking,theautomaticpickingoffruitsbypickingrobotshasbecomeahotresearchtopi
c.Asoneofthekeytechnolo giesofpickingrobot,thedevelopmentofvisualrecognitionisofgreatsignificancetorealizeautomaticpick ing.Thecomplexityofpickingenvironmentmakesitdifficultforrobottocorrectlyidentifythetarget,sotheresearchonthecurrentrecognitionalgorithmisstillfacinggreatchallenges.Thispaperexpoundsseveralcom monkindsoftargetsegmentationandrecognitionalgorithms,andtheyweresummarizedasthreekindsofrec ognitionmethodsbasedonfeature,pixelsanddeeplearningapproach.Thescholarsathomeandabroadwerereviewedinsegmentationandrecognitionalgorithmsforpickingrobotsandappliedtoidentifythetargets.Theexistingproblemswerealsosummerized,atthesametime,theresearchtrendinthefuturewaspointedout,whichwasexpectedtoprovidereferencesfortheresearchanddesignofpickingrobot.
Keywords Pickingrobot;Segmentationalgorithm;Recognitionalgorithm
收稿日期:2021-08-10
基金项目:山东省现代农业产业技术体系蔬菜产业创新团队项目(SDAIT-05-11);山东省重大科技创新工程项目(2019JZZY020620);
山东省农业重大应用技术创新项目(SD2019NJ004)
作者简介:李天华(1976—),男,山东泰安人,博士,教授,主要从事智能农机装备研究。E-mail:lth5460@163.com
通信作者:娄伟(1974—),男,山东泰安人,硕士,副教授,主要从事智能检测与自动化技术研究。E-mail:chinalwei@126.com
  采摘是果蔬生产的重要环节之一,需要消耗大量的人力、物力。随着生活水平的提高,人们对果蔬的需求量逐年上升,而与之相对的是劳动力严重缺乏的问题。根据测算,我国自2000年开始逐渐进入人口老龄化阶段,老龄化趋势日益严重,预计到2025年人口老龄化率达到14%,进入深度老龄化社会阶段,到2035年达到21%,进入超级老龄化社会阶段[1];另外,随着农村人口
逐渐向城市流动等问题,农村劳动力流失严重,劳动成本不断提高。因此,实现智能化采摘对于我国果蔬产业可持续发展尤为迫切,采摘机器人的研发成为当前研究的热点。对于采摘机器人来说,要准确高效地完成目标果实的采摘,识别是关键,直接影响采摘的效率和精度。
人类对于采摘机器人识别技术的研究从很早就已经开始了,1968年Schertz和Brown[2]就将机器视觉引入到了果实的识别中,1977年Parrish等[3]建立了第一个用于识别苹果的视觉系统。近年来有关分割识别算法的研究也有很多,这对于提升采摘机器人的识别准确性具有重要意义。但实际生产应用的采摘环境复杂,影响识别准确性的因素较多,如何精准识别目标果实仍是目前亟待解决的问题,这使得采摘机器人仍难以广泛应用到实际采摘中。本文综述了近年来用于采摘机器人的分割识别算法,分析了目前仍面临的问题与挑战,并对未来分割识别算法的发展趋势进行了展望。
1 基于特征的识别
通常我们在分辨一个物体是不是需要的目标时,先会利用其颜、形状以及纹理等特征进行直观判断。因此,在设计采摘机器人对目标进行识别时,最直接的方式就是对目标特征进行匹配,其中最常用的是基于颜和形状特征的分割识别算法。
1.1 基于颜特征的分割识别算法
如果目标果实自身的颜与背景相差较大,颜就是区分目标与复杂自然背景最突出的特征之一,利用该特征,选用合适的颜空间,就可从图像中提取出目标果实区域。
常用的基础颜空间有RGB、HIS、Lab、YIQ、YUV、HSV等,选择或构造能使目标果实与背景颜差异明显的颜通道,就可以有效地分割出图像中的目标果实区域[4]。如Thendral等[5]基于YIQ、Lab等颜空间对目标果实进行了分割与识别;Feng等[6]基于HIS颜空间对图像进行了识别;王晓楠等[7]基于HIS彩模型对图像进行了分割识别;Malik等[8]基于改进的HSV将红番茄从背景中识别出来;Ling等[9]通过对RGB图像进行颜分析,结合分类器实现了番茄的检测识别。
由于基础的颜空间对某些目标的识别效果会受到光照环境的影响,为了降低这种影响,改善识别效果,有些学者通过对颜通道进行加权运算或组合等处理,突出需要识别的目标,从而提高识别精度。如Zhou等[10]提出了一种基于差R-B和G-R的苹果识别算法,用R-B>40识别偏绿的苹果,R-G>0识别红的苹果;麦春艳等[11]利用差R-G将目标苹果图像从背景中识别出来;董建民等[12]通过融合HSI颜空间和Lab颜空间的分割结果完成对番茄的识别。
通过颜特征直接分割识别自身颜与背景差异较大的目标果实,只需按照基础颜空间中的颜通
道进行分割,不需要经过建模等过程就可以达到较好识别效果,具有运行速度快、准确度和实时性较高等特点。而对于一些在单一基础颜空间中无法达到较好识别效果的目标,可以通过对颜通道进行组合等处理获得较好地识别效果,但不同颜通道的组合过程比较困难,且适用的目标有限。
1.2 基于形状特征的分割识别算法
形状也是识别果实的重要特征性状,因此利用形状特征对采摘目标进行分割识别可行。常用的分割识别算法有三种:基于曲率的算法、基于边缘信息的边缘检测、基于任意规则几何形状的霍夫变换。
对于轮廓为弧形的果实,如柑橘、番茄等,可以通过曲率信息或直接利用圆形特征对目标进行识别。Xiang等[13]基于边缘曲率分析与圆回归相结合的方法实现了对相互粘附的番茄的识别。Si
 第10期         李天华,等:采摘机器人分割与识别算法的研究现状
等[14]基于随机环法(RRM)从轮廓图像中提取果形特征。孙建桐等[15]以串收番茄为研究对象,在图像预处理的基础上,提出一种基于几何形态学和迭代随机圆相结合的目标提取算法。刘妤等[16]通过一种基于轮廓曲率和距离分析的分割方法,实现了重叠柑橘的识别。
当目标与背景的亮度差异较明显时,边缘信息也可作为图像分割识别的基本特征之一。常用的边缘检测算子主要有Canny算子、Prewitt算子等[4]。Fu等[17]采用Canny算子等传统的图像处理方法实现了目标果实的检测。刘现等[18]基于Canny边缘算子对福橘进行检测,提升了福橘智能分选的效率。陈礼鹏等[19]通过对去除了小面积区域后的图像进行Prewitt算子边缘检测,完成了对多目标猕猴桃果实的识别分割。
此外,对于规则几何形状果实还有一种常用的算法———霍夫变换检测,其通过线条特征来判别形状的种类,可检测任意给定的几何形状,通常与边缘检测算子一起使用。周文静等[20]利用圆形Hough变换(CHT)对葡萄果粒进行了识别;Gongal等[21]使用圆形Hough变换对图像中的苹果目标进行了分割识别。当采摘点为果实的果梗部分时,霍夫变换也可用来定位采摘点。如熊俊涛等[22]利用霍夫直线拟合结合角度约束法到主穗梗所对应的直线,并将直线的中点确认为采摘点,实现了扰动葡萄采摘点的定位。
基于果实形状特征的分割识别算法应用广泛,此处比较了三类常用算法的优缺点,如表1所示。
  表1 基于形状特征的常用分割识别算法的优缺点算法优点不足
基于曲率的算法具有平移和缩放不变性;对噪
声也具有较好的鲁棒性;能够
较好地描述轮廓的形状
不能反映形状的内部结构及层
次关系;不适用于多层次复杂
形状的描述
边缘检测Canny和Prewitt两种算子都具
有抗噪声干扰的能力,但Canny
算子因对弱边缘的检测效果较
好而更为常用
边缘连接处可能会产生间断和
空白;对于假性边缘的识别和
分割易出现错误
霍夫变换适用的几何图形多;具有一定
的抗干扰能力;可同时检测多
条边缘
时间和空间复杂度都很高;计
算量随参数个数指数级上升;
噪声过多时会失去作用
2 基于像素的识别
基于像素对图像进行处理也可以实现对目标
物的分割识别。一般需将采集的原始图转换成灰
度图,即对像素值进行0或1转换形成二值化图
像,此时的灰度值即为像素值。常用的基于像素
的分割识别方法有阈值分割法、区域生长法以及
归一化识别算法。
2.1 基于阈值的分割识别算法
对于目标和背景占据不同灰度级范围的图
像,可以使用阈值分割算法,包括固定阈值分割和
动态阈值分割两种方法。阈值分割只适用于灰度
图,因此需要先对采集的图像进行灰度处理。Xu
等[23]利用HSV颜信息识别目标草莓,并通过
固定阈值实现了草莓图像的分割。
动态阈值分割法中最常用的是最大类间方差
算法(Otsu),其通过计算方差寻灰度级,将图像
分成两个部分,使得同部分间的灰度值差异最小,
而不同部分间的灰度值差异最大,从而实现目标
ca1214的分割。Lü等[24]利用Otsu对苹果图像进行了分
割识别。Dai等[25]在进行了2R-GB差法灰度
值变换后,采用自适应阈值Otsu算法对图像进行
了分割。梁喜凤等[26]通过对R-G直方图采用
Otsu进行动态阈值分割,实现了对目标果实串的
分割。王冰心等[27]通过Otsu动态阈值分割法对
果实簇区域进行了分割识别。齐锐丽等[28]通过
HSV空间的H分量与改进的Otsu算法相结合的
方式,实现了花椒图像的分割。
固定阈值分割算法的处理速度快,实时性较
好,但其对于光照变化的适应能力有限,而大多数
采摘机器人的工作环境较为复杂,外界光照条件
变化较多,因此固定阈值算法的分割效果往往欠
佳。而动态阈值分割法的阈值是通过计算得出
的,会随着光照的变换而动态计算合适的阈值,受
亮度等的影响较小,适用范围更加广泛。张日升
等[29]在利用阈值分割法对浒苔进行识别时发现,
固定阈值法的分割精度较低,而Otsu的分割效果
较好(图1)。
1山东农业科学              第53卷 
图1 浒苔图像的固定阈值分割与Otsu分割效果对比
2.2 基于归一化法的识别算法
归一化互相关匹配(NCC)是基于灰度特征的匹配方法中比较经典的算法,其基本原理是将模板图像与待搜索图像的灰度矩阵进行比较,得到相关性最高的匹配位置。归一化互相关匹配算法具有较好的鲁棒性和很高的匹配精度,但是计算量很大,不能满足实时性要求较高的系统[30]。因此在实际应用于采摘机器人时,通常要根据采摘需求对NCC进行改进。赵德安等[31]通过对图像进行快速归一化匹配,实现了对重叠果实的跟踪识别。Li等[32]利用基于快速归一化互相关的方法,利用室外采集的彩图像对未成熟的绿柑橘进行了识别。李寒等[33]利用快速归一化互相
关函数算法对绿熟番茄果实的潜在区域进行检测,实现了对目标果实的识别。吕继东等[34,35]采用FastInverseSquareRoot算法和快速哈特莱变换对去均值的归一化相关匹配算法进行加速优化,并用于识别目标果实,减少了振荡果实动态识别的匹配识别时间。
改进后的归一化算法运行速度有所提高,而且对于采集目标发生的较小的移动或旋转,以及光照变化带来的差等问题适应能力较强,通常用于振荡幅度较小时的目标果实识别。
2.3 基于区域生长的分割识别算法
区域生长法是基于像素进行处理的方法,通过将具有相似属性如强度、灰度级、纹理颜等的相邻像素合并到同一区域,实现成组像素或区域的增长,从而完成目标的识别。Tao等[36]将区域生长方法与RGB颜相结合,实现了目标苹果从背景中的识别。滕大伟等[37]把图像用G-B颜因子处理后,结合区域生长算法实现了图像的分割。卢夏衍等[38]通过多算法混合的区域生长算法实现了温室幼苗图像的分割。Sun等[39]使用区域生长法对叶子病变的区域进行了分割。
区域生长法能将具有相同特征的联通区域分割出来,可以提供很好的边界信息和分割结果。但计算较为复杂,实时性较差,而且对于阴影、光斑处的分割识别效果不是很好。因此,基于区域生长法的不足,有的学者对其进行了改进,以改善分割识别的效果。韩纪普等[40]基于超像素对区域生长算法进行了改进,使其能够在一定程度上解决分割空洞等问题。
3 基于机器学习的识别
机器学习作为实现智能化的关键技术之一,近年来被广泛应用于采摘机器人的视觉识别中,可分为无监督学习和有监督学习。机器学习在采摘机器人中较常应用的方法是聚类和深度学习。3.1 基于聚类的分割识别算法
聚类是一种无监督学习方式,只需要通过计算相似度把相似的东西分为一类,而不需要具体分析这一类是什么,通常不需要使用训练数据进行学习。根据聚类方式的不同,产生了许多聚类算法,本文对较常用的K均值聚类(K-means)和模糊C均值聚类(FCM)进行阐述。
K-means是基于划分的聚类方式,通过选择K个点作为初始中心点,然后对其他点进行迭代重置,最后划分成几类,使得类内的点都足够近,
灯管支架
 第10期         李天华,等:采摘机器人分割与识别算法的研究现状
类间的点都足够远,最终实现识别。Jiao[41]
与吴雪梅[
42]
等通过对Lab颜空间处理后的图像进行K-means聚类,分别实现了目标苹果与茶叶
嫩芽的分割识别。罗陆锋等[43]
利用HSV颜空
间和改进的K-means聚类方法,对葡萄图像进
行了分割。杨帆等[
44]
将K-means聚类算法与Canny边缘检测算法相结合,实现了遮挡或重叠
橘子的分割识别。N
iu等[45]将K-means聚类算法与凸壳理论相结合,实现了对目标苹果的分割识别。
FCM是一种基于模糊划分的聚类方式,通过
判断每个点的隶属度来进行聚类。王富春等[
46]
提出了一种基于FCM的目标识别方法,通过利用FCM对图像进行模糊聚类,并对聚类后的果实图像与丢失的部分目标图像进行相加,完成了番茄
的识别分割。熊俊涛等[1]
利用FCM算法分别与一维随机信号直方图分析法[
47]
、Hough变换直线拟合[48]以及Otsu[49,50]
相结合,实现了荔枝果实的分割与识别。Yang等[51]基于HSV彩空间结
合基于S分量的快速FCM算法,将白菊花从背景中分割识别出来。
分别用K-means与FCM算法对同一张图片进行处理,其显示的二值化图像如图2所示。通过对两种聚类方法优缺点的比较(表2),可以看出,K-means聚类处理数据的速度快,在图像识别过程中有较好的实时性,但其抗干扰能力较差,且对于K值的选取较为困难;而FCM识别的结果更加合理,但计算量较大,识别速度不如K-means
聚类快。
图2 K-means与FCM处理图片效果对比
  表2   K-means与FCM聚类方法比较
算法
优点
不足
K-means
巧克力工艺品
时间和空间复杂度较低,收敛
速度较快,实时性较高容易形成局部最优;对最优K
值的选择较为困难;对噪声和离值非常敏感
FCM
光纤光栅压力传感器
对于满足正态分布的数据聚类效果会很好;对孤立点敏感
不能确保FCM收敛于一个最优解。算法的性能依赖于初始聚类中心
3.2 基于深度学习的分割识别算法
深度学习作为近些年快速发展的技术,逐渐被广泛应用于采摘机器人分割识别图像,其主要通过神经网络对大量目标图像的数据集进行训练,从而实现目标果实的分割识别。用于图像识别的神经网络有很多,其中最常用的是Y黄大飞
OLO系列和R-CNN及其衍生网络。闫建伟等[52]
提出
水褥子了一种基于FasterRCNN改进的网络,实现了自
然环境下刺梨果实的识别。张袁熙[53]
利用
Mask-RCNN与KinectV2相机实现了果园中苹
果的分割识别。赵德安等[54]用YOLOv3神经网络实现了复杂环境下苹果的识别。熊俊涛等[
55]基于改进的YOLOv3网络对夜间自然环境下成
熟的柑橘进行了识别。闫建伟等[56]
采用带有残
差模块的Y
OLOv3神经网络对刺梨果实进行了识别。
基于深度学习的分割识别算法具有较好的识别效果,但为了提升其识别性能,大多数网络的结构都比较复杂,且不同的网络在速度或精度上都有不同的优势和不足。本文对果实采摘中最常用的两种网络及其部分衍生网络进行对比发现,识别精度较好的网络,如R-CNN系列的two-stage网络,检测速度通常较低,在实际应用中的
441山东农业科学              第53卷 

本文发布于:2024-09-21 12:44:38,感谢您对本站的认可!

本文链接:https://www.17tex.com/tex/4/111171.html

版权声明:本站内容均来自互联网,仅供演示用,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系,我们将在24小时内删除。

标签:识别   分割   进行   算法   采摘   目标   图像
留言与评论(共有 0 条评论)
   
验证码:
Copyright ©2019-2024 Comsenz Inc.Powered by © 易纺专利技术学习网 豫ICP备2022007602号 豫公网安备41160202000603 站长QQ:729038198 关于我们 投诉建议