刘㊀丹1,2,3，王㊀卓1,3，白晓平1,3，赵泳嘉1,3
(1.中国科学院沈阳自动化研究所，沈阳㊀110016; 2.中国科学院大学，北京㊀100049; 3.辽宁省农业装备智能化技术重点实验室，沈阳㊀110016)
摘㊀要：传统粮食收获过程中收割作业和卸粮作业是分开的，为了提高粮食收获效率，采用收获机-运粮车协同作业的方式，以实现不停车卸粮，并利用视觉检测粮箱装载状态，提供相对位置调整策略㊂首先，建立了收获机-运粮车模型，根据模型分析收获机与运粮车的位置关系；其次，对相机的安装位置和安装方式进行设计，采用相机俯仰角度和垂直位置可调的固定支架，保证方法和装置的通用性；最后，采用具有低畸变广角的彩数字相机获取图像后利用视觉算法进行处理，得到粮箱装载状态㊂实验结果表明：本方法能够通过视觉检测出粮箱装载状态，根据装载状态调节运粮车与收获机的相对位置㊂ 关键词：收获机-运粮车；视觉检测；装载状态；相对位置
中图分类号:S225;S229㊀㊀㊀㊀㊀㊀㊀文献标识码:A文章编号:1003-188X(2021)12-0254-05
0㊀引言
随着新型工业化㊁信息化㊁城镇化的不断深入推
进，完善农业机械的结构设计，加强以信息化技术为
主的农业机械智能化㊁自动化成为现代化农业发展的
必要选择[1]㊂目前，农机调度与协同作业决策方法缺乏，农机故障预警及诊断准确率不高，作业质量难以
定量评价，导致农机作业效率低；而智能化的农机装
备能够实现多个农机协同作业，通过对各个农机的状
态分析与处理实现自动化的控制㊂
联合收获机-运粮车主从协同导航是一种典型的
主从协同作业场景，国内外的学者针对该作业模式进
行了研究㊂文献[2]提出了一种收获机-运粮车主从
作业方式，运粮车的行为可以通过收获机进行控制㊂
收获机-运粮车协同作业过程中，运粮车需要根据自
身装载状态微调收获机-运粮车的相对位置关系，从
而调整卸粮口的位置，实现均匀卸粮㊂粮箱装载状态
在线检测是实现以上作业功能的基础，而关于这方面
的研究则未见文献报道㊂
类似的应用于其他系统的检测方法主要包括以
下4种，即分别采用机械传感器㊁超声波传感器㊁三维
激光扫描传感器和压力传感器[3-5]㊂机械传感器计量过程复杂，测量精度差；超声波传感器价格昂贵，收稿日期:2020-04-04
基金项目：国家重点研发计划项目(2017YFD0700403)
作者简介：刘㊀丹(1995-)，女，河北保定人，硕士研究生,(E-mail) 1078052474@qq㊂
通讯作者：王㊀卓(1976-)，男，辽宁绥中人，研究员，博士生导师,(E -mail)zwang@sia㊂维护成本较高，安装繁琐；三维激光扫描传感器对工作环境要求苛刻，对操作㊁维护人员要求较高；采用压
力传感器需要针对不同的被测谷物建立特定的数学模型，不具备灵活性和通用性㊂
近年来，计算机图像处理技术快速发展，机器视觉在农业生产中的应用也越来越广泛[6-8]㊂文献[9]通过采集堆料图像获取堆料边缘轮廓㊁堆积角度和料位高度等信息，计算自然堆积角，以识别装载状态㊂文献[10]通过分割图像得到感兴趣区域，对检测目标进行边缘提取与图像增强，检测到粮食边缘与运粮车边缘重合时即为装满㊂大部分装载状态检测设备其卸料过程是静止的或卸料口固定[11-13]，不能应用于收获机-运粮车协同系统中㊂
笔者采用最直观的视觉检测方法，干扰因素较少，能够保证粮箱谷物状态识别的鲁棒性和稳定性，在保证实时检测的同时也能够保证较高的精度，且数字相机传感器的成本更低㊂
1㊀整体方案设计
1.1㊀收获机-运粮车系统
收获机-运粮车协同作业系统中，收获机卸粮时卸粮臂与前进方向成一定夹角(见图1)，运粮车需要根据视觉检测出的粮箱装载情况，调节运粮车和收获机之间的相对位置，完成卸粮任务㊂
将运粮车粮箱部分分成5个模块，由协同作业时的位置关系可知：当一个模块装载完成时，其运粮车模块中心位置与卸粮臂的出粮口位置重合，可以根据导航系统下位置信息计算装载状态改变时收获机
电动开启天窗和
运粮车相对位置的变化㊂
图1中,O m为收获机位置;O m为运粮车位置;D 为出粮口位置;d为卸粮臂长度(m);φ为卸粮臂与前进方向夹角(ʎ)㊂
图1㊀收获机-运粮车主从协同
Fig.1㊀Harvester-grain owners from synergy
1.2㊀系统硬件组成
本文研究的是收获机-运粮车主从协同作业中运粮车装载状态检测装置㊂首先，需要对收获机-运粮车协同作业系统进行整体设计，硬件部分主要有彩数字相机㊁广角镜头㊁DSP视频卡㊁显示屏等，如图2所示㊂彩工业相机和广角镜头通过支架固定并进行图像采集，采集到的图像通过视频数据线传输到DSP视频采集和处理板卡㊂DSP视频采集和处理板卡利用采集到的图像数据进行分析处理，并进行检测判断运算，检测结果数据通过智能节点传输到CAN总线及显示屏，驾驶员根据检测信息调整运粮车与收获机之间的相对位置㊂
图2㊀系统硬件结构图
Fig.2㊀System hardware structure diagram 1.3㊀相机安装方式设计
实现粮箱装载状态的检测首先需要设计相机的
安装位置和安装方式㊂常见的堆料装载状态检测方
式分为基于接触线的检测和基于轮廓线的检测：接触
线检测料位的边缘与车辆接触情况，检测方式更为直
接；轮廓线检测的是堆料堆积的轮廓，需要结合散料
的堆积休止角来推算料堆与车厢内壁的接触位置，进
而判断是否装满[14]㊂因此，本装置采用基于接触线的检测，将相机安装在运粮车粮箱的窄边一侧，并采用
相机支架进行固定，如图3所示㊂工作时，低畸变的
广角镜头能够保证彩数字相机能够获取大视场范
围的图像㊂相机支架设计如图4所示㊂
图3㊀相机布设
Fig.3㊀The camera setting
1.U型槽㊀
2.底座㊀
3.螺栓㊀
空调消声器
4.支撑架
图4㊀相机支架设计
Fig.4㊀Camera bracket design
固定支架可以实现相机俯仰角度和垂直位置的
调节，保证装置的通用性，可在不同装载量的粮箱上
安装使用㊂相机通过下方的螺纹孔固定在带有U型
槽口的零件上，通过螺栓与带有螺纹孔的凸型底座固
定，螺纹孔实现了相机俯仰角度的运动调节,U型槽
口实现了相机垂直位置的运动调节㊂支撑架可以根
据实际粮箱的大小进行调整，避免相机俯视观察粮箱
产生遮挡㊂
1.4㊀实验平台搭建
根据收获机与运粮车协同作业时的关系，建立收获机-运粮车系统的模型，对模型中各部分进行选材，并搭建收获机-运粮车平台进行实验㊂收获机-运粮车模型与平台实物如图5所示㊂相机实现粮箱图像采集功能，安装时考虑采集图像的稳定和清晰，将其安装在运粮车前侧，避免遮挡㊂工业相机采用维视图像公司VS-250D高清晰彩工业相机,BNC视频信号接口，支持DSP数字信号处理技术㊂镜头选择AFT
-0420MP型号定焦镜头，广角为77.32ʎ，满足视场需求，畸变率底，最大限度地减少像差的发生㊂图像采集卡主要采用DSP+FPGA结构,TMS320C645芯片，内存总线独立，可支持千兆高速网络接口㊂
图像采集卡将视觉信号转化为数字信号，并存放在图像单元的一个或两个通道中，计算机对暂存的图像进行采集或捕获，并进行分析处理㊂显示设备选用具有BNC接口的7寸液晶显示器㊂
1.存粮箱㊀
2.异步电机㊀
3.进给滑道㊀
4.输粮绞龙㊀
5.传送皮带
6.卸粮臂㊀
7.相机位置㊀
8.粮箱㊀
9.万向轮㊀10.支架
图5㊀收获机-运粮车模型
二次密封
Fig.5㊀Harvester-grain truck model
实验平台运行时模拟联合收获机-运粮车系统谷物进入粮箱的过程，收获机部分主要包括传动皮带㊁进给滑道及提升机构，通过皮带传动给提升机构提供动力㊂运粮车部分主要包括粮箱和相机支架，装载状态改变时可通过电机拉动运粮车在支架上运行，以调整收获机和运粮车的相对位置㊂系统运行时，先将谷物颗粒存放在实验平台的存粮箱中，存粮箱挡板开启时谷物颗粒从存粮箱掉落到进给滑道；开启实验平台的异步电机，带动皮带传动系统，使谷物颗粒沿着输粮搅龙升运到卸粮臂处，最终卸载到粮箱中㊂
2㊀系统算法设计
根据收获机-运粮车系统谷物装载状态检测系统的功能需求，软件部分流程如图6所示㊂
图6㊀系统算法流程
Fig.6㊀System algorithm flow
其中，边缘检测部分采用了细胞神经网络算法㊂传统的边缘检测算法主要利用微分算子对图像梯度幅值进行计算，对噪声较为敏感，采用细胞神经网络[15]对运粮车粮箱进行边缘检测，具有并行处理能力，边缘检测效果更好，且硬件实现速度快㊂常用的细胞神经网络边缘检测模板为
A=
000
02.78490
000
é
ë
ê
ê
ê
ù
û
ú
ú
ú
㊀Z=-0.5295
B=
-0.9232-0.9232-0.9232
-0.92326.9862-0.9232
-0.9232-0.9232-0.9232
é
ë
碳化硅石墨坩埚
ê
ê
ê
ù
û
ú
ú
ú
(1)
式中㊀A 控制模板;
㊀B 反馈模板;
㊀Z 阈值㊂
电麻机提取到运粮车边缘后，采用Hough算法检测直线，根据检测到的直线长度㊁相对夹角㊁位置等信息筛选出矩形区域四条边缘直线，基于边缘直线对图像进行分割得到粮箱区域㊂
谷物区域为黄，与粮箱的颜存在很大差异，可以利用RGB颜空间的红特征(R)与HSV颜
空间的彩(H)和饱和度(S)信息进行分割，从而降低光照变化对RGB颜空间产生的影响㊂利用Outs 阈值分割法对R通道和H㊁S通道进行分割，并进行求交运算，得到最终的谷物区域㊂对谷物区域进行腐蚀膨胀处理，减少单独散落颗粒的影响，并利用Graham 算法对谷物区域进行二维凸包检测㊂
3㊀实验
采用玉米籽粒进行实验，以两幅不同装载状态下的图像为例，其提取到的粮箱边缘直线与谷物凸包关系如图7所示㊂
图7㊀不同状态下的检测效果
Fig.7㊀Detection effect in different states
根据车厢长度将运粮车粮箱分为5个模块㊂不考虑收获机-运粮车横向相对位移的前提下，以图像左侧为标准，当谷物最左侧凸点到粮箱长直线距离小于一个像素值时认为其相交，每检测到一个相交信号代表这一部分已经装满，运粮车向前移动1/4的车长㊂
利用直尺测量法与图像分析法测量谷物堆料角度，通过5次实验的平均值，对比注入法和排出法[14]产生的谷物休止角与本实验产生的谷物堆积角的值，分析该方法的可行性，如表1所示㊂
表1㊀堆积角度对比
Table1㊀Stacking Angle contrast
谷物散落方式
角度测量方式
直尺测量法/(ʎ)图像分析测量法/(ʎ)注入法21.41ʃ0.3227.62ʃ0.18
排出法21.93ʃ0.4928.35ʃ0.66
视觉检测装置19.64ʃ0.2225.42ʃ0.34㊀㊀实际装载过程中，为保证车辆运行过程中粮食不散落出来，装载时堆积角不必达到休止的临界值㊂因此，本装置满载状态下的堆积角度虽小于谷物休止角，但考虑到实际装载时的需要，认为其满足实际应用的需求㊂
4㊀结论
针对联合收获机-运粮车协同作业中粮箱装载状态检测的问题，设计了一种基于视觉的运粮车粮箱装载状态检测装置㊂采用低畸变的广角镜头获取充分的图像数据后，根据需要分析处理，选取基于视觉的检测算法提高了检测的精度㊁速度和稳定性㊂采用可调节相机俯仰角度和垂直位置的固定支架，可以在不同装载量的粮箱上使用，保证方法和装置的通用性㊂同时，根据需求的不同可以采用不同的视觉检测算法，以达到想要的效果㊂实验结果表明：装置能够得到完整的卸料装车作业图像信息，从而判断出运粮车粮箱的装载状态，根据检测结果调节收获机与运粮车的相对位置，实现协同作业㊂
参考文献:
[1]㊀罗锡文，廖娟，胡炼，等.提高农业机械化水平促进农业可
持续发展[J].农业工程学报,2016,32(1):1-11. [2]㊀HAO Y,LAXTON B,et al.Differential flatness-based for-
mation following of a simulated autonomous small grain har-
vesting system[J].Transactions of the ASABE,2004,47
(3):933-941.
[3]㊀邓洪伟，赵则坤，申鹏.射频识别技术在港口装车系统的
应用[J].粮食流通技术,2014(1):34-37.
[4]㊀邵晴，徐涛，吉野辰萌，等.基于三维激光扫描技术的粮食
储量监测系统的设计与试验[J].农业工程学报,2015,31
(20):262-267.
[5]㊀魏兆龙.粮堆专用压力传感器研制与散装粮堆底部压力
试验研究[D].郑州：河南工业大学,2018.
[6]㊀白晓平，胡静涛，王卓.基于视觉伺服的联合收获机协
同导航从机定位方法[J].农业工程学报,2016,32(24):
59-68.隧道定位
[7]㊀何东健，张海亮，宁纪锋，等.农业自动化领域中计算机视
觉技术的应用[J].农业工程学报,2002(2):190-194. [8]㊀苗中华，陈苏跃，何创新，等.基于3D视觉的青饲机拖车
车斗自动识别与定位方法[J].农业机械学报,201950
(5):50-56.
[9]㊀田明锐.基于机器视觉的散料装车控制系统研究[D].西
安：长安大学,2016.
[10]㊀C-T LIN,B-F WU,Y-L CHEN,et al.Real-time vision-
basion-based Vehicle detection and tracking on a moving
vehicle for nighttime driver assistance[J].International
journal of robotics&automation,2009,24(2):89-102.
[11]㊀张萼辉.铁路货车装载状态图像智能识别系统[J].中国
铁路,2017(9):113-116.
[12]㊀张朋新.料堆测量系统图像预处理算法研究[D].沈阳:
东北大学,2011.
[13]㊀张驰，许增朴，王永强，等.基于机器视觉技术的散粮自
动装车系统[J].起重运输机械,2015(8):13-15. [14]㊀李勤良.颗粒堆积性质和散状物料转载过程的DEM仿
真研究[D].沈阳：东北大学,2010.
[15]㊀卢珊萍.细胞神经网络的应用及其算法的硬件实现[D].
南京：南京航空航天大学,2009.
Load Status Detection in Cooperative Operation of Harvester-grain Cart Liu Dan1,2,3,Wang Zhuo1,3,Bai Xiaoping1,3,Zhao Yongjia1,3
(1.Shenyang Institute of Automation,Chinese Academy of Sciences,shenyang110016,China;2.University of Chinese Academy of Sciences,Beijing100049,China;3.Liaoning Key Laboratory of Intelligent Technology for Agricultural Equipment,Shenyang110016,China)
Abstract:Traditional grain harvesting processes are separate from harvesting and unloading operations.In order to im-prove the efficiency of grain harvest,the method of cooperative operation of harvester and grain cart was adopted to realize grain unloading without stopping.Using vision to detect the loading status of grain box,the relative position adjustment strategy is provided.Firstly,the geometric model of harvester-grain cart is established,and the position relation be-tween harvester and grain cart is analyzed.Secondly,the installation position and installation method of the camera are designed.The fixed bracket with adjustable pitching angle and vertical position of the camera is adopted to ensure the universality of the method and device.Finally,a color digital camera with low distortion and wide angle is used to obtain the image and then the vision algorithm is used to process the image.The experimental results show that this method can detect the loading state of grain box visually and adjust the relative position of grain cart and harvester according to the loading state.
Key words:harvester-grain cart;visual inspection;load state;relative position
2021年12月㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀农机化研究㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀第12期
豫公网安备41160202000603
站长QQ:729038198
关于我们
投诉建议