第37卷第3期农业工程学报V ol.37 No.3 2021年2月Transactions of the Chinese Society of Agricultural Engineering Feb. 2021 73
赵静1,3，潘方江1,3，兰玉彬1,3，鲁力2,3※，曹佃龙1,3，杨东建1,3，温昱婷1,3（1. 山东理工大学农业工程与食品科学学院，淄博255000；2. 山东理工大学交通与车辆工程学院，淄博255000；
3. 山东理工大学国际精准农业航空应用技术研究中心，淄博255000）
摘要：倒伏是造成小麦减产和品质下降的主要原因之一。为快速准确地提取小麦倒伏面积，给农业保险理赔及灾后应急处置提供数据支持，该研究采用无人机遥感平台获取小麦倒伏后的冠层红绿蓝（Red-Green-Blue, RGB）可见光图像，并进行数字表面模型（Digital Surface Model，DSM）图像提取，计算了过绿植被（Excess Green, EXG）指数，利用ArcGIS 中的镶嵌工具将不同图像特征进行融合，得到DSM+RGB融合图像和DSM+EXG融合图像，利用最大似然法和随机森林法对2种特征融合图像进行监督分类提取小麦倒伏面积，并与仅基于RGB可见光图像和DSM图像提取倒伏面积结果对比。结果表明，2种方法对4种图像进行小麦倒伏面积提取的整体趋势一致，且最大似然法提取效果整体优于随机森林法，基于最大似然法对RGB图像、DSM图像、DSM+RGB特征融合图像、DSM+EXG特征融合图像提取倒伏小麦面积的整体精度分别为77.21%、93.37%、93.75%和81.78%，Kappa系数分别为0.54、0.86、0.87 和0.64，对比分析发现DSM+RGB 特征融合图像提取小麦倒伏面积精度最高。该研究表明通过图像特征融合的方法能够有效提取倒伏小麦信息，为快速提取小麦倒伏面积提供参考。
关键词：无人机；遥感；图像处理；特征融合；DSM；小麦；倒伏
doi：10.11975/j.issn.1002-6819.2021.03.009
中图分类号：S127 文献标志码：A 文章编号：1002-6819(2021)-03-0073-08
赵静，潘方江，兰玉彬，等. 无人机可见光遥感和特征融合的小麦倒伏面积提取[J]. 农业工程学报，2021，37(3)：73-80. doi：10.11975/j.issn.1002-6819.2021.03.009
Zhao Jing, Pan Fangjiang, Lan Yubin, et al. Wheat lodging area extraction using UA V visible light remote sensing and feature fusion[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2021, 37(3): 73-80. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2021.03.009
0 引 言
小麦是中国主要的粮食来源之一，其产量对中国粮食安全至关重要[1-2]。倒伏是小麦生产中常见的农
业灾害，是限制小麦高产的重要因素之一。倒伏往往造成小麦的体结构发生改变，影响小麦的蛋白质合成和养分的转运，对其品质及产量都会造成极大的影响[3-4]。及时准确地获取小麦的倒伏情况是灾情掌控和灾后应急方案制定的关键所在[5-6]。
传统方法的作物倒伏面积监测是地面人工测量，该方法费时费力，无法及时获取田间作物倒伏数据[7-8]；无人机遥感具有时效性好、空间分辨率高等优点[9-10]，可较好的应用于农业灾害应急监测等领域[11-12]。目前已有学者研究使用无人机进行农作物倒伏面积的遥感监测。董锦绘等[13]通过无人机搭载数码相机获取小麦倒伏图像，使用最大似然等方法对单张影像进行分类获取最优图像，进行整幅影像拼接，利用监督分类进行倒伏面积提
收稿日期：2020-09-24 修订日期：2020-11-23
基金项目：山东省引进顶尖人才“一事一议”专项经费资助项目（鲁政办字[2018]27号）；山东省农业重大应用技术创新项目（SD2019ZZ019）
作者简介：赵静，博士，副教授，研究方向为农业遥感技术与智能检测。Email：***************
※通信作者：鲁力，博士，副教授，研究方向为农用航空技术及流体传动技术。Email：***************取，获得了较好的分类效果；刘良云等[14]基于小麦倒伏后归一化差值植被指数（NDVI）变化，成功预测了小麦倒伏程度，证明了基于光谱数据预测小麦倒伏的可行性。
目前这些方法主要使用单特征进行分类或倒伏面积提取，并未充分利用图像的高程和指数等信息，将不同图像特征进行融合可以保留图像更多的细节信息，并增加其他特征，增强图像特征差异性，提高分类精度。李广等[15]基于无人机RGB影像提取小麦倒伏的两个单特征，构建倒伏信息的综合特征，结合K均值算法构建多时相倒伏面积提取方法，获得了泛化能力较好的倒伏识别模型；张新乐等[16]通过完熟期玉米多光谱数据提取纹理信息、植被指数、光谱信息构建特征组合，并采用最大似然法进行玉米倒伏面积提取，延展了纹理特征在玉米倒伏面积提取中的应用；Chauhan等[17]通过多入射角的卫星数据，结合地面实测作物高度等数据，使用偏最小二乘法实现了对小麦倒伏程度的分类；Ursani等[18]通过高精度卫星数据将光谱和纹理信息进行融合，通过监督分类，更好的提高了土地利用总体分类准确性；李明喜等[19]通过小波变换和分形方法将苹果树多源图像进行融合，提升了图像的异质性，使得图像更便于分析。
本研究通过将DSM图像与RGB可见光图像、DSM 图像与EXG指数图像进行融合，并将这2种融合图像与仅基于RGB可见光图像和仅基于DSM图像进行监督分类所提取的倒伏小麦面积相互对比，以期提供一种基于
农业工程学报（）2021年74
无人机遥感数据获取小麦倒伏信息的方法。
1 材料与方法
1.1 研究区域概述
本试验区位于淄博市临淄区朱台镇（36°57′12″N，118°12′58″E）山东理工大学生态无人农场（图1），海拔高度约27 m，以平原为主要地形，属暖温带半湿润大陆性季风气候，年平均气温13.2 ℃左右，平均降雨量为650～800 mm，全年日照时数在2 100 h左右，适合小麦、玉米等作物的种植。
图1 研究区位置
Fig.1 Location of study area
济南为什么发放战备急救包
北京工业大学学报1.2 数据采集
2020年5月下旬淄博市临淄区出现冰雹、大风等强对流天气，导致农场内出现多处小麦倒伏。2020年5月30号，以小麦倒伏较多的区域作为试验区域，使用无人机获取小麦冠层可见光图像。试验采用大疆精灵4 RTK 无人机，最大飞行速度16 m/s，最大飞行时间30 min，搭载相机型号为DJI FC6310R，采用1英寸CMOS传感器，数据格式为.jpg的单通道可见光图像，分辨率为5 472×3 684像素。数据获取于当日10:00，天气晴，航拍时无人机飞行高度30 m，飞行速度2 m/s，航向重叠度80%，旁向重叠度70%，相机曝光方式为定时曝光，共规划6条航线，获得原始图像193张。同时使用手持差分测量仪（Real-time Kinematic，RTK）测得研究区面积为1.186 hm²，其中倒伏面积约为0.139 hm²，参照胡琪等[20]的倒伏分级方法，将植株高度小于50 cm的分作倒伏小麦，并随机测量8个小麦种植小区，其中6个为倒伏小区，2个为非倒伏小区，每个小区为1.3 m×10 m，用来检验分类效果。
Pix4D mapper是一款全自动、快速、专业精度的无人机数据处理软件。应用该软件的图像拼接功能对采集的图像进行正射校正和图像拼接[21]，首先进行航片对齐，并解算图片的空中三角测量数据，然后进行几何校正、关键点匹配、解算数据构建密集点云及纹理信息，最终获取地面分辨率为每像素0.88
cm的数字表面模型[22]和数字正射影像（Digital Orthophoto Map，DOM）。1.3 研究方法
1.3.1 小麦倒伏信息提取流程
利用无人机遥感图像对倒伏小麦面积的提取过程如下：首先通过无人机航拍获取小麦遥感信息，拼接航拍图像，然后进行特征提取及掩膜处理，掩膜后图像使用镶嵌工具进行特征融合，通过低通滤波进行噪声去除，选取训练样本和验证样本，通过监督分类进行小麦倒伏面积提取，最后利用混淆矩阵和Kappa系数进行模型精度评价。
1.3.2 小麦倒伏图像特征提取及掩膜处理
DSM数据获取的方法主要有2种，一种是通过激光雷达（Light Detection And Ranging，LiDAR）数据生成，该方法获取的DSM图像精度高，但需要额外搭载雷达传感器进行测量；另一种是通过航测数据生成DSM图像，该方法获取的数据精度相对于LiDAR数据较低，但其同时也获取了可见光影像，就目前来说具有更好的投入产出比，故本研究采用从航拍影像中获取DSM图像[23]。
使用Pix4D mapper拼接航拍数据时，选择最低特征点匹配数为3，进行图像自动校正后，进行点云空中三角测量，自动匹配控制点，然后将加密后数据合并为一个瓦片，最终获取DSM栅格数据[24]。
过绿植被指数[25-26]可以较好的区分植被和土壤，常用来进行作物遥感监测，故使用ArcGIS 软件创建
栅格图层功能提取图像的单波段数据，并构建EXG指数如式（1）所示：
EXG=2G−R−B（1）式中G可见光绿波段；B可见光蓝波段；R可见光红波段。
由于土壤背景的存在，使得研究区域引入土壤像元，出现土壤像元与小麦像元混杂现象，使得划分的感兴趣区域并非小麦纯像元，影响分类精度。因此，通过掩膜处理去除土壤像元。在ArcGIS中使用重分类方法对EXG进行二值化，然后构建矢量掩膜文件，将掩膜文件与各图像进行配准，使用栅格裁剪方式，保持图像裁剪范围，将麦田的土壤去除（图2），以减少土壤对分类精度的影响。
1.3.3 小麦特征融合图像构建
由于可见光图像仅具有R、G、B3个波段，并无植被遥感其他常用波段，如近红外、红边等波段，因此需要对数据进行特征数据组合或融合等操作，增加可用于区分倒伏冬小麦和正常冬小麦的特征数据[27-28]。
单特征参数提取小麦倒伏信息，要求倒伏小麦和正常小麦在该特征上存在明显特征差异[29]，这通常需要对数据进行多次处理和优选，最优参数确定过程复杂，并且最终获得的分类参数往往存在分类效果不理想等缺点；多特征融合可将不同特征进行融合，增强不同数据间的差异性，从而利于倒伏信息的提取，该方法操作简单，不易受个人因素干扰。因此本研究采用图像特征融合的方式进行倒伏小麦的提取。
小麦发生倒伏前后，植株相对高度存在明显差异。DSM可较好的表达不同地物之间高程的差异[30]，适合于区分倒伏小麦与正常小麦，故将DSM用于小麦倒伏识别。
第3期 赵 静等：无人机可见光遥感和特征融合的小麦倒伏面积提取
75
本研究通过ArcGIS 的校正工具对融合前的图像进行位置校正，使得图像对应位置像素相互匹配，并采用最邻近算法对图像进行重采样，最后使用镶嵌工具，选择镶嵌运算符，将DSM 图像分别与EXG 指数图像、RGB 可见光图像进行融合，探究使用监督分类对特征融合图像进行小麦倒伏面积提取的效果。
注：RGB 为红绿蓝，DSM 为数字表面模型，EXG 为过绿指数。下同。
Note: RGB is the Red-Green-Blue, DSM is the Digital Surface Model, EXG is the Excess Green index. The same below.
图2 经掩膜处理后小麦研究区域的各图像对比
Fig.2 Image comparison of wheat study area after mask processing
由图2可知，将裸地去除后的研究区域仅有倒伏小麦和正常小麦，故只需要将倒伏小麦从未倒伏小麦中分离出即可。使用ArcGIS 中的滤波器工具，选择低通滤波器将研究区域RGB 可见光图像、DSM 图像、DSM+RGB 融合图像以及DSM+EXG 融合图像进行滤波，降低图像的椒盐现象，将滤波后的图像作为倒伏面积提取的最终图像。 1.3.4 样本与分类器选择
随机森林法（Random Forest ，RF ）[31]是目前常用的分类方法之一，该方法利用构建多棵决策树对样本进行训练分类，最终预测可能的分类结果，该方法虽然实现简单、数据适应性好，但模型训练时间过长，面对特征较少的数据时可能存在分类效果较差等问题。最大似然分类法（Maximum Like-hood Classification ，MLC ）[32-33]，假定图像的光谱数据符合正态分布，每一类地物均在其数轴上符合正态分布，根据已知数据构建各类地物的概率分布函数。该分类方法是一种基于贝叶斯法则的非线性分类方法，该方法实施简单、错误率最小，广泛应用于可见光数据的监督分类。因此本研究采用最大似然法进行监督分类获取小麦倒伏面积，并与随机森林法分类进行对比。使用ArcGIS 软件，对滤波后的4种图像数据分别划定感兴趣区域（Region of Interest ，ROI ）。分别随机选择ROI 数量为30、40、50、60、70、80对DSM+RGB 融合图像进行训练，并进行分类结果验证（表1），当样本数量达到一定量后，最大似然法分类精度受训练样本数量影响较小，ROI 数量为60时，分类精度和Kappa 系数最高。因此，本研究在整幅图像的倒伏区域和正常区域各随机选取60个ROI 作为训练样本（图3a ），每个ROI 大小基本相同。完成训练集划定后，在倒伏区域和正常区域各随机选取30个区域作为验证集进行模型分类精度验证（图3b ），每个验证区域大小基本相同，其中验证集与训练集的选择不允许出现重叠区域。
表1 不同数量感兴趣区域下数字表面模型图像与可见光图像
的融合图像总体分类精度及Kappa 系数
Table 1 Overall classification accuracy and Kappa coefficient of
fusion images of Digital Surface Model (DSM) and
Red-Green-Blue (RGB) under different number of Regions of
Interest (ROIs)
感兴趣区域数量 Number of ROIs
总体分类精度 Overall classification
accuracy/% Kappa 系数 Kappa coefficient
用心去工作读后感30 93.53
0.870 40 93.63 0.872 50 93.62 0.872 60 93.75 0.874 70 93.69 0.874 80
93.61
0.873
图3 小麦训练样本和验证样本的选取 Fig.3 Selection of training samples and
verification samples of wheat
农业工程学报（）2021年76
1.3.5 小麦倒伏面积统计方法
本研究小麦倒伏和非倒伏面积通过计算像素的方法得出，即计算区域像素数量（n）与单个像素的实际长度（P l，m）与实际宽度（P w，m）乘积的方法[34]，其计算如式（2）所示：
S=P l·P w·n（2）式中S为实际面积，m2。
1.3.6 小麦倒伏面积提取精度评价方法
进行模型分类精度评价时通常使用总体精度、Kappa 系数[35]和混淆矩阵[36]。混淆矩阵通过统计模型分类时，将真实值和预测值中分类错误的个数、分类正确的个数分别列出，表达直观清晰。总体精度指被正确分类的类别像元数与总像元个数的比值，该指标可很好的表达模型分类精度，但其值可能受其他数据较多类别的影响，导致不能很好的表征每类地物，因此考虑添加辅助评价方法。制图精度和用户精度可对像元分类准确性进行评价，用户精度通常指正确分到某类像元总数与分类器将整个影像
的像元分为该类像元总数的比值，而制图精度则是指将整个影像的像元正确分类为某一类像元总数与该类像元真实总数的比值。本研究利用验证集对模型分类结果进行验证，同时将最大似然法与随机森林法提取小麦精度进行对比，最后通过制图精度、用户精度、总体精度、混淆矩阵和Kappa系数对4种图像分类结果进行精度评价。
2 结果与分析
2.1 倒伏提取结果分析
本研究使用的图像其地面分辨率为每像素0.88 cm，分别计算倒伏小麦与正常小麦的面积，结果如表2所示。4种图像获取的小麦倒伏和非倒伏面积总像素数均在15×107左右，获取测试区的总面积约1.165 hm²，由于图像剔除了一部分裸地数据，故其像素计算总面积小于实测总面积1.186 hm²。DSM+RGB融合图像提取的小麦倒伏面积约0.126 hm²，与实测数据0.139 hm²最为接近，误差为0.013 hm²；DSM图像提取的小麦倒伏面积约0.125 hm²，与实测数据0.139 hm²较为接近；DSM+EXG 融合图像获取的小麦倒伏面积约为0.352 hm²，约为实测面积的2.5倍；RGB可见光图像获取的小麦倒伏面积约0.458 hm²，约为实测倒伏面积的3倍。对比发现基于DSM+RGB融合图像的小麦倒伏面积提取结果与实际值最为接近，仅基于RGB可见光图像的倒伏面积提取误差最大。
表2 不同图像小麦倒伏面积的提取结果
像素数量
Number of pixels/107
13.40 1.63 13.40 1.61 10.50 4.54 9.13 5.91
提取面积
Extracted area/hm²kappa系数
1.039 0.126 1.038 0.125 0.814 0.352 0.708 0.458
实测面积
Measured area/hm²
1.047 0.139 1.047 0.139 1.047 0.139 1.047 0.139
提取误差
Extracted error/hm²
0.008 0.013 0.009 0.014 0.233 0.213 0.339 0.319
注：RGB为红绿蓝，DSM为数字表面模型，EXG为过绿指数。下同。
Note: RGB is the Red-Green-Blue, DSM is the Digital Surface Model, EXG is the Excess Green index. The same below.
基于最大似然分类方法的4种图像监督分类提取倒伏小麦信息结果如图4所示。对比图4a和图4c可知，图4a仅基于像素值变化提取倒伏信息，但提取时将叶片衰老发黄的正常小麦、麦穗间阴影均识别为倒伏小麦，故仅基于像素提取倒伏小麦的提取精度最低；图4c中虽然加入DSM信息，增加倒伏小麦与非倒伏小麦之间的差异，但在获取EXG指数图像时未将阴影剔除，使得特征融合后的图像仍存在较多阴影，降低了特征融合后图像精度，提取效果仍较差；倒伏小麦的高度特征变化明显，故相对高度适合于倒伏小麦提取，由图4b可知，仅基于DSM图像分类虽没有麦穗间阴影影响，但却将田块边缘相对高度较低的正常小麦错分为倒伏小麦，故其提取精度虽有一定提高，但仍然存在一定的错分现象；由图4d可知，DSM特征融合RGB可见光图像后，通过增加像素差异，提高了特征融合图像中倒伏小麦与非倒伏小麦之间差异，一定程度上克服了仅依靠DSM 存在将正常小麦错分的问题，故其提取精度进一步提高，但融合RGB可见光图像的同时将麦穗间阴影也融合到图像中，造成模型提取时将阴影识别为倒
伏小麦，影响倒伏面积提取。
基弗2.2 小麦倒伏面积提取精度验证及分析
小麦倒伏面积提取结果的混淆矩阵如表3所示。由表3可知，从制图精度可以看出提取正常小麦面积结果最优的为DSM图像，精度为96.74%，RGB可见光图像提取结果较差，精度为71.23%；倒伏小麦面积提取结果最优的为DSM+RGB融合图像，精度为91.03%，RGB 可见光图像提取结果较差，精度为83.58%；DSM图像提取正常小麦面积的结果比DSM+RGB融合图像高0.4%左右，而倒伏面积提取结果比DSM+RGB 融合图像低1%左右。从用户精度看出正常小麦面积提取结果最优的为
第3期 赵 静等：无人机可见光遥感和特征融合的小麦倒伏面积提取
77
DSM+RGB 融合图像，精度为91.98%，RGB 可见光图像提取结果较差，精度为73.14%；DSM 图像倒伏提取倒伏小麦面积的结果比DSM+RGB 融合图像高0.4%左右，但其对正常小麦面积的提取结果比DSM+RGB 融合图像低1%左右。总体分析发现DSM+RGB 融合图像提取倒伏小麦的效果优于DSM 图像。
图4 不同图像小麦倒伏面积提取结果对比
Fig.4 Comparison of wheat lodging area extraction results from different images
表3 基于最大似然法的不同图像小麦倒伏面积提取的精度混淆矩阵
Table 3 Precision confusion matrix of wheat lodging area extraction from different images based on maximum likelihood method
%
真实值 True values
倒伏Lodging 正常Normal
16.41 71.23 10.21 96.74 8.96 96.31 9.19 73.33 制图精度Producer accuracy 83.58 71.23 89.78 96.74 91.03 96.31 90.80 73.33 用户精度User accuracy
73.14
82.25
96.27
91.00
95.85
91.98
76.13
89.49中央一号文件为何如此聚焦三农
3 讨 论
基于最大似然法提取小麦倒伏面积总体精度和Kappa 系数均优于基于随机森林法（表4），分析原因发现，1）本研究使用的样本数据相对较少，较适合于最大似然法分类，而随机森林分类需要大量样本进行模型训练，进而导致随机森林模型可能未达到最佳分类精度；2）由于参与分类的图像特征较少，使得随机森林模
型无法较好的识别两者的特征，最终使得随机森林法分类精度较低。分析发现2种方法中仅基于RGB 可见光图像和基于EXG 指数融合DSM 图像的模型提取总体精度低，而且基于RGB 可见光图像的Kappa 系数均在
0.5左右，说明模型不稳定，提取精度低。基于DSM+RGB 融合图像倒伏面积提取精度最高，说明将RGB 可见光图像融合DSM 特征后，增加了倒伏和非倒伏小麦之间的差异性，可较好应用于倒伏小麦面积的提取。
表4 基于不同方法的不同图像小麦倒伏面积提取的验证结果
数字表面模型图像DSM images 93.37 0.86 91.1 0.82 数字表面模型与红绿蓝可见光融合图像
Fusion images of DSM+RGB 93.75 0.87 92.51 0.85 数字表面模型与过绿指数融合图像
Fusion images of DSM+EXG
81.78
0.64
79.41
0.59
总体分析发现，基于最大似然法对DSM+RGB 融合
图像的小麦倒伏面积提取效果最佳，模型的提取总体精度最高为93.75%，Kappa 系数为0.87，这与赵
立成等[22]
研究结果较为一致，本研究小麦倒伏提取虽达到较高精度，但仍存在以下因素影响小麦倒伏面积的提取精度，1）由于裸地掩膜制作时仅依靠于EXG 指数数据，并未
豫公网安备41160202000603
站长QQ:729038198
关于我们
投诉建议