一种检测与标注遥感图像小目标一体化的智能方法

本发明涉及一种检测与标注遥感图像小目标一体化的智能方法，属 于高分辨率遥感图像的小目标检测和标注技术领域。

现代遥感技术获取的遥感影像速度快，图像质量高，因此已经广泛 应用于战场环境仿真、洪涛灾害预测、军事目标侦察、城市土地规划、森林火险 监测等领域。遥感图像的标注已经成为遥感图像解译分析的一个重要研究方向， 受到各方面的关注和研究。随着遥感图像空间分辨率的不断增高，以及对地遥感 图像平台的增多，图像的数量成倍增多，图像中所包含的信息也越来越丰富。如 何准确，快速的识别出目标并标注出目标的位置已经成为遥感图像解译分析工作 的重点和难点。

近年来，深度学习方法在大数据驱动下异军突起，其中以卷积神经 网络为代表的方法在图像领域取得了革命性的进展。很多学者也将卷积神经网络 应用于遥感图像领域的识别和目标检测等方向。但是基于卷积神经网络的识别和 目标检测等方向都需要大量的具有人工标注的图像来训练，即目标是什么，目标 的位置信息。而在遥感图像中，由于感兴趣目标较小，人工标注代价过高，因此 对于卷积神经网络会陷入过拟合的情况。另外，即使有人工标注的遥感图像数据 集，但是由于标注数量有限，也会造成卷积神经网络在训练过程中出现过拟合的 现象。针对该问题本发明提出一种自动标注遥感图像小目标的智能方法

本发明解决的技术问题是：提出一种遥感图像小目标自动标注方法。

为了解决小目标标注和检测存在的上述技术问题，本发明提出的技术方案是提 供了一种基于卷积神经网络基础上的图像自适应增强策略，非极大值抑制重置函 数，迁移学习网络模型策略的遥感图像小目标自动标注方法。具体内容如下：

步骤1对已经标注的遥感图像集，进行自适应图像增强；首先存在 一个已经标注好目标的遥感图像集，将该标注好目标的遥感图像集用本发明所述 自适应图像增强的方法进行数据增强，样本扩充。

步骤2：将经过自适应图像增强后的图像集输入到基于快速卷积神 经网络的目标检测框架，进行目标检测；S1:使用VGG16网络上训练的ImageNet 的网络模型作为初始权重进行迁移学习微调；S2:采用本发明所提出的半监督方 法对卷积神经网络中的候选区域网络的候选框anchor的大小进行选取；S3:在 VGG16网络的卷积层的最后一层，进入到候选区域的选取，在感兴趣区域的选取 后，该检测流程进入到检测的后处理阶段，在后处理阶段，本发明采用改进非极 大值抑制算法进行候选区域的选择。

步骤3：将待训练的遥感图像集进行步骤1所述的图像自适应增强 后输入到步骤2所述的卷积神经网络中进行训练迭代，得到小目标检测和标注的 模型。

步骤4：得到小目标检测和标注的模型后通过迁移学习的方法将其 迁移到待标注遥感图像集中。

下面结合附图对本发明的作进一步说明。

图1是本发明在基于卷积神经网络基础上所采用的训练遥感图像数据集的 整体流程图。

图2a是原图；

图2b是经过本发明图像所述的自适应图像增强旋转60度的示意图；

图2c是经过本发明图像所述的自适应图像增强旋转90度的示意图；

图2d是经过本发明图像所述的自适应图像增强旋转150度的示意图；

图3为采用VGG16卷积神经网络的目标检测框架流程；

图4a为采用本发明方法检测到的遥感图像场景中的飞机目标；

图4b为采用本发明方法检测到的遥感图像场景中的轮船目标；

图4c为采用本发明方法检测到的遥感图像场景中的轮船和油桶；而油桶是 密集型的，所述本发明也能很好的展现良好的性能。

图4d为采用本发明方法检测到的遥感图像场景中的极小目标轮船；

图5为本发明自动标注和检测高分辨率遥感图像中的小目标。

本发明的目的在于针对小目标检测准确率不高和小目标标注数据少 的问题提出解决方案。本发明的具体实施过程可见图1。如图1所示，首先将具 有小目标的遥感数据集A经过图像自适应增强后，进入基于卷积神经网络检测框 架，然后在后处理阶段，采用本发明所述的改进的NMS(Non-Maximum Suppression) 算法进行最后检测框的取舍，最终获得该遥感数据集A的检测网络模型。然后将 本发明所示所得到的数据集A的检测网络模型，用于待测遥感数据集的标注，同 时将待测遥感数据集输入到基于卷积神经网络的检测框架中，由于已经有数据集 A的检测网络模型权重的支撑，因此可以自动标注出待测遥感数据集的目标和目 标的准确位置。

详细的实施步骤如下：

步骤1：对已经标注的遥感图像集，进行自适应图像增强；

本发明首先存在一个已经标注好目标的遥感图像集，该图像集中标 注了每一张图像中的物体，并且标注了该物体在图像中的位置，位置的标注采用 左上角的横纵坐标，和右下角的横纵坐标的标注方法。如图1中的①所示，将该 标注好目标的遥感图像集用本发明所述自适应图像增强的方法进行数据增强，样 本扩充。

本发明所提出的自适应图像增强方法，具体介绍如下：首先计算该 已标注遥感图像数据集的类别，和每个类别的数量(此处的目标数据类别一般包 括但不限于：飞机、轮船、油桶等)。假设某个遥感图像数据集有{1,2,3,...,n,...,m} 类，对应的每一类所标注的数目为{c1,c2,c3,...,cn,...,cm}，经计算得到第n类所包 含的标注目标最多为cn。将最大类别的数目和每个类别的数目相比，得到下面序 列本发明所述的自适应图像增强的方法采用图像 旋转的方式：本发明中创建一个旋转字典dict＝[180°,150°,120°,90°,60°,30°](字 典内部编号从1开始到6)，当任意一个ratio序列中ratioi∈(0,2]或ratioi∈ (0,1]或ratioi∈(1,2]，，对这一类别的图像进行180度旋转，即取dict[1]。 旋转可以是顺时针旋转也可以是逆时针旋转。当比值ratioi∈(2,3]，对这一类别 的图像分别进行dict[1]和dict[2]。当ratioi∈(3,4]，对这一类别的图像分别进行dict[1]，dict[2]，dict[3]旋转。当ratioi∈(4,5]，对这一类别的图像分别进行dict[1]，dict[2]，dict[3]，dict[4]旋转。当ratioi∈(5,6]，对这一类别的图像分 别取dict字典中的前5个角度旋转。当ratioi>6，对这一类别的图像分别按照dict 字典中的角度全部旋转。同时由于旋转以后，图像标注框的长(w)和宽(h) 相比原图像是有角度的变化，考虑到这种变化，我们使用如下公式，计算旋转后 图像标注框的长和宽。W*＝h*sin(θ)+w*cos(θ)，H*＝h*cos(θ)+w*sin(θ)， 其中W*和H*分别表示旋转后的长和宽，w和h分别表示原图的长和宽，θ表示 旋转的角度。上述自适应图像增强的方法不仅仅对遥感图像集进行了大幅度的增强，而且解决图像集中样本类别之间的不均衡问题。

图像集经由本发明的自适应图像增强的方法后，测试样本的数目大 幅度增强，图2b、图2c、图2d展示了本图像自适应增强的60度，90度，150 度旋转的图像。

步骤2：将经过自适应图像增强后的图像集输入到基于快速卷积神 经网络的目标检测框架，进行目标检测。

本发明所采用的卷积神经网络是VGG16，该目标检测框架的详细流 程如图3所示，检测流程具体描述如下：

首先使用VGG16网络上训练的ImageNet的网络模型作为初始权重进 行迁移学习微调。然后本发明所提出的半监督方法对卷积神经网络中的候选区域 网络的候选框anchor的大小进行选取。具体描述如下：

首先通过采用手工标注的方法预估；然后再采用K-近邻法进行维度 聚类，对候选框anchor的大小进一步的修正，k-means聚类方法使用数据集标注 的ground truth聚类，采用交并比(IoU)执行尺寸的聚类。因此实际的度量尺 寸可采用以下公式：

d(prebox,boxcenter)＝1-IOU(prebox,boxcenter)

其中prebox是指人工选取的候选框anchor的大小，boxcenter是指 ground truth矩形框的中心点。通过K-近邻法的聚类，可以使得我们选取更准 确的目标检测框。

最后，在VGG16网络的卷积层的最后一层，进入到候选区域的选取， 在感兴趣区域的选取后，该检测流程进入到检测的后处理阶段，在后处理阶段， 本发明采用改进的NMS行候选区域的选择，这样更有利于检测小目标，如图1 中的②所示。

本发明中改进非极大值抑制(NMS)算法公式为：

bi表示一系列检测框的集合，B＝{b1，b2,..bi,…bn}，si表示对应的检测 框bi的分数。M是最高分对应的框，iou表示检测框和M的重叠率。其中σ是 衰减参数。Nt是一个硬阈值，其中Nt＝0.7，σ＝0.6时，小目标检测效果最好。

本发明中改进的非极大值抑制算法广泛应用于目标检测的后处理阶 段，能够将一些算法产生的不同程度重叠的检测框消除，但是现有的非极大值抑 制算法属于贪心算法，缺点是如果一个物体处于预设的重叠阈值之内，可能导致 检测不到该待测物体，尤其是小物体。而本发明所提出一种针对非极大值抑制的 改进算法，则可以避免上述的缺陷。

步骤3将待训练的遥感图像集进行步骤1所述的图像自适应增强后 输入到步骤2所述的卷积神经网络中进行训练迭代，得到小目标检测和标注的模 型。

将待训练的遥感图像集进行步骤1所述的图像自适应增强后输入到 步骤2所述的卷积神经网络中进行训练迭代，得到小目标检测和标注的模型。

本发明中，经过60000次左右训练迭代后，本发明获得较好的模型， 该模型可以很好的检测遥感图像中的小目标。如图1的③部分。本发明将该模型 用于检测遥感图像中的小目标如：飞机，轮船等都能获得很好的检测结果，检测 结果如图4所示。图4展示了4幅遥感图像中检测飞机和轮船的。

本发明中卷积神经网络采用的损失函数如下：

其中i表示anchor的序列，pi表示在预测的时候前景的概率，表示的是 groundtruth的预测概率。ti表示预测框，表示对应的前景的anchor对应的 ground truth框。其中参数λ是平衡识别类的损失和回归损失的。这里回归损失 使用的是如下计算公式：

步骤4得到小目标检测和标注的模型后通过迁移学习的方法将其迁 移到待标注遥感图像集中。

迁移学习的目标是将从一个环境中学到的知识用来帮助新环境中的 学习任务。大多数研究都是采用迁移学习进行参数微调等。

迁移学习的条件是给定一个源域DS和源域上的学习任务TS，目标域DT和目标 域上的学习任务TT；迁移学习的目标是利用DS和TS学习在目标域上的预测函数 f(·)；它的限制条件是DS≠DT，TS≠TT。本发明在基于卷积神经网的基础上， 采用了两种迁移学习的方法，对遥感数据集进行目标检测是标注。第一，本发明 采用深度迁移的方法，使用已经在VGG16上训练好的ImageNet模型实施微调针 对遥感数据集进行训练，微调权重。这样可以节省大量的时间和计算机资源。第 二，本发明采用已经在大型遥感数据集上训练的具有检测小目标能力的模型，采 用迁移学习的模型迁移的方法，将该模型直接应用于数据量较小的小目标遥感数 据集上，可自动标注出该数据集上的目标和该目标的位置。

本发明重新输入一个未标注的遥感数据集，同时使用图1中③训练 所得到的网络模型，同时输入到基于卷积神经网络的自动检测系统中，经由该系 统后，该基于卷积神经网络的自动检测系统可良好的标注出该未标注的遥感数据 集的目标以及该目标的准确位置，如图5所示为本发明所展示的自动标注和检测 到的飞机目标和飞机目标的位置。本发明的方法，可以大大减少人工标注的人力， 物力和时间的损耗，对于遥感图像领域人工标注是一项有意义的工作。

本发明与现有技术相比，具有以下优点：

第一：本发明的数据增强是自适应的，能够很好的平衡物体类与类之间的差 距，提高遥感数据中的小目标检测的平均检测率。

第二：本发明采用K-近邻法维度聚类，半监督调整矩形框Anchor的大小， 可以提高所检测目标的位置准确率。

第三：目前基于卷积神经网络的目标检测算法大部分是针对中大型物体，本 发明提出一种改进的非最大值抑制的方法，可以提高遥感图像中的小目标检测准 确率。

第四：由于光学遥感图像的人工标注，耗时费力，具有小目标标注的图像样 本集缺乏，本发明基于迁移学习和改进的非最大值抑制方法提出了一种自动标注 遥感图像的方法，该方法不仅标注出物体的类别，而且标注该物体的位置。