一种基于增量学习的无人艇目标检测方法

1.本发明属于无人智慧船舶领域，具体涉及一种基于增量学习的无人艇目标检测方法。

背景技术：

2.境感知是无人艇等智能移动平台有效完成各类既定任务的前提，目标检测是环境感知的基础任务，提升目标检测算法的实用性对提升各类无人化设备的工作能力意义重大。同样地，开展海面目标检测研究是提升无人艇任务执行能力的关键。近年来，得益于深度学习理论的不断发展和大规模目标捡测数据集的出现，目标检测相关研究取得了突破性进展。
3.在研究目标检测算法时，研究人员通常都会假设训练集和测试集是独立同分布的，即所有的图像数据都采集于同一分布并且相互独立。当训练集和测试集来源于同一数据集时，这样的假设通常会成立。然而，无人艇在实际航行中面对的海洋环境具有很强的不确定性。当目标类型发生变化时，对于训练集中未出现的目标无法准确识别。
4.当目标类型变换时，需要对模型进行重新训练。在没有增量学习的情况下，只用含有新的数据样本进行训练，会使模型对于原有知识产生灾难性遗忘。每次收集新的数据时从头开始重新训练一个模型涉及到巨大的计算开销、不可扩展以及数据效率低下。采用增量学习的方法，可以在原有模型的基础上加入新的数据进行训练，且可以避免模型对于原有知识产生遗忘。这种连续学习的能力，对于无人艇在实际航行中应对海面目标变化至关重要。

技术实现要素：

5.本发明的目的在于提供一种使无人艇可以适应海面目标类型的变化的基于增量学习的无人艇目标检测方法。
6.本发明的目的通过如下技术方案来实现：
7.一种基于增量学习的无人艇目标检测方法，包括以下步骤：
8.步骤一：构建初始类别数据集，通过水面无人艇拍摄真实海洋环境下海面目标图像，并对初始的海面目标进行类别和位置信息的标签标注，构建海面目标检测数据集；
9.步骤二：构建教师网络模型，并使用初始类别数据集对教师网络模型进行训练，对初始类别海面目标的检测；
10.步骤三：构建新类别数据集：通过水面无人艇拍摄真实海洋环境下海面目标图像，数据集中只对新类别的海面目标进行类别和位置信息的标签标注，构建海面目标检测数据集；
11.步骤四：构建学生网络模型，学生网络与教师网络的整体结构相同，根据新类别目标数量增加相应的分类子网络；
12.步骤五：在教师网络和学生网络之间构建蒸馏损失函数；
13.步骤六：在新类别海面目标数据集上训练增量目标检测网络，是损失函数达到收敛，并保存训练好的模型参数；
14.步骤七：在无人艇平台上部署训练好的模型，对目标进行检测；
15.步骤八：增加新类别的检测目标时，重复执行步骤三至步骤七。
16.进一步地，所述步骤二中教师网络模型：使用任意目标检测网络作为教师网络；读取初始类别海面目标数据集，对模型进行训练和测试；损失函数为：
[0017][0018]
其中，为边界框损失，为分类损失，为置信度损失；
[0019]
当损失值收敛后，对模型进行测试，当损失值未收敛时调整模型超参数，直至模型收敛。
[0020]
进一步地，所述步骤三中新类别是指初始类别数据集中未出现的海面目标类别，即没有输入到目标检测网络模型中的类别。
[0021]
进一步地，所述步骤四中构建的学生网络，与教师网络模型结构相同，仍使用相同目标检测网络作为学生网络；新增的海面目标类别为n，则需要在学生网络的输出层增加n个神经元来扩展分类子网络；学生网络中的参数使用训练好的教师网络的参数进行初始化，分类子网络中新增加的神经元采用随机初始化。
[0022]
进一步地，所述步骤五中蒸馏损失函数主要包括两部分；第一部分在整个网络的最后一层之间构建损失函数，公式如下所示：
[0023][0024]
其中p代表教师网络模型最后一层的特征图，代表代表学生网络模型最后一层的特征图；
[0025]
第二部分在教师网络和学生网络的主干特征提取网络的最后一层之间建立构建损失函数，公式如下所示：
[0026][0027]
其中f代表教师网络主干特征提取网络最后一层的特征图，代表学生网络主干特征提取网络最后一层的特征图。
[0028]
进一步地，所述步骤六中训练过程，需要将蒸馏损失和目标检测网络正常训练时的损失相加，得到新的损失函数，公式如下：
[0029][0030]
其中，λ1和λ2是用来平衡不同损失之间的超参数；
[0031]
训练时将图像同时输入教师网络和学生网络，冻结教师网络参数，只对学生网络中的参数进行更新，直至损失值收敛至最小。
[0032]
进一步地，所述步骤七中的在无人艇平台上部署训练好的模型，只需要将学生网络在无人艇所搭载的嵌入式平台上进行部署，即可完成对新类别海面目标的检测。
[0033]
本发明的有益效果在于：
[0034]
本发明使用知识蒸馏的方法，对海面目标进行增量式的学习，应对海面目标的变化。使目标检测模型既获得对于新目标的识别能力，又对初始目标保持记忆。克服传统深度学习算法在新样本上训练之后会产生灾难性遗忘的问题，构建了一个可以连续学习的目标检测器。
附图说明
[0035]
图1为本发明的一种基于增量学习的无人艇目标检测方法的流程图；
[0036]
图2为本发明的增量目标检测网络结构示意图；
[0037]
图3为本发明的模型在无人艇平台上部署的示意图。。
具体实施方式
[0038]
下面结合附图对本发明做进一步描述。
[0039]
如图附图1所示：为基于增量学习的无人艇目标检测方法的流程图，包括如下步骤：
[0040]
(1)构建初始类别数据集，通过水面无人艇拍摄真实海洋环境下海面目标图像，并对初始的海面目标进行类别和位置信息的标签标注，构建海面目标检测数据集。
[0041]
(2)构建教师网络模型，教师网络模型：使用任意目标检测网络作为教师网络。读取初始类别海面目标数据集，对模型进行训练和测试。损失函数如下：
[0042][0043]
其中，为边界框损失，为分类损失，为置信度损失。
[0044]
当损失值收敛后，对模型进行测试，当损失值未收敛时调整模型超参数，直至模型收敛。
[0045]
(3)构建新类别数据集：通过水面无人艇拍摄真实海洋环境下海面目标图像，数据集中只对新类别的海面目标进行类别和位置信息的标签标注，构建海面目标检测数据集。
[0046]
其中，新类别海面目标是指初始类别数据集中未出现的海面目标类别，即没有输入到目标检测网络模型中的类别。
[0047]
(4)构建学生网络模型，学生网络与教师网络模型结构相同，仍使用相同目标检测网络作为学生网络。假设新增的海面目标类别为n，则需要在学生网络的输出层增加n个神经元来扩展分类子网络。学生网络中的参数使用训练好的教师网络的参数进行初始化，分类子网络中新增加的神经元采用随机初始化。
[0048]
(5)在教师网络和学生网络之间构建蒸馏损失函数，确保学生网络可以充分学习教师网络的知识。蒸馏损失函数主要包括两部分，一是在整个网络的最后一层之间建立损失函数，公式如下所示：
[0049][0050]
其中p代表教师网络模型最后一层的特征图，代表代表学生网络模型最后一层
的特征图。
[0051]
二是在教师网络和学生网络的主干特征提取网络的最后一层之间建立损失函数，公式如下所示：
[0052][0053]
其中f代表教师网络主干特征提取网络最后一层的特征图，代表学生网络主干特征提取网络最后一层的特征图。
[0054]
(6)在新类别海面目标数据集上训练增量目标检测网络，训练过程，需要将蒸馏损失和目标检测网络正常训练时的损失相加，得到新的损失函数，公式如下：
[0055][0056]
其中，λ1和λ2是用来平衡不同损失之间的超参数。
[0057]
训练时将图像同时输入教师网络和学生网络，冻结教师网络参数，只对学生网络中的参数进行更新，直至损失值收敛至最小。
[0058]
(7)在无人艇平台上部署训练好的模型，对目标进行检测。在部署训练好的模型时，只需要将训练好的学生网络模型在无人艇所搭载的嵌入式平台上进行部署，即可完成对新类别海面目标的检测。
[0059]
(8)增加新类别的检测目标时，重复执行步骤三至步骤七。
[0060]
如图2所示为增量目标检测网络结构示意图。图中a表示初始类别数据集上训练好的教师网络模型，b表示需要增量学习新目标类别的学生网络模型。在学生网络和教师网络之间建立蒸馏损失函数，用来学习教师网络中的知识。蒸馏损失函数主要包括两部分，一是在整个网络的最后一层之间建立损失函数l
dist_output
，二是在教师网络和学生网络的主干特征提取网络的最后一层之间建立损失函数l
dist_feature
。l
cls
+l
box
+l
obj
表示学生网络在学习新目标类别时的损失函数。训练时将图像同时输入教师网络和学生网络，冻结教师网络参数，只对学生网络中的参数进行更新，直至损失值收敛至最小。
[0061]
如图3所示模型在无人艇平台上部署的示意图，在部署目标检测模型时只需要将学良好的学生网络模型移植到无人艇搭载的嵌入式平台上即可完成对海面目标的检测。无人艇航行过程中，利用搭载的相机得到海面图像，将图像输入到目标检测网络中得到检测结果，最后将结果输入到无人艇的控制系统，即可为无人艇的避障和导航提供环境信息。
[0062]
综上关于本发明基于增量学习的无人艇目标检测方法，采用知识蒸馏的方式，解决了在学习新类别目标时的灾难性遗忘问题。在海面目标类型发生变化时，可以对海面目标进行增量式的学习，在获得对于新目标的识别能力，又对最初的目标保持记忆。构建了一个可以连续学习的目标检测器，可以使无人艇快速具备识别新类别海面目标的能力。
[0063]
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

技术特征：

1.一种基于增量学习的无人艇目标检测方法，其特征在于：包括以下步骤：步骤一：构建初始类别数据集，通过水面无人艇拍摄真实海洋环境下海面目标图像，并对初始的海面目标进行类别和位置信息的标签标注，构建海面目标检测数据集；步骤二：构建教师网络模型，并使用初始类别数据集对教师网络模型进行训练，对初始类别海面目标的检测；步骤三：构建新类别数据集：通过水面无人艇拍摄真实海洋环境下海面目标图像，数据集中只对新类别的海面目标进行类别和位置信息的标签标注，构建海面目标检测数据集；步骤四：构建学生网络模型，学生网络与教师网络的整体结构相同，根据新类别目标数量增加相应的分类子网络；步骤五：在教师网络和学生网络之间构建蒸馏损失函数；步骤六：在新类别海面目标数据集上训练增量目标检测网络，是损失函数达到收敛，并保存训练好的模型参数；步骤七：在无人艇平台上部署训练好的模型，对目标进行检测；步骤八：增加新类别的检测目标时，重复执行步骤三至步骤七。2.权利要求1所述的一种基于增量学习的无人艇目标检测方法，其特征在于：所述步骤二中教师网络模型：使用任意目标检测网络作为教师网络；读取初始类别海面目标数据集，对模型进行训练和测试；损失函数为：其中，为边界框损失，为分类损失，为置信度损失；当损失值收敛后，对模型进行测试，当损失值未收敛时调整模型超参数，直至模型收敛。3.权利要求1所述的一种基于增量学习的无人艇目标检测方法，其特征在于：所述步骤三中新类别是指初始类别数据集中未出现的海面目标类别，即没有输入到目标检测网络模型中的类别。4.权利要求1所述的一种基于增量学习的无人艇目标检测方法，其特征在于：所述步骤四中构建的学生网络，与教师网络模型结构相同，仍使用相同目标检测网络作为学生网络；新增的海面目标类别为n，则需要在学生网络的输出层增加n个神经元来扩展分类子网络；学生网络中的参数使用训练好的教师网络的参数进行初始化，分类子网络中新增加的神经元采用随机初始化。5.权利要求1所述的一种基于增量学习的无人艇目标检测方法，其特征在于：所述步骤五中蒸馏损失函数主要包括两部分；第一部分在整个网络的最后一层之间构建损失函数，公式如下所示：其中p代表教师网络模型最后一层的特征图，代表代表学生网络模型最后一层的特征图；第二部分在教师网络和学生网络的主干特征提取网络的最后一层之间建立构建损失
函数，公式如下所示：其中f代表教师网络主干特征提取网络最后一层的特征图，代表学生网络主干特征提取网络最后一层的特征图。6.权利要求1所述的一种基于增量学习的无人艇目标检测方法，其特征在于：所述步骤六中训练过程，需要将蒸馏损失和目标检测网络正常训练时的损失相加，得到新的损失函数，公式如下：其中，λ1和λ2是用来平衡不同损失之间的超参数；训练时将图像同时输入教师网络和学生网络，冻结教师网络参数，只对学生网络中的参数进行更新，直至损失值收敛至最小。7.权利要求1所述的一种基于增量学习的无人艇目标检测方法，其特征在于：所述步骤七中的在无人艇平台上部署训练好的模型，只需要将学生网络在无人艇所搭载的嵌入式平台上进行部署，即可完成对新类别海面目标的检测。

技术总结

本发明涉及一种基于增量学习的无人艇目标检测方法，首先构建初始类别数据集；构建教师网络模型，并使用初始类别数据集对教师网络模型进行训练，对初始类别海面目标的检测；构建新类别数据集；构建学生网络模型，学生网络与教师网络的整体结构相同，根据新类别目标数量增加相应的分类子网络；在教师网络和学生网络之间构建蒸馏损失函数；在新类别海面目标数据集上训练增量目标检测网络，是损失函数达到收敛，并保存训练好的模型参数；在无人艇平台上部署训练好的模型，对目标进行检测；增加新类别的检测目标时，重复执行步骤三至步骤七。本发明构建了一个可以连续学习的目标检测器，可以使无人艇快速具备识别新类别海面目标的能力。能力。能力。