(19)中华人民共和国国家知识产权局
(12)发明专利申请
(10)申请公布号 (43)申请公布日 (21)申请号 201810810455.8
(22)申请日 2018.07.20
(71)申请人 华中科技大学
地址 430074 湖北省武汉市洪山区珞喻路
1037号
(72)发明人 曹治国 李德辉 肖阳 朱昂帆
赵晨 杨健 宫凯程
(74)专利代理机构 华中科技大学专利中心
42201
代理人 李智 曹葆青
(51)Int.Cl.
G06K 9/00(2006.01)
G06K 9/34(2006.01)
G06K 9/62(2006.01)
G06N 3/04(2006.01)
G06N 3/08(2006.01)
(54)发明名称一种水面全景图像语义分割方法(57)摘要本发明公开了一种水面全景图像语义分割方法， 包括：设计卷积神经网络，对训练集中的水面全景图像中各目标类别进行像素级标记得到真实标记图像，利用训练集训练卷积神经网络，将卷积神经网络的输出结果与真实标记图像进行对比，得到训练误差，将训练误差在卷积神经网络进行反向传播，更新卷积神经网络的参数，经过多次迭代训练后得到训练好的卷积神经网络。将待测水面全景图像输入卷积神经网络进行实时语义分割，得到水面全景图像的分割结果。本发明分割速度快、对小区域目标分割效果好。为无人艇等水面智能设备提供全面、快速、准确 的环境感知信息。权利要求书1页 说明书5页 附图3页CN 109145747 A 2019.01.04
C N 109145747
A
1.一种水面全景图像语义分割方法，其特征在于，包括：
将待测水面全景图像输入卷积神经网络进行实时语义分割，得到水面全景图像的分割结果；
所述卷积神经网络利用N*1和1*N两个卷积核代替传统一个N*N卷积核，N≥3，所述卷积神经网络在不同卷积层之间设置跳级连接，所述卷积神经网络使用扩张卷积，所述卷积神经网络的损失函数中加入各目标类别的权重；
所述卷积神经网络的训练包括：
对训练集中的水面全景图像中各目标类别进行像素级标记得到真实标记图像，利用训练集训练卷积神经网络，将卷积神经网络的输出结果与真实标记图像进行对比，得到训练误差，将训练误差在卷积神经网络进行反向传播，更新卷积神经网络的参数，经过多次迭代训练后得到训练好的卷积神经网络。
2.如权利要求1所述的一种水面全景图像语义分割方法，其特征在于，所述损失函数
为：
其中，N cls 为目标类别cls在训练集中的像素点总数，j为目标类别cls的像素点序号，p j 为目标类别cls中第j像素点的预测类别，为目标类别cls中第j像素点的真实类别。
3.如权利要求1或2所述的一种水面全景图像语义分割方法，其特征在于，所述卷积神经网络中将编码网络的输出特征图与浅层特征图的全局平均池化结果融合，得到全局信息。
4.如权利要求1或2所述的一种水面全景图像语义分割方法，其特征在于，所述水面全景图像的分割结果
用于控制水面智能设备的前进方向。
5.如权利要求4所述的一种水面全景图像语义分割方法，其特征在于，所述方法的应用包括：
利用相机标定板标定相机，建立成像平面坐标系与世界坐标系的映射关系，利用映射关系将水面全景图像的分割结果中各像素点的坐标转换至世界坐标系中，得到水面全景图像的分割结果中各像素点在现实空间中的位置，然后利用各像素点在现实空间中的位置进行水面智能设备的自主航迹规划，从而控制水面智能设备的前进方向。
权 利 要 求 书1/1页CN 109145747 A
一种水面全景图像语义分割方法
技术领域
[0001]本发明属于计算机视觉识别技术领域，更具体地，涉及一种水面全景图像语义分割方法。
背景技术
[0002]随着海洋强国战略的提出，我国已经开始大力发展海洋设备。无人艇作为一种无人水面移动平台，
不仅能够进入一些恶劣环境中完成任务，同时也能够提高需要长时间作业的任务的完成效率，在许多实际应用中都发挥着十分重要的作用，例如海关巡逻、浅海扫雷和水质监测等等。对于无人艇而言，环境感知技术是其完成自主航行和自主避障不可缺少的一环。特别地，在实际作业的过程当中，仅能够检测前进方向的目标或障碍物是远远不够的，危险可能出现在无人艇周围任何的方位。因此，装备全景相机来采集无人艇周围360°范围内的环境信息，并实时检测其中的目标及障碍物，是提高无人艇自主航行安全性的有效手段。传统的环境感知绝大部分都是基于目标检测实现的。目标检测只对图像中的目标画出检测框(bounding boxes)并判断框内物体类别，这样的方法不仅存在目标位置不够准确的问题，而且缺少全图的语义信息，不利于无人艇的环境感知和航迹规划。而使用语义分割的方法，对图像实现像素级的分类，则可以提供目标确切的位置信息和丰富的环境信息，使无人艇自主安全地航行成为可能。
[0003]在现有的技术中，尚没有将水面全景图像用于实时语义分割。有人曾提出一种用水面全景图像实现目标检测的方法，但是这种方法不能为无人艇的环境感知提供足够且准确的信息。目前常用的语义分割算法如下：
[0004]2014年，伯克利大学的Jonathan Long等人提出全卷积神经网络(FCN)，首次将CNN 用于图像的语义分割任务。FCN去掉了传统卷积网络末端的全连接层，并对下采样的卷积特征图进行反卷积，得到与原始图片一致的输出特征图，并在输出特征图上对每个像素点进行分类。随后的语义分割模型基本上都采用了这种结构。FCN在Cityscapes数据集上的平均IOU为65.3％，速度为2fps。2015年，Vijay Badr
inarayanan等人提出SegNet将池化层结果应用到译码过程，可以快速得到反卷积结果，实现了比FCN更高效的语义分割。SegNet在Cityscapes数据集上的平均IOU为57％，速度为16.7fps。2016年，Adam Paszke等人提出ENet，该网络使用bottleneck模块先对特征图降维再卷积，然后再升到所需模块，大幅减少了计算量，是第一个实现实时语义分割的网络。2017年，Hengshuang Zhao等人提出PSPNet，用特征金字塔获取多尺度信息，获取了多尺度信息，极大地提高了语义分割的准确度，PSPNet在Cityscapes数据集上的平均IOU为78.4％。
[0005]上述方法对当前公共数据库中的图像都有很好的效果，但是速度和准确度没有一个很好的平衡，即要么分割准确率较低，要么分割速度较慢。再者，上述方法用于水面全景图像的语义分割时有以下缺陷：①速度较慢。全景图像比一般数据集的图片要大很多，对应的计算量也大幅增加，使算法的运行速度变慢，不能满足无人艇实时处理图像的要求；②对小区域目标分割效果不好。这些算法对小区域目标的分割准确率较低，而水面场景往往存
在一些区域较小但是很重要的目标，例如远处的船只等，对这些区域分割不准不利于无人艇做出决策，执行各项任务。
发明内容
[0006]针对现有技术的以上缺陷或改进需求，本发明提供了一种水面全景图像语义分割方法，由此解决
现有技术存在的速度较慢、对小区域目标分割效果不好的技术问题。[0007]为实现上述目的，本发明提供了一种水面全景图像语义分割方法，包括：[0008]将待测水面全景图像输入卷积神经网络进行实时语义分割，得到水面全景图像的分割结果；
[0009]所述卷积神经网络利用N*1和1*N两个卷积核代替传统一个N*N卷积核，N≥3，所述卷积神经网络在不同卷积层之间设置跳级连接，所述卷积神经网络使用扩张卷积，所述卷积神经网络的损失函数中加入各目标类别的权重；
[0010]所述卷积神经网络的训练包括：
[0011]对训练集中的水面全景图像中各目标类别进行像素级标记得到真实标记图像，利用训练集训练卷积神经网络，将卷积神经网络的输出结果与真实标记图像进行对比，得到训练误差，将训练误差在卷积神经网络进行反向传播，更新卷积神经网络的参数，经过多次迭代训练后得到训练好的卷积神经网络。
[0012]进一步地，损失函数为：
[0013]
[0014]其中，N cls为目标类别cls在训练集中的像素点总数，j为目标类别cls的像素点序号，p j为目标类别cls中第j像素点的预测类别，为目标类别cls中第j像素点的真实类别。[0015]进一步地，卷积神经网络中将编码网络的输出特征图与浅层特征图的全局平均池化结果融合，得到全局信息。
[0016]进一步地，水面全景图像的分割结果用于控制水面智能设备的前进方向。[0017]进一步地，方法的应用包括：
[0018]利用相机标定板标定相机，建立成像平面坐标系与世界坐标系的映射关系，利用映射关系将水面全景图像的分割结果中各像素点的坐标转换至世界坐标系中，得到水面全景图像的分割结果中各像素点在现实空间中的位置，然后利用各像素点在现实空间中的位置进行水面智能设备的自主航迹规划，从而控制水面智能设备的前进方向。
[0019]总体而言，通过本发明所构思的以上技术方案与现有技术相比，能够取得下列有益效果：
[0020](1)本发明的卷积神经网络利用N*1和1*N两个卷积核代替传统一个N*N卷积核，传统的卷积核越大，减少的参数量就越多，本发明的卷积方法大幅减少了网络的计算量，提高了卷积神经网络的效率，实现全景图像的实时语义分割；本发明分割速度快、对小区域目标分割效果好。
[0021](2)水面场景中各类目标区域大小差异很大，传统损失函数会导致训练的分类器倾向于把大面积目标(例如水、天空)分割正确，而把小面积目标(例如船只)忽略掉。为了解
决这个问题，本发明在卷积神经网络的损失函数中加入各目标类别的权重；极大改善了不同目标类别样本不平衡地问题，提高了对小区域目标的分割精确度。
[0022](3)本发明卷积神经网络在不同卷积层之间设置跳级连接，以避免网络训练中梯度衰减的问题；卷积神经网络使用扩张卷积，在不增加计算量的情况下增加了特征图的感受野，提高分割准确度。本发明融合全局信息，提高网络分割准确度。本发明为无人艇等水面智能设备提供全面、快速、准确的环境感知信息。
附图说明
[0023]图1是本发明实施例提供的一种水面全景图像语义分割方法的流程图；[0024]图2(a)是本发明实施例1提供的原始卷积神经网络的结构示意图；
[0025]图2(b)是本发明实施例提1供的改进后的卷积神经网络的结构示意图；[0026]图3(a)是本发明实施例1提供的水面全景图像；
[0027]图3(b)是本发明实施例1提供的水面全景图像的分割结果。
具体实施方式
[0028]为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
[0029]如图1所示，一种水面全景图像语义分割方法，包括：
[0030]将待测水面全景图像输入卷积神经网络进行实时语义分割，得到水面全景图像的分割结果；
[0031]所述卷积神经网络利用N*1和1*N两个卷积核代替传统一个N*N卷积核，N≥3，所述卷积神经网络在不同卷积层之间设置跳级连接，所述卷积神经网络使用扩张卷积，所述卷积神经网络的损失函数中加入各目标类别的权重；卷积神经网络中将编码网络的输出特征图与浅层特征图的全局平均池化结果融合，得到全局信息。
[0032]所述卷积神经网络的训练包括：
[0033]对训练集中的水面全景图像中各目标类别进行像素级标记得到真实标记图像，利用训练集训练卷积神经网络，将卷积神经网络的输出结果与真实标记图像进行对比，得到训练误差，将训练误差在卷积神经网络进行反向传播，更新卷积神经网络的参数，经过多次迭代训练后得到训练好的卷积神经网络。
[0034]损失函数为：
[0035]
[0036]其中，N cls为目标类别cls在训练集中的像素点总数，j为目标类别cls的像素点序号，p j为目标类别cls中第j像素点的预测类别，为目标类别cls中第j像素点的真实类别。[0037]实施例1
[0038]一种水面全景图像语义分割方法，包括：
豫公网安备41160202000603
站长QQ:729038198
关于我们
投诉建议