(19)中华人民共和国国家知识产权局
(12)发明专利申请
(10)申请公布号 (43)申请公布日 (21)申请号 202111402325.9
(22)申请日 2021.11.23
(71)申请人 中国人民解放军海军工程大学
地址 430000 湖北省武汉市硚口区解放大
道717号
(72)发明人 汤寓麟 李厚朴 金绍华 张卫东
纪兵
(74)专利代理机构 北京超凡宏宇专利代理事务
所(特殊普通合伙) 11463
代理人 周春霞
(51)Int.Cl.
G06V 10/40(2022.01)
G06V 10/80(2022.01)
G06V 10/82(2022.01)
G06K 9/62(2022.01)
G06N 3/04(2006.01)G06N 3/08(2006.01)
(54)发明名称一种基于DETR-YOLO的目标检测方法、装置及存储介质(57)摘要本申请提供一种基于DETR ‑YOLO的目标检测方法、装置及存储介质。该基于DETR ‑YOLO的目标检测方法通过获取待检测图像；将所述待检测图像输入到训练好的DETR ‑YOLO模型；其中，所述DETR ‑YOLO模型包括依次连接的基准网络、DETR 网络、Neck网络；最后，根据所述DETR ‑YOLO模型检测出所述待检测图像中的目标。该基于DETR ‑YOLO的目标检测方法通过DETR ‑YOLO模型对目标进行检测，由于该DETR ‑YOLO模型包括依次连接的基准网络、DETR网络、Neck网络，而DETR网络在特征图处理的过程中可以一次性输出所有的预测结果，进而提高了模型的训练效率和目标检测 效率。权利要求书2页 说明书10页 附图3页CN 114067124 A 2022.02.18
C N 114067124
A
1.一种基于DETR‑YOLO的目标检测方法，其特征在于，所述方法包括：
获取待检测图像；
将所述待检测图像输入到训练好的DETR‑YOLO模型；其中，所述DETR‑YOLO模型包括依次连接的基准网络、DETR网络、Neck网络；
根据所述DETR‑YOLO模型检测出所述待检测图像中的目标。
2.根据权利要求1所述的方法，其特征在于，所述根据所述DETR‑YOLO模型检测出所述待检测图像中的目标，包括：
通过所述基准网络对输入的所述待检测图像进行特征提取，获得第一特征图，并向所述DETR网络发送所述第一特征图；
通过所述DETR网络对接收到的所述第一特征图进行目标检测，获得第一目标检测结果，并向所述Neck网络发送所述第一目标检测结果；
通过所述Neck网络对接收到的所述第一目标检测结果进行特征融合和特征提取，获得第二目标检测结果；
根据所述第二目标检测结果确定所述待检测图像中的目标。
3.根据权利要求2所述的方法，其特征在于，所述DETR‑YOLO模型还包括SENet网络，所述SENet网络设置在所述基准网络以及所述DETR网络之间；
所述通过所述基准网络对输入的所述待检测图像进行特征提取，获得第一特征图，并向所述DETR网络发送所述第一特征图，包括：
通过所述基准网络对输入的所述待检测图像进行特征提取，获得第二特征图，向所述SENet网络发送所述第二特征图；
通过所述SENet网络接收所述第二特征图，对所述第二特征图进行压缩和激励处理，获得第一特征图，向所述DETR网络发送所述第一特征图。
4.根据权利要求2所述的方法，其特征在于，所述DETR‑YOLO模型包括4*4、8*8、16*16和32*32的感受野；
所述通过所述Neck网络对接收到的所述第一目标检测结果进行特征融合和特征提取，获得第二目标检测结果，包括：
通过所述Neck网络接收所述第一目标检测结果；其中，所述第一目标检测结果包括第一4*4目标检测结果、第一8*8目标检测结果、第一16*16目标检测结果和第一32*32目标检测结果；
通过所述Neck网络分别对所述第一4*4目标检测结果、所述第一8*8目标检测结果、所述第一16*16目标检测结果和所述第一32*32目标检测结果进行采样融合操作，获得所述第二目标检测结果。
5.根据权利要求2所述的方法，其特征在于，所述通过所述DETR网络对接收到的所述第一特征图进行目标检测，获得第一目标检测结果，包括：
通过所述DETR网络接收所述第一特征图，对所述第一特征图进行目标检测，获得第一目标预测框；
通过所述DETR网络采用加权框融合对所述第一目标预测框进行筛选，生成第一检测框；
通过所述DETR网络根据所述第一检测框确定所述第一目标检测结果。
6.根据权利要求5所述的方法，其特征在于，所述通过所述DETR网络采用加权框融合对所述第一目标预测框进行筛选，生成第一检测框，包括：
根据所述第一目标预测框的置信度确定所述第一目标预测框权重；
根据所述第一目标预测框权重确定第一融合框的第一融合置信度；
若所述第一融合置信度大于第一预设置信度阈值，根据左上角和右下角坐标公式确定所述第一融合框的左上角和右下角位置坐标；其中，左上角坐标公式为
右下角坐标公式为
其中，c i 为第i个第一目标预测
框的置信度，(x1i ，y1i )为第i个第一目标预测框的左上角位置坐标，(x2i ，y2i )为第i个第一目标预测框的右下角位置坐标，(x1m ，y1m )为第m个第一融合框的左上角位置坐标，(x2m ，y2m )为第m个第一融合框的右下角位置坐标；
根据所述第一融合框的左上角位置坐标和右下角位置坐标生成所述第一检测框。
7.根据权利要求2所述的方法，其特征在于，所述通过所述Neck网络对接收到的所述第一目标检测结果进行特征融合和特征提取，获得第二目标检测结果，包括：
通过所述Neck网络接收所述第一目标检测结果，对所述第一目标检测结果进行特征融合和特征提取，获得第二目标预测框；
通过所述Neck网络采用加权框融合对所述第二目标预测框进行筛选，生成第二检测框；
通过所述Neck网络根据所述第二检测框确定所述第二目标检测结果。
8.根据权利要求1所述的方法，其特征在于，所述DETR ‑YOLO模型的训练过程，包括：获取多个训练图像以及所述训练图像中的已知目标；
将所述训练图像输入待训练模型中，获得所述待训练模型的目标检测结果；
根据所述已知目标和所述目标检测结果对所述待训练模型的内部参数进行优化，以获取训练好的DETR ‑YOLO模型。
9.一种基于DETR ‑YOLO的目标检测装置，其特征在于，所述装置包括：
图像获取模块，所述图像获取模块用于获取待检测图像；
图像输入模块，所述图像输入模块用于将所述待检测图像输入到训练好的DETR ‑YOLO 模型；其中，所述DETR ‑YOLO模型包括依次通信连接输入模块、基准网络、DETR网络、Neck网络和输出模块；
图像检测模块，所述图像检测模块用于根据所述DETR ‑YOLO模型检测出所述待检测图像中的目标。
10.一种计算机可读存储介质，其特征在于，该存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如权利要求1至8任一所述的方法。
一种基于DETR‑YOLO的目标检测方法、装置及存储介质
技术领域
[0001]本申请图像处理技术领域，具体涉及一种基于DETR‑YOLO的目标检测方法、装置及存储介质。
背景技术
[0002]随着侧扫声纳探测技术的不断进步，使用侧扫声纳搜索失事沉船已经成为了海道测量障碍物核查和海上搜救的重要内容。
[0003]在通过侧扫声纳探测采集到图像后，通过目标检测算法对图像进行识别与检测，输出相应的矩形框和分类信息，并通过所输出的矩形框和分类信息进行障碍物核查和海上搜救。
[0004]Faster R‑CNN模型是现有的一种通过目标检测算法实现侧扫声纳海底沉船目标的自动检测的模型，但是该模型存在训练效率和检测效率较低的技术问题。
发明内容
[0005]本申请实施例的目的在于提供一种基于DETR‑YOLO的目标检测方法、装置及存储介质，以改善上述目标检测模型中训练和检测效率低的技术问题。
[0006]为实现上述目的，本申请提供如下技术方案：
[0007]第一方面，本申请实施例提供一种基于DETR‑YOLO的目标检测方法，所述方法包括：
[0008]获取待检测图像；
[0009]将所述待检测图像输入到训练好的DETR‑YOLO模型；其中，所述DETR‑YOLO模型包括依次连接的基准网络、DETR网络、Neck网络；
[0010]根据所述DETR‑YOLO模型检测出所述待检测图像中的目标。
[0011]在上述方案中，该基于DETR‑YOLO的目标检测方法通过获取待检测图像；将所述待检测图像输入到训练好的DETR‑YOLO模型；其中，所述DETR‑YOLO模型包括依次连接的基准网络、DETR网络、Neck网络；最后，根据所述DETR‑YOLO模型检测出所述待检测图像中的目标。该基于DETR‑YOLO的目标检测方法通过DETR‑YOLO模型对目标进行检测，由于该DETR‑YOLO模型包括依次连接的基准网络、DETR网络、Neck网络，而DETR网络在特征图处理的过程中可以一次性输出所有的预测结果，进而提高了模型的训练效率和目标检测效率。[0012]可选的，所述根据所述DETR‑YOLO模型检测出所述待检测图像中的目标，包括：通过所述基准网络对输入的所述待检测图像进行特征提取，获得第一特征图，并向所述DETR 网络发送所述第一特征图；通过所述DETR网络对接收到的所述第一特征图进行目标检测，获得第一目标检测结果，并向所述Neck网络发送所述第一目标检测结果；通过所述Neck网络对接收到的所述第一目标检测结果进行特征融合和特征提取，获得第二目标检测结果；根据所述第二目标检测结果确定所述待检测图像中的目标。
[0013]可选的，所述DETR‑YOLO模型还可以包括输入端和输出端；所述输入端和所述基准
网络连接，所述输出端和所述Neck网络连接；通过所述输入端接收所输入的所述待检测图像，并向所述基准网络发送所述待检测图像；所述输出端接收所述Neck网络所获得的所述第二目标检测结果，所述输出端对所述第二目标检测结果进行向量卷积运算获得所述待检测图像中的目标，并输出所述目标。
[0014]可选的，所述DETR‑YOLO模型还包括SENet网络，所述SENet网络设置在所述基准网络以及所述DETR网络之间；所述通过所述基准网络对输入的所述待检测图像进行特征提取，获得第一特征图，并向所述DETR网络发送所述第一特征图，包括：通过所述基准网络对输入的所述待检测图像进行特征提取，获得第二特征图，向所述SENet网络发送所述第二特征图；通过所述SENet网络接收所述第二特征图，对所述第二特征图进行压缩和激励处理，获得第一特征图，向所述DETR网络发送所述第一特征图。
[0015]在上述方案中，通过在DETR‑YOLO模型中加入SENet网络，即通过SENet注意力机制对模型结构进行优化，可以让模型在以全局信息为基础的前提下，通过学习的方式自动获取每个特征通道的重要程度并赋予相应的权重。可以在增强有益特征学习的同时抑制冗余特征的学习，以加强特征学习的针对性，进而提高DETR‑YOLO模型的检测效率和检测精度。[0016]可选的，所述DETR‑YOLO模型包括4*4、8*8、16*16和32*32的感受野；所述通过所述Neck网络对接收到的所述第一目标检测结果进行特征融合和特征提取，获得第二目标检测结果，包括：通过所述Neck网络接收所述第一目标检测结果；其中，所述第一目标检测结果包括第一4*4目标检测结果、第一8*8目标检测结果、第一16*16目标检测结
果和第一32*32目标检测结果；通过所述Neck网络分别对所述第一4*4目标检测结果、所述第一8*8目标检测结果、所述第一16*16目标检测结果和所述第一32*32目标检测结果进行采样融合操作，获得所述第二目标检测结果。
[0017]在上述方案中，通过增加4*4的感受野，从而可以对更小尺度的目标进行检测，并对4*4、8*8、16*16和32*32等多个尺度目标进行采样融合，提高了模型对小尺度目标特征提取和特征融合的能力，进一步提高了DETR‑YOLO模型的检测精度。
[0018]可选的，所述通过所述DETR网络对接收到的所述第一特征图进行目标检测，获得第一目标检测结果，包括：通过所述DETR网络接收所述第一特征图，对所述第一特征图进行目标检测，获得第一目标预测框；通过所述DETR网络采用加权框融合对所述第一目标预测框进行筛选，生成第一检测框；通过所述DETR网络根据所述第一检测框确定所述第一目标检测结果。
[0019]在上述方案中，通过加权框融合对第一目标预测框进行筛选，生成第一检测框，进而提高了第一检测框的定位精度，即提高了第一目标检测结果的准确度，进而降低了整体模型的漏警率和虚警率。
[0020]可选的，所述通过所述DETR网络采用加权框融合对所述第一目标预测框进行筛选，生成第一检测框，包括：根据所述第一目标预测框的置信度确定所述第一目标预测框权重；根据所述第一目标预测框权重确定第一融合框的第一融合置信度；若所述第一融合置信度大于第一预设置信度阈值，根据左上
角和右下角坐标公式确定所述第一融合框的左上角和右下角位置坐标；其中，左上角坐标公式为
豫公网安备41160202000603
站长QQ:729038198
关于我们
投诉建议