目标对象识别方法、装置、设备及存储介质与流程



1.本技术涉及图像处理技术领域,尤其涉及一种目标对象识别方法、装置、设备及存储介质。


背景技术:



2.目前,在银行安防监控的场景下,存在了大量的小目标样本的检测任务,包括柜台的百元现金滞留警告、火焰的预防提醒等。其中,小目标样本是指检测的对象区域在输入图像的尺寸中占比低于10%的比例,其难点在于目标小极易造成漏检,或者因为分辨率低容易误判。
3.因此,亟需一种目标对象识别方法,能够提高小目标样本检测的准确率,进而避免漏检的情况。


技术实现要素:



4.本技术提供一种目标对象识别方法、装置、设备及存储介质,能够提高小目标样本检测的准确率,进而避免漏检的情况。
5.第一方面,本技术提供一种目标对象识别方法,包括:
6.获取待识别目标对象的帧图像,确定所述待识别目标对象的帧图像中的第一特征矩阵和第二特征矩阵;其中,所述第一特征矩阵表征语义信息;所述第二特征矩阵表征分辨率信息;
7.根据所述第一特征矩阵和所述第二特征矩阵,确定第三特征矩阵和第四特征矩阵;其中,所述第三特征矩阵表征更新后的第一特征矩阵;所述第四特征矩阵表征更新后的第二特征矩阵;
8.对所述第三特征矩阵和所述第四特征矩阵进行特征融合,确定特征融合的结果;
9.根据所述特征融合的结果,在所述待识别目标对象的帧图像中识别所述待识别目标对象。
10.在一个示例中,所述根据所述第一特征矩阵和所述第二特征矩阵,确定第三特征矩阵和第四特征矩阵,包括:
11.根据所述第一特征矩阵和所述第二特征矩阵,确定掩码值;
12.根据所述掩码值,对所述第一特征矩阵和所述第二特征矩阵进行处理,得到所述第三特征矩阵和所述第四特征矩阵。
13.在一个示例中,所述根据所述掩码值,对所述第一特征矩阵和所述第二特征矩阵进行处理,得到所述第三特征矩阵和所述第四特征矩阵,包括:
14.根据所述掩码值,对所述第一特征矩阵和所述第二特征矩阵进行第一尺度变换,确定第三特征矩阵;
15.根据所述掩码值,对所述第一特征矩阵和所述第二特征矩阵进行第二尺度变换,确定第四特征矩阵。
16.在一个示例中,所述根据所述掩码值,对所述第一特征矩阵和所述第二特征矩阵进行第一尺度变换,确定第三特征矩阵,包括:
17.将所述掩码值进行空间映射的转换,得到新的掩码值;
18.根据所述新的掩码值、第一参数值以及第二参数值,对所述第一特征矩阵和所述第二特征矩阵进行第一尺度变换,得到第一尺度变换后的第一结果值;
19.根据所述第一结果值,确定所述第三特征矩阵。
20.在一个示例中,所述根据所述掩码值,对所述第一特征矩阵和所述第二特征矩阵进行第二尺度变换,确定第四特征矩阵,包括:
21.将所述掩码值进行空间映射的转换,得到新的掩码值;
22.根据所述新的掩码值、第一参数值以及第三参数值,对所述第一特征矩阵和所述第二特征矩阵进行第二尺度变换,得到第二尺度变换后的第二结果值;
23.根据所述第二结果值,确定所述第四特征矩阵。
24.在一个示例中,所述对所述第三特征矩阵和所述第四特征矩阵进行特征融合,确定特征融合的结果,包括:
25.调整所述第三特征矩阵的第一权重信息与所述第四特征矩阵的第二权重信息;其中,所述第一权重信息与所述第二权重信息的和值为1;
26.根据所述第三特征矩阵、所述第一权重信息、所述第四特征矩阵和所述第二权重信息,确定特征融合的结果。
27.在一个示例中,所述根据所述特征融合的结果,在所述待识别目标对象的帧图像中识别所述待识别目标对象,包括:
28.根据所述特征融合的结果,在所述待识别目标对象的帧图像中标注所述待识别目标对象。
29.第二方面,本技术提供一种目标对象识别装置,所述装置包括:
30.第一确定单元,用于获取待识别目标对象的帧图像,确定所述待识别目标对象的帧图像中的第一特征矩阵和第二特征矩阵;其中,所述第一特征矩阵表征语义信息;所述第二特征矩阵表征分辨率信息;
31.第二确定单元,用于根据所述第一特征矩阵和所述第二特征矩阵,确定第三特征矩阵和第四特征矩阵;其中,所述第三特征矩阵表征更新后的第一特征矩阵;所述第四特征矩阵表征更新后的第二特征矩阵;
32.第三确定单元,用于对所述第三特征矩阵和所述第四特征矩阵进行特征融合,确定特征融合的结果;
33.识别单元,用于根据所述特征融合的结果,在所述待识别目标对象的帧图像中识别所述待识别目标对象。
34.在一个示例中,第二确定单元,包括:
35.第一确定模块,用于根据所述第一特征矩阵和所述第二特征矩阵,确定掩码值;
36.第二确定模块,用于根据所述掩码值,对所述第一特征矩阵和所述第二特征矩阵进行处理,得到所述第三特征矩阵和所述第四特征矩阵。
37.在一个示例中,第二确定模块,包括:
38.第一确定子模块,用于根据所述掩码值,对所述第一特征矩阵和所述第二特征矩
阵进行第一尺度变换,确定第三特征矩阵;
39.第二确定子模块,用于根据所述掩码值,对所述第一特征矩阵和所述第二特征矩阵进行第二尺度变换,确定第四特征矩阵。
40.在一个示例中,第一确定子模块,用于将所述掩码值进行空间映射的转换,得到新的掩码值;根据所述新的掩码值、第一参数值以及第二参数值,对所述第一特征矩阵和所述第二特征矩阵进行第一尺度变换,得到第一尺度变换后的第一结果值;根据所述第一结果值,确定所述第三特征矩阵。
41.在一个示例中,第二确定子模块,具体用于将所述掩码值进行空间映射的转换,得到新的掩码值;根据所述新的掩码值、第一参数值以及第三参数值,对所述第一特征矩阵和所述第二特征矩阵进行第二尺度变换,得到第二尺度变换后的第二结果值;根据所述第二结果值,确定所述第四特征矩阵。
42.在一个示例中,第三确定单元,包括:
43.调整模块,用于调整所述第三特征矩阵的第一权重信息与所述第四特征矩阵的第二权重信息;其中,所述第一权重信息与所述第二权重信息的和值为1;
44.确定模块,用于根据所述第三特征矩阵、所述第一权重信息、所述第四特征矩阵和所述第二权重信息,确定特征融合的结果。
45.在一个示例中,识别单元,具体用于根据所述特征融合的结果,在所述待识别目标对象的帧图像中标注所述待识别目标对象。
46.第三方面,本技术提供一种电子设备,包括:处理器,以及与所述处理器通信连接的存储器;
47.所述存储器存储计算机执行指令;
48.所述处理器执行所述存储器存储的计算机执行指令,以实现如第一方面所述的方法。
49.第四方面,本技术提供一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机执行指令,所述计算机执行指令被处理器执行时用于实现如第一方面所述的方法。
50.第五方面,本技术提供一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现如第一方面所述的方法。
51.本技术提供的一种目标对象识别方法、装置、设备及存储介质,通过获取待识别目标对象的帧图像,确定所述待识别目标对象的帧图像中的第一特征矩阵和第二特征矩阵;其中,所述第一特征矩阵表征语义信息;所述第二特征矩阵表征分辨率信息;根据所述第一特征矩阵和所述第二特征矩阵,确定第三特征矩阵和第四特征矩阵;其中,所述第三特征矩阵表征更新后的第一特征矩阵;所述第四特征矩阵表征更新后的第二特征矩阵;对所述第三特征矩阵和所述第四特征矩阵进行特征融合,确定特征融合的结果;根据所述特征融合的结果,在所述待识别目标对象的帧图像中识别所述待识别目标对象。采用本技术方案,能够提高小目标样本检测的准确率,进而避免漏检的情况。
附图说明
52.此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本技术的实施
例,并与说明书一起用于解释本技术的原理。
53.图1是根据本技术实施例一提供的一种目标对象识别方法的流程示意图;
54.图2是根据本技术实施例二提供的一种目标对象识别方法的流程示意图;
55.图3是根据本技术实施例三提供的一种目标对象识别装置的结构示意图;
56.图4是根据本技术实施例四提供的一种目标对象识别装置的结构示意图;
57.图5是根据一示例性实施例示出的一种电子设备的框图。
58.通过上述附图,已示出本技术明确的实施例,后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本技术构思的范围,而是通过参考特定实施例为本领域技术人员说明本技术的概念。
具体实施方式
59.这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本技术相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本技术的一些方面相一致的装置和方法的例子。
60.本技术提供的目标对象识别方法,旨在解决现有技术的如上技术问题。
61.下面以具体地实施例对本技术的技术方案以及本技术的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合,对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图,对本技术的实施例进行描述。
62.图1是根据本技术实施例一提供的一种目标对象识别方法的流程示意图。实施例一中包括如下步骤:
63.s101、获取待识别目标对象的帧图像,确定待识别目标对象的帧图像中的第一特征矩阵和第二特征矩阵;其中,第一特征矩阵表征语义信息;第二特征矩阵表征分辨率信息。
64.在一个示例中,待识别目标对象是帧图像中尺寸占比比较小的对象,例如,可以是柜台的百元纸币或者是火焰等。
65.本实施例中,将待识别目标对象的帧图像输入至预设的模型中,可以提取待识别目标对象的帧图像的特征图,并根据特征图确定第一特征矩阵和第二特征矩阵。其中,第一特征矩阵是从神经网络中网络层数比较高的层数中提取出来的特征矩阵,具体的,第一特征矩阵表征语义信息,可以是待识别目标对象的具体物理形态。例如,待识别目标对象为一张纸币等。第二特征矩阵是从神经网络网络层数比较低的层数中提取出来的特征矩阵,具体的,第二特征矩阵表征分辨率信息,可以是待识别目标对象的边缘特征、颜特征和初始位置特征。
66.s102、根据第一特征矩阵和第二特征矩阵,确定第三特征矩阵和第四特征矩阵;其中,第三特征矩阵表征更新后的第一特征矩阵;第四特征矩阵表征更新后的第二特征矩阵。
67.本实施例中,第三特征矩阵是对第一特征矩阵进行处理后得到的,第四特征矩阵是对第二特征矩阵进行处理后得到的。其中,第三特征矩阵表征语义信息,具体的,可以是待识别目标对象的具体物理形态。第四特征矩阵表征的是分辨率信息,可以是待识别目标对象的边缘特征、颜特征和初始位置特征。
68.s103、对第三特征矩阵和第四特征矩阵进行特征融合,确定特征融合的结果。
69.本实施例中,第三特征矩阵与第四特征矩阵是在不同尺度下对待识别目标对象进行的特征描述,因此,可以将第三特征矩阵与第四特征矩阵进行特征融合,进而得到更为详细的特征描述。具体的特征融合的算法可以为对位相加和合并等,并得到特征融合的结果。
70.s104、根据特征融合的结果,在待识别目标对象的帧图像中识别待识别目标对象。
71.本实施例中,在得到特征融合的结果后,在待识别目标对象的帧图像中对该待识别目标对象进行标注。具体的,标注方式可以是以矩形框进行标注。
72.本技术提供的一种目标对象识别方法,通过获取待识别目标对象的帧图像,确定待识别目标对象的帧图像中的第一特征矩阵和第二特征矩阵;根据第一特征矩阵和第二特征矩阵,确定第三特征矩阵和第四特征矩阵;对第三特征矩阵和第四特征矩阵进行特征融合,确定特征融合的结果;根据特征融合的结果,在待识别目标对象的帧图像中识别待识别目标对象。采用本技术方案,能够选择不同的尺寸特征进行融合,并且可以应用在任何多尺度特征融合网络及其相关变种网络内,并且在安防场景复用率高,进一步地,该方法没有数据依赖,也不改变端到端的神经网络训练方法,保持安防检测流程计算效率的同时提升小目标对象的检出率。
73.图2是根据本技术实施例二提供的一种目标对象识别方法的流程示意图。实施例一中包括如下步骤:
74.s201、获取待识别目标对象的帧图像,确定待识别目标对象的帧图像中的第一特征矩阵和第二特征矩阵;其中,第一特征矩阵表征语义信息;第二特征矩阵表征分辨率信息。
75.示例性地,本步骤可以参见上述步骤s101,不再赘述。
76.s202、根据第一特征矩阵和第二特征矩阵,确定掩码值。
77.本实施例中,对第一特征矩阵和第二特征矩阵通过通道合并,得到融合后的尺度特征,并采用空间内平均池化方法,得到掩码值。
78.s203、根据掩码值,对第一特征矩阵和第二特征矩阵进行处理,得到第三特征矩阵和第四特征矩阵。
79.本实施例中,根据掩码值,对掩码值进行自适应学习,重新调整不同通道的信息分布。
80.在一个示例中,根据掩码值,对第一特征矩阵和第二特征矩阵进行处理,得到第三特征矩阵和第四特征矩阵,包括:
81.根据掩码值,对第一特征矩阵和第二特征矩阵进行第一尺度变换,确定第三特征矩阵;根据掩码值,对第一特征矩阵和第二特征矩阵进行第二尺度变换,确定第四特征矩阵。
82.本实施例中,通过掩码值与第一特征矩阵、以及第二特征矩阵进行第一尺度变换后,得到第三特征矩阵,其中,第一尺度变换的方法可以是对位相乘;
83.通过掩码值与第一特征矩阵、以及第二特征矩阵进行第二尺度变换后,得到第四特征矩阵,其中,第二尺度变换的方法可以是对位相乘;
84.本实施例中,第三特征矩阵是由第一特征矩阵和第二特征矩阵共同确定的,因此,第三特征矩阵所表征的信息更为准确。每组掩码值与对应的特征矩阵进行对位相乘后得到
新的自适应特征分布,即相比最初的特征矩阵,两组特征矩阵根据对方信息进一步重新调整了自身的信息分布。
85.在一个示例中,根据掩码值,对第一特征矩阵和第二特征矩阵进行第一尺度变换,确定第三特征矩阵,包括:
86.将掩码值进行空间映射的转换,得到新的掩码值;根据新的掩码值、第一参数值以及第二参数值,对第一特征矩阵和第二特征矩阵进行第一尺度变换,得到第一尺度变换后的第一结果值;根据第一结果值,确定第三特征矩阵。
87.具体的,第三特征矩阵可以通过如下公式得到:
88.h'=σ(φ([h;l],θ1),θ2)
·
h;
[0089]
其中,h表示第一特征矩阵,l表示第二特征矩阵。其中,θ1表示第一参数值,θ2表示第二参数值,σ代表激活函数sigmoid,代表激活函数relu,h’表示第三特征矩阵。
[0090]
在一个示例中,根据掩码值,对第一特征矩阵和第二特征矩阵进行第二尺度变换,确定第四特征矩阵,包括:
[0091]
将掩码值进行空间映射的转换,得到新的掩码值;
[0092]
根据新的掩码值、第一参数值以及第三参数值,对第一特征矩阵和第二特征矩阵进行第二尺度变换,得到第二尺度变换后的第二结果值;
[0093]
根据第二结果值,确定第四特征矩阵。
[0094]
具体的,第四特征矩阵可以通过如下公式得到:
[0095]
l'=σ(φ([h;l],θ1),θ3)l;
[0096]
本实施例中,h表示第一特征矩阵,l表示第二特征矩阵。其中,θ1表示第一参数值,θ3表示第三参数值,σ代表激活函数sigmoid,代表激活函数relu,l’表示第四特征矩阵。
[0097]
s204、调整第三特征矩阵的第一权重信息与第四特征矩阵的第二权重信息;其中,第一权重信息与第二权重信息的和值为1。
[0098]
本实施例中,第二权重信息的值越大,则第四特征矩阵所占的比例越大,则待识别目标对象为尺寸占比比较小的对象时,所能够获取的信息越准确。本实施例中,将第四特征矩阵进行平均池化后,确定平均池化后的掩码值,然后对平均池化后的掩码值进行非线性变换,然后通过全连接层进行计算,先将平均池化后的掩码值压缩至低维空间后,再进行伸展至高维空间,并确定高维度的掩码值,对高维度的掩码值进行非线性变换后,得到第二权重信息。第一权重信息为数值1与第二权重信息的差值。
[0099]
s205、根据第三特征矩阵、第一权重信息、第四特征矩阵和第二权重信息,确定特征融合的结果。
[0100]
本实施例中,将第三特征矩阵对位相乘第一权重信息,第四特征矩阵对位相乘第二权重信息,将两者得到的结果进行对位相加,具体的,可以参见如下公式:
[0101]
t=σ(l',θ4);
[0102]
f=(1-t)
·
h'+t
·
l';
[0103]
其中,t表征第二权重信息,1-t表征第一权重信息,θ4表征第四参数值,h’表示第三特征矩阵,l’表示第四特征矩阵。
[0104]
s206、根据特征融合的结果,在待识别目标对象的帧图像中标注待识别目标对象。
[0105]
示例性地,本步骤可以参见上述步骤s104,不再赘述。
[0106]
本技术提供的一种目标对象识别方法,能够重新调整第三特征矩阵的第一权重信息与第四特征矩阵的第二权重信息,能够通过低阶特征来控制高阶特征的重新分布,提升当前小尺度目标对象的信息占比,其次通过可选特征融合,进一步在当前小目标对象的尺度范围内,进行比例选择,从而弱化副作用信息,强化小目标特征的数量表达,提升小目标对象的检测效果。
[0107]
图3是根据本技术实施例三提供的一种目标对象识别装置的结构示意图。具体的,实施例三的装置30中包括:
[0108]
第一确定单元301,用于获取待识别目标对象的帧图像,确定待识别目标对象的帧图像中的第一特征矩阵和第二特征矩阵;其中,第一特征矩阵表征语义信息;第二特征矩阵表征分辨率信息。
[0109]
第二确定单元302,用于根据第一特征矩阵和第二特征矩阵,确定第三特征矩阵和第四特征矩阵;其中,第三特征矩阵表征更新后的第一特征矩阵;第四特征矩阵表征更新后的第二特征矩阵。
[0110]
第三确定单元303,用于对第三特征矩阵和第四特征矩阵进行特征融合,确定特征融合的结果。
[0111]
识别单元304,用于根据特征融合的结果,在待识别目标对象的帧图像中识别待识别目标对象。
[0112]
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述装置的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
[0113]
图4是根据本技术实施例四提供的一种目标对象识别装置的结构示意图。具体的,实施例四的装置40中包括:
[0114]
第一确定单元401,用于获取待识别目标对象的帧图像,确定待识别目标对象的帧图像中的第一特征矩阵和第二特征矩阵;其中,第一特征矩阵表征语义信息;第二特征矩阵表征分辨率信息。
[0115]
第二确定单元402,用于根据第一特征矩阵和第二特征矩阵,确定第三特征矩阵和第四特征矩阵;其中,第三特征矩阵表征更新后的第一特征矩阵;第四特征矩阵表征更新后的第二特征矩阵。
[0116]
第三确定单元403,用于对第三特征矩阵和第四特征矩阵进行特征融合,确定特征融合的结果。
[0117]
识别单元404,用于根据特征融合的结果,在待识别目标对象的帧图像中识别待识别目标对象。
[0118]
在一个示例中,第二确定单元402,包括:
[0119]
第一确定模块4021,用于根据第一特征矩阵和第二特征矩阵,确定掩码值;
[0120]
第二确定模块4022,用于根据掩码值,对第一特征矩阵和第二特征矩阵进行处理,得到第三特征矩阵和第四特征矩阵。
[0121]
在一个示例中,第二确定模块4022,包括:
[0122]
第一确定子模块40221,用于根据掩码值,对第一特征矩阵和第二特征矩阵进行第一尺度变换,确定第三特征矩阵;
[0123]
第二确定子模块40222,用于根据掩码值,对第一特征矩阵和第二特征矩阵进行第
二尺度变换,确定第四特征矩阵。
[0124]
在一个示例中,第一确定子模块40221,用于将掩码值进行空间映射的转换,得到新的掩码值;根据新的掩码值、第一参数值以及第二参数值,对第一特征矩阵和第二特征矩阵进行第一尺度变换,得到第一尺度变换后的第一结果值;根据第一结果值,确定第三特征矩阵。
[0125]
在一个示例中,第二确定子模块40222,具体用于将掩码值进行空间映射的转换,得到新的掩码值;根据新的掩码值、第一参数值以及第三参数值,对第一特征矩阵和第二特征矩阵进行第二尺度变换,得到第二尺度变换后的第二结果值;根据第二结果值,确定第四特征矩阵。
[0126]
在一个示例中,第三确定单元403,包括:
[0127]
调整模块4031,用于调整第三特征矩阵的第一权重信息与第四特征矩阵的第二权重信息;其中,第一权重信息与第二权重信息的和值为1;
[0128]
确定模块4032,用于根据第三特征矩阵、第一权重信息、第四特征矩阵和第二权重信息,确定特征融合的结果。
[0129]
在一个示例中,识别单元404,具体用于根据特征融合的结果,在待识别目标对象的帧图像中标注待识别目标对象。
[0130]
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述装置的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
[0131]
图5是根据一示例性实施例示出的一种电子设备的框图,该设备可以是移动电话,计算机,数字广播终端,消息收发设备,游戏控制台,平板设备,医疗设备,健身设备,个人数字助理等。
[0132]
装置500可以包括以下一个或多个组件:处理组件502,存储器504,电源组件506,多媒体组件508,音频组件510,输入/输出(i/o)接口512,传感器组件514,以及通信组件516。
[0133]
处理组件502通常控制装置500的整体操作,诸如与显示,电话呼叫,数据通信,相机操作和记录操作相关联的操作。处理组件502可以包括一个或多个处理器520来执行指令,以完成上述的方法的全部或部分步骤。此外,处理组件502可以包括一个或多个模块,便于处理组件502和其他组件之间的交互。例如,处理组件502可以包括多媒体模块,以方便多媒体组件508和处理组件502之间的交互。
[0134]
存储器504被配置为存储各种类型的数据以支持在装置500的操作。这些数据的示例包括用于在装置500上操作的任何应用程序或方法的指令,联系人数据,电话簿数据,消息,图片,视频等。存储器504可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(sram),电可擦除可编程只读存储器(eeprom),可擦除可编程只读存储器(eprom),可编程只读存储器(prom),只读存储器(rom),磁存储器,快闪存储器,磁盘或光盘。
[0135]
电源组件506为装置500的各种组件提供电力。电源组件506可以包括电源管理系统,一个或多个电源,及其他与为装置500生成、管理和分配电力相关联的组件。
[0136]
多媒体组件508包括在所述装置500和用户之间的提供一个输出接口的屏幕。在一些实施例中,屏幕可以包括液晶显示器(lcd)和触摸面板(tp)。如果屏幕包括触摸面板,屏
幕可以被实现为触摸屏,以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界,而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中,多媒体组件508包括一个前置摄像头和/或后置摄像头。当装置500处于操作模式,如拍摄模式或视频模式时,前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
[0137]
音频组件510被配置为输出和/或输入音频信号。例如,音频组件510包括一个麦克风(mic),当装置500处于操作模式,如呼叫模式、记录模式和语音识别模式时,麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器504或经由通信组件516发送。在一些实施例中,音频组件510还包括一个扬声器,用于输出音频信号。
[0138]
i/o接口512为处理组件502和外围接口模块之间提供接口,上述外围接口模块可以是键盘,点击轮,按钮等。这些按钮可包括但不限于:主页按钮、音量按钮、启动按钮和锁定按钮。
[0139]
传感器组件514包括一个或多个传感器,用于为装置500提供各个方面的状态评估。例如,传感器组件514可以检测到装置500的打开/关闭状态,组件的相对定位,例如所述组件为装置500的显示器和小键盘,传感器组件514还可以检测装置500或装置500一个组件的位置改变,用户与装置500接触的存在或不存在,装置500方位或加速/减速和装置500的温度变化。传感器组件514可以包括接近传感器,被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件514还可以包括光传感器,如cmos或ccd图像传感器,用于在成像应用中使用。在一些实施例中,该传感器组件514还可以包括加速度传感器,陀螺仪传感器,磁传感器,压力传感器或温度传感器。
[0140]
通信组件516被配置为便于装置500和其他设备之间有线或无线方式的通信。装置500可以接入基于通信标准的无线网络,如wifi,2g或3g,或它们的组合。在一个示例性实施例中,通信组件516经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中,所述通信组件516还包括近场通信(nfc)模块,以促进短程通信。例如,在nfc模块可基于射频识别(rfid)技术,红外数据协会(irda)技术,超宽带(uwb)技术,蓝牙(bt)技术和其他技术来实现。
[0141]
在示例性实施例中,装置500可以被一个或多个应用专用集成电路(asic)、数字信号处理器(dsp)、数字信号处理设备(dspd)、可编程逻辑器件(pld)、现场可编程门阵列(fpga)、控制器、微控制器、微处理器或其他电子元件实现,用于执行上述方法。
[0142]
在示例性实施例中,还提供了一种包括指令的非临时性计算机可读存储介质,例如包括指令的存储器504,上述指令可由装置500的处理器520执行以完成上述方法。例如,所述非临时性计算机可读存储介质可以是rom、随机存取存储器(ram)、cd-rom、磁带、软盘和光数据存储设备等。
[0143]
一种非临时性计算机可读存储介质,当该存储介质中的指令由电子设备的处理器执行时,使得电子设备能够执行上述电子设备的目标对象识别方法。
[0144]
本技术还公开了一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现如本实施例中所述的方法。
[0145]
本技术以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电
路系统、场可编程门阵列(fpga)、专用集成电路(asic)、专用标准产品(assp)、芯片上系统的系统(soc)、负载可编程逻辑设备(cpld)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括:实施在一个或者多个计算机程序中,该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释,该可编程处理器可以是专用或者通用可编程处理器,可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令,并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
[0146]
用于实施本技术的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器,使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行,作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或电子设备上执行。
[0147]
在本技术的上下文中,机器可读介质可以是有形的介质,其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备,或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom或快闪存储器)、光纤、便捷式紧凑盘只读存储器(cd-rom)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
[0148]
为了提供与用户的交互,可以在计算机上实施此处描述的系统和技术,该计算机具有:用于向用户显示信息的显示装置(例如,crt(阴极射线管)或者lcd(液晶显示器)监视器);以及键盘和指向装置(例如,鼠标或者轨迹球),用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互;例如,提供给用户的反馈可以是任何形式的传感反馈(例如,视觉反馈、听觉反馈、或者触觉反馈);并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
[0149]
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如,作为数据电子设备)、或者包括中间件部件的计算系统(例如,应用电子设备)、或者包括前端部件的计算系统(例如,具有图形用户界面或者网络浏览器的用户计算机,用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如,通信网络)来将系统的部件相互连接。通信网络的示例包括:局域网(lan)、广域网(wan)和互联网。
[0150]
计算机系统可以包括客户端和电子设备。客户端和电子设备一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-电子设备关系的计算机程序来产生客户端和电子设备的关系。电子设备可以是云电子设备,又称为云计算电子设备或云主机,是云计算服务体系中的一项主机产品,以解决了传统物理主机与vps服务("virtual private server",或简称"vps")中,存在的管理难度大,业务扩展性弱的缺陷。电子设备也可以为分布式系统的电子设备,或者是结合了区块链的电子设备。应该
理解,可以使用上面所示的各种形式的流程,重新排序、增加或删除步骤。例如,本技术中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行,只要能够实现本技术公开的技术方案所期望的结果,本文在此不进行限制。
[0151]
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本技术的其它实施方案。本技术旨在涵盖本技术的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本技术的一般性原理并包括本技术未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本技术的真正范围和精神由下面的权利要求书指出。
[0152]
应当理解的是,本技术并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本技术的范围仅由所附的权利要求书来限制。

技术特征:


1.一种目标对象识别方法,其特征在于,所述方法包括:获取待识别目标对象的帧图像,确定所述待识别目标对象的帧图像中的第一特征矩阵和第二特征矩阵;其中,所述第一特征矩阵表征语义信息;所述第二特征矩阵表征分辨率信息;根据所述第一特征矩阵和所述第二特征矩阵,确定第三特征矩阵和第四特征矩阵;其中,所述第三特征矩阵表征更新后的第一特征矩阵;所述第四特征矩阵表征更新后的第二特征矩阵;对所述第三特征矩阵和所述第四特征矩阵进行特征融合,确定特征融合的结果;根据所述特征融合的结果,在所述待识别目标对象的帧图像中识别所述待识别目标对象。2.根据权利要求1所述的方法,其特征在于,所述根据所述第一特征矩阵和所述第二特征矩阵,确定第三特征矩阵和第四特征矩阵,包括:根据所述第一特征矩阵和所述第二特征矩阵,确定掩码值;根据所述掩码值,对所述第一特征矩阵和所述第二特征矩阵进行处理,得到所述第三特征矩阵和所述第四特征矩阵。3.根据权利要求2所述的方法,其特征在于,所述根据所述掩码值,对所述第一特征矩阵和所述第二特征矩阵进行处理,得到所述第三特征矩阵和所述第四特征矩阵,包括:根据所述掩码值,对所述第一特征矩阵和所述第二特征矩阵进行第一尺度变换,确定第三特征矩阵;根据所述掩码值,对所述第一特征矩阵和所述第二特征矩阵进行第二尺度变换,确定第四特征矩阵。4.根据权利要求3所述的方法,其特征在于,所述根据所述掩码值,对所述第一特征矩阵和所述第二特征矩阵进行第一尺度变换,确定第三特征矩阵,包括:将所述掩码值进行空间映射的转换,得到新的掩码值;根据所述新的掩码值、第一参数值以及第二参数值,对所述第一特征矩阵和所述第二特征矩阵进行第一尺度变换,得到第一尺度变换后的第一结果值;根据所述第一结果值,确定所述第三特征矩阵。5.根据权利要求3所述的方法,其特征在于,所述根据所述掩码值,对所述第一特征矩阵和所述第二特征矩阵进行第二尺度变换,确定第四特征矩阵,包括:将所述掩码值进行空间映射的转换,得到新的掩码值;根据所述新的掩码值、第一参数值以及第三参数值,对所述第一特征矩阵和所述第二特征矩阵进行第二尺度变换,得到第二尺度变换后的第二结果值;根据所述第二结果值,确定所述第四特征矩阵。6.根据权利要求1所述的方法,其特征在于,所述对所述第三特征矩阵和所述第四特征矩阵进行特征融合,确定特征融合的结果,包括:调整所述第三特征矩阵的第一权重信息与所述第四特征矩阵的第二权重信息;其中,所述第一权重信息与所述第二权重信息的和值为1;根据所述第三特征矩阵、所述第一权重信息、所述第四特征矩阵和所述第二权重信息,确定特征融合的结果。
7.根据权利要求1所述的方法,其特征在于,所述根据所述特征融合的结果,在所述待识别目标对象的帧图像中识别所述待识别目标对象,包括:根据所述特征融合的结果,在所述待识别目标对象的帧图像中标注所述待识别目标对象。8.一种目标对象识别装置,其特征在于,所述装置包括:第一确定单元,用于获取待识别目标对象的帧图像,确定所述待识别目标对象的帧图像中的第一特征矩阵和第二特征矩阵;其中,所述第一特征矩阵表征语义信息;所述第二特征矩阵表征分辨率信息;第二确定单元,用于根据所述第一特征矩阵和所述第二特征矩阵,确定第三特征矩阵和第四特征矩阵;其中,所述第三特征矩阵表征更新后的第一特征矩阵;所述第四特征矩阵表征更新后的第二特征矩阵;第三确定单元,用于对所述第三特征矩阵和所述第四特征矩阵进行特征融合,确定特征融合的结果;识别单元,用于根据所述特征融合的结果,在所述待识别目标对象的帧图像中识别所述待识别目标对象。9.一种电子设备,其特征在于,包括:处理器,以及与所述处理器通信连接的存储器;所述存储器存储计算机执行指令;所述处理器执行所述存储器存储的计算机执行指令,以实现如权利要求1-7中任一项所述的方法。10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有计算机执行指令,所述计算机执行指令被处理器执行时用于实现如权利要求1-7中任一项所述的方法。11.一种计算机程序产品,其特征在于,包括计算机程序,该计算机程序被处理器执行时实现如权利要求1-7中任一项所述的方法。

技术总结


本申请提供的一种目标对象识别方法、装置、设备及存储介质,涉及图像处理技术领域,通过获取待识别目标对象的帧图像,确定待识别目标对象的帧图像中的第一特征矩阵和第二特征矩阵;根据第一特征矩阵和第二特征矩阵,确定第三特征矩阵和第四特征矩阵;其中,第三特征矩阵表征更新后的第一特征矩阵;第四特征矩阵表征更新后的第二特征矩阵;对第三特征矩阵和第四特征矩阵进行特征融合,确定特征融合的结果;根据特征融合的结果,在待识别目标对象的帧图像中识别待识别目标对象。采用本技术方案,能够提高小目标对象检测的准确率,进而避免漏检的情况。免漏检的情况。免漏检的情况。


技术研发人员:

吴雨 王晔 杨凯

受保护的技术使用者:

建信金融科技有限责任公司

技术研发日:

2022.09.21

技术公布日:

2022/12/12

本文发布于:2024-09-24 05:27:42,感谢您对本站的认可!

本文链接:https://www.17tex.com/tex/4/37737.html

版权声明:本站内容均来自互联网,仅供演示用,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系,我们将在24小时内删除。

标签:矩阵   特征   所述   目标
留言与评论(共有 0 条评论)
   
验证码:
Copyright ©2019-2024 Comsenz Inc.Powered by © 易纺专利技术学习网 豫ICP备2022007602号 豫公网安备41160202000603 站长QQ:729038198 关于我们 投诉建议