(19)中华人民共和国国家知识产权局
(12)发明专利申请
(10)申请公布号 (43)申请公布日 (21)申请号 201910300850.6
(22)申请日 2019.04.15
(71)申请人 天津大学
地址 300072 天津市南开区卫津路92号
(72)发明人 冀中 汪海 庞彦伟
(74)专利代理机构 天津市北洋有限责任专利代
理事务所 12201
代理人 杜文茹
(51)Int.Cl.
G06K 9/62(2006.01)
(54)发明名称一种基于双三元组深度度量学习网络的零样本分类方法(57)摘要一种基于双三元组深度度量学习网络的零样本分类方法，将样本的语义特征输入到映射网络，输出到视觉空间。在视觉空间中，选择一对属于同一类别的语义特征和视觉特征构成正样本对，然后再选取一个与正样本对不同类别的语 义特征，构成三元组，输入到语义引导的三元组网络；同时，选择一对属于同一类别的语义特征和视觉特征构成正样本对，然后再选取一个与正样本对不同类别的视觉特征，构成三元组，输入到视觉引导的三元组网络。最后将语义引导的三元组网络和视觉引导的三元组网络的输出，输入到双三元组损失函数中计算。最后使用最近邻分类器对测试样本进行分类。本发明结构实现简单，训练方法更加简单，训练参数较少，在计算机硬
件设备较差的情形下仍能训练。权利要求书2页 说明书5页 附图2页CN 110135459 A 2019.08.16
C N 110135459
A
1.一种基于双三元组深度度量学习网络的零样本分类方法，首先，利用卷积神经网络提取样本图像视觉特征；利用人工标注的属性特征作为样本语义特征，其特征在于，方法包括训练阶段和测试阶段：训练阶段，首先将训练样本语义特征输入到映射网络，映射网络的输出到视觉空间；在视觉空间中，选择一对属于同一类别的训练样本语义特征和训练样本视觉特征构成正样本对，再选取一个与正样本对不同类别的训练样本语义特征，构成三元组，输入到由语义特征作负样本的三元组网络；同时，选择一对属于同一类别的训练样本语义特征和训练样本视觉特征构成正样本对，再选取一个与正样本对不同类别的训练样本视觉特征，构成三元组，输入到由视觉特征作负样本的三元组网络；最后将由语义特征作负样本
的三元组网络和由视觉特征作负样本的三元组网络的输出，输入到双三元组损失函数中计算损失，用以对映射网络、由语义特征作负样本的三元组网络和由视觉特征作负样本的三元组网络进行优化训练，选取由语义特征作负样本的三元组网络中的一个网络作为最终的深度度量学习网络；测试阶段，将测试样本视觉特征输入到训练完成的映射网络，得到的输出分别与不同类别的测试样本语义特征输入到训练得到的深度度量学习网络，深度度量学习网络输出得到测试样本视觉特征与不同类别的测试样本语义特征的相似度，使用最近邻分类器对样本进行分类，其中相似度最大的测试样本语义特征标注的类别作为样本视觉特征的类别。
2.根据权利要求1所述的一种基于双三元组深度度量学习网络的零样本分类方法，其特征在于，所述双三元组损失函数l(x，
a)表示如下：
其中，s(x，a)代表样本视觉特征和样本语义特征的距离，其中x，a是同类别的样本视觉特征和样本语义特征，a ′代表不同类的样本语义特征，x ′代表不同类的样本视觉特征，α是正负样本的距离间隔，属于超参数；Ω(W f )，Ω(W g )是映射网络和深度度量学习网络的正则项，W f 和W g 是映射网络和度量网络的权重，λ是正则项系数，f(·)表示语义特征到视觉特征的映射网络，g(·)表示深度度量学习网络，d(·，·)表示两个特征的欧氏距离。
3.根据权利要求1所述的一种基于双三元组深度度量学习网络的零样本分类方法，其特征在于，具体包括如下步骤：
1)在训练阶段，将样本语义特征通过三层的神经网络映射到视觉空间，把一个h维度的样本语义特征向量转换为和样本视觉特征同维度的d维特征向量，把样本语义特征矩阵A∈R h ×k 作为输入，每一行代表一个类别的样本语义特征向量，h是样本语义特征的维度，k是样本的类别数，经过一个h ×l ×d的三层神经网络，得到变换后的样本语义特征矩阵：f(A)∈R d ×k ，其中l为整数，且h＜l＜d；
2)在视觉空间中将变换后的样本语义特征矩阵f(A)∈R d ×k 和原有的样本视觉特征矩阵X∈R d ×m 作为输入，d是视觉特征的维度，m是训练样本的数目，X中的每一行代表一个样本视觉特征；经过一个d ×p ×d的三层神经网络，分别得到二次变换后的样本语义特征矩阵和一次变换后的样本视觉特征矩阵g(f(A))∈R d ×k ，g(X)∈R d ×m ，其中p为整数，且0＜p＜d；3)利用到二次变换后的样本语义特征矩阵和一次变换后的样本视觉特征矩阵g(f(A))
权 利 要 求 书1/2页2CN 110135459 A
豫公网安备41160202000603
站长QQ:729038198
关于我们
投诉建议