(19)国家知识产权局
(12)发明专利申请
(10)申请公布号 (43)申请公布日 (21)申请号 202210253606.0
(22)申请日 2022.03.15
(71)申请人 天津大学
地址 300072 天津市南开区卫津路92号
(72)发明人 房松玉 周圆 李硕士 陈克然
霍树伟
(74)专利代理机构 天津市北洋有限责任专利代
理事务所 12201
专利代理师 琪琛
(51)Int.Cl.
G06V 10/764(2022.01)
G06V 10/82(2022.01)
G06K 9/62(2022.01)
G06N 3/04(2006.01)
G06N 3/08(2006.01)
(54)发明名称
(57)摘要
本发明公开了一种基于文物图像开集识别
提取算法，可以帮助网络利用文物图像的增强信
息提取到更丰富的语义、结构信息，在训练阶段
增强了网络的特征提取能力，并通过基于特征迁
移先验误差的文物图像开集识别算法，利用迁移
学习前后模型所提取特征之间的差异，在测试阶
段进一步提升网络对已知类文物样本和开集文
物样本的判断能力。在文物开集识别任务上的实
验结果表明，相较于现有的开集识别算法，本发
明所提出的算法有效地提升了网络的开集识别
能力。权利要求书2页 说明书4页 附图1页CN 114612722 A 2022.06.10
C N 114612722
A
1.一种基于文物图像开集识别的分类算法，其特征在于，包括以下步骤：
基于对比学习的判别性特征提取算法：在训练阶段使用对比学习算法通过数据增强的方式扩充文物数据集，提高网络提取判别性特征的能力；
然后基于特征迁移先验误差的文物开集识别算法：在测试阶段提出特征迁移误差先验方法，利用迁移学习前后编码器模型中所提取的多层特征之间的差异，对全连接层输出的激活向量值进行修正。
2.根据权利要求1所述基于文物图像开集识别的分类算法，其特征在于，所述基于对比学习的判别性特征提取算法是指：
通过随机从训练集中选取N张文物图片构成一批，对于一批内的某张图片x，通过某些
数据增强操作得到两张增强后的图片和因此，一批内一共有2N张增强后的图片；增强后的图片通过编
码器和映射器得到对应的特征向量z i 和z j ；通过有监督对比损失的约束，对于一批内同一类别的文物图片，拉近其对应特征空间的距离；对于一批内不同类别的文物图片，使其对应特征空间的距离远离。
3.根据权利要求2所述基于文物图像开集识别的分类算法，其特征在于，所述有监督对比学习损失函数定义如下：
其中，N为一批图像总数量，i表示锚点，表示一个批中和锚点i有相同标签的图像
总数量，1i≠j ∈{0，1}是一个指示函数，当且仅当i≠j时返回1，否则返回0；
表
示增强后的图片经过编码器E(·)和投影器P(·)得到的特征向量；z i ·z j 表示z i 和z j 之
间的内积运算，
计算两个特征间的距离；τ＞0是一个标量调节系数，设为0.07。4.根据权利要求1所述基于文物图像开集识别的分类算法，其特征在于，所述基于特征迁移先验误差的文物开集识别算法是指：将训练好的编码器迁移到下一步的分类网络中；在编码器后加入一个全连接层，采用分类交叉熵损失对模型进行迁移学习训练，全连接层神经元的数量为分类对应已知文物类别的数量；用分类全连接层输出的激活特征值除以各层特征之间的距离值，从而达到放大已知类文物样本的激活特征值，缩小开集文物样本的激活特征值的效果；利用修正后的激活特征值，对结果设定一个阈值δ，当激活特征值大于阈值δ时，判断该样本为相应的已知类文物样本，当激活特征值小于阈值δ时，判断该样本为开集文物样本；通过基于特征迁移先验误差的算法，进一步提高了网络的文物图像的开集识别能力；该模型表达式如下：
其中，i是选取的第i层编码器，cos(·)表示计算两个特征向量间的余弦距离，x表示输入图片，E(·)表示对比学习训练完的编码器相应层输出的特征，E′(·)表示迁移学习训练完的编码器相应层输出的特征，f(x)表示分类网络输出的激活特征值，score(x)表示经过修正后的激活特征值，δ为设定的阈值。
基于文物图像开集识别的分类算法技术领域
[0001]本发明涉及计算机视觉中的文物图像分类领域，更具体地，涉及到一种基于对比式判别性特征提取的文物图像开集识别的分类算法。
背景技术
[0002]近年来，深度学习算法在文物图像分类中已经取得了比较好的效果。但是，现有的文物图像分类算法一般都是在封闭集条件下训练和测试的，即测试集中的文物类别都是出现在训练集中的，不涉及到没有在训练集中出现过的文物类别。然而，在真实的部署环境下，如文物勘探、网上博物馆等，在这些场景中可能会出现完全没有在训练集中出现过的未知文物类别，这大大削弱了现有方法的鲁棒
性，使得现有的文物图像分类算法性能降低。此外，现有的文物图像分类算法需要依赖大量文物数据训练网络才能实现。然而，由于文物数据种类丰富，数据标注过程对文物领域专业知识有很高的要求，因此难以构造大量的有监督文物数据。
发明内容
[0003]为了解决现有技术的问题，本发明提供一种基于文物图像开集识别的分类算法，解决现有的文物图像分类算法仅考虑闭集条件下的分类，文物数据不充分的问题。
[0004]本发明提出如下技术方案：
[0005]本发明方法基于卷积神经网络在文物图像分类领域中的应用，针对现有卷积神经网络无法有效提取区分已知类别文物样本和未知类别文物样本所需要的判别性特征的特点，在训练阶段使用对比学习方法提高网络提取判别性特征的能力。在测试阶段提出特征迁移误差先验方法，进一步提升网络的文物图像开集识别能力。
[0006] 1.基于对比学习的判别性特征提取算法
[0007]在现有的文物开集识别算法中，由于训练集中只包含已知类别的文物样本，因此网络只倾向于提取区分已知类别文物所需要的特征，然而这些特征可能不足以捕获已知类文物样本和开集文物样本
之间的差异。对比学习算法通过随机从训练集中选取N张文物图片构成一批，对于一批内的某张图片x，通过某些数据增强操作得到两张增强后的图片和
因此，一批内一共有2N张增强后的图片。增强后的图片通过编码器和映射器得到对应的特征向量z i 和z j 。通过有监督对比损失的约束，对于一批内同一类别的文物图片，拉近其对应特征空间的距离；对于一批内不同类别的文物图片，使其对应特征空间的距离远离。
[0008]有监督对比学习损失函数定义如下：
[0009]
[0010]
[0011]其中，N为一批图像总数量，i表示锚点，表示一个批中和锚点i有相同标签的
图像总数量，1i≠j ∈{0，1}是一个指示函数，当且仅当i ≠j时返回1，否则返回0；
表示增强后的图片空过编码器E(·)和投影器P(·)得到的特征向量；z i ·z j 表示z i 和z j 之间的内积运算，计算两个特征间的距离；τ＞0是一个标量调节系数，本文算法设为0.07。
[0012]由于对比学习算法通过对一张文物图片进行数据增强操作得到两张不同的增强后的图片，并且使得增强后的同一类别文物图片的特征空间相互靠近，不同类别文物图片的特征空间相互远离，因此对比学习算法迫使网络进一步学习文物图片的内在一致的结构信息，增强了网络的特征提取能力，实现了同一类别文物图像的特征空间相互靠近，不同类别文物图像的特征空间相互远离的效果，从而使得网络可以对已知类别的文物样本和未知类别的文物样本更好地区分。
[0013]通过有监督对比损失训练完编码器和映射器后，本文算法将训练好的编码器迁移到下一步的分类网络中。在编码器后加入一个全连接层，采用分类交叉熵损失对模型进行迁移学习训练，全连接层神经元的数量为分类对应已知文物类别的数量。
[0014] 2.基于特征迁移先验误差的文物开集识别算法
[0015]通过基于对比学习的判别性特征提取算法，网络可以提取到文物图片更丰富的判别性特征，从而对已知类别的文物样本和未知类别的文物样本更好区分。本文算法考虑到，由于迁移学习前后所使用的训练数据是相同的，所以在测试阶段提出了一种特征迁移误差先验算法，利用迁移学习前后编码器模型中所提取的多层特征之间的差异，对全连接层输出的激活向量值进行修正。
[0016]对于已知类别文物样本来说，编码器中各层特征之间的距离应该较小，对于开集文物样本来说，各层特征之间的距离应该较大。用分类全连接层输出的激活特征值除以各层特征之间的距离值，从而达到放大已知类文物样本的激活特征值，缩小开集文物样本的激活特征值的效果。利用修正后的激活特征值，对结果设定一个阈值δ，当激活特征值大于阈值δ时，判断该样本为相应的已知类文物样本，当激活特征值小于阈值δ时，判断该样本为开集文物样本。通过基于特征迁移先验误差的算法，进一步提高了网络的文物图像的开集识别能力。该模型表达式如下：
[0017]
[0018]
[0019]
[0020]
[0021]其中，i是选取的第i层编码器，cos(·)表示计算两个特征向量间的余弦距离，x表示输入图片，E(·)表示对比学习训练完的编码器相应层输出的特征，E(·)表示迁移学习训练完的编码器相应层输出的特征，f(x)表示分类网络输出的激活特征值，score(x)表示经过修正后的激活特征值，δ为设定的阈值。
豫公网安备41160202000603
站长QQ:729038198
关于我们
投诉建议