(19)中华人民共和国国家知识产权局
(12)发明专利申请
(10)申请公布号 (43)申请公布日 (21)申请号 202110175437.9
(22)申请日 2021.02.09
(71)申请人 浙江工业大学
地址 310006 浙江省杭州市下城区朝晖六
区潮王路18号
(72)发明人 杨良怀 谭书涛 范玉雷
(74)专利代理机构 杭州浙科专利事务所(普通
合伙) 33213
代理人 周红芳
(51)Int.Cl.
G06T 7/00(2017.01)
G06K 9/62(2006.01)
G06N 3/04(2006.01)
G06N 3/08(2006.01)
(54)发明名称一种纺织品图像指纹检索方法(57)摘要本发明公开了一种纺织品图像指纹检索方法。它括图像指纹获取、图像索引构建与图像检索；图像指纹获取包括获取待检测纺织品图像及纺织品图像库中所有纺织品图像的指纹，纺织品图像中多个重复出现的局部细粒度特征定义为纺织品图像的指纹部件，将提取出的指纹部件融合后生成的图像特征定义为纺织品图像的指纹；图像库中每个图像的指纹作为对应图像的特征，与图像名对应存储；再采用Cosine余弦距离计算待检测图像的指纹与图像库中的图像指纹特征之间的距离，将距离最近的图片取出，即为检索到的纺织品图像。本发明能够方便用户快速到使用该指纹部件的纺织品图像，提高检索效率。通过指纹实现图像精准检索，提高了纺织品图像 指纹检索的精度。权利要求书2页 说明书5页 附图1页CN 112837299 A 2021.05.25
C N 112837299
A
1.一种纺织品图像指纹检索方法，其特征在于包括图像指纹获取、图像索引构建与图像检索；图像指纹获取包括获取待检测纺织品图像及纺织品图像库中所有纺织品图像的指纹，纺织品图像中多个重复出现的局部细粒度特征定义为纺织品图像的指纹部件，从一张纺织品图像提取出若干个指纹部件，将得到的指纹部件融合后生成的图像特征定义为纺织品图像的指纹；图像库中每个图像的指纹作为对应图像的特征，与图像名对应存储；再采用Cosine余弦距离计算待检测图像的指纹与图像库中的图像指纹特征之间的距离，将距离最近的图片取出，即为检索到的纺织品图像。
2.根据权利要求1所述的一种纺织品图像指纹检索方法，其特征在于图像指纹获取包括以下步骤：
1)采用Mask R‑CNN网络提取纺织品图像中细粒度的特征作为该纺织品图像的指纹部件，假设有k个指纹部件；
2)将k个指纹部件分别馈入ResNet网络，取其最大池化层作为纺织品图像的深度特征，
记为x
1,…,x
k
，是相同维度的向量；
3)对k个指纹部件提取的深度特征等权重加权平均来进行融合，
获取到该纺织品图像的指纹。
3.根据权利要求2所述的一种纺织品图像指纹检索方法，其特征在于步骤1)的采用Mask R‑CNN网络提取纺织品图像中细粒度的特征作为该纺织品图像的指纹部件的具体过程包括以下步骤：
A1调整Mask R‑CNN网络中的ROI检测阈值DETECTION_MIN_CONFIDENCE为0.2；
A2将待检测纺织品图像馈入预训练好的卷积神经网络，得到特征图；将所得的特征图输入到区域建议网络中产生若干候选区域；使用非极大值抑制法NMS过滤出精确的候选区域；再将获得的精确的候选区域馈入到感兴趣区域，映射为相同维度特征向量作为指纹部件，将得到的全体指纹部件记为T＝{T1,…,Tn|n≤6}；
A3使用COCO预训练数据集分类判别全体指纹部件的概率值，所述概率值为0‑1，并对全体指纹部件按概率值由高到低进行排序；
A4计算T中每个指纹部件的面积；
A5对于计算出的指纹部件，若面积相同、使用COCO预训练数据集分类的类别相同且重复出现的，则只保留其中一个指纹部件，并将这种指纹部件放入指纹部件的列表P中；
A6对于T中的指纹部件，若步骤A3中排序前三的指纹部件不在指纹部件的列表P中，则将其放入指纹部件的列表P；
A7将指纹部件的列表P作为纺织品图像的指纹部件，列表P中指纹部件的个数即为k。
4.根据权利要求1所述的一种纺织品图像指纹检索方法，其特征在于图像索引构建具体为：
1)获取需要构建索引的纺织品图像库中每一个纺织品图像的指纹；
2)将步骤1)提取到的指纹作为对应纺织品图像的特征，与该图像名一一对应，并存储到本地，完成图像索引构建。
5.根据权利要求1所述的一种纺织品图像指纹检索方法，其特征在于纺织品图像的图像检索包括以下步骤：
1)获取待检测纺织品图像的指纹；
2)使用Cosine余弦距离计算待检测纺织品图像和图像索引中存储的图像特征之间的距离；
3)选择步骤2)中计算出的待检测纺织品图像和图像索引中存储的图像特征之间的距离最近的图片，即为检索到的纺织品图像。
一种纺织品图像指纹检索方法
技术领域
[0001]本发明属于目标检测、图像检索等技术领域，涉及一种纺织品图像指纹检索方法，具体为纺织品图像的局部细粒度特征提取方法。
背景技术
[0002]近年来，随着纺织品图像设计行业的发展，纺织品图像的数量增长十分迅速，呈现指数级增长的趋势。如何更好地应用纺织品图像数据，实现方便、快速、准确地查询和检索到用户所需的图像信息，使管理者可以从大量的单调的人工管理工作中解放出来，已成为人们迫切需要解决的问题。图像检索技术在各个工业领域都有广泛的应用场景，纺织品图像存在分类查费时费力，相关从业人员检索需要的图像精度低等难题。如2019中国绍兴柯桥国际纺织品面辅料博览会展出了45万款面料，如何从大量面料图样中有效筛选出客户要求的结果是其典型问题。长期积累的纺织品面料图像种类复杂多样，存在图像内部特征重复率高，单个花型为主的图像背景信息繁复，图像大小差异过大等一系列特
点。[0003]主流的解决方案是采用基于内容的图像检索，即CBIR(Content‑based Image Retrieval)技术，该图像检索技术使得用户输入一张图片，可以查相同或相似内容的其他图片。在1992年有论文提出了基于内容的图像检索技术这一概念。在论文中构建了一个基于彩与形状的图像数据库，并提供了一定的检索功能进行实验。此后CBIR这一概念被广泛应用于各种研究领域。学习有效的特征表示和相似性度量对于基于内容的图像检索(CBIR)系统的检索性能至关重要。尽管数十年来进行了广泛的研究，但它仍然是最具挑战性的开放性问题之一。
[0004]随着深度学习技术的发展，卷积神经网络(CNN)模型在图像检索、分类等相关领域取得成功，使图像深度特征表达成为研究热点。较之于传统特征，深度特征通过多层卷积计算能够提取图像中的高级语义信息。图像检索中深度学习方法主要可分为两类。一类是基于在ImageNet上预训练的CNN模型(如VGG，ResNet)，将全连接层的输出作为图像特征来提升图像检索精度。该方法可以将图像检索任务的整幅图像表示为一个全局的神经编码(Neural Codes)作为图像检索的特征；之后用该方法分别测试了在不同网络上检索常用的几个图像库的效果，取得了不错的成绩。虽然随着神经网络的不断加深，其表达能力也有所增强，但直接应用预训练的CNN模型作为特征提取器的效果并非都能够满足要求，特别是在一些细粒度的图像特征提取方面效果不佳，比起传统特征的检索准确率并没有特别明显的提升。另一类方法是基于对预训练模型的微调(fine‑tuned)以获得更适合图像分类数据库的网络模型，如通过挖掘数据库中的正负样本，对CNN网络进行微调。微调模型对于学习图像检索中的细粒度
图像分类十分重要，但是微调模型会导致“灾难性遗忘”问题，几乎失去对原有数据集的识别能力，微调方法无法将模型迁移到不同数据集。本发明所提方法将解决这方面的问题。
发明内容
[0005]纺织品图像中存在诸多特有特性，使用ImageNet的预训练模型所提取的特征并不完全适用。一类纺织品图像具有图像局部特征重复率高的特点，使得深度网络会提取图像重复分布的全局特征，所提取的全局特征对细粒度图像特征检索造成干扰；另一类纺织品图像是由单个主体和繁复的背景组成，使用深度网络所提取的图像背景特征对于图像检索无关，也可能造成干扰；针对现有技术中存在的上述问题，本发明的目的在于提供一种纺织品图像指纹检索方法，用于解决纺织品图像局部特征的匹配精度问题。
[0006]本发明所述的一种纺织品图像指纹检索方法，其特征在于包括图像指纹获取、图像索引构建与图像检索；图像指纹获取包括获取待检测纺织品图像及纺织品图像库中所有纺织品图像的指纹，纺织品图像中多个重复出现的局部细粒度特征定义为纺织品图像的指纹部件，从一张纺织品图像提取出若干个指纹部件，将得到的指纹部件融合后生成的图像特征定义为纺织品图像的指纹；图像库中每个图像的指纹作为对应图像的特征，与图像名对应存储；再采用Cosine余弦距离计算待检测图像的指纹与图像库中的图像指纹特征之间的距离，将距离最近的图片取出，即为检索到的纺织品图像。
[0007]进一步地，本发明图像指纹获取包括以下步骤：
1)采用Mask R‑CNN网络提取纺织品图像中细粒度的特征作为该纺织品图像的指纹部件，假设有k个指纹部件；
2)将k个指纹部件分别馈入ResNet网络，取其最大池化层作为纺织品图像的深度
特征，记为x
1,…,x
k
，是相同维度的向量；
3)对k个指纹部件提取的深度特征等权重加权平均来进行
融合，获取到该纺织品图像的指纹。
[0008]更进一步地，采用Mask R‑CNN网络提取纺织品图像中细粒度的特征作为该纺织品图像的指纹部件的具体过程包括以下步骤：
A1调整Mask R‑CNN网络中的ROI检测阈值DETECTION_MIN_CONFIDENCE为0.2；
A2将待检测纺织品图像馈入预训练好的卷积神经网络，得到特征图；将所得的特征图输入到区域建议网络(Region Proposal Network，RPN)中产生若干候选区域；使用非极大值抑制法NMS过滤出精确的候选区域；再将获得的精确的候选区域馈入到感兴趣区域(ROIAlign)，映射为相同维度特征向量作为指纹部件，将得到全体指纹部件记为T＝{T1,…,Tn|n≤6}；
A3使用COCO预训练数据集分类判别全体指纹部件的概率值，所述概率值为0‑1，并对全体指纹部件按概率值由高到低进行排序；
A4计算T中每个指纹部件的面积；
A5对于计算出的指纹部件，若面积相同、使用COCO预训练数据集分类的类别相同且重复出现的，则只保留其中一个指纹部件，并将这种指纹部件放入指纹部件的列表P中；
A6对于T中的指纹部件，若步骤A3中排序前三的指纹部件不在指纹部件的列表P 中，则将其放入指纹部件的列表P；
A7将指纹部件的列表P作为纺织品图像的指纹部件。
[0009]更进一步地，本发明的图像索引构建具体为：
豫公网安备41160202000603
站长QQ:729038198
关于我们
投诉建议