(19)中华人民共和国国家知识产权局
| | |
| (10)申请公布号 CN 105701173 A (43)申请公布日 2016.06.22 |
| | |
(21)申请号 CN201610001348.1
(22)申请日 2016.01.05
(71)申请人 中国电影科学技术研究所;北京信息科技大学
地址 100086 北京市海淀区双榆树科学院南路44号
(72)发明人 李雪伟 吕学强 张鑫 王木旺 崔强
(74)专利代理机构
代理人
(51)Int.CI
G06F17/30
(54)发明名称
(57)摘要
本发明涉及一种基于外观设计专利的多模态图像检索方法，包括以下步骤：步骤1)：提出有效内容提取算法提取图像有效内容，并对图像进行预处理操作；步骤2)：提取图像文本特征；步骤3)：提取图像快速局部方向模式视觉特征；步骤4)：将图像文本特征与视觉特征融合，对图像进行多模态检索。本发明提出一种融合文本特征与底层视觉特征的多模态图像检索算法，充分发挥了不同模态特征的优点，提高了检索准确率，该方法优于已有的单模态检索方法，可以很好地满足实际应用的需要。 | |
| |
法律状态
权 利 要 求 说 明 书
1.一种基于外观设计专利的多模态图像检索方法，其特征在于，包括以下步骤：
步骤1)：提出图像有效内容提取算法IECE(ImageEffectiveContentExtractionAlgorithm)提取图像有效内容，并根据图像直方图范围动态选择对图像进行灰度拉伸预处理操作；
其中，所述图像有效内容是指属于图像信息且在专利审查中对比的图像内容；
步骤2)：提取图像文本特征；
步骤3)：提取图像快速局部方向模式视觉特征FLDP(FastLocalDirectionalPattern)；
步骤4)：将图像文本特征与视觉特征融合，对图像进行多模态检索。
2.根据权利要求1所述的基于外观设计专利的多模态图像检索方法，其特征在于，所述步骤1)中所述的图像有效内容提取算法具体为：
步骤A：初步确定图像无关内容范围；
其中，所述图像无关内容是指属于图像信息但在专利审查中忽略的图像内容；
步骤B：利用基于一阶微分法判断有效边界；
其中，所述有效边界指有效内容与无关内容邻接处属于图像有效内容对应的行或列所在区域，具有唯一性和不变性；
步骤C：利用回溯确定有效边界。
3.根据权利要求2所述的多模态图像检索方法，其特征在于，所述步骤A具体为：
步骤A1：在列方向判断图像有效内容，如公式(1)和公式(2)所示；
num＝num+1，if(abs(p<Sub>i，j</Sub>-p<Sub>i+1，j</Sub>)≤threshold_rate)(1)
<Image></Image>
其中，num为统计的每列相邻像素值差值大于阈值的像素点数目，初始值为0，i取值范围为[0，Hmax]；threshold_rate为差值阈值；
步骤A2：在行方向判断图像有效内容，如公式(3)和公式(4)所示；
num＝num+1，abs(p<Sub>i，j</Sub>-p<Sub>i，j+1</Sub>)＞threshold_rate(3)
<Image></Image>
其中，num为统计的每列相邻像素值差值大于阈值的像素点数目，初始值为0，i取值范围为[0，Wmax]；threshold_rate为差值阈值。
4.根据权利要求2所述的多模态图像检索方法，其特征在于，所述步骤B具体如公式(5)和公式(6)所示：
<Image></Image>
<Image></Image>
其中，Gx和Gy求取方式如公式(7)和公式(8)所示：
G<Sub>x</Sub>＝|f(x+1，y)-f(x，y)|(7)
G<Sub>y</Sub>＝|f(x，y+1)-f(x，y)|(8)。
5.根据权利要求2所述的多模态图像检索方法，其特征在于，所述步骤C具体为：
步骤C1：根据方向设置滑动窗口：垂直方向滑动窗口应设置为height*2大小，水平方向滑动窗口大小应为2*width；
步骤C2：初始化滑动窗口；
步骤C3：判断外边缘是否为有效边界，如果是则转向步骤C5，否则转向步骤C4；
步骤C4：根据方向以1个像素点为步长向外移动滑动窗口；
步骤C5：结束回溯。
6.根据权利要求1所述的基于外观设计专利的多模态图像检索方法，其特征在于，所述步骤1)
中所述的根据图像直方图范围动态选择对图像进行灰度拉伸预处理操作具体如公式(9)所示：
</Image>
其中，R<Sub>min</Sub>与R<Sub>max</Sub>分别为整幅图像灰度值中的最小值与最大值，若R<Sub>min</Sub>与R<Sub>max</Sub>之间宽度小于设定阈值，则对图像进行灰度拉伸预处理。
7.根据权利要求1所述的基于外观设计专利的多模态图像检索方法，其特征在于，所述步骤2)具体为：
步骤A：提取外观设计专利摘要信息中的类别信息；其中，所述类别信息指外观设计产品的名称信息；
步骤B：利用哈工大版《同义词词林》对提取的类别信息进行扩展。
8.根据权利要求7所述的多模态图像检索方法，其特征在于，所述步骤B具体为：
将《同义词词林》中的同义词与相关词加入文本特征库，并为同义词赋予较高的权重，相关
词赋予相对较低的权重。
9.根据权利要求1所述的基于外观设计专利的多模态图像检索方法，其特征在于，所述步骤3)具体为：
步骤A：计算方向边缘响应：将图像分别按Kirsch边缘模板进行卷积运算，进而得到8个边缘响应矩阵M0，M1，......，M7；其中，将正的边缘响应编码设为1，负的边缘响应编码设为0；
步骤B：构造编码图像：对于图像中每一像素点，构造其对应的8位FLDP描述子，获取8位二进制串，并将其转换为十进制值，且该值为编码图像的灰度值；
步骤C：提取图像的FLDP特征：将步骤B构造的编码图像的直方图作为原图像的FLDP特征。
10.根据权利要求1所述的基于外观设计专利的多模态图像检索方法，其特征在于，所述步骤4)具体为：
融合文本特征和图像特征，计算图像间的相似性，返回相似的图像。
说 明 书
技术领域
本发明属于外观设计专利中图像检索技术领域，具体涉及一种基于外观设计专利的多模态图像检索方法。
背景技术
随着我国经济的快速发展，外观设计专利已成为保护企业知识产权、维护自身利益、保护发明创造的重要途径。实现外观设计专利的快速查询，一方面能帮助用户获取指定的专利信息，减少模仿纠纷，另一方面对实现真正的现代化管理、增强企业国际竞争力具有非常重要的作用。
不同于互联网上复杂多变的图像，外观设计专利图像保护的是图像的纹理及形状信息，因此，在对图像提取底层视觉特征时，主要以纹理和形状特征为主，以颜特征为辅。由于语义鸿沟的存在，仅依据图像底层视觉特征进行检索存在限制性，无法满足人们检索需求。
外观设计专利数据分为文本信息和图像信息，而利用图像本身的视觉特征提取图像的语义特征，实现外观设计专利图像的多模态检索。这种方法因语义鸿沟的存在，影响语义特征提取的正确率，进而影响检索效果。
发明内容
针对上述现有技术中存在的问题，本发明的目的在于提供一种可避免出现上述技术缺陷的基于外观设计专利的多模态图像检索方法。
为了实现上述发明目的，本发明采用的技术方案如下：
一种基于外观设计专利的多模态图像检索方法，包括以下步骤：
步骤1)：提出图像有效内容提取算法IECE(ImageEffectiveContentExtractionAlgorithm)提取图像有效内容，并根据图像直方图范围动态选择对图像进行灰度拉伸预处理操作；
豫公网安备41160202000603
站长QQ:729038198
关于我们
投诉建议