外观专利的分类检索具有相当大的挑战。为此，本文提出先领域、再功能、后视觉的四级外观专利图像分类新标准，在此分类标准基础上构建了Patent-MNIST外观专利标准测试集。利用典型的AI算法来测试验证，结果表明，VGG19等经典算法在Patent-MNIST数据集中的分类准确度比直接使用洛迦诺分类标准数据集有显著的性能提升。同时，在本文的分类标准数据集的基础上，还需要进一步地针对外观专利来改进算法。 关键词：外观专利四级分类图像分类人工智能洛迦诺分类
中图分类号：G306；TP391.41 文献标识码：A
1前言
中美贸易战第1阶段经贸协议中，知识产权保护是其中的最为核心问题之一。外观设计作为一种工业产权，是指对产品的形状、图案或者其结合以及彩与形状、图案的结合所作出的富有美感并适于工业应用的新设计。外观设计专利在产业振兴与发展中的地位和作用越来越明显。在企业研发新产品时，可通过外观专利检索来避免重复开发，同时也要通过专利检索来对必要专利进行规避。因此，在保护和激励经济社会发展的知识产权制度下，高效地挖掘和利用外观专利信息成为保护创新和促进创新的重要手段。外观专利成为有力保护和促进工业设计产业迅速发展的基础。我国每年的专利申请量稳步增长，2019年我国申请的外观设计专利达74.4万件，占专利总数的19.85%，外观专利的纠纷占专利侵权的55%[1]。因此外观专利的创造、申请、维权、预警需求对外观专利在线检索、查新的速度、精度的要求越来越高。
目前，我国对外观专利的分类采用基于洛迦诺协定制定的工业品外观设计注册用国际分类标准，简称为洛迦诺分类标准（Locarno Classification，LOC）。洛迦诺分类标准是根据工业产品的外观来给出产品的类别属性编号，即专利分类号。专利分类号是专利的归类管理和检索查询的基础。因此，每一个专利在申请之后，首先要给出专利分类号，而分类号的确定是一个复杂的过程。
当专利申请后，由国家知识产权局专利审查员根据专利的功能和描述及专利审查员的主观理解确定出
分类号，然后在外观设计数据库中根据分类号和视图来进行检索，判断申请的外观设计是否具有新颖性创造性。外观设计专利申请文件包含功能分类的文字信息、平面多视图信息、立体视图信息。外观设计的平面视图与立体视图之间有固定的透视关系，平面视图
基金项目：广东省知识产权大数据重点实验室项目（项目编号：2018B030322016）；国家自然科学基金NSFC-广东联合基金（项目编号：U1701266）；广东技能型人才知识产权实训基地项目（粤财教〔2016〕292 号），广州市人文社科重点研究基地“广州市知识产权服务研究中心”（穗社规办〔2018〕1 号）资助，广东省普通高校重点领域（新一代信息技术）（项目编号：2020ZDZX3077）。
作者简介：雷方元（1972—），男，四川峨眉山人，博士，副教授，研究方向为深度学习，图像智能；蒋健健（1996—），男，江西抚州人，硕士研究生，研究方向为外观专利图像处理；戴青云（1965—），女，湖南常德人，博士，教授，研究方向为知识产权大数据。
法及时高效地为保护创新提供支撑。问题主要表现在：①不支持图文同时分类检索。采用单视图检索，利用传统的纹理、形状、颜、边缘等底层特征来表示外观设计图像特征。这些底层特征与图像的高层的语义特征之间存在着巨大的鸿沟，导致外观设计图像的分类检索准确度低。②忽略了外观设计之间的关联关系，制约了外观设计信息的利用。③外观设计类别设置简单，且类别数量少。这直接导致不同类别外观设计文献分布极不均匀，不利于引入深度学习等新技术来实现分类检索。
洛迦诺分类标准按照产品领域、功能和产品名称进行三级分类，但中国同世界上大多数国家一样，只使用了洛迦诺标准中的产品领域和功能二级分类，即大类和小类分类层次。目前国家知识产权局采用的外观专利分类标准共分为32个大类219个小类[2]。然而这种二级标准过于简单，不能满足经济和技术发展的需求。例如中国的传统民族服装、旗袍、汉服、花轿等就无法在洛迦诺标准中有合适的分类。为了满足日本社会经济和科技的发展，日本特许厅制定的意匠分类标准（外观设计标准）分为组-大分类-小分类-图像设计共4级，同时将日本的和服等民族服装给定了专门的编号。基于洛迦诺标准的外观专利分类在实际应用中存在如下的问题[3]：①类别设置简单，且类别数量少；②部分大类别界限模糊；③部分小类范围过宽；④时效性差；⑤不具有图形分类检索的功能。这些原因导致外观专利的分类检索效率低。而国家知识产权局专利审查员使用的外观专利智能检索系统是基于洛迦诺分类标准来进行数据标记，本文在此基础上对外观专利图像进行了分类研究。如表1所示（详见4.3），即使采用目前最为先进的深度学习算法对基于类的目的是为了快捷方便的检索。然而作为图形图像为主要表
现形式的外观专利，急需利用图像检索技术来提高外观设计专利检索效率[9-13]。当前主要的研究集中在人工方式选择外观专利的图像特征，这些特征主要包括纹理、形状、颜等底层特征。但这些底层特征和高层的语义特征之间存在着巨大的鸿沟，导致外观专利图像的分类检索达不到好的效果[13]。以卷积神经网络（Convolutional Neural Network, CNN）为代表的深度学习技术在图像分类[14]和机器视觉[15]等方面取得了显著的成效。也有少数研究者将CNN、流形学习的技术引入到外观专利分类检索中[16-17]。本文利用深度CNN算法对基于洛迦诺分类的外观专利数据分类，实验结果表明分类效果不佳。洛迦诺分类存在类别设置简单、部分类别界限模糊等问题[3]，表1实验验证了洛迦诺分类的外观专利分类准确率低的问题，基于这些问题我们需要从数据分类方面进行重构来提升分类准确率。
相比较于传统的人工图像特征工程为主的机器学习算法，深度学习能主动学习蕴含在数据中的特征表示，能极大提高算法的准确性。在深度学习算法中数据集起着非常重要的作用，如MNIST数据集[18]、Fashion-MNIST[19]、CIFAR数据集[20]、ImageNet[21]等开源数据集成为促进图像分类识别的重要推手。因此，构建外观专利基准数据集能够推动深度学习算法在外观专利分类中的研究。
综上，洛迦诺分类标准下的外观专利图像底层特征和高层语义标签之间没有形成很好的映射关系，并且部分高层语义标签类别关系模糊，如服装按新的分类标准可分为外套类、上衣类、裙类、内衣类、套装类等，但在洛迦诺分类中是却属于同一个服装类，这就导致洛迦诺分类的外观专利在AI算法中分类准确度
识产权大数据重点实验室网站上开源，为外观专利领域的AI算法研究提供基准。
本文提出先领域、再功能、后视觉的四级外观专利图像分类新标准，在此分类标准基础上构建了面向AI的Patent-MNIST服装外观专利标准测试集，包含了10个类别的60000张外观设计专利图像。该数据集可适用于AI算法分类研究和外观专利AI场景研究。Patent-MNIST与Fashion-MNIST[19]数据集在格式和类别数量上是一致的。但两者之间存在明显的差
异：①我们的数据来源于中国国家知识产权局的官方外观设计专利数据库，而Fashion-MNIST的图像来源于网络；②Patent-MNIST的图像包含了对同一专利产品的不同视角的图像，所选视图反映了专利
的外观和形状，但Fashion-MNIST的每个图像仅来自产品的前视或后视缩略图。Patent-MNIST数据集的外观专利图像还包含颜特征，部分外观专利图片还具有不同的颜背景，总体的形状、纹理、颜、设计图案特征较为丰富。Patent-MNIST中的图像较Fashion-MNIST 更加复杂，并且表2（详见4.3）实验显示相同算法下Patent-MNIST分类精度比Fashion-MNIST更低，所以说Patent-MNIST更具有挑战性。本文所提的外观专利的四级分类标准，更加适合利用AI算法来进行分类预测，但也需要针对外观专利进行改进算法来进一步提高分类检索准确率。本文的贡献如下。
1）提出了面向AI算法的服装外观设计专利图像的四级分类标准。
2）构建了面向AI算法的服装外观专利标准测试图像数据集Patent-MNIST。
3）试验结果表明Patent-MNIST较传统的Locarno 分类方法在AI
算法中分类准确率有显著提升，并且给存在更新速度慢、单一分类号下文献量大的缺点[22]，因此，基于IPC的专利分类检索过程中严重依赖关键词的选择，这是一项高技巧的活动[23]。美国和欧洲提出兼容IPC的联合专利分类（Cooperative Patent Classification，CPC）分类标准，该标准包含25万个小类[24]。CPC分类标准通过精确的分类位置，为专利文献快速、准确地检索提供了基础。因此，CPC分类标准在国家知识产权局的专利审查和检索中被广泛使用[23, 25-27]。
为了进一步提高专利分类效果，研究人员提出了一些用于专利分析和研究的数据集。GRAHAM等[28]构建了专利审查(PatEx)数据集，该数据集代表了920万份美国专利申请记录。LI等[29]提出了USPTO-2M 数据集，其中包含了2000147项美国实用新型专利IPC子分类的637类的标题和摘要。LEE等[30]提出用USPTO-3M数据集构建词向量嵌入，其中包含共656个CPC子分类的3050615项专利要求。TIWARI 等提出了PATSEEK [31]，这是一个基于形状的图像检索系统，用于选自美国专利数据库的约200幅专利图像的检索。PATSEEK由图像特征提取和实例查询图像检索组成。VROCHIDIS等[32]提出了一种专利图像框架，用于专利文件的图表和图形图像。在该框架下的实验中，从200多个专利提取约2000张专利图像用于生成数据集。LI等[33]提出了一种基于Gabor滤波器和LBP (Local Binary Pattern) 的专利图像检索方法。专利数据集中的图像与外观设计专利图像不同，因此，现有的专利数据集不能用于外观设计专利的分类任务。
数据集在深度学习技术的发展中起着重要的作用。LECUN等[18]提出了MNIST数据集，该数据集包括
10个类别的手写数字灰度图像，分辨率为28×28像
同的图像大小、数量、数据格式、类别数量。因此，Fashion-MNIST数据集可以直接替换MNIST数据集来验证算法，无需对算法进行大的修改。CIFAR-10是KRIZHEVSKY等[20]提出的一种小型图像数据集。数据集包含10类32×32像素的自然图像，每个类别包含6000张RGB图像。CIFAR-100数据集[20]有100个类别，但每个类别只包含600个图像。KRIZHEVSKY 等[21]提出了ImageNet数据集，该数据集包含22000个类别和总共1500万张标记图像。
LECUN 等[18]提出的LeNet5是最早的卷积神经网络模型，在MNIST数据集上的误差率可以达到0.8%。
KRIZHEVSKY等[21] 在ILSVCR2012图像竞赛中提出了5个卷积层的AlexNet网络模型，测试错误率Top-5为15.4%。从此，基于CNN的算法就成为了图像分类任务的核心算法。研究人员在基于CNN算法中增加了网络的深度或改善了网络的结构，先后提出了VGG[34]、GoogleNet[35]、ResNet[36]、DenseNet[37]等模型，这些模型在图像分类、机器视觉等方面都取得了非常好的成效。
然而目前还没有公开标准的外观专利数据集供知识产权领域研究，现有被广泛应用的外观专利分类标准（洛迦诺分类）也不能满足外观专利检索的需求。为了提高AI算法对外观专利图像的检索分类效果，本文采用四级分类标准对外观专利图像进行重新分类标记，并在此标准上构建了服装外观专利基准测试集Patent-MNIST。
3 本文的方法
目前的外观设计专利审查过程中，基于图像相似性判断通常都是在专利授权之后进行的[7-8]。越来越多2018年外观设计专利数据库图像。选用的洛迦诺分类的02类别——服装类和服饰用品类别的外观专利数据。将原始外观专利数据中的图像提取出来，直接构建Locarno-MNIST数据集，该数据集的标签信息直接来源于洛迦诺分类类别信息。由于洛迦诺分类标准中，服装类别分为8类，因此Locarno-MNIST数据集只有8类。数据集中对于来源于同一外观专利的多视图信息均保留下来，例如有些外观专利图像包含六视图和立体视图，则这七幅图像均提取；如果有些图像只包含正视图和后视图，则提取这两幅图像。同时，所采集的图像类型与原始图像类型一致。
3.2 分类方法
类似于ImageNet数据集，本文的数据在给定的分类标准下，采用人工进行分类标记。所采用的数据源与Locarno-MNIST数据集相同。在对外观设计专利图像进行尺度归一化处理后，根据外观设计图像的功能和视觉特征进行分类。如图1所示为本文的分类原则：领域-功能-二级视觉特征的四级分类层次。服装类别是领域；从功能上分为：上衣类、内衣类、外套类、裙类、套装、裤装、袜类、手套类、护具类等11大类；在此基础上按照视觉特征，如长短、覆盖面积进一步划分为小类别，总共得到20个小类别。有些类别没有进一步细分，如外套类包括：马甲、夹克、棉衣、棉服、棉袄、羽绒服、皮衣、风衣、冲锋衣等。
在基于以上分类原则的基础上，采用人工标记的方式来构建类似于MNIST和Fashion-MNIST的标准测试Patent-MNIST数据集。同时为了深度学习时候的类间平衡，从这些分类中筛选出60000张专利图像，分为10个类别，每个类别包含6000张彩图片，每张图像的空间分辨率是28×28像素。其中进行在
图2 Patent-MNIST 数据集中部分图像的示例
（从上到下依次表示的是：胸罩，手套，帽子，头盔，短裙，内裤，袜子，T恤，长裤，背心。每一行表示同一类外观设计专利产品。）
豫公网安备41160202000603
站长QQ:729038198
关于我们
投诉建议