一种基于异构特征统一深度神经网络的中国水墨画识别方法

本发明涉及水墨画识别分类技术，特别是一种基于异构特征统一深度神经网络的中国水墨画识别方法。

随着互联网和信息技术的飞速发展，越来越多的艺术品图片出现在网络上，特别是以前被收藏的珍贵画作也通过数字化技术，不断的呈现在网络上供人欣赏、进行交易。其中，中国水墨画作为具有独特的艺术形式和绘画技艺而享誉盛名，而一些绘画名家的作品更是达到了无比高深的艺术境界，受到全世界的瞩目。由此，如何在网络上方便的搜索和分类中国水墨画成了一个竞相研究的热点。

在研究水墨画分类时，如何提高分类准确率还存在着很多问题和困难。1、如何从水墨画中提取有区分力的特征表示；2、如何解决多特征集的异构问题；3、如何选择合适的融合策略学习到最具区分力的特征表示用于分类任务。

针对现有技术中存在的问题，本发明提供了一种可以有效地从异构图像特征集中发现更具区分力的特征表示，并消除冗余和无关的信息、多种特征表示融合起来，从而获得更好的图像分类结果的基于异构特征统一深度神经网络的中国水墨画识别方法。

本发明的目的通过以下技术方案实现。

一种基于异构特征统一深度神经网络的中国水墨画识别方法,步骤包括：

1)特征提取：特征提取模块从水墨画数据中提取多种类型的特征向量，所述特征向量包括PHOG、BOF、ESH、VGGNet bottleneck特征和ResNet bottleneck特征；

2)异构特征统一：通过特征提取过程的处理，利用多种特征提取方法获得了五种异构图像特征表示，提出了一个基于深度神经网络的无监督特征学习技术的异构特征统一模块，将多种类型特征的异构空间转换为统一的特征表示空间，通过AutoEncoder结构及其变体来生成抽象的高级特征表示形式；

3)特征融合：融合网络模块是一个四层深度神经网络，所述融合网络模块包含一个输入层和三个隐藏层，作为结果，融合网络模块最后一个隐藏层输出一个1024维特征向量，作为水墨画的最终特征表示。

所述异构特征统一模块由多个分支网络组成，所述多个分支网络对应输入不同类型的特征表示，所述异构特征统一模块的每个分支网络包括两个不同的阶段：预训练阶段和微调阶段。

所述预训练阶段为无监督的预训练阶段，由多个隐藏层组成的分支网络通过输入各种类型异构特征表示，进行分层预训练，所述Autoencoder结构中前一个隐藏层的输出作为下一个隐藏层的输入，通过最小化原始输入数据和重建数据的差值使得重构误差最小化，对于不同类型的特征，对应的分支网络是不同的，即每个分支网络的体系结构，包括隐藏层结构和隐藏层节点的数量是不同的；

所述微调阶段是有监督的微调阶段，预训练阶段中的decoder被替换为一个辅助层，该层被所有分支网络共享，包括监督信息的辅助层用于微调整个分支网络，其中微调阶段的主要思想是挖掘这些多异构特征集之间的内在关联；

最终，原始的异构特征集依次通过预训练阶段和微调阶段的处理，转换为同构特征表示，异构特征统一模块的训练中采用随机梯度下降或小批量随机梯度下降策略。

相比于现有技术，本发明的优点在于：本发明探讨了如何充分利用从各种角度获得图像的低级和高级特征，以及如何充分利用DNN网络结构融合多种特征信息的能力，实现更好的分类性能。

(1)与直接使用各种图像特征(如各种手工特征或高级特征)不同，提出了一个混合网络框架，它可以有效地从异构图像特征集中发现更具区分力的特征表示，并消除冗余和无关的信息。

(2)在研究各种类型的融合策略后，提出了一种基于深度神经网络的融合网络模块，将多种特征表示融合起来，从而获得更好的图像分类结果。

(3)将所提出的框架与其他图像识别方法进行比较。在不同数据集的广泛实验结果表明，提出的框架取得了很好的性能，证明了该方法的有效性。

图1为本发明的系统结构示意图。

下面结合说明书附图和具体的实施例，对本发明作详细描述。

如图1所示，一种基于异构特征统一深度神经网络的中国水墨画识别方法,步骤包括：

(1)特征提取

特征提取模块的第一个步骤是从水墨画数据中提取多种类型的特征向量。PHOG(Pyramid Histogram of Oriented Gradients)、BOF(Bag of Features)、ESH(edge-sizehistogram) 等低级特征经常被用来执行绘画分类任务。因此，使用MATLAB提取了这三种水墨画的低级特征。

此外，由于深度神经网络从图像数据中自动学习特征表示的出能力，越来越多的研究都采用深度神经网络来提取高级图像特征。然而，由于缺乏足够的图像数据集样本对复杂的深度神经网络从零开始训练，很难经过良好的训练出一个新model来获得具有辨别力的特征表示。

在本发明中，除了提取三种低级图像特征外，两种高级图像特征：VGGNetbottleneck特征和ResNet bottleneck特征，也被提取出来用于水墨画识别任务。VGGNet和ResNet被当做高级图像特征的提取器，主要由于这两个经典的卷积神经网络已被证明具有强大的特征提取功能。

(2)异构特征统一

通过特征提取过程的处理，利用多种特征提取方法获得了五种图像特征表示。然而这些不同类型的特征通常是高维且异构的，它们在各种不同的特征空间中具有不同的分布。因此，很难通过简单的融合策略处理这些异构特征集就能获得较好的识别效果。

提出了一个基于深度神经网络的无监督特征学习技术的异构特征统一模块，将多种类型特征的异构空间转换为统一的特征表示空间。而AutoEncoder结构由于其具有以无监督方式进行特征学习的能力，经常被用来将原始特征表示空间经过非线性变换转换成一个潜在的特征表示空间。因此，AutoEncoder结构及其变体等这些结构将用于本发明提出的架构中，用来生成抽象的高级特征表示形式。

异构特征统一模块由多个分支网络组成，这些分支网络对应输入不同类型的特征表示。异构特征统一模块的每个分支网络包含两个不同的阶段：预训练阶段和微调阶段。

在无监督的预训练阶段，由多个隐藏层组成的分支网络通过输入各种类型异构特征表示，进行分层预训练。Autoencoder中前一个隐藏层的输出作为下一个隐藏层的输入，通过最小化原始输入数据和重建数据的差值使得重构误差最小化。对于不同类型的特征，对应的分支网络是不同的。即每个分支网络的体系结构(包括隐藏层结构和隐藏层节点的数量)是不同的。

在有监督的微调过程中，预训练阶段中的decoder被替换为一个辅助层，该层被所有分支网络共享。包含监督信息(例如分类结果或标签)的辅助层用于微调整个分支网络。其中微调阶段的主要思想是挖掘这些多异构特征集之间的内在关联。

最终，原始的异构特征集在本发明提出的架构中依次通过预训练阶段和微调阶段的处理，转换为同构特征表示。异构特征统一模块的训练中采用随机梯度下降或小批量随机梯度下降策略。

(3)特征融合

利用异构特征统一模块获得同构特征表示，随之采用融合策略，用以提高水墨画识别任务的性能。本发明中的融合网络模块是一个四层深度神经网络，包含一个输入层和三个隐藏层。

异构特征统一模块的分支网络生成的五种良好判别性和同构的高级抽象特征被串联起来，形成一个联合特征表示形式。通过融合网络模块的处理，充分利用deep neuralnetworks的特征融合能力，以获得水墨画识别任务的最优分辨力特征。作为结果，融合网络模块最后一个隐藏层输出一个1024维特征向量，作为水墨画的最终特征表示。

此外，通过评估多个分类器的特点和性能，选择SVM作为图像分类器，用以在本文框架中执行水墨画识别任务。