(19)中华人民共和国国家知识产权局
(12)发明专利申请
(10)申请公布号 (43)申请公布日 (21)申请号 202110103351.5
(22)申请日 2021.01.26
(71)申请人 山西三友和智慧信息技术股份有限
公司
地址 030006 山西省太原市高新区科技街
15号A118室
(72)发明人 潘晓光 潘晓辉 王小华 张娜
董虎弟
(74)专利代理机构 太原荣信德知识产权代理事
务所(特殊普通合伙) 14119
代理人 杨凯 连慧敏
(51)Int.Cl.
G06K 9/00(2006.01)
G06K 9/20(2006.01)
G06K 9/62(2006.01)
G06F 40/211(2020.01)G06N 3/04(2006.01)G06N 3/08(2006.01)
(54)发明名称一种基于封面的书籍类型深度学习分类方法(57)摘要本发明涉及图书管理技术领域，更具体而言，涉及一种基于封面的书籍类型深度学习分类方法。包括以下步骤：S1、收集图书封面图像并制作训练数据集DTP；S2、将训练数据集DTP输入深度学习模型并进行训练；S3、使用S2所得到的深度学习模型对书籍进行分类。S2中，深度学习模型包括两个深度学习网络、一个全连接层和一个softmax分类器，基于视觉的深度学习网络使用残差神经网络模型，基于文本的深度学习网络使用通用句子编码器模型。本发明具有更高的分类准确率和更高的适用性和稳定性，能够对书籍进行快速，有效的分类，精度高，速度快。本发明主 要应用与书籍类型分类方面。权利要求书1页 说明书3页 附图1页CN 112749682 A 2021.05.04
C N 112749682
A
1.一种基于封面的书籍类型深度学习分类方法，其特征在于，包括以下步骤：
S1、收集图书封面图像并制作训练数据集DTP；
S2、将训练数据集DTP输入深度学习模型并进行训练；
S3、使用S2所得到的深度学习模型对书籍进行分类。
2.根据权利要求1所述的一种基于封面的书籍类型深度学习分类方法，其特征在于：所述步骤S1中，操作步骤为：
S1a、收集大量图书封面图像，根据体裁进行将这些图像分为30个类别并进行标注；S1b、将所有的图像调整到224×224的大小，得到图像数据DP；
S1c、使用视觉应用编程接口对数据集进行文本提取，得到文本数据DT；
S1d、将图像数据DP、文本数据DT和标注类别数据共同组成训练数据集DTP。
3.根据权利要求1所述的一种基于封面的书籍类型深度学习分类方法，其特征在于：所述步骤S2中，操作步骤为：
S2a、将训练数据集DTP中的图像数据DP输入基于视觉的深度学习网络；
S2b、将训练数据集DTP中的文本数据DT输入基于文本的深度学习网络；
S2c、将两个深度学习的输出进行直接拼接合并，得到全连接层；
S2d、将全连接层的数据直接输入softmax层进行分类；
S2e、使用梯度下降方法进行反向传播，更新网络参数；
S2f、训练结束后得到训练好的深度学习模型。
4.根据权利要求1所述的一种基于封面的书籍类型深度学习分类方法，其特征在于：所述步骤S3中，操作步骤为：
S3a、将封面图片调整到统一的尺寸224×224，得到图像数据xP；
S3b、使用谷歌云视觉应用编程接口对原始数据进行文本提取，得到文本数据xT；
S3c、将图像数据xP和文本数据xT输入S2所得到的训练好的模型中进行分类，得到待分类书籍的类别。
5.根据权利要求1所述的一种基于封面的书籍类型深度学习分类方法，其特征在于：所述步骤S2中，深度学习模型包括两个深度学习网络、一个全连接层和一个softmax分类器，其中基于视觉的深度学习网络使用残差神经网络模型，基于文本的深度学习网络使用通用句子编码器模型。
6.根据权利要求3所述的一种基于封面的书籍类型深度学习分类方法，其特征在于：所述步骤S2e中，梯度下降方法为:
其中，θj 为神经网络的参数，
α为自行设置的学习率，J(θ)为误差函数。权 利 要 求 书1/1页CN 112749682 A
一种基于封面的书籍类型深度学习分类方法
技术领域
[0001]本发明涉及图书管理技术领域，更具体而言，涉及一种基于封面的书籍类型深度学习分类方法。
背景技术
[0002]书的封面通常是读者的第一印象，它们经常传达关于书的内容的重要信息。随着图书的完全数字化进程的不断推进，基于封面的图书类型分类对于许多现代检索系统来说是一项极其重要的内容。解决此问题的主要难点如下：第一，书的体裁种类繁多，有很多没有具体界定；第二，书的封面，如颜，风格，文本信息等，即使是同一类型的书之间，也具有很大的差异；第三，由于国家、文化、目标读者体等外部因素的影响，书籍的封面设计也会有所不同。随着图书行业的竞争力日益增强，为了能吸引读者，图书封面设计师将封面设计推向了一个新的高度。
[0003]广东技术师范大学蔡君等人在其申请的专利文献“一种基于深度学习的书脊文本识别方法、设备及存储介质”(申请号202010182949.3申请日2020.09.18申请公布号：CN111680684A)中公开了一种基于深度学习的书脊文本识别方法、设备及存储介质。该发明内容包括：制作合成书脊、单字多字体和真实书脊数据集；基于CTPN模型对单本书脊进行文本检测；针对文本模糊特点搭建基于ResNet10的书脊文本识别模型STRNet；针对字体多样特点制作SK‑NNS分类器等。该发明的不足之处为：该发明仅是书籍的文字信息识别，并未直接进行书籍分类，识别文本后仍需人工进行书籍分类，故该发明在实际使用中具有很大的局限性。
发明内容
[0004]为克服上述现有技术中存在的不足，本发明提供了一种基于封面的书籍类型深度学习分类方法，该方法可能够靠、准确地对书籍进行分类。
[0005]为解决上述技术问题，本发明采取的技术方案为：
[0006]一种基于封面的书籍类型深度学习分类方法，包括以下步骤：
[0007]S1、收集图书封面图像并制作训练数据集DTP；
[0008]S2、将训练数据集DTP输入深度学习模型并进行训练；
[0009]S3、使用S2所得到的深度学习模型对书籍进行分类。
[0010]所述步骤S1中，操作步骤为：
[0011]S1a、收集大量图书封面图像，根据体裁进行将这些图像分为30个类别并进行标注；
[0012]S1b、将所有的图像调整到224×224的大小，得到图像数据DP；
[0013]S1c、使用视觉应用编程接口对数据集进行文本提取，得到文本数据DT；
[0014]S1d、将图像数据DP、文本数据DT和标注类别数据共同组成训练数据集DTP。[0015]所述步骤S2中，操作步骤为：
[0016]S2a、将训练数据集DTP中的图像数据DP输入基于视觉的深度学习网络；[0017]S2b、将训练数据集DTP中的文本数据DT输入基于文本的深度学习网络；[0018]S2c、将两个深度学习的输出进行直接拼接合并，得到全连接层；
[0019]S2d、将全连接层的数据直接输入softmax层进行分类；
[0020]S2e、使用梯度下降方法进行反向传播，更新网络参数；
[0021]S2f、训练结束后得到训练好的深度学习模型。
[0022]所述步骤S3中，操作步骤为：
[0023]S3a、将封面图片调整到统一的尺寸224×224，得到图像数据xP；
[0024]S3b、使用谷歌云视觉应用编程接口对原始数据进行文本提取，得到文本数据xT；[0025]S3c、将图像数据xP和文本数据xT输入S2所得到的训练好的模型中进行分类，得到待分类书籍的类别。
[0026]所述步骤S2中，深度学习模型包括两个深度学习网络、一个全连接层和一个softmax分类器，其中基于视觉的深度学习网络使用残差神经网络模型，基于文本的深度学习网络使用通用句子编码器模型。
为神经网络的参[0027]所述步骤S2e中，梯度下降方法为：其中，θ
j
数，α为自行设置的学习率，J(θ)为误差函数。
[0028]与现有技术相比，本发明所具有的有益效果为：
[0029]本发明能同时利用书籍封面中文本和图像两方面的信息进行书籍封面分类，故具有更高的分类准确率；本发明能够克服直接识别文字进行分类方法中可能产生的文字识别错误问题，故具有更高的适用性和稳定性。本发明能够对书籍进行快速，有效的分类，精度高，速度快，显著提高了处理效率。
附图说明
[0030]图1为本发明的深度学习网络结构图。
具体实施方式
[0031]下面对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0032]如图1所示，一种基于封面的书籍类型深度学习分类方法，包括以下步骤：[0033]S1、收集图书封面图像并制作训练数据集DTP；
[0034]S2、将训练数据集DTP输入深度学习模型并进行训练；
[0035]S3、使用S2所得到的深度学习模型对书籍进行分类。
[0036]优选的，步骤S1中，操作步骤为：
[0037]S1a、收集大量图书封面图像，根据体裁进行将这些图像分为30个类别并进行标注；
[0038]S1b、将所有的图像调整到224×224的大小，得到图像数据DP；
[0039]S1c、使用视觉应用编程接口对数据集进行文本提取，得到文本数据DT，视觉应用编程接口采用谷歌云视觉应用编程接口；
[0040]S1d、将图像数据DP、文本数据DT和标注类别数据共同组成训练数据集DTP。[0041]优选的，步骤S2中，操作步骤为：
[0042]S2a、将训练数据集DTP中的图像数据DP输入基于视觉的深度学习网络；
[0043]S2b、将训练数据集DTP中的文本数据DT输入基于文本的深度学习网络；
[0044]S2c、将两个深度学习的输出进行直接拼接合并，得到全连接层；
[0045]S2d、将全连接层的数据直接输入softmax层进行分类；
[0046]S2e、使用梯度下降方法进行反向传播，更新网络参数；
[0047]S2f、训练结束后得到训练好的深度学习模型。
[0048]优选的，步骤S3中，操作步骤为：
[0049]S3a、将封面图片调整到统一的尺寸224×224，得到图像数据xP；
[0050]S3b、使用谷歌云视觉应用编程接口对原始数据进行文本提取，得到文本数据xT；[0051]S3c、将图像数据xP和文本数据xT输入S2所得到的训练好的模型中进行分类，得到待分类书籍的类别。
[0052]优选的，步骤S2中，深度学习模型包括两个深度学习网络、一个全连接层和一个softmax分类器，其中基于视觉的深度学习网络使用残差神经网络(ResNet‑50)模型，基于文本的深度学习网络使用通用句子编码器(USE)模型。
为神经网络[0053]优选的，步骤S2e中，梯度下降方法为：其中，θ
j
的参数，α为自行设置的学习率，J(θ)为误差函数。
[0054]该方法首先对数据进行预处理，得到书籍封面的图像数据和文本数据，其次将数据分别输入残差网络模型和通用句子编码器中，从图像和文本两种角度对书籍封面进行特征提取，然后将两个网络的输出进行简单拼接，最后将其输入softmax层对书籍封面进行分类。
[0055]上面仅对本发明的较佳实施例作了详细说明，但是本发明并不限于上述实施例，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下作出各种变化，各种变化均应包含在本发明的保护范围之内。
豫公网安备41160202000603
站长QQ:729038198
关于我们
投诉建议