一种分类方法、装置、设备及计算机可读存储介质与流程

1.本技术实施例涉及机器学习领域,涉及但不限于一种分类方法、装置、设备及计算机可读存储介质。

背景技术


::2.云计算及云存储作为一种新兴的存储媒介,逐渐承载越来越多的传统业务,例如,为政务、教育领域等机构提供了协同办公、资源共享等功能。3.例如,在教育领域,教师通过云端发布作业,学生完成后拍照上传至云端,以供教师批改。由于收发作业体量较大,致使所获得的照片缺乏分类,冗杂一团。此外,按照网盘默认的排列序列已无法满足按照“学科”分类的需求,这也给教师的批改带来不便。4.在相关算法中,支持向量机(supportvectormachine,svm)存在对异常值不敏感的问题,误差反传训练的多层前馈(backpropagation,bp)神经网络存在收敛速度慢的问题,从而使得分类速度慢、分类准确率较低。5.那么,在相关技术中,存在缺乏分类、冗杂一团的技术问题,即便通过相关算法进行分类,例如,通过svm、bp等相关算法进行分类,依旧存在分类速度慢、分类准确率低的技术问题。由此可见,目前亟需一种分类速度快、分类准确率高的分类方法。技术实现要素:6.有鉴于此,本技术实施例提供一种分类方法、装置、设备及计算机可读存储介质。7.本技术实施例的技术方案是这样实现的:8.本技术实施例提供一种分类方法,包括:9.获取待分类图像和预先训练得到的分类模型,所述分类模型通过目标自定义损失函数完成训练,所述自定义损失函数用于增强特征对分类模型的影响;10.利用所述分类模型,对所述待分类图像进行分类处理,得到所述待分类图像的分类结果;11.输出所述待分类图像的分类结果。12.本技术实施例提供一种分类装置,所述装置包括:13.获取模块,用于获取待分类图像和预先训练得到的分类模型,所述分类模型通过目标自定义损失函数完成训练,所述自定义损失函数用于增强特征对分类模型的影响;14.分类模块,用于利用所述分类模型,对所述待分类图像进行分类处理,得到所述待分类图像的分类结果;15.输出模块,用于输出所述待分类图像的分类结果。16.本技术实施例提供一种分类设备,所述分类设备包括:17.处理器;以及18.存储器,用于存储可在所述处理器上运行的计算机程序;19.其中,所述计算机程序被处理器执行时实现上述分类方法。20.本技术实施例提供一种计算机可读存储介质,所述计算机存储介质中存储有计算机可执行指令,该计算机可执行指令配置为执行上述分类方法。21.本技术实施例提供一种分类方法、装置、设备及计算机可读存储介质,先获得待分类图像和预先训练得到的分类模型,其中,分类模型是通过自定义损失函数完成训练的,这里,自定义损失函数用于增强特征对分类模型的影响;接着,将待分类图像输入分类模型,以通过分类模型对待分类图像进行分类处理,获得待分类图像的分类结果;最终,输出待分类图像的分类结果。通过增强特征对分类模型的影响而缩短分类时间,从而实现快速对待分类图像进行分类,并提升待分类图像的分类准确度。附图说明22.在附图(其不一定是按比例绘制的)中,相似的附图标记可在不同的视图中描述相似的部件。附图以示例而非限制的方式大体示出了本文中所讨论的各个实施例。23.图1为本技术实施例提供的分类方法的一种实现流程示意图;24.图2为本技术实施例提供的分类方法的另一种实现流程示意图;25.图3为本技术实施例提供的确定自定义损失函数方法的一种实现流程示意图;26.图4为本技术实施例提供的获得样本图像预测分类信息方法的一种实现流程示意图;27.图5为本技术实施例提供的确定目标区域方法的一种实现流程示意图;28.图6为本技术实施例提供的获得预先训练得到的分类模型方法的一种实现流程示意图;29.图7为本技术实施例提供的分类方法的再一种实现流程示意图;30.图8为本技术实施例提供的分类方法的其他一种实现流程示意图;31.图9为本技术实施例提供的分类装置的组成结构示意图;32.图10为本技术实施例提供的分类设备的组成结构示意图。具体实施方式33.为了使本技术的目的、技术方案和优点更加清楚,下面将结合附图对本技术作进一步地详细描述,所描述的实施例不应视为对本技术的限制,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本技术保护的范围。34.在以下的描述中,涉及到“一些实施例”,其描述了所有可能实施例的子集,但是可以理解,“一些实施例”可以是所有可能实施例的相同子集或不同子集,并且可以在不冲突的情况下相互结合。35.在以下的描述中,所涉及的术语“第一\第二\第三”仅仅是区别类似的对象,不代表针对对象的特定排序,可以理解地,“第一\第二\第三”在允许的情况下可以互换特定的顺序或先后次序,以使这里描述的本技术实施例能够以除了在这里图示或描述的以外的顺序实施。36.除非另有定义,本文所使用的所有的技术和科学术语与属于本技术的

技术领域


:的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本技术实施例的目的,不是旨在限制本技术。37.对本技术实施例进行进一步详细说明之前,对本技术实施例中涉及的名词和术语进行说明,本技术实施例中涉及的名词和术语适用于如下的解释。38.1)损失函数,损失函数(也称代价函数)是将随机事件或其有关随机变量的取值映射为非负实数以表示该随机事件的“风险”或“损失”的函数。在应用中,损失函数通常作为学习准则与优化问题相联系,即通过最小化损失函数求解和评估模型。例如在统计学和机器学习中被用于模型的参数估计,在宏观经济学中被用于风险管理和决策,在控制理论中被应用于最优控制理论。39.2)svm,是一类按监督学习方式对数据进行二元分类的广义线性分类器,其决策边界是对学习样本求解的最大边距超平面。svm使用铰链损失函数计算经验风险并在求解系统中加入了正则化项以优化结构风险,是一个具有稀疏性和稳健性的分类器。svm可以通过核方法进行非线性分类,是常见的核学习方法之一,在人像识别、文本分类等模式识别问题中有得到应用。40.3)bp神经网络,是一种按照误差逆向传播算法训练的多层前馈神经网络,是应用最广泛的神经网络,bp神经网络是一种按误差反向传播(简称误差反传)训练的多层前馈网络,其算法称为bp算法,它的基本思想是梯度下降法,利用梯度搜索技术,以期使网络的实际输出值和期望输出值的误差均方差为最小。41.基本bp算法包括信号的前向传播和误差的反向传播两个过程。即计算误差输出时按从输入到输出的方向进行,而调整权值和阈值则从输出到输入的方向进行。正向传播时,输入信号通过隐含层作用于输出节点,经过非线性变换,产生输出信号,若实际输出与期望输出不相符,则转入误差的反向传播过程。误差反传是将输出误差通过隐含层向输入层逐层反传,并将误差分摊给各层所有单元,以从各层获得的误差信号作为调整各单元权值的依据。通过调整输入节点与隐层节点的联接强度和隐层节点与输出节点的联接强度以及阈值,使误差沿梯度方向下降,经过反复学习训练,确定与最小误差相对应的网络参数(权值和阈值),训练即告停止。此时经过训练的神经网络即能对类似样本的输入信息,自行处理输出误差最小的经过非线形转换的信息。42.4)卷积(convolutionalneuralnetworks,cnn)神经网络,是一类包含卷积计算且具有深度结构的前馈神经网络,是深度学习的代表算法之一。卷积神经网络具有表征学习能力,能够按其阶层结构对输入信息进行平移不变分类,因此也被称为“平移不变人工神经网络”。43.卷积神经网络仿造生物的视知觉机制构建,可以进行监督学习和非监督学习,其隐含层内的卷积核参数共享和层间连接的稀疏性使得卷积神经网络能够以较小的计算量对格点化特征,例如像素和音频进行学习、有稳定的效果且对数据没有额外的特征工程要求。44.基于相关技术所存在的问题,本技术实施例提供一种分类方法,本技术实施例提供的方法可以通过计算机程序来实现,该计算机程序在执行的时候,完成本技术实施例提供的分类方法中各个步骤。在一些实施例中,该计算机程序可以在分类设备中的处理器执行。图1为本技术实施例提供的分类方法的一种实现流程示意图,如图1所示,所述方法包括:45.步骤s101,获取待分类图像和预先训练得到的分类模型。46.这里,所述预先训练得到的分类模型通过目标自定义损失函数完成训练,所述自定义损失函数用于增强特征对分类模型的影响。其中,分类模型可以分为线性分类模型或者非线性分类模型;分类模型还可以分为决策树分类模型、选择树分类模型、证据分类模型等等。47.在本技术实施例中,可以通过样本图像和预设值来确定自定义损失函数,其中,预设值包括互为相反数的第一值和第二值。如此,通过互为相反数的第一值和第二值来增加特征之间的区别,从而进一步加重特征对分类模型的影响,最终实现对待分类图像快速、高准确度地分类。48.在本技术实施例中,可以从专用服务器或者通用服务器中获取待分类图像,也可以从主用服务器或者备用服务器中获取待分类图像。待分类图像可以为学生的作业、员工的总结报告、学员的证件照、景点照片等等,总的来说,分类结果至少包括两种结果,但针对某一确定的待分类图像,该待分类图像对应一种分类结果。因此,需要通过分类模型对该待分类图像进行分类,确定出待分类图像的类型。49.步骤s102,利用所述分类模型,对所述待分类图像进行分类处理,得到所述待分类图像的分类结果。50.这里,将待分类图像输入分类模型,会依次进行识别目标区域对应的图像区域、对目标区域进行特征提取,获得特征数据、利用特征数据对待分类图像进行分类处理,最终获得待分类图像的分类结果。51.在本技术实施例中,可以通过最大稳定极值区域(maximallystableextremalregions,mser)、边缘检测等算法来识别目标区域,该目标区域可以为包含文字的区域,也可以为包含图形的区域,还可以为包含人物画像的区域。此外,可通过降维、中心化、白化来提取目标区域的特征数据。本技术实施例中的目标区域识别算法以及特征提取的过程仅为示例性说明,当然可以采取其他方法来实现目标区域识别以及特征提取过程,本技术实施例对此并不进行限定。52.步骤s103,输出所述待分类图像的分类结果。53.这里,可以通过语音、文字、图片等形式来呈现待分类图像的分类结果,最终通过分类设备输出待分类图像的分类结果。举例来说,可通过分类设备的麦克风输出语音分类结果,还可通过分类设备的显示设备显示输出文字或者图片分类结果。54.本技术实施例提供一种分类方法,先获得待分类图像和预先训练得到的分类模型,其中,该分类模型是通过自定义损失函数完成训练的,这里,自定义损失函数用于增强特征对分类模型的影响;接着,将待分类图像输入分类模型,依次进行识别包含文本的目标区域、对目标区域进行特征提取,获得特征数据、利用特征数据对待分类图像进行分类处理,如此以通过分类模型,对待分类图像进行分类处理,获得待分类图像的分类结果;最终,输出待分类图像的分类结果。通过增强特征对分类模型的影响而缩短分类时间,从而实现快速对待分类图像进行分类,并提升待分类图像的分类准确度。55.基于上述实施例,本技术再提供一种分类方法,如图2所示,在执行步骤s101之前,所述方法还可以执行以下步骤s201至步骤s204:56.步骤s201,获取预设分类模型、样本图像和所述样本图像的标签信息。57.这里,预设分类模型可以为线性分类模型或者非线性分类模型;预设分类模型还可以分为决策树分类模型、选择树分类模型、证据分类模型等等。样本图像可以为学生的作业、员工的总结报告、学员的证件照、景点照片等等。样本图像的标签信息至少包括样本图像的类型,举例来说,当样本图像为学生作业时,样本图像的类型可以至少包括该作业对应的学科;当样本图像为员工总结报告时,样本图像可以至少包括该员工所在部门。58.步骤s202,基于所述样本图像和预设值确定自定义损失函数。59.其中,所述预设值包括互为相反数的第一值和第二值,举例来说,在一种情况下,第一值可以为1,第二值可以为-1;在另一种情况下,第一值还可以为2,第二值为-2,这里仅仅为示例性说明,并不对第一值与第二值进行限定。基于此,通过一正一负的预设值,能够增大特征之间的区别,从而加重特征对模型的影响,简化分类计算,缩短预设分类模型的分类时间,并提升预设分类模型的分类准确度。以0~1伯努利分布举例来说,在本请实施例中,通过预设值,可以将0~1伯努利分布转换为-1~1伯努利分布,从而增大分布空间,并加重特征对模型的影响。60.在实现步骤s202时,如图3所示,可以通过以下步骤s2021至s2023来实现:61.步骤s2021,获取包含未知数系数和权重因子的正则项,并将所述正则项作为第一函数。62.这里,在进行分类时,正则项能够避免分类模型出现过拟合的问题,通过正则项的调整,能够实现分类模型的最佳拟合。其中,权重因子是指预设分类模型中特征数据的权重因子,未知数系数的目的是为了通过调参使得自定义损失函数取值最小。在本技术实施例中,可先获取所有权重因子的平方和,然后再获取该平方和与未知数系数的乘积,从而获得正则项。最终,将获得的正则项最为第一函数。63.步骤s2022,将所述预设值设置为所述样本图像的特征数据的系数,并基于所述特征数据和所述特征数据的系数确定第二函数。64.这里,以sigmoid的损失函数为例,针对每一特征数据,先将预设值作为样本图像中特征数据的系数,然后基于sigmoid方程对包含系数的特征数据做运算;接着取对数;最后,获取各个特征数据的累加和,并求取相反数,从而获得第二函数。65.步骤s2023,基于所述第一函数和所述第二函数确定所述自定义损失函数。66.在本技术实施例中,可以将第一函数与第二函数之和作为自定义损失函数,如此,便可通过确定自定义损失函数的最小值而确定出权重因子,并进一步确定出分类模型。67.通过以上步骤s2021至步骤s2023,获取包含未知数系数和权重因子的正则项,并能够通过未知数系数使得自定义损失函数取值最小,最终使得正则项能够避免分类模型出现过拟合的问题,并实现合适的最佳拟合,如此将正则项作为第一函数。此外,还将包括互为相反数的预设值作为样本图像中特征数据的系数,并基于此确定第二函数。最后,基于第一函数和第二函数获得自定义损失函数,从而加重特征对模型的影响,简化分类计算。68.步骤s203,将所述样本图像输入至所述预设分类模型,得到所述样本图像的预测分类信息。69.在实现步骤s203时,如图4所示,可以通过以下步骤s2031至步骤s2033来实现:70.步骤s2031,确定所述样本图像中包含文本的目标区域。71.在实现步骤s2031时,如图5所示,可以通过以下步骤s311至步骤s315来实现:72.步骤s311,对所述样本图像进行灰度处理,获得灰度样本图像。73.这里,所获得的样本图像为彩图像,其中,彩图像中的每个像素都用红绿蓝(redgreenblue,rgb)的不同比例来表示,针对每个像素,将该像素的r、g、b设置为相等,也即,使得每个像素的r=g=b,从而实现对样本图像进行灰度处理。那么,彩则表示为一种灰度颜,其中r=g=b的值叫灰度值,因此,灰度图像每个像素只需一个字节存放灰度值(又称强度值、亮度值),灰度范围为0~255。74.步骤s312,获取在预设范围内递增的灰度阈值集合。75.这里,预设范围不超出0~255,预设范围可以设置为0~255,灰度阈值可以设置为预设范围的值,其中,获取多个灰度阈值,例如可以获得20个或者50个灰度阈值,形成灰度阈值集合。76.步骤s313,按照从小到大的顺序,依次基于每个灰度阈值二值化所述灰度样本图像,获得多个二值化样本图像。77.这里,按照从小到大的顺序对灰度阈值集合中灰度阈值进行排序,并从第一个最小的灰度阈值开始,对灰度样本图像进行二值化处理,将灰度样本图像中小于或者等于灰度阈值的像素变为0,将灰度样本图像中大于灰度阈值的像素变为255,从而完成一次二值化处理。接着,基于第二个灰度阈值继续对灰度样本图像进行二值化处理,依次循环,直至基于每个灰度阈值均对灰度样本图像进行二值化处理。78.步骤s314,比对所有二值化样本图像与所述灰度样本图像的灰度值,获得所述样本图像预设面积内的非连通区域,获取所述非连通区域的变化率。79.这里,预设面积可以为2平方厘米、4平方厘米等等,该预设面积可以是默认值,也可以时自定义的设置值。本技术实施例对此并不做限定。非连通区域是指在预设面积内存在两点之间被实线断开的区域。80.逐一分析灰度样本图像的灰度值与每个二值化后样本图像的灰度值,并获取每个非连通区域的灰度值变化率。81.步骤s315,将所述变化率小于预设阈值对应的区域确定为所述目标区域。82.这里,预设阈值可以为20%、30%等等。以包括文字的目标区域举例来说,由于文字区域的灰度阈值是一致,并且灰度值较高,因此,在灰度阈值增大的一段时间内,文字区域的灰度阈值均大于灰度阈值,直至灰度阈值等于文字对应的灰度阈值时,文字区域对应的灰度值才会发生改变,也即,文字区域的变化率最小,那么,则将变化率最小的区域确定为包括文字的目标区域。83.通过以上步骤s311至步骤s315,对样本图像进行灰度处理,获得灰度样本图像;再获取在预设范围内递增的灰度阈值集合,按照从小到大的顺序对灰度阈值进行排序,从第一个最小的灰度阈值开始,依次对灰度样本图像进行二值化处理,获得多个二值化样本图像;最后,分析、比对二值化前后灰度值,从而获得非连通区域的灰度值变化率,并将变化率小于预设阈值所对应的区域确定为包括文字的目标区域,从而确定出目标区域,为后续分类做好准备。84.步骤s2032,对所述目标区域对应的区域图像进行特征提取,得到所述目标区域的特征数据。85.这里,特征提取的方法包括方向梯度直方图、尺度不变特征变换、局部二值模式等方法,还可通过降维、中心化、白化的方法来实现特征提取,通过特征提取能够获得图像的特征数据,该特征数据能够反映图像的特性。86.步骤s2033,利用所述特征数据对所述样本图像进行分类处理,得到所述样本图像的预测分类信息。87.这里,以线性回归分类举例来说,会先通过线性模型获取特征数据对应的预测值,然后再将该预测值映射到sigmoid函数中,获得对应的概率,从而完成了由值到概率的转换,最后再通过概率确定出预测的分类信息,也即,通过线性回归得到的分类信息。88.通过以上步骤s2031至步骤s2033,先对样本图像进行灰度处理,获得灰度样本图像,在目标区域为图像中的文字的情况下,按照从小到大的顺序,基于灰度阈值集合中的每个灰度值对灰度样本图像进行二值化处理,获得二值化样本图像,通过分析、比对灰度样本图像和每个二值化样本图像,从而确定出样本图像中包含文本的目标区域;接着,该目标区域对应的区域图像进行特征提取,获得特征数据;最后,通过特征数据对样本图像进行分类处理,获得样本图像的预测分类信息。从而基于特征数据实现对样本图像的快速分类。89.步骤s204,基于所述预测分类信息、所述标签信息和所述自定义损失函数对所述预设分类模型进行训练,得到所述分类模型。90.在实现步骤s204时,如图6所示,可以通过以下步骤s2041至步骤s2043来实现:91.步骤s2041,获取所述自定义损失函数的梯度函数。92.这里,获取梯度函数的目的为确定出自定义损失函数为最小值时未知数系数和权重因子的取值。其中,自定义损失函数的梯度函数是计算自定义损失函数沿着权重因子方向的偏导数。93.步骤s2042,确定所述梯度函数的最小值,并基于所述最小值确定所述未知数系数的第三值和所述权重因子的第四值。94.这里,在预测分类信息所表征的类型与标签信息所表征的类型一致时,则认为分类成功,那么,保留分类成功对应的梯度值;接着,可以通过共轭梯度下降的方法确定出梯度函数的最小值,进一步地,可通过线性搜索来计算下一个步长,并确定出下一个梯度变化值,再进一步确定出下一个梯度值,如此循环,直至求解出最小的梯度值为止,一般情况下,该最小值为接近0的值。95.基于梯度函数的最小值,可进一步计算出梯度函数中的未知数系数的取值和权重因子的取值,这里,未知数系数的取值为第三值,权重因子的取值为第四值。96.步骤s2043,将所述第四值确定为所述特征数据的权重因子,获得所述分类模型。97.这里,将权重因子的第四值作为特征数据的权重因子,相当于确定出预设分类模型中的参数信息,从而得到分类模型。以线性模型zi=ωi*xi举例来说,第四值对应线性模型中的参数ωi,其中,xi为待分类图像的特征数据,zi为待分类图像对应的预测值。通过将第四值赋给ωi,便获得分类模型。98.通过以上步骤s2041至步骤s2043,获取自定义损失函数的梯度函数,确定出该梯度函数的最小值,基于最小值,确定出未知数系数的第三值和权重因子的第四值,最后将第四值确定为特征数据的权重因子,得到精确的权重因子,从而进一步获得分类模型。99.在本技术实施例中,通过以上步骤s201至步骤s204,先获取提前预设分类模型、样本图像以及样本图像的标签信息,其中,该预设分类模型中包含未确定取值的特征数据的权重因子;接着,通过对样本图像进行灰度处理、二值化、特征提取等操作获得样本图像的特征数据,将互为相反数的第一值和第二值确定为特征数据的系数,还获取正则项,基于包含系数的特征数据和正则项确定自定义损失函数;将样本数据输入至预设分类模型,得到样本图像的预测分类信息,在预测分类信息表征的类型与标签信息所表征的类型一致的情况下,获得自定义损失函数的梯度函数,确定出梯度函数的最小值,并进一步确定出权重因子的第四值;最后,将第四值确定为特征数据的权重因子,从而获得分类模型。通过自定义损失函数能够加重分类模型中特征对模型的影响,缩短该分类模型的分类时间,并且还能够获得准确度较高的分类结果。100.在一些实施例中,在执行步骤s103之后,所述方法还可以执行以下步骤s104和步骤s105(图中未示出):101.步骤s104,基于所述分类结果和预设对应表,确定所述待分类图像对应的目标存储位置。102.这里,所述预设对应表中存储有图像类型与存储位置的对应关系,仍以学生作业为例,当作业为“语文作业”时,对应的目标存储位置可以为“d‑‑》作业‑‑》语文”文件夹;当作业为“数学作业”时,对应的目标存储位置可以为“d‑‑》作业‑‑》数学”文件夹,以此类推,其他类型的作业与对应存储位置的对应关系也遵循上面的设置。如此,通过分类结果和预设对应表,能够实现对待分类图像进行自动、快速存储,从而提升存储速度,并使得待分类图像有规律的进行存储,便于用户对待分类图像的访问操作。103.步骤s105,将所述待分类图像存储在所述目标存储位置中。104.在本技术实施例中,通过步骤s104和步骤s105,从预设对应表中确定分类结果所表征的图像类型对应的目标存储位置,然后将待分类图像存储在目标位置中,如此,实现了对待分类图像进行自动、快速存储,从而提升存储速度,并有规律地存储待分类图像,同时,也便于用户对待分类图像的访问操作。105.基于上述实施例,本技术实施例再提供一种基于逻辑回归的图片分类方法,随着云计算的蓬勃发展,越来越多的传统业务在云端得到了新的赋能。云存储作为一种新兴的存储媒介,为政务、教育领域提供了协同办公以及资源共享的便利。以教育领域为例,教师可利用网盘等云存储软件在云端实现作业的分发、收集与批改。特别在疫情期间,教师云端发布作业,学生完成后拍照上传供老师批改,这种方式受到广泛应用。然而,因收发的作业体量大等原因,获取的照片缺乏分类,冗杂一团,此外,按默认的网盘排列顺序,并无法满足作业需按照“学科”分类的需求,这便会给老师的批改带来困难。106.因此,简单快捷的文字图片分类技术成为了这一困难的解决方案。在传统的逻辑回归、线性回归、svm等算法中,可以实现简单的二分法分类,与此同时,bp神经网络、cnn神经网络等神经网络算法也可实现文字图片的分类。107.相关的分类算法中,各种分类方法都已经较为成熟。以传统svm和bp神经网络为例。svm核心在于寻区分二分类的最优分割面,其最优分割面是能使支持向量和超平面最小距离的最大值,其在小样本条件下通过调优准确度较高,但缺点在于只让最靠近分割超平面的那些点尽量远离,对异常值不敏感。bp网络核心在于反向传播算法,对计算要求高,最优解收敛较慢,并不适合图片分类场景。108.总的来说,一方面,对于svm方法而言,存在如下三个缺点:第一个,svm损失方程基于合页损失,没有给出后验;第二个,最优分割超平面对异常值不敏感,分类准确性一般;第三个,多分类情况下,为得到较高准确率,需通过核函数“升维度”,其在小样本情况下计算耗时。109.另一方面,对于bp神经网络方法而言,存在如下三个缺点:第一个,bp网络训练中稳定性要求学习效率很小,所以梯度下降法使得训练很慢;第二个,其求得的最优值可能是局部最优而不是全局最优,仍需要处理改善;第三个,学习率难以设置,需要反复调参,计算量大。110.可以看出,这两种方案均存在一个共同的缺点:无法在较短时间内获得一个相对高准确率的结果。111.本技术实施例提供一种基于逻辑损失的分类算法,该方法能够在较小样本中快速回归出一个可以进行文字图片多分类的分类器。虽然同样以逻辑损失为基础,但通过转换0~1伯努利分布至-1~1分布的思想,从而加重特征对模型的影响,以获得更优的分类预期。此外,以共轭梯度下降的思想为基础,快速收敛最优解,以实现整个分类器的快速分类。112.在一些实施例中,如图7所示,该逻辑损失的分类算法可通过以下步骤s701至步骤s704来实现:113.步骤s701,获取待分类图片。114.这里,待分类的图片可以为学生的作业、员工的年终总结等等。115.步骤s702,将待分类图片输入训练好的分类器。116.这里,分类器可以为模型参数满足线性关系的线性分类器,还可以为模型参数满足非线性关系的非线性分类器。117.步骤s703,得到待分类图片的分类结果。118.以学生作业为例,得到的分类结果可以为语文作业、数学作业、英语作业中的一种作业类型。119.步骤s704,依据分类结果和预设关系表,将待分类图片存储至目标存储位置。120.通过以上步骤s701至步骤s704,将待分类图片输入训练好的分类器中,便可获得该待分类图片的分类结果,并基于该分类结果将待分类图片存储至对应的目标位置,实现自动分类与存储,提升对待分类图片的分类速度。121.在一些实施例中,在步骤s701之前,还可以执行获得训练好的分类器的步骤,以特征数据为特征向量为例,如图8所示,获得训练好的分类器可通以下步骤s801至步骤s808来实现:122.步骤s801,获取样本图片。123.步骤s802,灰度化样本图片,获得灰度样本图片。124.步骤s803,获取灰度样本图片中的文本。125.这里,可以通过mser方法获取图片中的文字,mser是一种使用不同的灰度阈值对图像进行二值化时得到的最稳定的区域方法,从而区分出图片中的文字区域与非文字区域得到阈值图像对应的黑白区域。获得一张图片的mser的过程包括:设置多个灰度阈值,其中阈值在0~255的区间中的256个值,将这些图像进行二值化处理。即对一幅灰度图像,阈值从0到255依次递增。阈值的递增类似于分水岭算法中的水面的上升,其中在多个阈值变化过程中,黑白区域变化率小于一定面积阈值的极大值区域即为mser。在得到多个mser区域的情况下,需要另行处理。通过区域清理面积过大或过小的区域以及面积变化率过大或过小的区域以获得稳定有效的mser区域,即为文本区域。接着,采用空间映射函数,来矫正文本,并分割出包含完整文本的图片。126.步骤s804,对文本区域进行特征提取。127.这里,可以通过如下步骤s8041至步骤s8044来实现步骤s804(图中未示出):128.步骤s8041,把二维空间的向量转换到一维空间中来适应分类器。129.步骤s8042,为每个特征减去他的平均值来中心化输入的数据集。130.步骤s8043,使用奇异值分解中心化的数据集。131.分别获取左奇异矩阵、右奇异矩阵和x^tx的奇异值,该结果可用于之后的主成分分析(principalcomponentanalysis,pca)。132.步骤s8044,零相成分分析(zero-phasecomponentanalysis,zca)白化数据。133.这里做pca白化,因此定义x为一个行为样例列为特征的数据集矩阵,v为协方差矩阵xtx的特征向量,λ是一个对角矩阵,其中对角元素是xtx的特征值。pca白化使用x*v来获得旋转矩阵xrot,并给每个特征乘以来获得单位差异。其中,xpcawhiten的定义如公式(1)所示:[0134][0135]zca白化即是在xpcawhiten的基础上再做一次旋转使得目标法相和原始输入数据尽可能的接近,可通过如下公式(2)获得xzcawhiten:[0136]xzcawhiten=xpcawhiten*vtꢀꢀꢀꢀ公式(2);[0137]至此获得了白化后的数据集,并保存了数据集的所有维度。接下来给每个样例加上截距(intercept)。[0138]步骤s805,基于逻辑回归器确定自定义损失函数。[0139]由于本技术实施例是基于逻辑回归构建分类器,其中,逻辑回归的本质是一种区分两种类别的线性分类器。本技术实施例期望计算一个使估计可能性最大化的权重,这相当于计算执行最佳输出估计的最小损失。由定义可知,基于sigmoid方程来辨别二分法分类,这里,sigmoid方程如公式(3)所示:[0140][0141]在此基础上,设置一个任意的权重向量w,并建立一个线性模型zi=xi+ωi,其中,xi和ωi的概率可以将公式(3)中的sigmoid方程改写为以下公式(4):[0142][0143]假设变量满足0~1的伯努利分布,概率方程可以改写为以下公式(5):[0144][0145]考虑到每个变量相互独立,取得对数的似然值,如公式(6)所示,损失函数方程loss(w)可以写成负的对数似然值:[0146][0147]通过用公式(4)中的sigmoid方程zi代替方程(6)中的p(xi),在考虑y值的分布,可以推导出一个简化的公式(7):[0148][0149]从公式(7)中可以得到:上下公式的唯一的区别是在sigmoid函数括号内的正负符号。因此,在实现中,并没有对y的值使用0~1分布,而是将值-1和1赋给y,这样可以更直接、简便的进行计算。换句话说,标签(y=-1)是在前一个标签(y=0)的情况下指定的。因此,在将这些思想结合起来并添加一个规则项以避免过度拟合后,可以将损失函数方程简化为公式(8):[0150][0151]为了计算使损失函数具有最小值的变量,需要计算梯度。求梯度的本质就是求给定函数的偏导数。当计算梯度时,原始方程可以描述为公式(9):[0152][0153]在本技术实施例中,也可以通过用y(-1,1)代替y(0,1)来简化方程,新方程可以描述为公式(10):[0154][0155]直至公式(10)便获得了自定义的损失函数,接下来问题就转换成最小化损失函数,即取得局部最优解。[0156]步骤s806,获得自定义损失函数的梯度函数。[0157]假设是最终需要最小化的梯度值,设当不等于设定的目标值(这里可以假定目标值为0),本技术实施例可以使用线性搜索来计算步长αk并将xk+1设为如下公式(11):[0158]xk+1=xk+αkpkꢀꢀꢀ公式(11);[0159]获得xk+1之后,计算如下公式(12)中的下一个梯度变化值:[0160][0161]此外,设定另一个参数β来修改搜索路径以保证新的梯度方向与之前的所垂直,其中β被标识为公式(13):[0162][0163]那么,下一个梯度值pk+1可以表示为公式(14):[0164][0165]步骤s807,获得梯度函数的最小值,并确定出目标权重系数。[0166]如此循环计算公式(11)至公式(14),直至计算出最佳梯度,也即,计算出梯度的最小值。在实际应用中,存在新的共轭方向有时会走得太远,因此损失函数不再下降,所以需要重新调整方向,使之与梯度方向相反,从而重新开始共轭下降过程。[0167]在一些实施例中,可通过回溯线搜索计算步长αk。[0168]步骤s808,将目标权重系数设置为分类器模型中特征向量的权重系数,得到训练好的分类器。[0169]在一些实施例中,该基于逻辑损失的分类算法还遵循一对一分类思想,一对一分类的思想是每次从整个数据中选取两个不同的标签来训练分类器。分类器的总数是(标签数*(标签数-1)/2))。标签数可以因分类的需求而确定。当预测一个新样本的标签时,则使用所有分类器来预测新样本,每个分类器将投票选出一个标签。而预测结果则是得票最多的标签。[0170]然而,当在计算票数时,有可能在几个标签中出现偶数。因此,存在另一个矩阵来存储每个标签的概率之和,它是sigmoid(x*ω+b),计算每个标签的平均概率。最后,将每个标签的平均概率和投票数相加,然后选择值最大的标签作为预测结果。[0171]以学生作业分类举例来说,老师可以将平时收集到的各学科作业的时间维度适当放大,以获得更好的分类效果。例如以一学期的历史作业作为样本,作为输入放入以上示例算法的模型训练器对应的程序内,输出的结果模型可供后续直接使用。在收到一批新的作业后,老师可直接运行分类算法服务,将各科作业输出到对应的指定目录内。该分类服务可以以微服务的形式集成在网盘的已有服务内,实现分类服务以及及时插用。在空余时间,老师也可以利用新的作业数据训练已有模型,以加大模型的稳定性与准确性。[0172]这里,还以特征数据为特征向量为例,训练模型的具体编码实现可以为如下四个步骤:[0173]步骤一,将作业样本引入,灰度化后调用mser库函数,分割出文本图片;[0174]步骤二,将图片数据标准化后调用奇异值分解(singularvaluedecomposition,svd)得到特征向量v,以公式(2)编码得出pca白化值,乘以v的转置得到zca白化数据,至此完成数据预处理;[0175]步骤三,根据自定义的损失函数公式编码;[0176]步骤四,根据自定义的梯度下降公式编码,设定学习速率和步长,演算迭代得出损失函数最优值,输出相应的model文件。[0177]另写一个分类程序,以得到的model文件为准,辅以公式(5)中的标签权重方法,将输入的待分类图片进行分类,并输出到对应目录。[0178]通过以上步骤s801至步骤s808,通过对样本数据的灰度化,获得灰度样本图片,进而再获取灰度样本图片中的文本,并对文本区域进行特征提取;然后,基于逻辑回归器确定自定义损失函数,并获得该自定义损失函数的梯度函数,确定出梯度函数的最小值,再进一步确定出目标权重系数;最后,将目标权重系数设置为分类器模型中特征向量的权重系数,从而获得训练好的分类器,如此,能够在较小样本中快速回归出一个可以进行文字图片多分类的分类器。虽然同样以逻辑损失为基础,但通过转换0~1伯努利分布至-1~1分布的思想,加重特征对模型的影响,加快分类速度,以获得更优的分类预期。此外,以共轭梯度下降的思想为基础,快速收敛最优解,以达到整个分类器的快速插用。[0179]基于前述的实施例,本技术实施例提供一种分类装置,该装置包括的各模块、以及各模块包括的各单元,可以通过计算机设备中的处理器来实现;当然也可通过具体的逻辑电路实现;在实施的过程中,处理器可以为中央处理器(centralprocessingunit,cpu)、微处理器(microprocessorunit,mpu)、数字信号处理器(digitalsignalprocessing,dsp)或现场可编程门阵列(fieldprogrammablegatearray,fpga)等。[0180]本技术实施例再提供一种分类装置,图9为本技术实施例提供的分类装置的组成结构示意图,如图9所示,所述分类装置900包括:[0181]获取模块901,用于获取待分类图像和预先训练得到的分类模型,所述分类模型通过目标自定义损失函数完成训练,所述自定义损失函数用于增强特征对分类模型的影响;[0182]分类模块902,用于利用所述分类模型,对所述待分类图像进行分类处理,得到所述待分类图像的分类结果;[0183]输出模块903,用于输出所述待分类图像的分类结果。[0184]在一些实施例中,获取模块901,还用于获取预设分类模型、样本图像和所述样本图像的标签信息;所述分类装置900还包括:[0185]第一确定模块,用于基于所述样本图像和预设值确定自定义损失函数,所述预设值包括互为相反数的第一值和第二值;[0186]输入模块,用于将所述样本图像输入至所述预设分类模型,得到所述样本图像的预测分类信息;[0187]训练模块,用于基于所述预测分类信息、所述标签信息和所述自定义损失函数对所述预设分类模型进行训练,得到所述分类模型。[0188]在一些实施例中,所述确定模块包括:[0189]第一获取单元,用于获取包含未知数系数和权重因子的正则项,并将所述正则项作为第一函数;[0190]设置单元,用于将所述预设值设置为所述样本图像的特征数据的系数,并基于所述特征数据和所述特征数据的系数确定第二函数;[0191]第一确定单元,用于基于所述第一函数和所述第二函数确定所述自定义损失函数。[0192]在一些实施例中,所述输入模块包括:[0193]第二确定单元,用于确定所述样本图像中包含文本的目标区域;[0194]提取单元,用于对所述目标区域对应的区域图像进行特征提取,得到所述目标区域的特征数据;[0195]分类单元,用于利用所述特征数据对所述样本图像进行分类处理,得到所述样本图像的预测分类信息。[0196]在一些实施例中,所述第二确定单元包括:[0197]灰度化子单元,用于对所述样本图像进行灰度处理,获得灰度样本图像;[0198]获取子单元,用于获取在预设范围内递增的灰度阈值集合;[0199]二值化子单元,用于按照从小到大的顺序,依次基于每个灰度阈值二值化所述灰度样本图像,获得多个二值化样本图像;[0200]比对子单元,用于比对所有二值化样本图像与所述灰度样本图像的灰度值,获得所述样本图像预设面积内的非连通区域,获取所述非连通区域的变化率;[0201]确定子单元,用于将所述变化率小于预设阈值对应的区域确定为所述目标区域。[0202]在一些实施例中,所述训练模块包括:[0203]第二获取单元,用于获取所述自定义损失函数的梯度函数;[0204]第三确定单元,用于确定所述梯度函数的最小值,并基于所述最小值确定所述未知数系数的第三值和所述权重因子的第四值;[0205]第四确定单元,用于将所述第四值确定为所述特征数据的权重因子,获得所述分类模型。[0206]在一些实施例中,所述分类装置900还包括:[0207]第二确定模块,用于基于所述分类结果和预设对应表,确定所述待分类图像对应的目标存储位置,其中,所述预设对应表中存储有图像类型与存储位置的对应关系;[0208]存储模块,用于将所述待分类图像存储在所述目标存储位置中。[0209]需要说明的是,本技术实施例分类装置的描述,与上述方法实施例的描述是类似的,具有同方法实施例相似的有益效果。对于本装置实施例中未披露的技术细节,请参照本技术方法实施例的描述而理解。[0210]需要说明的是,本技术实施例中,如果以软件功能模块的形式实现上述的分类方法,并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。基于这样的理解,本技术实施例的技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本技术各个实施例所述方法的全部或部分。而前述的存储介质包括:u盘、移动硬盘、只读存储器(readonlymemory,rom)、磁碟或者光盘等各种可以存储程序代码的介质。这样,本技术实施例不限制于任何特定的硬件和软件结合。[0211]相应地,本技术实施例提供一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该计算机程序被处理器执行时实现上述实施例中提供的分类方法。[0212]本技术实施例提供一种分类设备,图10为本技术实施例提供的分类设备的组成结构示意图,如图10所示,所述分类设备1000包括:一个处理器1001、至少一个通信总线1002、用户接口1003、至少一个外部通信接口1004和存储器1005。其中,通信总线1002配置为实现这些组件之间的连接通信。其中,用户接口1003可以包括显示屏,外部通信接口1004可以包括标准的有线接口和无线接口。其中,所述处理器1001配置为执行存储器中存储的分类方法的程序,以实现以上述实施例提供的分类方法。[0213]以上分类设备和存储介质实施例的描述,与上述方法实施例的描述是类似的,具有同方法实施例相似的有益效果。对于本技术分类设备和存储介质实施例中未披露的技术细节,请参照本技术方法实施例的描述而理解。[0214]应理解,说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本技术的至少一个实施例中。因此,在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外,这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。应理解,在本技术的各种实施例中,上述各过程的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本技术实施例的实施过程构成任何限定。上述本技术实施例序号仅仅为了描述,不代表实施例的优劣。[0215]需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。[0216]在本技术所提供的几个实施例中,应该理解到,所揭露的设备和方法,可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,如:多个单元或组件可以结合,或可以集成到另一个系统,或一些特征可以忽略,或不执行。另外,所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口,设备或单元的间接耦合或通信连接,可以是电性的、机械的或其它形式的。[0217]上述作为分离部件说明的单元可以是、或也可以不是物理上分开的,作为单元显示的部件可以是、或也可以不是物理单元;既可以位于一个地方,也可以分布到多个网络单元上;可以根据实际的需要选择其中的部分或全部单元来实现本技术实施例方案的目的。[0218]另外,在本技术各实施例中的各功能单元可以全部集成在一个处理单元中,也可以是各单元分别单独作为一个单元,也可以两个或两个以上单元集成在一个单元中;上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能单元的形式实现。[0219]本领域普通技术人员可以理解:实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成,前述的程序可以存储于计算机可读取存储介质中,该程序在执行时,执行包括上述方法实施例的步骤;而前述的存储介质包括:移动存储设备、rom、磁碟或者光盘等各种可以存储程序代码的介质。[0220]或者,本技术上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。基于这样的理解,本技术实施例的技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台ac执行本技术各个实施例所述方法的全部或部分。而前述的存储介质包括:移动存储设备、rom、磁碟或者光盘等各种可以存储程序代码的介质。[0221]以上所述,仅为本技术的实施方式,但本技术的保护范围并不局限于此,任何熟悉本

技术领域


:的技术人员在本技术揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本技术的保护范围之内。因此,本技术的保护范围应以所述权利要求的保护范围为准。当前第1页12当前第1页12

技术特征:


1.一种分类方法,其特征在于,所述方法包括:获取待分类图像和预先训练得到的分类模型,所述分类模型通过目标自定义损失函数完成训练,所述自定义损失函数用于增强特征对分类模型的影响;利用所述分类模型,对所述待分类图像进行分类处理,得到所述待分类图像的分类结果;输出所述待分类图像的分类结果。2.根据权利要求1中所述的方法,其特征在于,预先训练所述分类模型,包括:获取预设分类模型、样本图像和所述样本图像的标签信息;基于所述样本图像和预设值确定自定义损失函数,所述预设值包括互为相反数的第一值和第二值;将所述样本图像输入至所述预设分类模型,得到所述样本图像的预测分类信息;基于所述预测分类信息、所述标签信息和所述自定义损失函数对所述预设分类模型进行训练,得到所述分类模型。3.根据权利要求2中所述的方法,其特征在于,所述基于所述样本图像和预设值确定自定义损失函数,包括:获取包含未知数系数和权重因子的正则项,并将所述正则项作为第一函数;将所述预设值设置为所述样本图像的特征数据的系数,并基于所述特征数据和所述特征数据的系数确定第二函数;基于所述第一函数和所述第二函数确定所述自定义损失函数。4.根据权利要求2中所述的方法,其特征在于,所述将所述样本图像输入至所述预设分类模型,得到所述样本图像的预测分类信息,包括:确定所述样本图像中包含文本的目标区域;对所述目标区域对应的区域图像进行特征提取,得到所述目标区域的特征数据;利用所述特征数据对所述样本图像进行分类处理,得到所述样本图像的预测分类信息。5.根据权利要求4中所述的方法,其特征在于,所述确定所述样本图像中包含文本的目标区域,包括:对所述样本图像进行灰度处理,获得灰度样本图像;获取在预设范围内递增的灰度阈值集合;按照从小到大的顺序,依次基于每个灰度阈值二值化所述灰度样本图像,获得多个二值化样本图像;比对所有二值化样本图像与所述灰度样本图像的灰度值,获得所述样本图像预设面积内的非连通区域,获取所述非连通区域的变化率;将所述变化率小于预设阈值对应的区域确定为所述目标区域。6.根据权利要求3中所述的方法,其特征在于,所述基于所述预测分类信息、所述标签信息和所述自定义损失函数对所述预设分类模型进行训练,得到所述分类模型,包括:获取所述自定义损失函数的梯度函数;确定所述梯度函数的最小值,并基于所述最小值确定所述未知数系数的第三值和所述权重因子的第四值;
将所述第四值确定为所述特征数据的权重因子,获得所述分类模型。7.根据权利要求1至6中任一项所述的方法,其特征在于,所述方法还包括:基于所述分类结果和预设对应表,确定所述待分类图像对应的目标存储位置,其中,所述预设对应表中存储有图像类型与存储位置的对应关系;将所述待分类图像存储在所述目标存储位置中。8.一种分类装置,其特征在于,所述装置包括:获取模块,用于获取待分类图像和预先训练得到的分类模型,所述分类模型通过目标自定义损失函数完成训练,所述自定义损失函数用于增强特征对分类模型的影响;分类模块,用于利用所述分类模型,对所述待分类图像进行分类处理,得到所述待分类图像的分类结果;输出模块,用于输出所述待分类图像的分类结果。9.一种分类设备,其特征在于,所述设备包括:处理器;以及存储器,用于存储可在所述处理器上运行的计算机程序;其中,所述计算机程序被处理器执行时实现权利要求1至7任一项所述的分类方法。10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有计算机可执行指令,该计算机可执行指令配置为执行上述权利要求1至7任一项所述的分类方法。

技术总结


本申请实施例公开了一种分类方法、装置、设备及计算机可读存储介质,所述方法包括:获取待分类图像和预先训练得到的分类模型,所述分类模型通过目标自定义损失函数完成训练,所述自定义损失函数用于增强特征对分类模型的影响;利用所述分类模型,对所述待分类图像进行分类处理,得到所述待分类图像的分类结果;输出所述待分类图像的分类结果。通过加重特征对模型的影响,能够获得准确度较高的分类结果;并通过自定义损失函数缩短分类时间,从而实现在较短时间内获得准确度较高的分类结果。实现在较短时间内获得准确度较高的分类结果。实现在较短时间内获得准确度较高的分类结果。


技术研发人员:

陈天叶

受保护的技术使用者:

中国移动通信集团有限公司

技术研发日:

2021.06.24

技术公布日:

2022/12/26

本文发布于:2024-09-22 22:32:05,感谢您对本站的认可!

本文链接:https://www.17tex.com/tex/1/48816.html

版权声明:本站内容均来自互联网,仅供演示用,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系,我们将在24小时内删除。

标签:所述   图像   样本   灰度
留言与评论(共有 0 条评论)
   
验证码:
Copyright ©2019-2024 Comsenz Inc.Powered by © 易纺专利技术学习网 豫ICP备2022007602号 豫公网安备41160202000603 站长QQ:729038198 关于我们 投诉建议