(19)中华人民共和国国家知识产权局
(10)申请公布号 (43)申请公布日 (21)申请号 202010124850.8
(22)申请日 2020.02.27
(71)申请人 大象慧云信息技术有限公司
地址 100086 北京市海淀区中关村南大街2
号A座31层3106室
(72)发明人 李兴蒙 刘平君 张玲 陈道龙
叶京翔 李晏光 乔川
(74)专利代理机构 北京工信联合知识产权代理
有限公司 11266
代理人 白晓晰
(51)Int.Cl.
G06K 9/32(2006.01)
G06K 9/62(2006.01)
G06N 3/04(2006.01)
G06N 3/08(2006.01)
(54)发明名称
(57)摘要
本发明公开了一种多票据的识别方法，包
将预处理后的所述票据图像，使用YOLOv3模型同
时区分包含多张待识别票据图像中的每张票据，
以及定位每张票据图像中的文字；将定位的每张
票据图像中的文字使用CRNN+CTC模型进行识别，
获取多张待识别的票据信息，解决现有技术基于
光学字符的识别系统，识别率相对较低，后期维
护成本较高，
且一次只能识别单张票据的问题。权利要求书2页 说明书4页 附图2页CN 111368828 A 2020.07.03
C N 111368828
A
1.一种多票据的识别方法，其特征在于，包括：
对包含多张待识别的票据图像进行预处理；
将预处理后的所述票据图像，使用YOLOv3模型同时区分包含多张待识别票据图像中的每张票据，以及定位每张票据图像中的文字；
将定位的每张票据图像中的文字使用CRNN+CTC模型进行识别，获取多张待识别的票据信息。
2.根据权利要求1所述的方法，其特征在于，对包含多张待识别的票据图像进行预处理，包括：
对包含多张待识别的票据图像进行归一化处理；
获得标准化的票据图像。
3.根据权利要求2所述的方法，其特征在于，所述标准化的票据图像，包括：
大小相等且灰度相同的票据图像。
4.根据权利要求1所述的方法，其特征在于，使用YOLOv3模型同时区分包含多张待识别票据图像中的每张票据，包括：
使用YOLOv3模型区分所述包含多张待识别的票据图像中，每张票据的轮廓，进而获取每张票据的图像；以及
获取包含的待识别票据的数量。
5.根据权利要求1所述的方法，其特征在于，在定位每张票据图像中的文字的步骤之后，还包括：
对每张票据图像中的文字部分进行切割，获取每张票据图像中包含文字部分的图像；
将所述包含文字部分的图像传入CRNN+CTC模型。
6.根据权利要求1所述的方法，其特征在于，将定位的每张票据图像中的文字使用CRNN +CTC模型进行识别，获取多张待识别的票据信息，包括：
CRNN+CTC模型接收YOLOv3模型发送的所述包含文字部分的图像；
CRNN+CTC模型通过识别所述包含文字部分的图像，获取包含多张待识别的票据图像中每张发票的信息。
7.根据权利要求6所述的方法，其特征在于，所述发票的信息，包括：
发票的类型、发票代码、发票号码、开票日期、购买方和销售方信息、开票金额，以及发票明细。
8.一种多票据的识别装置，其特征在于，包括：
预处理单元，用于对包含多张待识别的票据图像进行预处理；
票据区分与定位单元，用于将预处理后的所述票据图像，使用YOLOv3模型同时区分包含多张待识别票据图像中的每张票据，以及定位每张票据图像中的文字；
票据识别单元，用于将定位的每张票据图像中的文字使用CRNN+CTC模型进行识别，获取多张待识别的票据信息。
9.根据权利要求8所述的装置，其特征在于，所述票据区分与定位单元，包括：
单张票据图像获取子单元，用于使用YOLOv3模型区分所述包含多张待识别的票据图像中，每张票据的轮廓，进而获取每张票据的图像；以及
票据数量获取子单元，用于获取包含的待识别票据的数量。
10.根据权利要求8所述的装置，其特征在于，票据识别单元，包括：
图像接收子单元，用于通过CRNN+CTC模型接收YOLOv3模型发送的所述包含文字部分的图像；
票据信息识别子单元，用于通过CRNN+CTC模型通过识别所述包含文字部分的图像，获取包含多张待识别的票据图像中每张发票的信息。
一种多票据的识别方法及装置
技术领域
[0001]本申请涉及人工智能领域，具体涉及一种多票据的识别方法，同时涉及一种多票据的识别装置。
背景技术
[0002]现有的票据识别技术，包括普通的OCR光学字符定位、还有一部分使用主流的深度学习技术。但都是只能识别单张票据信息，无法应对普通的多张票据报销场景，还是不能从根本上解决票据识别的问题。此外基于光学字符的识别系统，识别率相对较低，后期维护成本较高，无法满足现有的报销市场。
发明内容
[0003]本申请提供一种多票据的识别方法及装置，解决现有技术基于光学字符的识别系统，识别率相对较低，后期维护成本较高，且一次只能识别单张票据的问题。
[0004]本申请提供一种多票据的识别方法，包括：
[0005]对包含多张待识别的票据图像进行预处理；
[0006]将预处理后的所述票据图像，使用YOLOv3模型同时区分包含多张待识别票据图像中的每张票据，以及定位每张票据图像中的文字；
[0007]将定位的每张票据图像中的文字使用CRNN+CTC模型进行识别，获取多张待识别的票据信息。
[0008]优选的，对包含多张待识别的票据图像进行预处理，包括：
[0009]对包含多张待识别的票据图像进行归一化处理；
[0010]获得标准化的票据图像。
[0011]优选的，所述标准化的票据图像，包括：
[0012]大小相等且灰度相同的票据图像。
[0013]优选的，使用YOLOv3模型同时区分包含多张待识别票据图像中的每张票据，包括：[0014]使用YOLOv3模型区分所述包含多张待识别的票据图像中，每张票据的轮廓，进而获取每张票据的图像；以
及
[0015]获取包含的待识别票据的数量。
[0016]优选的，在定位每张票据图像中的文字的步骤之后，还包括：
[0017]对每张票据图像中的文字部分进行切割，获取每张票据图像中包含文字部分的图像；
[0018]将所述包含文字部分的图像传入CRNN+CTC模型。
[0019]优选的，将定位的每张票据图像中的文字使用CRNN+CTC模型进行识别，获取多张待识别的票据信息，包括：
[0020]CRNN+CTC模型接收YOLOv3模型发送的所述包含文字部分的图像；
[0021]CRNN+CTC模型通过识别所述包含文字部分的图像，获取包含多张待识别的票据图
像中每张发票的信息。
[0022]优选的，所述发票的信息，包括：
[0023]发票的类型、发票代码、发票号码、开票日期、购买方和销售方信息、开票金额，以及发票明细。
[0024]本申请同时提供一种多票据的识别装置，包括：
[0025]预处理单元，用于对包含多张待识别的票据图像进行预处理；
[0026]票据区分与定位单元，用于将预处理后的所述票据图像，使用YOLOv3模型同时区分包含多张待识别票据图像中的每张票据，以及定位每张票据图像中的文字；
[0027]票据识别单元，用于将定位的每张票据图像中的文字使用CRNN+CTC模型进行识别，获取多张待识别的票据信息。
[0028]优选的，所述票据区分与定位单元，包括：
[0029]单张票据图像获取子单元，用于使用YOLOv3模型区分所述包含多张待识别的票据图像中，每张票据的轮廓，进而获取每张票据的图像；以及
[0030]票据数量获取子单元，用于获取包含的待识别票据的数量。
[0031]优选的，票据识别单元，包括：
[0032]图像接收子单元，用于通过CRNN+CTC模型接收YOLOv3模型发送的所述包含文字部分的图像；
[0033]票据信息识别子单元，用于通过CRNN+CTC模型通过识别所述包含文字部分的图像，获取包含多张待识别的票据图像中每张发票的信息。
[0034]本申请提供一种多票据的识别方法及装置，通过YOLOv3模型同时对多张票据进行单张区分和文字定位，然后再通过CRNN+CTC模型对多张材质的信息进行识别，同时获取多张票据的信息，解决现有技术基于光学字符的识别系统，识别率相对较低，后期维护成本较高，且一次只能识别单张票据的问题。
附图说明
[0035]图1是本申请提供的一种多票据的识别方法的流程示意图；
[0036]图2是本申请提供的一种多票据的识别装置示意图。
具体实施方式
[0037]在下面的描述中阐述了很多具体细节以便于充分理解本申请。但是本申请能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本申请内涵的情况下做类似推广，因此本申请不受下面公开的具体实施的限制。
[0038]图1是本申请提供的一种多票据的识别方法的流程示意图，下面结合图1对本申请提供的方法进行详细说明。
[0039]步骤S101，对包含多张待识别的票据图像进行预处理。
[0040]现有技术对发票票据的识别，主要是通过OCR技术对票据进行扫描识别，且一次只能识别一张，所以效率相对较低，本申请提供的方法，可以同时识别多张票据，首先，将多张票据平铺，通过图像获取设备如摄像机拍摄多张票据的图像，拍摄的每张图像上包括多张待识别的票据，而且多张票据可以包含各种类型的票据，如普通发票、增值税专用发票、专
豫公网安备41160202000603
站长QQ:729038198
关于我们
投诉建议