一种银行补录数据的批量解析和加载方法、装置及设备与流程

1.本技术涉及大数据技术领域，尤其涉及一种银行补录数据的批量解析和加载方法、装置及设备。

背景技术：

2.随着社会经济的高速发展，各大银行作为金融服务的中心，越来越多的客户通过银行办理各种金融业务，导致银行需要处理的补录数据越来越多。
3.目前银行bdp-odss(海外监管报送及内部管理主体应用)基于bdp大数据平台为满足海外各行监管报送、内部管理等主题应用，为海外各分行加工出海外共享数据集，打造海外监管报送和内部管理数据服务基础设施。系统通过自动抽取、计算、汇总和分析监管报表所需数据，生成监管报送要求的格式报表，减少手工操作工作量，提高工作效率，避免手工操作失误造成的各类差错，但是，海外各行的监管需求大相径庭，海外共享数据集不能完全满足监管报送的要求，因此，海外分行还需要通过bocs-oss-aies(海外综合支持系统-信息补录)进行手动补录当地特数据来完成监管报表的制作。但由于bocs-oss-aies需要支持海外分行多元化的补录需求，产品设计把所有补录表的数据都存储在一张通用层补录信息表中，与实际分行所需的补录表结构不一致，所以补录数据通过udp-asvr(统一数据平台——分析层服务中心)下传至bdp-odss后是无法直接使用的。

技术实现要素：

4.本技术实施例的主要目的在于提供一种银行补录数据的批量解析和加载方法、装置及设备，能够在大数据平台下批量解析并加载补录数据的信息，以便完成监管报表的制作，不仅降低了补录成本和人力资源，也大幅度提高了补录数据的及时性。
5.第一方面，本技术实施例提供了一种银行补录数据的批量解析和加载方法，所述方法包括：
6.梳理补录数据表名范围，并梳理补录字段名称及类型；
7.根据预设的补录需求，创建补录映射表，并在所述映射表里设置映射规则；
8.获取补录源数据，并构建补录目标表属性，以及解析补录源数据，得到补录源数据的解析结果；
9.批量将补录源数据的解析结果加载到数据库中的补录目标表中，实现银行补录数据的批量解析和加载。
10.可选的，所述梳理补录数据表名范围，并梳理补录字段名称及类型，包括：
11.根据预设的补录需求，获取补录数据表的表名以及表id；并根据预设的补录需求，获取补录数据表的字段名和属性、以及表字段的字段id。
12.可选的，所述获取补录源数据，并构建补录目标表属性，包括：
13.将统一数据平台的分析层服务中心udp-asvr中的数据加载到临时存储中；
14.根据补录数据表的表名获取表id，并根据所述表id获取映射表中补录目标表的字
段名、位置、属性，用以构建补录目标属性。
15.可选的，所述解析补录源数据，得到补录源数据的解析结果，包括：
16.根据补录数据表的表名获取表id，并根据所述表id从所述临时存储中获取所有补录表的源数据集；
17.对所述源数据集进行逐条解析，得到补录源数据的解析结果。
18.第二方面，本技术实施例还提供了一种银行补录数据的批量解析和加载装置，所述装置包括：
19.梳理单元，用于梳理补录数据表名范围，并梳理补录字段名称及类型；
20.创建单元，用于根据预设的补录需求，创建补录映射表，并在所述映射表里设置映射规则；
21.解析单元，用于获取补录源数据，并构建补录目标表属性，以及解析补录源数据，得到补录源数据的解析结果；
22.加载单元，用于批量将补录源数据的解析结果加载到数据库中的补录目标表中，实现银行补录数据的批量解析和加载。
23.可选的，所述梳理单元具体用于：
24.根据预设的补录需求，获取补录数据表的表名以及表id；并根据预设的补录需求，获取补录数据表的字段名和属性、以及表字段的字段id。
25.可选的，所述解析单元包括：
26.加载子单元，用于将统一数据平台的分析层服务中心udp-asvr中的数据加载到临时存储中；
27.构建子单元，用于根据补录数据表的表名获取表id，并根据所述表id获取映射表中补录目标表的字段名、位置、属性，用以构建补录目标属性。
28.可选的，所述解析单元还包括：
29.获取子单元，用于根据补录数据表的表名获取表id，并根据所述表id从所述临时存储中获取所有补录表的源数据集；
30.解析子单元，用于对所述源数据集进行逐条解析，得到补录源数据的解析结果。
31.本技术实施例还提供了一种银行补录数据的批量解析和加载设备，包括：处理器、存储器、系统总线；
32.所述处理器以及所述存储器通过所述系统总线相连；
33.所述存储器用于存储一个或多个程序，所述一个或多个程序包括指令，所述指令当被所述处理器执行时使所述处理器执行上述银行补录数据的批量解析和加载方法中的任意一种实现方式。
34.本技术实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当所述指令在终端设备上运行时，使得所述终端设备执行上述银行补录数据的批量解析和加载方法中的任意一种实现方式。
35.本技术实施例提供的一种银行补录数据的批量解析和加载方法、装置及设备，首先梳理补录数据表名范围，并梳理补录字段名称及类型，然后，根据预设的补录需求，创建补录映射表，并在映射表里设置映射规则，接着，获取补录源数据，并构建补录目标表属性，以及解析补录源数据，得到补录源数据的解析结果；进而可以批量将补录源数据的解析结
果加载到数据库中的补录目标表中，实现银行补录数据的批量解析和加载，从而能够在大数据平台下批量解析并加载补录数据的信息，以便完成监管报表的制作，不仅降低了补录成本和人力资源，也大幅度提高了补录数据的及时性。
附图说明
36.为了更清楚地说明本技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
37.图1为本技术实施例提供的一种银行补录数据的批量解析和加载方法的流程示意图；
38.图2为本技术实施例提供的根据预设的补录需求，创建补录映射表，并在所述映射表里设置映射规则的示意图；
39.图3为本技术实施例提供的解析补录源数据，得到补录源数据的解析结果的示意图；
40.图4为本技术实施例提供的一种银行补录数据的批量解析和加载装置的组成示意图。
具体实施方式
41.目前银行在大数据平台bdp上存在大量的补录源数据表与实际分行所需的补录表结构不一致，导致后线分析产品无法直接使用的情况。具体来讲，分行的补录是通过数据铺底的方式直接录入至后线产品，这种方式存在以下几个问题：
42.(1)补录成本高:分行需要提交工单来修改补录的铺底数据；
43.(2)数据及时性差:修改补录信息项目组需要提出版本走流程；
44.(3)补录管理效率低:分行无法灵活自主地管理补录信息。
45.针对以上问题点，分行通过bocs-oss-aies(海外综合支持系统-信息补录,支持海外分行灵活定制所需栏位，补录本地信息，应对频繁监管报送)实现实时管理维护补录数据，但是补录数据下传至后线产品后，后是无法直接使用的。
46.为解决上述缺陷，本技术实施例提供了一种银行补录数据的批量解析和加载方法，首先梳理补录数据表名范围，并梳理补录字段名称及类型，然后，根据预设的补录需求，创建补录映射表，并在映射表里设置映射规则，接着，获取补录源数据，并构建补录目标表属性，以及解析补录源数据，得到补录源数据的解析结果；进而可以批量将补录源数据的解析结果加载到数据库中的补录目标表中，实现银行补录数据的批量解析和加载，从而能够在大数据平台下批量解析并加载补录数据的信息，以便完成监管报表的制作，不仅降低了补录成本和人力资源，也大幅度提高了补录数据的及时性。
47.为使本技术实施例的目的、技术方案和优点更加清楚，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
48.第一实施例
49.参见图1，为本实施例提供的一种银行补录数据的批量解析和加载方法的流程示意图，该方法包括以下步骤：
50.s101：梳理补录数据表名范围，并梳理补录字段名称及类型。
51.在本实施例中，为了能够在大数据平台下批量解析并加载补录数据的信息，以便完成监管报表的制作，本技术首先需要梳理补录数据表名范围，并梳理补录字段名称及类型，用以执行后续步骤s102。
52.具体来讲，在大数据平台上，批量解析并加载补录数据时，首先需要根据分行预设的补录需求，从分行获取补录数据表的表名以及从海外分行获取约定的补录数据表的表id。同时，还需要根据分行预设的补录需求，从分行获取每张补录数据表的字段名和属性，并从分行获取约定的补录数据表字段的字段id。
53.其中，预设的补录需求可根据实际情况进行设定，本技术对此不进行限定。
54.s102：根据预设的补录需求，创建补录映射表，并在映射表里设置映射规则。
55.在本实施例中，通过步骤s101梳理了补录数据表名范围，并梳理了补录字段名称及类型后，进一步还需要根据分行预设的补录需求，创建补录映射表，并在映射表里设置映射规则：补录表名和表id映射规则、补录表字段名和字段id映射规则、字段id和字段属性映射规则，如图2所示，用以执行后续步骤s103。
56.s103：获取补录源数据，并构建补录目标表属性，以及解析补录源数据，得到补录源数据的解析结果。
57.在本实施例中，通过步骤s102根据预设的补录需求，创建补录映射表，并在所述映射表里设置映射规则后，进一步可以获取补录源数据，并构建补录目标表属性，以及解析补录源数据，得到补录源数据的解析结果，用以执行后续步骤s104。
58.具体来讲，由于bocs-oss-aies需要支持海外分行多元化的补录需求，产品设计会把所有补录表的数据都存储在一张通用层补录信息表中，为了降少数据库交互次数，需要获取补录源数据，即，可以每天一次性地将上游udp-asvr(统一数据平台——分析层服务中心)中的数据加载到临时存储中。
59.然后，可以根据补录数据表的表名获取表id，并根据表id获取映射表中补录目标表的字段名、位置、属性，用以构建补录目标属性。可以理解的是，构建补录目标表属性是根据补录表名与参数模板中的参数表进行交互，获取表id、字段名、字段位置、以及字段属性，以便后续在解析补录源数据时，能把源数据匹配到正确位置。
60.接着，可以根据补录数据表的表名获取表id，并根据表id从临时存储中获取所有补录表的源数据集，再对源数据集进行逐条解析，得到补录源数据的解析结果，用以执行后续步骤s104。
61.需要说明的是，由于每一条源数据中均包含字段id和补录值，所以据根据字段id在映射表中到对应的字段名、位置后，需要把补录值临时存储到对应的位置，直到该表id下补录源数据集中的数据全部完成解析，如图3所示。
62.s104：批量将补录源数据的解析结果加载到数据库中的补录目标表中，实现银行补录数据的批量解析和加载。
63.在本实施例中，通过步骤s103获取补录源数据，并构建补录目标表属性，以及解析
补录源数据，得到补录源数据的解析结果后，进一步可以批量将补录源数据的解析结果加载到分行mpp(统一数据平台)数据库中的补录目标表中，即，在得到补录源数据的解析结果后，可以把补录值临时存储到对应的位置，加载模块根据构建的补录目标表属性，批量生成插入语句，把目标临时存储数据批量写入分行mpp数据库中的补录目标表，以实现银行补录数据的批量解析和加载。
64.这样，通过执行上述步骤s101-s104，在大数据平台下，支持分行特补录，并建立起完善的机制从补录源数据开始，通过基础参数把源数据批量解析加载到分行mpp数据库中，提供给后线产品bdp-odss(海外分行监管报送及内部管理主题应用，基于mpp数据库为海外各分行加工海外共享数据集，存储到各行数据库，并支持各行用户访问本行数据集数据)直接使用补录数据进行海外报表加工，以满足海外分行特监管报送的需求。且可扩展性强，实现补录信息灵活自主地管理，减少分行信息补录的成本，节省人力资源，大大地提高补录数据及时性。
65.综上，本实施例提供的一种银行补录数据的批量解析和加载方法，首先梳理补录数据表名范围，并梳理补录字段名称及类型，然后，根据预设的补录需求，创建补录映射表，并在映射表里设置映射规则，接着，获取补录源数据，并构建补录目标表属性，以及解析补录源数据，得到补录源数据的解析结果；进而可以批量将补录源数据的解析结果加载到数据库中的补录目标表中，实现银行补录数据的批量解析和加载，从而能够在大数据平台下批量解析并加载补录数据的信息，以便完成监管报表的制作，不仅降低了补录成本和人力资源，也大幅度提高了补录数据的及时性。
66.第二实施例
67.本实施例将对一种银行补录数据的批量解析和加载装置进行介绍，相关内容请参见上述方法实施例。
68.参见图4，为本实施例提供的一种银行补录数据的批量解析和加载装置的组成示意图，具体包括：
69.梳理单元401，用于梳理补录数据表名范围，并梳理补录字段名称及类型；
70.创建单元402，用于根据预设的补录需求，创建补录映射表，并在所述映射表里设置映射规则；
71.解析单元403，用于获取补录源数据，并构建补录目标表属性，以及解析补录源数据，得到补录源数据的解析结果；
72.加载单元404，用于批量将补录源数据的解析结果加载到数据库中的补录目标表中，实现银行补录数据的批量解析和加载。
73.在本实施例的一种实现方式中，所述梳理单元401具体用于：
74.根据预设的补录需求，获取补录数据表的表名以及表id；并根据预设的补录需求，获取补录数据表的字段名和属性、以及表字段的字段id。
75.在本实施例的一种实现方式中，所述解析单元403包括：
76.加载子单元，用于将统一数据平台的分析层服务中心udp-asvr中的数据加载到临时存储中；
77.构建子单元，用于根据补录数据表的表名获取表id，并根据所述表id获取映射表中补录目标表的字段名、位置、属性，用以构建补录目标属性。
78.在本实施例的一种实现方式中，所述解析单元403还包括：
79.获取子单元，用于根据补录数据表的表名获取表id，并根据所述表id从所述临时存储中获取所有补录表的源数据集；
80.解析子单元，用于对所述源数据集进行逐条解析，得到补录源数据的解析结果。
81.综上，本实施例提供的一种银行补录数据的批量解析和加载装置，首先梳理补录数据表名范围，并梳理补录字段名称及类型，然后，根据预设的补录需求，创建补录映射表，并在映射表里设置映射规则，接着，获取补录源数据，并构建补录目标表属性，以及解析补录源数据，得到补录源数据的解析结果；进而可以批量将补录源数据的解析结果加载到数据库中的补录目标表中，实现银行补录数据的批量解析和加载，从而能够在大数据平台下批量解析并加载补录数据的信息，以便完成监管报表的制作，不仅降低了补录成本和人力资源，也大幅度提高了补录数据的及时性。
82.进一步地，本技术实施例还提供了一种银行补录数据的批量解析和加载设备，包括：处理器、存储器、系统总线；
83.所述处理器以及所述存储器通过所述系统总线相连；
84.所述存储器用于存储一个或多个程序，所述一个或多个程序包括指令，所述指令当被所述处理器执行时使所述处理器执行上述银行补录数据的批量解析和加载方法的任一种实现方法。
85.进一步地，本技术实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当所述指令在终端设备上运行时，使得所述终端设备执行上述银行补录数据的批量解析和加载方法的任一种实现方法。
86.通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到上述实施例方法中的全部或部分步骤可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者诸如媒体网关等网络通信设备，等等)执行本技术各个实施例或者实施例的某些部分所述的方法。
87.需要说明的是，本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
88.还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
89.另外，需要说明的是，本发明提供的银行补录数据的批量解析和加载方法、装置及设备可用于大数据领域以及金融领域。上述仅为示例，并不对本发明提供的银行补录数据
的批量解析和加载方法、装置及设备的应用领域进行限定。
90.对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本技术。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本技术的精神或范围的情况下，在其它实施例中实现。因此，本技术将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

技术特征：

1.一种银行补录数据的批量解析和加载方法，其特征在于，所述方法包括：梳理补录数据表名范围，并梳理补录字段名称及类型；根据预设的补录需求，创建补录映射表，并在所述映射表里设置映射规则；获取补录源数据，并构建补录目标表属性，以及解析补录源数据，得到补录源数据的解析结果；批量将补录源数据的解析结果加载到数据库中的补录目标表中，实现银行补录数据的批量解析和加载。2.根据权利要求1所述的方法，其特征在于，所述梳理补录数据表名范围，并梳理补录字段名称及类型，包括：根据预设的补录需求，获取补录数据表的表名以及表id；并根据预设的补录需求，获取补录数据表的字段名和属性、以及表字段的字段id。3.根据权利要求2所述的方法，其特征在于，所述获取补录源数据，并构建补录目标表属性，包括：将统一数据平台的分析层服务中心udp-asvr中的数据加载到临时存储中；根据补录数据表的表名获取表id，并根据所述表id获取映射表中补录目标表的字段名、位置、属性，用以构建补录目标属性。4.根据权利要求2-3任一项所述的方法，其特征在于，所述解析补录源数据，得到补录源数据的解析结果，包括：根据补录数据表的表名获取表id，并根据所述表id从所述临时存储中获取所有补录表的源数据集；对所述源数据集进行逐条解析，得到补录源数据的解析结果。5.一种银行补录数据的批量解析和加载装置，其特征在于，所述装置包括：梳理单元，用于梳理补录数据表名范围，并梳理补录字段名称及类型；创建单元，用于根据预设的补录需求，创建补录映射表，并在所述映射表里设置映射规则；解析单元，用于获取补录源数据，并构建补录目标表属性，以及解析补录源数据，得到补录源数据的解析结果；加载单元，用于批量将补录源数据的解析结果加载到数据库中的补录目标表中，实现银行补录数据的批量解析和加载。6.根据权利要求5所述的装置，其特征在于，所述梳理单元具体用于：根据预设的补录需求，获取补录数据表的表名以及表id；并根据预设的补录需求，获取补录数据表的字段名和属性、以及表字段的字段id。7.根据权利要求6所述的装置，其特征在于，所述解析单元包括：加载子单元，用于将统一数据平台的分析层服务中心udp-asvr中的数据加载到临时存储中；构建子单元，用于根据补录数据表的表名获取表id，并根据所述表id获取映射表中补录目标表的字段名、位置、属性，用以构建补录目标属性。8.根据权利要求6-7任一项所述的装置，其特征在于，所述解析单元还包括：获取子单元，用于根据补录数据表的表名获取表id，并根据所述表id从所述临时存储
中获取所有补录表的源数据集；解析子单元，用于对所述源数据集进行逐条解析，得到补录源数据的解析结果。9.一种银行补录数据的批量解析和加载设备，其特征在于，包括：处理器、存储器、系统总线；所述处理器以及所述存储器通过所述系统总线相连；所述存储器用于存储一个或多个程序，所述一个或多个程序包括指令，所述指令当被所述处理器执行时使所述处理器执行权利要求1-4任一项所述的方法。10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有指令，当所述指令在终端设备上运行时，使得所述终端设备执行权利要求1-4任一项所述的方法。

技术总结

本申请公开了一种银行补录数据的批量解析和加载方法、装置及设备，可应用于大数据领域以及金融领域，能够在大数据平台下批量解析并加载补录数据的信息，以便完成监管报表的制作，不仅降低了补录成本和人力资源，也大幅度提高了补录数据的及时性。该方法包括：首先梳理补录数据表名范围，并梳理补录字段名称及类型，然后，根据预设的补录需求，创建补录映射表，并在映射表里设置映射规则，接着，获取补录源数据，并构建补录目标表属性，以及解析补录源数据，得到补录源数据的解析结果；进而可以批量将补录源数据的解析结果加载到数据库中的补录目标表中，实现银行补录数据的批量解析和加载。和加载。和加载。