一种用于数据库的数据加载方法、装置、设备及介质与流程

1.本发明涉及数据库技术领域，具体的，本发明应用于国产数据库中的数据加载领域，特别是涉及一种用于数据库的数据加载方法、装置、设备及介质。

背景技术：

2.通常在数据导入数据库前，需要采用非国产数据库自带的工具对数据进行分组预处理，该分组预处理属于不可或缺的步骤；而由于非国产数据库的数据处理工具的非开源化，导致目前现有技术中并不存在能够应用于国产数据库的数据预处理加载方案，故目前的国产数据库在导入数据时，并不具备有对于导入数据进行预处理的功能，当国产数据库在应用时，需要将先将数据加载至数据库中，后续在数据加载完成后，再对国产数据库中的数据进行更新处理，进而实现数据分组，这种方式会导致国产数据库在导入数据时的处理步骤增多，且后续的数据更新处理会提高国产数据库的资源消耗，降低了国产数据库数据导入的时效性。

技术实现要素：

3.本发明的目的在于，针对现有技术中的上述问题，提供一种用于数据库的数据加载方法、装置、设备及介质，进而解决现有技术中并不存在能够应用于国产数据库的数据预处理加载方案，这导致国产数据库在导入数据时，并不具备有对于导入数据进行预处理的功能，最终导致国产数据库在导入数据时的处理步骤增多，提高了国产数据库的资源消耗，降低了国产数据库数据导入的时效性的问题。
4.为解决上述技术问题，本发明的具体技术方案如下：
5.一方面，本发明提供一种用于数据库的数据加载方法，包括：
6.数据文件获取：
7.获取数据库数据加载需求，根据所述数据库数据加载需求获取待加载数据文件；
8.数据文件预处理：
9.设置文件预处理算法，基于所述待加载数据文件和所述文件预处理算法进行文件列化分组处理，得到分组数据列；
10.数据加载：
11.设置文件同步加载算法，基于所述文件同步加载算法将所述分组数据列加载至第一数据库中。
12.作为一种改进的方案，所述数据库数据加载需求包括：第一加载需求和第一非加载需求；所述第一加载需求为所述第一数据库需要加载数据文件；所述第一非加载需求为所述第一数据库无需加载数据文件；
13.所述根据所述数据库数据加载需求获取待加载数据文件，包括：
14.识别所述数据库数据加载需求；
15.若所述数据库数据加载需求为所述第一加载需求，则获取与所述第一加载需求相
匹配的第一数据文件；打包所述第一数据文件作为所述待加载数据文件。
16.作为一种改进的方案，所述文件预处理算法包括：文件预分类算法和文件预分组算法；
17.所述基于所述待加载数据文件和所述文件预处理算法进行文件列化分组处理，得到分组数据列，包括：
18.调用所述文件预分类算法将所述待加载数据文件划分为若干第一文件列；
19.调用所述文件预分组算法对若干所述第一文件列进行文件分组处理，得到与若干所述第一文件列分别对应的若干所述分组数据列。
20.作为一种改进的方案，所述文件预分类算法，包括：
21.识别所述待加载数据文件中所包含的若干数据特性；
22.创建与若干所述数据特性分别对应的若干空数据列；
23.按照若干所述数据特性将所述待加载数据文件分别排列至若干所述空数据列中，得到若干所述第一文件列。
24.作为一种改进的方案，所述文件预分组算法，包括：
25.获取分组字段需求；
26.识别若干所述第一文件列所分别对应的若干所述数据特性；
27.基于所述分组字段需求和若干所述数据特性设定与若干所述第一文件列分别对应的若干第一分组字段；
28.按照若干所述第一分组字段分别对若干所述第一文件列中的数据文件进行分组处理；
29.设定经过所述分组处理后的第一文件列为所述分组数据列。
30.作为一种改进的方案，所述基于所述文件同步加载算法将所述分组数据列加载至第一数据库中，包括：
31.调用所述文件同步加载算法将若干所述分组数据列分别加载至所述第一数据库中。
32.作为一种改进的方案，所述文件同步加载算法，包括：
33.统计若干所述分组数据列的列值；
34.基于所述列值设定若干处理线程；
35.通过若干所述处理线程分别将若干所述分组数据列加载至所述第一数据库中。
36.另一方面，本发明还提供一种用于数据库的数据加载装置，包括：
37.数据文件获取模块、数据文件预处理模块和数据加载模块；
38.所述数据文件获取模块，用于获取数据库数据加载需求，并根据所述数据库数据加载需求获取待加载数据文件；
39.所述数据文件预处理模块，用于设置文件预处理算法，并基于所述待加载数据文件和所述文件预处理算法进行文件列化分组处理，得到分组数据列；
40.所述数据加载模块，用于设置文件同步加载算法，并基于所述文件同步加载算法将所述分组数据列加载至第一数据库中。
41.另一方面，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现所述用于数据库的数据加载方法
的步骤。
42.另一方面，本发明还提供一种计算机设备，所述计算机设备包括处理器、通信接口、存储器和通信总线，其中，所述处理器，所述通信接口，所述存储器通过所述通信总线完成相互间的通信；其中：
43.所述存储器，用于存放计算机程序；
44.所述处理器，用于通过运行所述存储器上所存放的程序来执行所述用于数据库的数据加载方法的步骤。
45.本发明技术方案的有益效果是：
46.1、本发明所述的用于数据库的数据加载方法，可以实现针对于国产数据库，设计了区别于非国产数据库的数据预处理方案，通过新算法，在数据导入国产数据库前，进行预先的列化处理和分组处理，且保证了数据分组的有序性和一致性，通过同步加载的方式将处理后的数据加载至国产数据库，不仅减少了国产数据库中的数据导入步骤，增加了国产数据库的数据导入时效性，降低了国产数据库的资源消耗，弥补了现有技术的空缺，具有极高的应用价值。
47.2、本发明所述的用于数据库的数据加载装置，可以通过数据文件获取模块、数据文件预处理模块和数据加载模块的相互配合，进而实现针对于国产数据库，设计了区别于非国产数据库的数据预处理方案，通过新算法，在数据导入国产数据库前，进行预先的列化处理和分组处理，且保证了数据分组的有序性和一致性，通过同步加载的方式将处理后的数据加载至国产数据库，不仅减少了国产数据库中的数据导入步骤，增加了国产数据库的数据导入时效性，降低了国产数据库的资源消耗，弥补了现有技术的空缺，具有极高的应用价值。
48.3、本发明所述的计算机可读存储介质，可以实现引导数据文件获取模块、数据文件预处理模块和数据加载模块进行配合，进而实现本发明所述的用于数据库的数据加载方法，且本发明所述的计算机可读存储介质还有效提高所述用于数据库的数据加载方法的可操作性。
49.4、本发明所述的计算机设备，可以实现存储并执行所述计算机可读存储介质，进而实现本发明所述的用于数据库的数据加载方法。
附图说明
50.为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
51.图1是本发明实施例1所述用于数据库的数据加载方法的流程示意图；
52.图2是本发明实施例1所述用于数据库的数据加载方法的详细流程示意图；
53.图3是本发明实施例2所述用于数据库的数据加载装置的架构示意图；
54.图4是本发明实施例4所述计算机设备的架构示意图；
55.附图中的标记说明如下：
56.1501、处理器；1502、通信接口；1503、存储器；1504、通信总线。
具体实施方式
57.下面结合附图对本发明的较佳实施例进行详细阐述，以使本发明的优点和特征能更易于被本领域技术人员理解，从而对本发明的保护范围做出更为清楚明确的界定。
58.在本发明的描述中，需要说明的是，本发明所描述的实施例是本发明一部分实施例，而不是全部的实施例；基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
59.本文的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本文的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、装置、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
60.实施例1
61.本实施例提供一种用于数据库的数据加载方法，如图1和图2所示，包括以下步骤：
62.s100、数据文件获取，具体包括：
63.s110、获取数据库数据加载需求，根据所述数据库数据加载需求获取待加载数据文件；
64.s200、数据文件预处理，具体包括：
65.s210、设置文件预处理算法，基于所述待加载数据文件和所述文件预处理算法进行文件列化分组处理，得到分组数据列；
66.s300、数据加载，具体包括：
67.s310、设置文件同步加载算法，基于所述文件同步加载算法将所述分组数据列加载至第一数据库中。
68.作为本发明的一种实施方式，所述数据库数据加载需求包括：第一加载需求和第一非加载需求；所述第一加载需求为所述第一数据库需要加载数据文件；所述第一非加载需求为所述第一数据库无需加载数据文件；随着国产化进程的推进，oracle数据库将被国产化数据库所取代，在这个过程中所涉及到oracle的技术以及加载数据文件工具的系统将发生更替；目前国产化数据库对数据导入时无法做到复杂的预处理，导致数据加载到数据库后在耗费时间进行更新所需的处理，导致步骤增多，时效减慢，所以，前述的数据库数据加载需求即为国产化数据库需要或不需要进行加载对应的数据文件；
69.作为本发明的一种实施方式，所述根据所述数据库数据加载需求获取待加载数据文件，包括：
70.识别所述数据库数据加载需求；若所述数据库数据加载需求为所述第一加载需求，则说明国产化数据库需要加载第一数据文件，故获取与所述第一加载需求相匹配的第一数据文件，；打包所述第一数据文件作为所述待加载数据文件；在本实施方式中，第一数据文件包含若干种类的数据文件；
71.作为本发明的一种实施方式，所述文件预处理算法包括：文件预分类算法和文件预分组算法；
72.作为本发明的一种实施方式，所述基于所述待加载数据文件和所述文件预处理算法进行文件列化分组处理，得到分组数据列，包括：
73.调用所述文件预分类算法将所述待加载数据文件划分为若干第一文件列，因为需要加载的数据文件多，且类型较多，故需要对数据文件进行预处理，设定针对所需列进行计算出来，即通过文件预分类算法对文件进行序列化的预分类，在序列化的预分类后，还需要对每一列中的文件进行一定范围的分组，进而提高数据的有序性，故调用所述文件预分组算法对若干所述第一文件列进行文件分组处理，得到与若干所述第一文件列分别对应的若干所述分组数据列。
74.作为本发明的一种实施方式，所述文件预分类算法，包括：识别所述待加载数据文件中所包含的若干数据特性，数据特性即为待加载数据文件中若干数据文件分别对应的数据类型或数据区分标识；创建与若干所述数据特性分别对应的若干空数据列；按照若干所述数据特性将所述待加载数据文件分别排列至若干所述空数据列中，得到若干所述第一文件列。
75.作为本发明的一种实施方式，所述文件预分组算法，包括：
76.获取分组字段需求；分组字段需求在本实施方式中，可以根据具体的数据分组需求进行设定，该数据分组需求由数据库的数据处理性能指标以及数据量的大小进行设定，进而满足不同情况下的数据库对于数据文件的预处理加载需求；对应的，还需识别若干所述第一文件列所分别对应的若干所述数据特性；
77.基于所述分组字段需求和若干所述数据特性设定与若干所述第一文件列分别对应的若干第一分组字段，即通过对分组字段需求、数据文件特点、数据文件列的特点进行数据分组字段的设定，进而得到所需字段范围的分组，对应的，按照若干所述第一分组字段分别对若干所述第一文件列中的数据文件进行分组处理，分组处理时需确保相同特点/值的数据的分组一致，并加重到文件最后一列；设定经过所述分组处理后的第一文件列为所述分组数据列，该分组数据列即为可以加载至国产化数据库中；
78.作为本发明的一种实施方式，所述基于所述文件同步加载算法将所述分组数据列加载至第一数据库中，包括：调用所述文件同步加载算法将若干所述分组数据列分别加载至所述第一数据库中。
79.作为本发明的一种实施方式，所述文件同步加载算法，包括：统计若干所述分组数据列的列值，列值包括若干所述分组数据列的列数量和每个分组数据列所分别对应的数据文件大小值、及每个分组数据列所分别对应的数据列特点；之后，基于所述列值设定若干处理线程，具体可选的，可根据若干所述分组数据列的列数量和每个分组数据列所分别对应的数据文件大小值、及每个分组数据列所分别对应的数据列特点为每个分组数据列匹配不同计算资源的处理线程，进而通过若干所述处理线程分别将若干所述分组数据列加载至所述第一数据库中，实现对分组完成的数据文件加载到数据库，并进行多线程处理，节省业务跑数时间，增加时效性；最终，在得到数据文件后通过通过本方法中的预先处理，使国产化数据库不用对刚加载的数据进行处理和更新，减少了对系统国产化改造过程中的步骤，减少了数据库资源消耗，增加了业务跑数时效性，具有极高的应用价值。
80.实施例2
81.本实施例基于与实施例1中所述的一种用于数据库的数据加载方法相同的发明构
思，提供一种用于数据库的数据加载装置，如图3所示，包括：数据文件获取模块、数据文件预处理模块和数据加载模块；
82.所述数据文件获取模块，用于获取数据库数据加载需求，并根据所述数据库数据加载需求获取待加载数据文件；
83.作为本发明的一种实施方式，所述数据库数据加载需求包括：第一加载需求和第一非加载需求；所述第一加载需求为所述第一数据库需要加载数据文件；所述第一非加载需求为所述第一数据库无需加载数据文件；
84.作为本发明的一种实施方式，所述数据文件获取模块根据所述数据库数据加载需求获取待加载数据文件，包括：数据文件获取模块识别所述数据库数据加载需求；若所述数据库数据加载需求为所述第一加载需求，则数据文件获取模块获取与所述第一加载需求相匹配的第一数据文件；数据文件获取模块打包所述第一数据文件作为所述待加载数据文件。
85.所述数据文件预处理模块，用于设置文件预处理算法，并基于所述待加载数据文件和所述文件预处理算法进行文件列化分组处理，得到分组数据列；
86.作为本发明的一种实施方式，所述文件预处理算法包括：文件预分类算法和文件预分组算法；
87.作为本发明的一种实施方式，所述数据文件预处理模块基于所述待加载数据文件和所述文件预处理算法进行文件列化分组处理，得到分组数据列，包括：数据文件预处理模块调用所述文件预分类算法将所述待加载数据文件划分为若干第一文件列；数据文件预处理模块调用所述文件预分组算法对若干所述第一文件列进行文件分组处理，得到与若干所述第一文件列分别对应的若干所述分组数据列。
88.作为本发明的一种实施方式，所述文件预分类算法，包括：数据文件预处理模块识别所述待加载数据文件中所包含的若干数据特性；数据文件预处理模块创建与若干所述数据特性分别对应的若干空数据列；数据文件预处理模块按照若干所述数据特性将所述待加载数据文件分别排列至若干所述空数据列中，得到若干所述第一文件列。
89.作为本发明的一种实施方式，所述文件预分组算法，包括：数据文件预处理模块获取分组字段需求；数据文件预处理模块识别若干所述第一文件列所分别对应的若干所述数据特性；数据文件预处理模块基于所述分组字段需求和若干所述数据特性设定与若干所述第一文件列分别对应的若干第一分组字段；数据文件预处理模块按照若干所述第一分组字段分别对若干所述第一文件列中的数据文件进行分组处理；数据文件预处理模块设定经过所述分组处理后的第一文件列为所述分组数据列。
90.所述数据加载模块，用于设置文件同步加载算法，并基于所述文件同步加载算法将所述分组数据列加载至第一数据库中。
91.作为本发明的一种实施方式，所述数据加载模块基于所述文件同步加载算法将所述分组数据列加载至第一数据库中，包括：数据加载模块调用所述文件同步加载算法将若干所述分组数据列分别加载至所述第一数据库中。
92.作为本发明的一种实施方式，所述文件同步加载算法，包括：数据加载模块统计若干所述分组数据列的列值；数据加载模块基于所述列值设定若干处理线程；数据加载模块通过若干所述处理线程分别将若干所述分组数据列加载至所述第一数据库中。
93.实施例3
94.本实施例提供一种计算机可读存储介质，包括：
95.所述存储介质用于储存将上述实施例1所述的用于数据库的数据加载方法实现所用的计算机软件指令，其包含用于执行上述为所述用于数据库的数据加载方法所设置的程序；具体的，该可执行程序可以内置在实施例2所述的用于数据库的数据加载装置中，这样，用于数据库的数据加载装置就可以通过执行内置的可执行程序实现所述实施例1所述的用于数据库的数据加载方法。
96.此外，本实施例具有的计算机可读存储介质可以采用一个或多个可读存储介质的任意组合，其中，可读存储介质包括电、光、电磁、红外线或半导体的系统、装置或器件，或者以上任意组合。
97.实施例4
98.本实施例提供一种电子设备，如图4所示，电子设备可以包括：处理器1501、通信接口1502、存储器1503和通信总线1504，其中，处理器1501，通信接口1502，存储器1503通过通信总线1504完成相互间的通信。
99.存储器1503，用于存放计算机程序；
100.处理器1501，用于执行存储器1503上所存放的计算机程序时，实现上述实施例1中所述用于数据库的数据加载方法的步骤。
101.作为本发明的一种实施方式，上述终端提到的通信总线1504可以是外设部件互连标准(peripheral component interconnect，简称pci)总线或扩展工业标准结构(extended industry standard architecture，简称eisa)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图4中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
102.作为本发明的一种实施方式，通信接口1502用于上述终端与其他设备之间的通信。
103.作为本发明的一种实施方式，存储器1503可以包括随机存取存储器(random access memory，简称ram)，也可以包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
104.作为本发明的一种实施方式，上述的处理器1501可以是通用处理器，包括中央处理器(central processing unit，简称cpu)、网络处理器(network processor，简称np)等；还可以是数字信号处理器(digital signal processing，简称dsp)、专用集成电路(application specific integrated circuit，简称asic)、现场可编程门阵列(field－programmable gate array，简称fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
105.区别于现有技术，采用本技术一种用于数据库的数据加载方法、装置、设备及介质，可以针对于国产数据库，设计了区别于非国产数据库的数据预处理方案，通过新算法，在数据导入国产数据库前，进行预先的列化处理和分组处理，且保证了数据分组的有序性和一致性，通过同步加载的方式将处理后的数据加载至国产数据库，不仅减少了国产数据库中的数据导入步骤，增加了国产数据库的数据导入时效性，降低了国产数据库的资源消耗，弥补了现有技术的空缺，具有极高的应用价值。
106.应理解，在本文的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本文实施例的实施过程构成任何限定。
107.还应理解，在本文实施例中，术语“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系。例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。
108.本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本文的范围。
109.所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
110.在本文所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口、装置或单元的间接耦合或通信连接，也可以是电的，机械的或其它的形式连接。
111.所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本文实施例方案的目的。
112.另外，在本文各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
113.所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本文的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本文各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
114.以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

技术特征：

1.一种用于数据库的数据加载方法，其特征在于，包括以下步骤：数据文件获取：获取数据库数据加载需求，根据所述数据库数据加载需求获取待加载数据文件；数据文件预处理：设置文件预处理算法，基于所述待加载数据文件和所述文件预处理算法进行文件列化分组处理，得到分组数据列；数据加载：设置文件同步加载算法，基于所述文件同步加载算法将所述分组数据列加载至第一数据库中。2.根据权利要求1所述的一种用于数据库的数据加载方法，其特征在于：所述数据库数据加载需求包括：第一加载需求和第一非加载需求；所述第一加载需求为所述第一数据库需要加载数据文件；所述第一非加载需求为所述第一数据库无需加载数据文件；所述根据所述数据库数据加载需求获取待加载数据文件，包括：识别所述数据库数据加载需求；若所述数据库数据加载需求为所述第一加载需求，则获取与所述第一加载需求相匹配的第一数据文件；打包所述第一数据文件作为所述待加载数据文件。3.根据权利要求1所述的一种用于数据库的数据加载方法，其特征在于：所述文件预处理算法包括：文件预分类算法和文件预分组算法；所述基于所述待加载数据文件和所述文件预处理算法进行文件列化分组处理，得到分组数据列，包括：调用所述文件预分类算法将所述待加载数据文件划分为若干第一文件列；调用所述文件预分组算法对若干所述第一文件列进行文件分组处理，得到与若干所述第一文件列分别对应的若干所述分组数据列。4.根据权利要求3所述的一种用于数据库的数据加载方法，其特征在于：所述文件预分类算法，包括：识别所述待加载数据文件中所包含的若干数据特性；创建与若干所述数据特性分别对应的若干空数据列；按照若干所述数据特性将所述待加载数据文件分别排列至若干所述空数据列中，得到若干所述第一文件列。5.根据权利要求4所述的一种用于数据库的数据加载方法，其特征在于：所述文件预分组算法，包括：获取分组字段需求；识别若干所述第一文件列所分别对应的若干所述数据特性；基于所述分组字段需求和若干所述数据特性设定与若干所述第一文件列分别对应的若干第一分组字段；按照若干所述第一分组字段分别对若干所述第一文件列中的数据文件进行分组处理；设定经过所述分组处理后的第一文件列为所述分组数据列。6.根据权利要求3所述的一种用于数据库的数据加载方法，其特征在于：
所述基于所述文件同步加载算法将所述分组数据列加载至第一数据库中，包括：调用所述文件同步加载算法将若干所述分组数据列分别加载至所述第一数据库中。7.根据权利要求6所述的一种用于数据库的数据加载方法，其特征在于：所述文件同步加载算法，包括：统计若干所述分组数据列的列值；基于所述列值设定若干处理线程；通过若干所述处理线程分别将若干所述分组数据列加载至所述第一数据库中。8.一种用于数据库的数据加载装置，其特征在于，包括：数据文件获取模块、数据文件预处理模块和数据加载模块；所述数据文件获取模块，用于获取数据库数据加载需求，并根据所述数据库数据加载需求获取待加载数据文件；所述数据文件预处理模块，用于设置文件预处理算法，并基于所述待加载数据文件和所述文件预处理算法进行文件列化分组处理，得到分组数据列；所述数据加载模块，用于设置文件同步加载算法，并基于所述文件同步加载算法将所述分组数据列加载至第一数据库中。9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1～7中任一项所述用于数据库的数据加载方法的步骤。10.一种计算机设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，所述处理器，所述通信接口，所述存储器通过所述通信总线完成相互间的通信；其中：所述存储器，用于存放计算机程序；所述处理器，用于通过运行所述存储器上所存放的程序来执行权利要求1-7中任一项所述用于数据库的数据加载方法的步骤。

技术总结

本发明公开了一种用于数据库的数据加载方法、装置、设备及介质，所述方法包括以下步骤：获取数据库数据加载需求，根据数据库数据加载需求获取待加载数据文件；设置文件预处理算法，基于待加载数据文件和文件预处理算法进行文件列化分组处理，得到分组数据列；设置文件同步加载算法，基于文件同步加载算法将分组数据列加载至第一数据库中；本发明能够针对于国产数据库，设计了区别于非国产数据库的数据预处理方案，在数据导入国产数据库前，进行预先列化处理和分组处理，保证了数据分组的有序性和一致性，通过同步加载将处理后的数据加载至国产数据库，减少了国产数据库的数据导入步骤，增加了数据导入时效性，降低了国产数据库的资源消耗。的资源消耗。的资源消耗。