一种基于大数据中台的数据补录的方法及系统与流程

1.本发明涉及数据补录技术领域，尤其涉及一种基于大数据中台的数据补录的方法及系统。

背景技术：

2.数据补录，指的是在对于数据库文件的操作步骤中，对于丢失的数据进行补录，以此确保数据库对于数据保存完善性的补录操作，在数据补录的使用过程中，由于传统类型的数据补录方式，往往需要人工对丢失的文件进行检验，并根据丢失文件内容，查历史文件，基于历史文件再次执行相关操作，以此达成对于文件的补录功能，整体过程自动化较差，需要大量的人工操作，并且补录容易出现误差，需要进行改进。

技术实现要素：

3.本发明的目的是解决现有技术中存在的缺点，而提出的一种基于大数据中台的数据补录的方法及系统。
4.为了实现上述目的，本发明采用了如下技术方案：一种基于大数据中台的数据补录的方法，包括以下步骤：
5.s1：使用者通过文件项操作单元，对文件集合内的表文件或库文件执行相关操作，相关操作包括创建文件、删除文件、编辑文件、索引文件和删除索引；
6.s2：文件项操作单元在执行操作的过程中，步骤记录单元对相关操作进行记录，并保存在工作日志中；
7.s3：文件校准单元校准基于工作日志对原先的数据库以及该项步骤结束后的数据库进行对比判断，查是否有文件丢包，并在文件丢失情况下判断使用者是否进行对应的删除文件或删除索引操作，如果有则不执行丢失项还原，如果无则执行丢失项还原；
8.s4：在丢失项还原中通过时间轴定位来定位丢包的时间轴，并通过丢失项定位来定位变更文件和连带变更文件；
9.s5：时间轴定位完成后，通过解析操作文件存根对操作文件存根进行解析，并重建变更内容，以此还原数据库。
10.作为本发明的进一步方案，所述s2中，工作日志的记录内容由时间轴系统、操作内容记录、操作文件存根三部分组成，其中在时间轴系统中树状逻辑窗格通过编组依据对相关操作进行编组，并构建树状逻辑结构，基于时间轴进行记录，操作内容记录中，记录工作流的流通内容，操作文件存根中，记录变更文件名以及连带变更文件名，且在二者之间记录变更内容的逻辑公式，给后期的解析提供方便。
11.作为本发明的进一步方案，所述s5中，所述对操作文件存根进行解析具体是通过解析变更内容对变更的内容进行解读，以此获取变更内容具体需要执行的相关操作以及相关操作所对应的变更文件和连带变更文件。
12.一种基于大数据中台的数据补录的系统是由数据库、步骤记录单元、工作日志、文
件校准单元和丢失项还原组成，所述数据库的输出端与步骤记录单元的输入端电性连接，所述步骤记录单元的输出端与工作日志的输入端电性连接，所述工作日志的输出端与文件校准单元的输入端电性连接，所述文件校准单元的输出端与丢失项还原、数据库的输入端电性连接。
13.作为本发明的进一步方案，所述数据库包括文件集合，所述文件集合包括库文件和表文件，所述库文件的输出端与表文件的输入端电性连接。
14.作为本发明的进一步方案，所述文件集合的输出端电性连接有文件项操作单元，所述文件项操作单元包括创建文件、删除文件、编辑文件、索引文件和删除索引，所述文件项操作单元的输出端与步骤记录单元的输入端电性连接。
15.作为本发明的进一步方案，所述工作日志包括时间轴系统、操作内容记录、操作文件存根，所述时间轴系统的输出端与操作内容记录的输入端电性连接，所述操作内容记录的输出端与操作文件存根的输入端电性连接。
16.作为本发明的进一步方案，所述时间轴系统的输出端电性连接有树状逻辑窗格，所述树状逻辑窗格的输出端电性连接有编组依据和时间轴，所述操作内容记录的输出端电性连接有工作流，所述操作文件存根包括变更文件名、连带变更文件名和变更内容，所述变更文件名、连带变更文件名的输出端与变更内容的输入端电性连接。
17.作为本发明的进一步方案，所述丢失项还原包括丢失项定位和时间轴定位，所述丢失项定位包括定位变更文件和定位连带变更文件，所述时间轴定位包括解析操作文件存根，所述解析操作文件存根的输出端电性连接有解析变更内容，所述解析变更内容的输出端电性连接有重建变更内容，所述重建变更内容的输出端与定位变更文件、定位连带变更文件的输入端电性连接。
18.与现有技术相比，本发明的优点和积极效果在于：
19.本发明中，通过步骤记录单元对相关操作进行记录，并保存在工作日志中，在工作日志中，树状逻辑窗格通过编组依据对相关操作进行编组，并构建树状逻辑结构，以此对相关操作的操作记录进行编组，方便后期调用，通过解析操作文件存根对操作文件存根进行解析，并重建变更内容，以此还原数据库，该种方式构建了整体化的数据中台结构，能够在对于数据库的操作过程中，对操作进行记录和编组，并判断是否丢包，并自动化重建，避免了大量的人工操作流程，给数据库对文件的保存提供了保障。
附图说明
20.图1为本发明提出一种基于大数据中台的数据补录的方法及系统的工作流程示意图；
21.图2为本发明提出一种基于大数据中台的数据补录的方法及系统的系统框架流程图；
22.图3为本发明提出一种基于大数据中台的数据补录的方法及系统的文件项操作单元流程图；
23.图4为本发明提出一种基于大数据中台的数据补录的方法及系统的工作日志流程图；
24.图5为本发明提出一种基于大数据中台的数据补录的方法及系统的丢失项还原流
程图。
具体实施方式
25.为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
26.在本发明的描述中，需要理解的是，术语“长度”、“宽度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
27.实施例一
28.请参阅图1，本发明提供一种技术方案：一种基于大数据中台的数据补录的方法，包括以下步骤：
29.s1：使用者通过文件项操作单元，对文件集合内的表文件或库文件执行相关操作，相关操作包括创建文件、删除文件、编辑文件、索引文件和删除索引；
30.s2：文件项操作单元在执行操作的过程中，步骤记录单元对相关操作进行记录，并保存在工作日志中；
31.s3：文件校准单元校准基于工作日志对原先的数据库以及该项步骤结束后的数据库进行对比判断，查是否有文件丢包，并在文件丢失情况下判断使用者是否进行对应的删除文件或删除索引操作，如果有则不执行丢失项还原，如果无则执行丢失项还原；
32.s4：在丢失项还原中通过时间轴定位来定位丢包的时间轴，并通过丢失项定位来定位变更文件和连带变更文件；
33.s5：时间轴定位完成后，通过解析操作文件存根对操作文件存根进行解析，并重建变更内容，以此还原数据库。
34.s2中，工作日志的记录内容由时间轴系统、操作内容记录、操作文件存根三部分组成，其中在时间轴系统中树状逻辑窗格通过编组依据对相关操作进行编组，并构建树状逻辑结构，基于时间轴进行记录，操作内容记录中，记录工作流的流通内容，操作文件存根中，记录变更文件名以及连带变更文件名，且在二者之间记录变更内容的逻辑公式，给后期的解析提供方便，该种设计的目的是，给工作日志的具体记录内容以及记录项进行限定，树状逻辑窗格通过编组依据对相关操作进行编组，并构建树状逻辑结构，以此对相关操作的操作记录进行编组，方便后期调用。
35.s5中，对操作文件存根进行解析具体是通过解析变更内容对变更的内容进行解读，以此获取变更内容具体需要执行的相关操作以及相关操作所对应的变更文件和连带变更文件，该种设计是对操作文件存根进行解析的具体内容进行限定，以此对还原数据库的执行项目进行细化限定，实现对于变更内容的自动化重建功能。
36.请参阅图2，一种基于大数据中台的数据补录的系统是由数据库、步骤记录单元、工作日志、文件校准单元和丢失项还原组成，数据库的输出端与步骤记录单元的输入端电性连接，步骤记录单元的输出端与工作日志的输入端电性连接，工作日志的输出端与文件
校准单元的输入端电性连接，文件校准单元的输出端与丢失项还原、数据库的输入端电性连接，数据库包括文件集合，文件集合包括库文件和表文件，库文件的输出端与表文件的输入端电性连接，文件项操作单元在执行操作的过程中，步骤记录单元对相关操作进行记录，并保存在工作日志中，文件校准单元校准基于工作日志对原先的数据库以及该项步骤结束后的数据库进行对比判断，查是否有文件丢包，并在文件丢失情况下判断使用者是否进行对应的删除文件或删除索引操作，如果有则不执行丢失项还原，如果无则执行丢失项还原。
37.请参阅图3，文件集合的输出端电性连接有文件项操作单元，文件项操作单元包括创建文件、删除文件、编辑文件、索引文件和删除索引，文件项操作单元的输出端与步骤记录单元的输入端电性连接，使用者通过文件项操作单元，对文件集合内的表文件或库文件执行相关操作，相关操作包括创建文件、删除文件、编辑文件、索引文件和删除索引。
38.请参阅图4，工作日志包括时间轴系统、操作内容记录、操作文件存根，时间轴系统的输出端与操作内容记录的输入端电性连接，操作内容记录的输出端与操作文件存根的输入端电性连接，时间轴系统的输出端电性连接有树状逻辑窗格，树状逻辑窗格的输出端电性连接有编组依据和时间轴，操作内容记录的输出端电性连接有工作流，操作文件存根包括变更文件名、连带变更文件名和变更内容，变更文件名、连带变更文件名的输出端与变更内容的输入端电性连接，工作日志的记录内容由时间轴系统、操作内容记录、操作文件存根三部分组成，其中在时间轴系统中树状逻辑窗格通过编组依据对相关操作进行编组，并构建树状逻辑结构，基于时间轴进行记录，操作内容记录中，记录工作流的流通内容，操作文件存根中，记录变更文件名以及连带变更文件名，且在二者之间记录变更内容的逻辑公式，给后期的解析提供方便。
39.请参阅图5，丢失项还原包括丢失项定位和时间轴定位，丢失项定位包括定位变更文件和定位连带变更文件，时间轴定位包括解析操作文件存根，解析操作文件存根的输出端电性连接有解析变更内容，解析变更内容的输出端电性连接有重建变更内容，重建变更内容的输出端与定位变更文件、定位连带变更文件的输入端电性连接，在丢失项还原中通过时间轴定位来定位丢包的时间轴，并通过丢失项定位来定位变更文件和连带变更文件，时间轴定位完成后，通过解析操作文件存根对操作文件存根进行解析，并重建变更内容，以此还原数据库。
40.工作原理：在对于数据库的操作过程中，使用者通过文件项操作单元，对文件集合内的表文件或库文件执行相关操作，相关操作包括创建文件、删除文件、编辑文件、索引文件和删除索引，文件项操作单元在执行操作的过程中，步骤记录单元对相关操作进行记录，并保存在工作日志中，文件校准单元校准基于工作日志对原先的数据库以及该项步骤结束后的数据库进行对比判断，查是否有文件丢包，并在文件丢失情况下判断使用者是否进行对应的删除文件或删除索引操作，如果有则不执行丢失项还原，如果无则执行丢失项还原，在丢失项还原中通过时间轴定位来定位丢包的时间轴，并通过丢失项定位来定位变更文件和连带变更文件，时间轴定位完成后，通过解析操作文件存根对操作文件存根进行解析，并重建变更内容，以此还原数据库。
41.以上，仅是本发明的较佳实施例而已，并非对本发明作其他形式的限制，任何熟悉本专业的技术人员可能利用上述揭示的技术内容加以变更或改型为等同变化的等效实施
例应用于其他领域，但是凡是未脱离本发明技术方案内容，依据本发明的技术实质对以上实施例所做的任何简单修改、等同变化与改型，仍属于本发明技术方案的保护范围。

技术特征：

1.一种基于大数据中台的数据补录的方法，其特征在于，包括以下步骤：s1：使用者通过文件项操作单元，对文件集合内的表文件或库文件执行相关操作，相关操作包括创建文件、删除文件、编辑文件、索引文件和删除索引；s2：文件项操作单元在执行操作的过程中，步骤记录单元对相关操作进行记录，并保存在工作日志中；s3：文件校准单元校准基于工作日志对原先的数据库以及该项步骤结束后的数据库进行对比判断，查是否有文件丢包，并在文件丢失情况下判断使用者是否进行对应的删除文件或删除索引操作，如果有则不执行丢失项还原，如果无则执行丢失项还原；s4：在丢失项还原中通过时间轴定位来定位丢包的时间轴，并通过丢失项定位来定位变更文件和连带变更文件；s5：时间轴定位完成后，通过解析操作文件存根对操作文件存根进行解析，并重建变更内容，以此还原数据库。2.根据权利要求1所述的基于大数据中台的数据补录的方法，其特征在于：所述s2中，工作日志的记录内容由时间轴系统、操作内容记录、操作文件存根三部分组成，其中在时间轴系统中树状逻辑窗格通过编组依据对相关操作进行编组，并构建树状逻辑结构，基于时间轴进行记录，操作内容记录中，记录工作流的流通内容，操作文件存根中，记录变更文件名以及连带变更文件名，且在二者之间记录变更内容的逻辑公式，给后期的解析提供方便。3.根据权利要求1所述的基于大数据中台的数据补录的方法，其特征在于：所述s5中，所述对操作文件存根进行解析具体是通过解析变更内容对变更的内容进行解读，以此获取变更内容具体需要执行的相关操作以及相关操作所对应的变更文件和连带变更文件。4.一种基于大数据中台的数据补录的系统，其特征在于：所述一种基于大数据中台的数据补录的系统是由数据库、步骤记录单元、工作日志、文件校准单元和丢失项还原组成，所述数据库的输出端与步骤记录单元的输入端电性连接，所述步骤记录单元的输出端与工作日志的输入端电性连接，所述工作日志的输出端与文件校准单元的输入端电性连接，所述文件校准单元的输出端与丢失项还原、数据库的输入端电性连接。5.根据权利要求4所述的基于大数据中台的数据补录的系统，其特征在于：所述数据库包括文件集合，所述文件集合包括库文件和表文件，所述库文件的输出端与表文件的输入端电性连接。6.根据权利要求5所述的基于大数据中台的数据补录的系统，其特征在于：所述文件集合的输出端电性连接有文件项操作单元，所述文件项操作单元包括创建文件、删除文件、编辑文件、索引文件和删除索引，所述文件项操作单元的输出端与步骤记录单元的输入端电性连接。7.根据权利要求4所述的基于大数据中台的数据补录的系统，其特征在于：所述工作日志包括时间轴系统、操作内容记录、操作文件存根，所述时间轴系统的输出端与操作内容记录的输入端电性连接，所述操作内容记录的输出端与操作文件存根的输入端电性连接。8.根据权利要求7所述的基于大数据中台的数据补录的系统，其特征在于：所述时间轴系统的输出端电性连接有树状逻辑窗格，所述树状逻辑窗格的输出端电性连接有编组依据和时间轴，所述操作内容记录的输出端电性连接有工作流，所述操作文件存根包括变更文件名、连带变更文件名和变更内容，所述变更文件名、连带变更文件名的输出端与变更内容
的输入端电性连接。9.根据权利要求4所述的基于大数据中台的数据补录的系统，其特征在于：所述丢失项还原包括丢失项定位和时间轴定位，所述丢失项定位包括定位变更文件和定位连带变更文件，所述时间轴定位包括解析操作文件存根，所述解析操作文件存根的输出端电性连接有解析变更内容，所述解析变更内容的输出端电性连接有重建变更内容，所述重建变更内容的输出端与定位变更文件、定位连带变更文件的输入端电性连接。

技术总结

本发明涉及数据补录技术领域，具体为一种基于大数据中台的数据补录的方法及系统，包括以下步骤：S1：使用者通过文件项操作单元，对文件集合内的表文件或库文件执行相关操作。本发明中，通过步骤记录单元对相关操作进行记录，在工作日志中，树状逻辑窗格通过编组依据对相关操作进行编组，并构建树状逻辑结构，以此对相关操作的操作记录进行编组，方便后期调用，通过解析操作文件存根对操作文件存根进行解析，并重建变更内容，以此还原数据库，该种方式构建了整体化的数据中台结构，能够在对于数据库的操作过程中，对操作进行记录和编组，并判断是否丢包，并自动化重建，避免了大量的人工操作流程，给数据库对文件的保存提供了保障。给数据库对文件的保存提供了保障。给数据库对文件的保存提供了保障。