一种数据同步管理系统和方法与流程

1.本发明涉及大数据处理

技术领域

：
：，特别涉及一种数据同步管理系统和方法。

背景技术

：
：：2.随着信息时代的发展，数据在各个行业的运用越来越来，使用范围也越来越广，在不同的环境、不同的系统、不同的数据库之间进行数据同步、迁移需求也越来越多。3.在现有技术中，当下的常见数据同步方案大多数还是存在使用脚本、程序硬编码、功能单一等问题，存在使用技术门槛要求高，操作流程复杂，从而降低了数据同步效率。技术实现要素：4.本技术实施例提供了一种数据同步管理系统和方法。为了对披露的实施例的一些方面有一个基本的理解，下面给出了简单的概括。该概括部分不是泛泛评述，也不是要确定关键/重要组成元素或描绘这些实施例的保护范围。其唯一目的是用简单的形式呈现一些概念，以此作为后面的详细说明的序言。5.第一方面，本技术实施例提供了一种数据同步管理系统，系统包括：6.数据同步任务配置模块、存储模块、调度模块以及执行模块；其中，7.数据同步任务配置模块、存储模块、调度模块以及执行模块通信连接；8.数据同步任务配置模块，用于确定待处理的数据同步任务，并配置数据同步任务的配置参数，生成最终配置的数据同步任务；9.存储模块，用于将最终配置的数据同步任务保存至数据库，以供调度模块在预设时刻进行调度；10.调度模块，用于轮询数据库中符合预设周期内的目标数据同步任务，并将目标数据同步任务传递至执行模块；11.执行模块，用于根据接收的目标数据同步任务进行实例化操作，并执行实例化后的数据同步程序，生成数据同步结果，并根据数据同步结果进行消息通知。12.可选的，配置数据同步任务的配置参数，生成最终配置的数据同步任务，包括：13.创建数据同步任务的目标执行器、目标数据源插件、目标数据转换插件、目标数据接收插件；14.获取并配置数据同步任务的调度参数和调度周期；15.将目标执行器、目标数据源插件、目标数据转换插件、目标数据接收插件、调度参数和调度周期确定为数据同步任务的配置参数，配置结束后得到最终配置的数据同步任务。16.可选的，创建数据同步任务的目标执行器、目标数据源插件、目标数据转换插件、目标数据接收插件，包括：17.确定数据同步任务的执行器，获取并配置执行器所需的执行参数，得到目标执行器；18.确定数据同步任务的数据源插件，获取并配置数据源插件的数据源信息，得到目标数据源插件；19.确定目标执行器的执行器类型，并根据执行器类型将目标执行器配置为目标数据转换插件；20.确定数据同步任务的数据目标插件，获取数据同步任务所需写入的数据目标信息，并将数据目标信息配置到数据目标插件中，得到目标数据接收插件。21.可选的，轮询数据库中符合预设周期内的目标数据同步任务，包括：22.根据预设定时任务读取时刻在数据库读取满足预设条件的数据同步任务；23.根据满足预设条件的数据同步任务的配置参数，生成次日对应时刻的实例任务；24.将实例任务标记为运行状态，并保存至数据库；25.采用轮询法在数据库中实时查询并获取满足当前时刻的目标实例任务；26.当目标实例任务所依赖的全部定时任务运行成功且目标实例任务到达执行时刻时，将目标实例任务确定为符合预设周期内的目标数据同步任务。27.可选的，当目标实例任务所依赖的全部定时任务中任一定时任务运行失败，将目标实例任务标记为等待依赖状态或者等待运行状态，并将目标实例任务重新写入数据库。28.可选的，执行模块包括实例模块；其中，29.实例模块，用于根据接收的目标数据同步任务进行实例化操作，得到实例化后的目标实例任务，并将实例化后的目标实例任务封装为数据同步程序。30.可选的，根据接收的目标数据同步任务进行实例化操作，包括：31.根据目标实例任务获取执行器类型，并利用反射策略构建执行器类；32.设置执行器类的数据源插件、转换插件以及数据目标插件，生成执行器类同步任务；33.将执行器类同步任务确定为实例化后的目标实例任务。34.可选的，执行实例化后的数据同步程序，生成数据同步结果，包括：35.执行执行器类同步任务，生成执行结果；36.当执行结果为执行失败且执行失败次数超过预设失败次数阈值时，将目标实例任务标记为执行失败状态，并将目标实例任务重新写入数据库，以及将执行失败结果确定为数据同步结果；或者，37.当执行结果为执行成功时，将目标实例任务标记为执行成功状态，并将目标实例任务重新写入数据库，以及调取被依赖的下游实例任务，并继续执行采用轮询法在数据库中实时查询并获取满足当前时刻的目标实例任务的步骤，同时将执行成功结果确定为数据同步结果；38.将数据同步结果推送至消息通知模块。39.可选的，系统还包括消息通知模块；40.消息通知模块，用于将接收的数据同步结果确定为实例运行结果，并将实例运行结果进行数据同步运行结果通知。41.第二方面，本技术实施例提供了一种数据同步管理方法，方法包括：42.数据同步任务配置模块确定待处理的数据同步任务，并配置数据同步任务的配置参数，生成最终配置的数据同步任务；43.存储模块将最终配置的数据同步任务保存至数据库，以供调度模块在预设时刻进行调度；44.调度模块轮询数据库中符合预设周期内的目标数据同步任务，并将目标数据同步任务传递至执行模块；45.执行模块根据接收的目标数据同步任务进行实例化操作，并执行实例化后的数据同步程序，生成数据同步结果，并根据数据同步结果进行消息通知。46.本技术实施例提供的技术方案可以包括以下有益效果：47.在本技术实施例中，首先数据同步任务配置模块确定待处理的数据同步任务，并配置数据同步任务的配置参数，生成最终配置的数据同步任务，然后存储模块将最终配置的数据同步任务保存至数据库，以供调度模块在预设时刻进行调度，其次调度模块轮询数据库中符合预设周期内的目标数据同步任务，并将目标数据同步任务传递至执行模块，最后执行模块根据接收的目标数据同步任务进行实例化操作，并执行实例化后的数据同步程序，生成数据同步结果，并根据数据同步结果进行消息通知。由于本技术集成了多种数据同步功能，从而丰富了数据同步策略，降低了数据同步操作门槛，同时调度模块自动轮询数据库中符合要求的数据同步任务自动进行数据同步操作，从而提升了数据同步效率。48.应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。附图说明49.此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。50.图1是本技术实施例提供的一种数据同步管理系统的系统结构图；51.图2是本技术提供的一种数据同步任务配置模块的处理流程示意框图；52.图3是本技术提供的一种调度模块和执行模块的整体处理流程图；53.图4是本技术实施例提供的一种数据同步管理方法的流程示意图。具体实施方式54.以下描述和附图充分地示出本发明的具体实施方案，以使本领域的技术人员能够实践它们。55.应当明确，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。56.下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。57.在本发明的描述中，需要理解的是，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。此外，在本发明的描述中，除非另有说明，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。58.本技术提供了一种数据同步管理系统和方法，以解决上述相关技术问题中存在的问题。本技术提供的技术方案中，由于本技术集成了多种数据同步功能，从而丰富了数据同步策略，降低了数据同步操作门槛，同时调度模块自动轮询数据库中符合要求的数据同步任务自动进行数据同步操作，从而提升了数据同步效率，下面采用示例性的实施例进行详细说明。59.请参见图1，为本技术实施例提供了一种数据同步管理系统的系统结构示意图。该系统包括：数据同步任务配置模块、存储模块、调度模块以及执行模块；其中，数据同步任务配置模块、存储模块、调度模块以及执行模块通信连接。60.在本技术实施例中，数据同步任务配置模块，用于确定待处理的数据同步任务，并配置数据同步任务的配置参数，生成最终配置的数据同步任务；存储模块，用于将最终配置的数据同步任务保存至数据库，以供调度模块在预设时刻进行调度；调度模块，用于轮询数据库中符合预设周期内的目标数据同步任务，并将目标数据同步任务传递至执行模块；执行模块，用于根据接收的目标数据同步任务进行实例化操作，并执行实例化后的数据同步程序，生成数据同步结果，并根据数据同步结果进行消息通知。61.在本技术实施例中，以数据同步任务配置模块进行具体说明，例如在配置数据同步任务的配置参数，生成最终配置的数据同步任务时，首先创建数据同步任务的目标执行器、目标数据源插件、目标数据转换插件、目标数据接收插件，然后获取并配置数据同步任务的调度参数和调度周期，其次将目标执行器、目标数据源插件、目标数据转换插件、目标数据接收插件、调度参数和调度周期确定为数据同步任务的配置参数，配置结束后得到最终配置的数据同步任务。62.进一步地，在创建数据同步任务的目标执行器、目标数据源插件、目标数据转换插件、目标数据接收插件时，首先确定数据同步任务的执行器，获取并配置执行器所需的执行参数，得到目标执行器，再确定数据同步任务的数据源插件，获取并配置数据源插件的数据源信息，得到目标数据源插件，然后确定目标执行器的执行器类型，并根据执行器类型将目标执行器配置为目标数据转换插件，最后确定数据同步任务的数据目标插件，获取数据同步任务所需写入的数据目标信息，并将数据目标信息配置到数据目标插件中，得到目标数据接收插件。63.在一种可能的实现方式中，例如图2所示，图2是本技术提供的一种数据同步任务配置模块的处理流程示意框图，首先选择执行器，可以是根据数据同步任务的实现形式确定是由spark框架或是datax框架或是其他框架对应的执行器进行数据同步，在确定出执行器后，可以根据具体的实现框架配置执行器参数，例如为spark框架对应的执行器时，可配置spark内存大小、cpu核数等，最大并行度。在执行器参数配置完成后，需要确定数据同步任务的数据源插件，并配置同步数据源参数，该参数包括数据源的地址、账号信息以及其他数据源相关信息。在数据源插件配置结束后，可目标数据转换插件，例如为spark框架实现的执行器时，则将其配置为对应的转换sql语句，并将该sql语句确定为目标数据转换插件；例如为datax框架实现的执行器时，则将其配置为对应字段需要使用的转换方法，并将该转换方法确定为目标数据转换插件。在目标数据转换插件生成后，需要选择同步数据目标插件，并配置同步数据目标插件的参数，例如配置数据同步任务需要写入的数据目标相关信息，该信息包括写入数据的目标地址、账号信息、表信息等，配置结束后可得到目标数据接收插件。在得到目标数据接收插件后，可配置数据同步任务的调度参数和周期参数，例如配置此数据同步任务的调度参数、调度周期信息，以确定此数据同步任务的执行周期，确定此数据同步任务的调度参数。在数据同步任务的调度参数和周期参数配置完成后，可将最终配置完成的数据同步任务保存至数据库，以供调度模块在配置的运行时间调度此数据同步任务。64.例如，数据同步任务配置模块在实际应用场景中，以数据同步任务为hive数据同步至mysql数据为例，说明此数据同步任务整个配置，首先选择spark执行器，再配置spark执行器需要的执行参数，参数包括1g内存，5个executor，yarn-client执行模式。然后选择数据源插件hive，配置hive数据源相关信息，包括配置hiveurl地址，配置hive表数据同步条件selectid，namefromtable1wheredt＝${day}，配置数据源为临时视图tmp_a，再配置数据源为临时视图tmp_a。再配置数据转换插件，例如为spark框架实现的执行器时，则将其配置为对应的转换sql语句为selectid，md5(name)name_md5fromtemp_a。其次选择数据目标插件mysql，并配置mysql数据目标相关信息，例如配置msyqlurl地址，配置账号信息，配置数据目标表table2，配置结束后得到目标数据接收插件。再配置调度参数和周期参数，例如配置调度参数day＝temp，依赖同周期任务a，出错重试2次，间隔3分钟，配置周期参数每日6时30分执行，全部配置结束后可得到最终配置的数据同步任务，最后将最终配置的数据同步任务保存至数据库存储该定时任务。65.在本技术实施例中，以调度模块进行具体说明，例如在轮询数据库中符合预设周期内的目标数据同步任务时，首先根据预设定时任务读取时刻在数据库读取满足预设条件的数据同步任务，然后根据满足预设条件的数据同步任务的配置参数，生成次日对应时刻的实例任务，其次将实例任务标记为运行状态，并保存至数据库，再采用轮询法在数据库中实时查询并获取满足当前时刻的目标实例任务，最后当目标实例任务所依赖的全部定时任务运行成功且目标实例任务到达执行时刻时，将目标实例任务确定为符合预设周期内的目标数据同步任务。66.进一步地，当目标实例任务所依赖的全部定时任务中任一定时任务运行失败，将目标实例任务标记为等待依赖状态或者等待运行状态，并将目标实例任务重新写入数据库。67.在一种可能的实现方式中，例如图3所示，图3是本技术提供的一种调度模块和执行模块的整体处理流程图，在调度模块中，首先每日23时，读取数据库中有效定时任务，再根据每个定时任务的周期参数，生成次日对应时刻实例任务，然后将生成的实例标记为等待运行状态，并保存至数据库，再轮询查询数据库，获取执行时间在该轮询周期内的实例任务，最后判断该实例任务所依赖定时任务是否都运行成功且到达执行时间，若实例任务所依赖任务有任一未运行成功，则将实例日任务标记为等待依赖状态，再将实例任务写回数据库；若实例任务都运行成功，但未达到执行时间，则不做任务操作；若实例任务所依赖定时任务都运行成功，且到达执行时间，则继续进行执行模块的处理流程。68.例如，数据同步任务配置模块在实际应用场景中，以数据同步任务为hive数据同步至mysql数据为例，说明调度模块的处理过程，调度模块将于当日(20220101)23时，读取此定时任务，生成此次日(20220102)6时30分的实例任务1，并将此实例任务1标记为未运行状态，保存至存储系统，调度模块轮询功能，将于20220102日6时30分读取到此实例任务1，判断此实例任务1依赖实例任务a(定时任务a的同周期实例)是否执行成功，执行不成功则将实例任务1标记为等待依赖状态，若实例任务a执行成功，则判断系统当前时间是否大于6时30分，小于则结束，大于则进行执行模块的处理过程。69.在本技术实施例中，以执行模块进行具体说明，执行模块包括实例模块；其中，实例模块，用于根据接收的目标数据同步任务进行实例化操作，得到实例化后的目标实例任务，并将实例化后的目标实例任务封装为数据同步程序。70.具体的，在根据接收的目标数据同步任务进行实例化操作时，首先根据目标实例任务获取执行器类型，并利用反射策略构建执行器类，然后设置执行器类的数据源插件、转换插件以及数据目标插件，生成执行器类同步任务，最后将执行器类同步任务确定为实例化后的目标实例任务。71.具体的，执行模块在执行实例化后的数据同步程序，生成数据同步结果时，首先执行执行器类同步任务，生成执行结果，当执行结果为执行失败且执行失败次数超过预设失败次数阈值时，将目标实例任务标记为执行失败状态，并将目标实例任务重新写入数据库，以及将执行失败结果确定为数据同步结果；或者，当执行结果为执行成功时，将目标实例任务标记为执行成功状态，并将目标实例任务重新写入数据库，以及调取被依赖的下游实例任务，并继续执行采用轮询法在数据库中实时查询并获取满足当前时刻的目标实例任务的步骤，同时将执行成功结果确定为数据同步结果；最后将数据同步结果推送至消息通知模块。72.在一种可能的实现方式中，例如图3所示，图3是本技术提供的一种调度模块和执行模块的整体处理流程图，在执行模块中，首先获取执行器类型，利用反射生成执行器类，再设置该执行器配置数据源插件、转换插件、数据目标插件，然后调用该执行器同步方法，执行该执行器类同步任务，最后执行模块运行生成的实例程序，spark执行器将提交到yarn进行集化运行，datax程序则提交到本机进行单机运行，具体为读取数据源，并进行相应的数据转换、过滤等操作，当执行结果为执行失败且执行失败次数超过预设失败次数阈值时，将目标实例任务标记为执行失败状态，并将目标实例任务重新写入数据库，以及将执行失败结果确定为数据同步结果；或者，当执行结果为执行成功时，将目标实例任务标记为执行成功状态，并将目标实例任务重新写入数据库，以及调取被依赖的下游实例任务，并继续执行采用轮询法在数据库中实时查询并获取满足当前时刻的目标实例任务的步骤，同时将执行成功结果确定为数据同步结果；最后将数据同步结果推送至消息通知模块。73.例如，数据同步任务配置模块在实际应用场景中，以数据同步任务为hive数据同步至mysql数据为例，说明执行模块的处理过程，执行模块中的实例模块根据输入的相关信息(执行器、同步数据源、转换操作、同步数据目标)，对数据同步任务进行实例化操作，将其封装为数据同步程序，根据配置的spark执行器，则利用反射实例化spark执行器类，设置spark执行器类的相关参数(数据源插件、转换插件、数据目标插件)，根据设置参数，将其插件组合封装为一段spark程序代码(融合spark读取、转换、写入操作)。执行模块启动相应的数据同步程序：74.1、根据配置的spark参数，启动spark程序；75.2、读取hive表对应分区数据并注册为临时表76.3、执行spark转换语句77.4、利用spark集成的mysql写功能，将转换后的数据写入mysql指定表78.5、若上述步骤执行失败，则判断当前失败次数是否达到出错次数阈值2次，若未达到，则休眠配置时间3分钟。3分钟后重新执行步骤1-5，直到运行成功或达到出错阈值2。79.若执行成功，则将此实例标记为成功状态，并调取依赖实例任务1的定时任务继续执行相应步骤；若若执行失败，则将此实例标记为失败状态。80.在本技术实施例中，系统还包括消息通知模块；消息通知模块，用于将接收的数据同步结果确定为实例运行结果，并将实例运行结果进行数据同步运行结果通知。81.在一种可能的实现方式中，每个同步实例程序执行完后，则会将该实例程序的运行结果，通过消息模块进行数据同步运行结果通知。例如同步程序执行完成，发送相关的执行完成通知。82.需要说明的是，本技术可用于常见的数据同步场景，基于页面操作，筛选数据同步执行器组件，根据选定的执行器组件筛选出与其匹配的数据同步来源组件，并填写数据同步来源相关信息，其次(可选)筛选同步数据需要的相关转换操作组件，如加密、转换、掩码，再次筛选与执行器匹配的数据同步目标组件，并填写数据同步目标相关信息，最后配置该数据同步任务的调度信息(如：仅一次、小时、天等)。根据筛选组件，由后端服务将其组装成数据同步程序链任务，并将其进行持久化。由调度模块时刻轮询获取符合该执行周期的数据同步任务，根据该定时任务配置的执行器组件，同步来源组件，转换操作组件，同步目标组件，封装成数据同步程序，形成本次数据数据同步实例。随后启动该数据同步实例，进行相应的数据同步工作。本发明所述的技术方案，通过封装不同的数据同步执行器，各种数据同步来源组件、数据同步转换组件、数据同步目标组件，提供页面化操作降低了数据同步的使用门槛，并通过不同的执行器组件，可以完成不同功能的数据同步，包括但不限于传统的数据库同步、大数据同步、文本文件同步、文件夹同步等。83.在本技术实施例中，首先数据同步任务配置模块确定待处理的数据同步任务，并配置数据同步任务的配置参数，生成最终配置的数据同步任务，然后存储模块将最终配置的数据同步任务保存至数据库，以供调度模块在预设时刻进行调度，其次调度模块轮询数据库中符合预设周期内的目标数据同步任务，并将目标数据同步任务传递至执行模块，最后执行模块根据接收的目标数据同步任务进行实例化操作，并执行实例化后的数据同步程序，生成数据同步结果，并根据数据同步结果进行消息通知。由于本技术集成了多种数据同步功能，从而丰富了数据同步策略，降低了数据同步操作门槛，同时调度模块自动轮询数据库中符合要求的数据同步任务自动进行数据同步操作，从而提升了数据同步效率。84.请参见图4，为本技术实施例提供了一种数据同步管理方法的流程示意图。如图4所示，本技术实施例的方法可以包括以下步骤：85.s101，数据同步任务配置模块确定待处理的数据同步任务，并配置数据同步任务的配置参数，生成最终配置的数据同步任务；86.s102，存储模块将最终配置的数据同步任务保存至数据库，以供调度模块在预设时刻进行调度；87.s103，调度模块轮询数据库中符合预设周期内的目标数据同步任务，并将目标数据同步任务传递至执行模块；88.s104，执行模块根据接收的目标数据同步任务进行实例化操作，并执行实例化后的数据同步程序，生成数据同步结果，并根据数据同步结果进行消息通知。89.在本技术实施例中，首先数据同步任务配置模块确定待处理的数据同步任务，并配置数据同步任务的配置参数，生成最终配置的数据同步任务，然后存储模块将最终配置的数据同步任务保存至数据库，以供调度模块在预设时刻进行调度，其次调度模块轮询数据库中符合预设周期内的目标数据同步任务，并将目标数据同步任务传递至执行模块，最后执行模块根据接收的目标数据同步任务进行实例化操作，并执行实例化后的数据同步程序，生成数据同步结果，并根据数据同步结果进行消息通知。由于本技术集成了多种数据同步功能，从而丰富了数据同步策略，降低了数据同步操作门槛，同时调度模块自动轮询数据库中符合要求的数据同步任务自动进行数据同步操作，从而提升了数据同步效率。90.本发明还提供一种计算机可读介质，其上存储有程序指令，该程序指令被处理器执行时实现上述各个方法实施例提供的数据同步管理方法。91.本发明还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述各个方法实施例的数据同步管理方法。92.本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，数据同步管理的程序可存储于计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，的存储介质可为磁碟、光盘、只读存储记忆体或随机存储记忆体等。93.以上所揭露的仅为本技术较佳实施例而已，当然不能以此来限定本技术之权利范围，因此依本技术权利要求所作的等同变化，仍属本技术所涵盖的范围。当前第1页12当前第1页12

技术特征：

1.一种数据同步管理系统，其特征在于，所述系统包括：数据同步任务配置模块、存储模块、调度模块以及执行模块；其中，所述数据同步任务配置模块、存储模块、调度模块以及执行模块通信连接；所述数据同步任务配置模块，用于确定待处理的数据同步任务，并配置数据同步任务的配置参数，生成最终配置的数据同步任务；所述存储模块，用于将最终配置的数据同步任务保存至数据库，以供所述调度模块在预设时刻进行调度；所述调度模块，用于轮询数据库中符合预设周期内的目标数据同步任务，并将所述目标数据同步任务传递至所述执行模块；所述执行模块，用于根据接收的目标数据同步任务进行实例化操作，并执行实例化后的数据同步程序，生成数据同步结果，并根据所述数据同步结果进行消息通知。2.根据权利要求1所述的一种数据同步管理系统，其特征在于，配置所述数据同步任务的配置参数，生成最终配置的数据同步任务，包括：创建所述数据同步任务的目标执行器、目标数据源插件、目标数据转换插件、目标数据接收插件；获取并配置所述数据同步任务的调度参数和调度周期；将所述目标执行器、目标数据源插件、目标数据转换插件、目标数据接收插件、调度参数和调度周期确定为所述数据同步任务的配置参数，配置结束后得到最终配置的数据同步任务。3.根据权利要求2所述的方法，其特征在于，创建所述数据同步任务的目标执行器、目标数据源插件、目标数据转换插件、目标数据接收插件，包括：确定所述数据同步任务的执行器，获取并配置所述执行器所需的执行参数，得到目标执行器；确定所述数据同步任务的数据源插件，获取并配置所述数据源插件的数据源信息，得到目标数据源插件；确定所述目标执行器的执行器类型，并根据所述执行器类型将所述目标执行器配置为目标数据转换插件；确定所述数据同步任务的数据目标插件，获取所述数据同步任务所需写入的数据目标信息，并将所述数据目标信息配置到所述数据目标插件中，得到目标数据接收插件。4.根据权利要求1所述的一种数据同步管理系统，其特征在于，所述轮询数据库中符合预设周期内的目标数据同步任务，包括：根据预设定时任务读取时刻在数据库读取满足预设条件的数据同步任务；根据满足预设条件的数据同步任务的配置参数，生成次日对应时刻的实例任务；将所述实例任务标记为运行状态，并保存至数据库；采用轮询法在数据库中实时查询并获取满足当前时刻的目标实例任务；当所述目标实例任务所依赖的全部定时任务运行成功且所述目标实例任务到达执行时刻时，将所述目标实例任务确定为符合预设周期内的目标数据同步任务。5.根据权利要求4所述的一种数据同步管理系统，其特征在于，当所述目标实例任务所依赖的全部定时任务中任一定时任务运行失败，将所述目标实
例任务标记为等待依赖状态或者等待运行状态，并将所述目标实例任务重新写入数据库。6.根据权利要求1所述的一种数据同步管理系统，其特征在于，所述执行模块包括实例模块；其中，所述实例模块，用于根据接收的目标数据同步任务进行实例化操作，得到实例化后的目标实例任务，并将实例化后的目标实例任务封装为数据同步程序。7.根据权利要求4所述的一种数据同步管理系统，其特征在于，所述根据接收的目标数据同步任务进行实例化操作，包括：根据所述目标实例任务获取执行器类型，并利用反射策略构建执行器类；设置所述执行器类的数据源插件、转换插件以及数据目标插件，生成执行器类同步任务；将所述执行器类同步任务确定为实例化后的目标实例任务。8.根据权利要求7所述的一种数据同步管理系统，其特征在于，所述执行实例化后的数据同步程序，生成数据同步结果，包括：执行所述执行器类同步任务，生成执行结果；当所述执行结果为执行失败且执行失败次数超过预设失败次数阈值时，将所述目标实例任务标记为执行失败状态，并将所述目标实例任务重新写入数据库，以及将执行失败结果确定为数据同步结果；或者，当所述执行结果为执行成功时，将所述目标实例任务标记为执行成功状态，并将所述目标实例任务重新写入数据库，以及调取被依赖的下游实例任务，并继续执行所述采用轮询法在数据库中实时查询并获取满足当前时刻的目标实例任务的步骤，同时将执行成功结果确定为数据同步结果；将所述数据同步结果推送至消息通知模块。9.根据权利要求7所述的一种数据同步管理系统，其特征在于，所述系统还包括消息通知模块；所述消息通知模块，用于将接收的数据同步结果确定为实例运行结果，并将所述实例运行结果进行数据同步运行结果通知。10.一种数据同步管理方法，其特征在于，所述方法包括：数据同步任务配置模块确定待处理的数据同步任务，并配置数据同步任务的配置参数，生成最终配置的数据同步任务；存储模块将最终配置的数据同步任务保存至数据库，以供所述调度模块在预设时刻进行调度；调度模块轮询数据库中符合预设周期内的目标数据同步任务，并将所述目标数据同步任务传递至所述执行模块；执行模块根据接收的目标数据同步任务进行实例化操作，并执行实例化后的数据同步程序，生成数据同步结果，并根据所述数据同步结果进行消息通知。

技术总结

本发明公开了一种数据同步管理系统和方法，系统包括：数据同步任务配置模块、存储模块、调度模块以及执行模块；数据同步任务配置模块，用于确定待处理的数据同步任务，配置数据同步任务的配置参数，生成最终配置的数据同步任务；存储模块，用于将最终配置的数据同步任务保存至数据库；调度模块，用于轮询数据库中符合预设周期内的目标数据同步任务，将目标数据同步任务传递至执行模块；执行模块，用于根据接收的目标数据同步任务进行实例化操作，执行实例化后的数据同步程序，生成数据同步结果，根据数据同步结果进行消息通知。由于本申请集成了多种数据同步功能，从而丰富了数据同步策略，降低了数据同步操作门槛，提升了数据同步效率。同步效率。同步效率。