一种电网数据解耦方法与流程

1.本发明涉及数据处理技术领域，具体为一种电网数据解耦方法。

背景技术：

2.随着计算机技术、网络技术和通信技术的发展和应用，一些设备的监测数据都使用自动化信息传递和处理，对生产和生活形成便利。
3.电网数据在进行处理的过程中，通常需要进行主站集中处理数据。
4.对于业务量大且采用主站集中式处理的业务，比如计量自动化、分布式能源管理等，在主站集中处理数据的架构下，容易出现终端侧提交数据量太大，导致主站处理不及时，数据处理异常缓慢，处理效率低的情况，特别地，在有限的硬件资源条件下，问题更为突出，故大规模部署的业务终端出现投递的数据量超出主站常规处理能力的情况时，亟需一种解决方案，以解决上述问题。

技术实现要素：

5.(一)解决的技术问题
6.针对现有技术的不足，本发明公开了一种电网数据解耦方法，该装置在有限的硬件资源条件下，大规模部署的业务终端出现投递的数据量超出主站常规处理能力的情况时，能够缓解数据集中处理压力，保证主站的处理及时，数据处理更快，处理效率高，保证电网数据解耦装置的使用效果好。
7.(二)技术方案
8.为实现以上目的，本发明通过以下技术方案予以实现：一种电网数据解耦方法，包括电网数据解耦装置和数据解耦方法，所述电网数据解耦装置包括：
9.数据输入单元，设置于所述电网数据解耦装置的内部；
10.数据处理单元，设置于所述电网数据解耦装置的内部并与数据输入单元相连；
11.解耦单元，设置于所述电网数据解耦装置的内部并与数据处理单元相连；
12.所述数据解耦方法包括：
13.获取数据；
14.基于预设的拆分规则，对获取的数据进行拆分；
15.发送数据至分布式消息队列；
16.通过资源调度策略对消息队列进行管理；
17.对消息队列中的拆分数据进行时序校正。
18.优选的，通过对数据中不同类型数据的不同路径的执行周期进行分析，基于数据的执行速率，在获取的数据的不同执行速率的区域插入解耦单元进行缓存解耦。
19.优选的，基于数据的类型，每个数据包具有一个数据标识，该数据标识用于表征该数据包的类型，使数据按照其数据标识的特征，拆分为多路可以各自独立执行的进程，根据数据标识和预设的各数据通道的通道标识之间的对应关系，确定每个数据包对应的目标数
据通道，根据通道标识和数据标识，为拆分的数据包按预设的对应关系分配数据通道，并将数据包通过该数据通道分别发送至分布式消息队列中排队发送。
20.优选的，按容量调度方式，为不同的业务终端分配预设的容量，容量存放在资源池里，当有多余的容量资源，共享出来并按先排队在使用的原则，供消息队列中其他业务终端的数据使用。
21.优选的，按优先级加权算法对消息队列进行管理，通过统计消息队列中的排列数据的执行节点任务并非数量、任务完成进度、时间段内cpu负载情况和内存剩余量信息，若数量、任务完成进度、时间段内cpu负载情况和内存剩余量均达到阈值，为对应的数据分配一个权重值，用以区分数据处理的优先等级，权重值较大的数据作业被视为比较重要的任务，其能够执行任务的数量和优先程度都比权重小的数据作业要多。
22.优选的，根据部分已经完成的任务，来评估该作业所属任务在系统运行所消耗的时间，并优先运行结束时间最晚任务的后备任务，以通过预计任务结束时间来判断是否针对该任务启动后备任务，预估的任务剩余时间比任务的进度值更能反映出不同作业运行任务之间的快慢程度，即可控制后备任务上限值，进而限定后备任务的最大值，以避免后备任务的数量过多而影响对新作业的响应能力。
23.优选的，预先记录原始数据中各个拆分数据的初始时序，基于该初始时序，核对该分布式消息队列中的各拆分数据的当前时序，进行时序矫正，且在拆分数据的当前时序与初始时序不一致时，按初始时序更新该拆分数据的当前时序，以维持各拆分数据在该分布式消息队列中的当前时序与初始时序的一致性，该分布式消息队列中的拆分数据按照其加载于该分布式消息队列中的当前时序进行排序，形成该数据发送序列表，以保证数据处理之后能够可靠重组。
24.本发明公开了一种电网数据解耦方法，其具备的有益效果如下：
25.1、该电网数据解耦方法，在有限的硬件资源条件下，大规模部署的业务终端出现投递的数据量超出主站常规处理能力的情况时，能够缓解数据集中处理压力，保证主站的处理及时，数据处理更快，处理效率高，保证电网数据解耦装置的使用效果好。
26.2、该电网数据解耦方法，通过资源调度策略对消息队列进行调度，以优化网络资源利用率。
27.3、该电网数据解耦方法，对消息队列中的拆分数据进行时序校正，以保证数据处理之后能够可靠重组。
附图说明
28.图1为本发明电网数据解耦方法的流程图；
29.图2为本发明电网数据解耦装置的结构框图。
30.图中：1、电网数据解耦装置；101、数据输入单元；102、数据处理单元；103、解耦单元；s1、获取数据；s2、基于预设的拆分规则，对获取的数据进行拆分；s3、发送数据至分布式消息队列；s4、通过资源调度策略对消息队列进行管理；s5、对消息队列中的拆分数据进行时序校正。
具体实施方式
31.实施例1：
32.本发明实施例公开一种电网数据解耦方法，如图1-2所示，包括电网数据解耦装置1和数据解耦方法，电网数据解耦装置1包括：
33.数据输入单元101，设置于电网数据解耦装置1的内部；
34.数据处理单元102，设置于电网数据解耦装置1的内部并与数据输入单元101相连；
35.解耦单元103，设置于电网数据解耦装置1的内部并与数据处理单元102相连；
36.数据解耦方法包括：
37.获取数据s1；
38.基于预设的拆分规则，对获取的数据进行拆分s2；
39.发送数据至分布式消息队列s3；
40.通过资源调度策略对消息队列进行管理s4；
41.对消息队列中的拆分数据进行时序校正s5。
42.通过对数据中不同类型数据的不同路径的执行周期进行分析，基于数据的执行速率，在获取的数据的不同执行速率的区域插入解耦单元103进行缓存解耦，因每个解耦单元103的缓存大小固定，通过串接组成不同数据解耦单元103构成的解耦模块，以实现长短路径间的数据流解耦；
43.每个数据通道具有一个通道标识，该通道标识用于表征该数据通道的特性，也就是用于表征该数据通道用于传输哪种数据流；
44.根据执行速率和预设的各数据通道的通道标识之间的对应关系，确定每个数据流对应的目标数据通道，为拆分的数据流按预设的对应关系分配数据通道，并将数据流通过该数据通道分别发送至分布式消息队列中排队发送。
45.按容量调度方式，为不同的业务终端分配预设的容量，容量存放在资源池里，当有多余的容量资源，共享出来并按先排队在使用的原则，供消息队列中其他业务终端的数据使用，实现数据的高效调度。
46.本实施例也可按优先级加权算法对消息队列进行管理，通过统计消息队列中的排列数据的执行节点任务并非数量、任务完成进度、时间段内cpu负载情况和内存剩余量信息，若数量、任务完成进度、时间段内cpu负载情况和内存剩余量均达到阈值，为对应的数据分配一个权重值，用以区分数据处理的优先等级，权重值较大的数据作业被视为比较重要的任务，其能够执行任务的数量和优先程度都比权重小的数据作业要多。
47.同时，根据部分已经完成的任务，来评估该作业所属任务在系统运行所消耗的时间一般任务作业所属任务在相同的执行环境下，运行时间相同，并会优先运行结束时间最晚任务的后备任务，以通过预计任务结束时间来判断是否针对该任务启动后备任务，预估的任务剩余时间比任务的进度值更能反映出不同作业运行任务之间的快慢程度，即可控制后备任务上限值，进而限定后备任务的最大值，以避免后备任务的数量过多而影响对新作业的响应能力。
48.又因为有些数据是有时序关系的，如果重组时搞错了，就会导致更大的问题。故对数据进行解耦之后，对于消息队列的数据处理之后还需要有一个可靠的重组方法进行保障。
49.具体地，预先记录原始数据中各个拆分数据的初始时序，基于该初始时序，核对该分布式消息队列中的各拆分数据的当前时序，进行时序矫正，且在拆分数据的当前时序与初始时序不一致时，按初始时序更新该拆分数据的当前时序，以维持各拆分数据在该分布式消息队列中的当前时序与初始时序的一致性。该分布式消息队列中的拆分数据按照其加载于该分布式消息队列中的当前时序进行排序，形成该数据发送序列表，以保证数据处理之后能够可靠重组。
50.该电网数据解耦方法在有限的硬件资源条件下，大规模部署的业务终端出现投递的数据量超出主站常规处理能力的情况时，能够缓解数据集中处理压力，保证主站的处理及时，数据处理更快，处理效率高，保证电网数据解耦装置1的使用效果好。
51.实施例2：
52.本发明实施例公开一种电网数据解耦方法，如图1-2所示，包括电网数据解耦装置1和数据解耦方法，电网数据解耦装置1包括：
53.数据输入单元101，设置于电网数据解耦装置1的内部；
54.数据处理单元102，设置于电网数据解耦装置1的内部并与数据输入单元101相连；
55.解耦单元103，设置于电网数据解耦装置1的内部并与数据处理单元102相连；
56.数据解耦方法包括：
57.获取数据s1；
58.基于预设的拆分规则，对获取的数据进行拆分s2；
59.发送数据至分布式消息队列s3；
60.通过资源调度策略对消息队列进行管理s4；
61.对消息队列中的拆分数据进行时序校正s5。
62.基于数据的类型，每个数据包具有一个数据标识，该数据标识用于表征该数据包的类型，使数据按照其数据标识的特征，拆分为多路可以各自独立执行的进程，根据数据标识和预设的各数据通道的通道标识之间的对应关系，确定每个数据包对应的目标数据通道，根据通道标识和数据标识，为拆分的数据包按预设的对应关系分配数据通道，并将数据包通过该数据通道分别发送至分布式消息队列中排队发送。
63.本实施例提供另一种数据拆分的方式，也是用于提供数据解耦的方法，数据输入单元101用于进行输入数据，然后利用数据处理单元102实现数据标识和区分，配合解耦单元103，确定每个数据包的数据标识和对应的通道，最终将数据和预设的数据通道建立连接，并形成快速数据处理和结果输出。
64.该电网数据解耦方法，通过资源调度策略对消息队列进行调度，以优化网络资源利用率，对消息队列中的拆分数据进行时序校正，以保证数据处理之后能够可靠重组。
65.以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

技术特征：

1.一种电网数据解耦方法，包括电网数据解耦装置(1)和数据解耦方法，其特征在于：所述电网数据解耦装置(1)包括：数据输入单元(101)，设置于所述电网数据解耦装置(1)的内部；数据处理单元(102)，设置于所述电网数据解耦装置(1)的内部并与数据输入单元(101)相连；解耦单元(103)，设置于所述电网数据解耦装置(1)的内部并与数据处理单元(102)相连；所述数据解耦方法包括：获取数据(s1)；基于预设的拆分规则，对获取的数据进行拆分(s2)；发送数据至分布式消息队列(s3)；通过资源调度策略对消息队列进行管理(s4)；对消息队列中的拆分数据进行时序校正(s5)。2.根据权利要求1所述的一种电网数据解耦方法，其特征在于：通过对数据中不同类型数据的不同路径的执行周期进行分析，基于数据的执行速率，在获取的数据的不同执行速率的区域插入解耦单元(103)进行缓存解耦。3.根据权利要求1所述的一种电网数据解耦方法，其特征在于：基于数据的类型，每个数据包具有一个数据标识，该数据标识用于表征该数据包的类型，使数据按照其数据标识的特征，拆分为多路可以各自独立执行的进程，根据数据标识和预设的各数据通道的通道标识之间的对应关系，确定每个数据包对应的目标数据通道，根据通道标识和数据标识，为拆分的数据包按预设的对应关系分配数据通道，并将数据包通过该数据通道分别发送至分布式消息队列中排队发送。4.根据权利要求1所述的一种电网数据解耦方法，其特征在于：按容量调度方式，为不同的业务终端分配预设的容量，容量存放在资源池里，当有多余的容量资源，共享出来并按先排队在使用的原则，供消息队列中其他业务终端的数据使用。5.根据权利要求1所述的一种电网数据解耦方法，其特征在于：按优先级加权算法对消息队列进行管理，通过统计消息队列中的排列数据的执行节点任务并非数量、任务完成进度、时间段内cpu负载情况和内存剩余量信息，若数量、任务完成进度、时间段内cpu负载情况和内存剩余量均达到阈值，为对应的数据分配一个权重值，用以区分数据处理的优先等级，权重值较大的数据作业被视为比较重要的任务，其能够执行任务的数量和优先程度都比权重小的数据作业要多。6.根据权利要求5所述的一种电网数据解耦方法，其特征在于：根据部分已经完成的任务，来评估该作业所属任务在系统运行所消耗的时间，并优先运行结束时间最晚任务的后备任务，以通过预计任务结束时间来判断是否针对该任务启动后备任务，预估的任务剩余时间比任务的进度值更能反映出不同作业运行任务之间的快慢程度，即可控制后备任务上限值，进而限定后备任务的最大值，以避免后备任务的数量过多而影响对新作业的响应能力。7.根据权利要求1所述的一种电网数据解耦方法，其特征在于：预先记录原始数据中各个拆分数据的初始时序，基于该初始时序，核对该分布式消息队列中的各拆分数据的当前
时序，进行时序矫正，且在拆分数据的当前时序与初始时序不一致时，按初始时序更新该拆分数据的当前时序，以维持各拆分数据在该分布式消息队列中的当前时序与初始时序的一致性，该分布式消息队列中的拆分数据按照其加载于该分布式消息队列中的当前时序进行排序，形成该数据发送序列表，以保证数据处理之后能够可靠重组。

技术总结

本发明公开一种电网数据解耦方法，涉及数据处理领域。该电网数据解耦方法包括电网数据解耦装置和数据解耦方法，所述电网数据解耦装置包括数据输入单元、数据处理单元和解耦单元，所述数据解耦方法包括获取数据、基于预设的拆分规则，对获取的数据进行拆分、发送数据至分布式消息队列、通过资源调度策略对消息队列进行管理、对消息队列中的拆分数据进行时序校正。该电网数据解耦方法在有限的硬件资源条件下，大规模部署的业务终端出现投递的数据量超出主站常规处理能力的情况时，能够缓解数据集中处理压力，保证主站的处理及时，数据处理更快，处理效率高，保证电网数据解耦装置的使用效果好。用效果好。用效果好。