数据处理方法、系统及其计算机装置

1.本发明涉及数据处理领域，尤其涉及一种数据处理方法、系统及其计算装置。

背景技术：

2.现有地，在各个领域的数据大多以数据清单的方式呈现，而清单中各个数据中存在某些关联。这些关联大多依靠人工主观判断。但是人工判断的效率十分低下。
3.而对于计算机来说，计算机无法和人一样，无法主管地判断出各个数据之间的关联性。这样一来，就导致数据量太大时，数据处理效率的低下。
4.此外，虽然人工判断能够对数据进行处理，但是人工判断毕竟也会出现失误，而一旦失误，又没有人工检查的话，就会导致错误的数据流转下去，从而有可能带来无法挽回的损失。

技术实现要素：

5.本发明的一个优势在于提供一种数据处理方法、系统及其计算装置，其中采用所述数据处理方法能够提高数据分类处理的效率。
6.为达到以上优势，本发明提供数据处理方法，所述数据处理方法包括：s110，采集数据清单中的数据；s120，根据预设的任务清单数据和组织结构数据所对应的一致性校验模板，分类处理所述任务清单数据、组织结构数据，以形成数据列表；s130，输出分类处理后的所述数据列表。
7.根据本发明一实施例所述步骤s120包括：s1201，判断采集的数据清单中的数据与预设的任务清单数据和组织结构数据所对应的一致性校验模板之间的一致性，如果一致，则将上层参考数据的关系属性中与一致性校验模板配置的参考关系一致的关系属性的值，作为下层参考数据集，且读取上层参考数据的关系属性中与一致性校验模板配置的分配关系一致的关系属性的值，作为上层校验数据备选集；如果不一致，则重复该步骤；s1202，将上层校验数据备选集中数据类型与一致性校验模板中配置的校验数据不一致的剔除，得到上层校验数据集；s1203，读取上层校验数据的关系属性中与一致性校验模板配置的校验关系一致的关系属性的值，作为下层校验数据集。
8.根据本发明一实施例，所述示例性数据处理方法包括以下步骤：s140，逐个遍历上层校验数据集中的实例数据，作为上层校验数据；s150，逐个遍历下层参考数据集中的实例数据，读取实例数据的关系属性中与一致性校验模板配置的分配关系一致的关系属性的值，得到属性值并集；s160，判断下层校验数据集是否为属性值并集的子集，如果是，再判断上层校验数据集中的数据是否全部遍历；如果否，将上层参考数据作为异常数据，将分配关系作为异常
关系，将上层校验数据作为关联数据；其中当上层校验数据集中的数据是全部遍历，再判断所述数据清单中主键数据是否全部遍历，如果是，在所述数据列表中暂时所述数据，如果否，则标记该数据为异常数据。
9.根据本发明一实施例，根据预设的任务清单数据和组织结构数据所对应的一致性校验模板被设置包括：参考数据类型、参考关系类型、分配关系类型、校验数据类型、校验关系类型。
10.本发明还公开一种数据处理系统，所述数据处理系统包括：数据采集模块，所述数据采集模块被设置采集数据清单中的数据；数据处理模块，所述数据处理模块被设置根据预设的任务清单数据和组织结构数据所对应的一致性校验模板，分类处理所述任务清单数据、组织结构数据，以形成数据列表；数据输出模块，所述数据输出模块被设置输出分类处理后的所述数据列表。
11.根据本发明一实施例，所述数据处理模块被设置：判断采集的数据清单中的数据与预设的任务清单数据和组织结构数据所对应的一致性校验模板之间的一致性，如果一致，则将上层参考数据的关系属性中与一致性校验模板配置的参考关系一致的关系属性的值，作为下层参考数据集，且读取上层参考数据的关系属性中与一致性校验模板配置的分配关系一致的关系属性的值，作为上层校验数据备选集；如果不一致，则重复该步骤；并将上层校验数据备选集中数据类型与一致性校验模板中配置的校验数据不一致的剔除，得到上层校验数据集；而且读取上层校验数据的关系属性中与一致性校验模板配置的校验关系一致的关系属性的值，作为下层校验数据集。
12.根据本发明一实施例，所述数据处理系统包括校验模块，其中所述校验模块被设置可通信地连接于所述数据处理模块和所述数据输出模块，所述校验模块被设置逐个遍历上层校验数据集中的实例数据，作为上层校验数据；并逐个遍历下层参考数据集中的实例数据，读取实例数据的关系属性中与一致性校验模板配置的分配关系一致的关系属性的值，得到属性值并集；而且还判断下层校验数据集是否为属性值并集的子集，如果是，再判断上层校验数据集中的数据是否全部遍历；如果否，将上层参考数据作为异常数据，将分配关系作为异常关系，将上层校验数据作为关联数据；其中当上层校验数据集中的数据是全部遍历，再判断所述数据清单中主键数据是否全部遍历，如果是，在所述数据列表中暂时所述数据，如果否，则标记该数据为异常数据。
13.本发明还公开计算机装置，一个或多个处理器；存储器；以及一个或多个计算机程序，一个或多个计算机程序被存储在上述存储器中，上述一个或多个计算机程序包括指令，当上述指令被上述设备执行时，使得上述设备执行以下步骤：采集数据清单中的数据；根据预设的任务清单数据和组织结构数据所对应的一致性校验模板，分类处理所述任务清单数据、组织结构数据，以形成数据列表；输出分类处理后的所述数据列表。
附图说明
14.图1示出了本发明所述数据处理方法的一个实施例的流程图。
15.图2示出了本发明所述数据处理方法的另一个实施例的流程图。
16.图3示出了本发明所述数据处理系统的结构框图。
17.图4示出了本发明所述计算机装置的结构框图。
具体实施方式
18.以下描述用于揭露本发明以使本领域技术人员能够实现本发明。以下描述中的优选实施例只作为举例，本领域技术人员可以想到其他显而易见的变型。在以下描述中界定的本发明的基本原理可以应用于其他实施方案、变形方案、改进方案、等同方案以及没有背离本发明的精神和范围的其他技术方案。
19.本领域技术人员应理解的是，在本发明的揭露中，术语“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系是基于附图所示的方位或位置关系，其仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此上述术语不能理解为对本发明的限制。
20.可以理解的是，术语“一”应理解为“至少一”或“一个或多个”，即在一个实施例中，一个元件的数量可以为一个，而在另外的实施例中，该元件的数量可以为多个，术语“一”不能理解为对数量的限制。
21.示例性数据处理方法现有地，在各个领域的数据大多以数据清单的方式呈现，而清单中各个数据中存在某些关联。这些关联大多依靠人工主观判断。但是人工判断的效率十分低下。但是，本发明的所述示例性数据处理方法能够在计算机等具有处理功能的计算机设备上运行，其中所述计算机设备包括但不限于：手机、电脑等。
22.参考图1和图2，具体地，所述示例性数据处理方法包括以下步骤：s110，采集数据清单中的数据；可以理解的是，数据清单中的数据包括任务清单数据、组织结构数据。
23.s120，根据预设的任务清单数据和组织结构数据所对应的一致性校验模板，分类处理所述任务清单数据、组织结构数据，以形成数据列表。
24.值得一提的是，根据预设的任务清单数据和组织结构数据所对应的一致性校验模板可以被设置包括：参考数据类型、参考关系类型、分配关系类型、校验数据类型、校验关系类型。
25.具体地，所述步骤s120包括：s1201，判断采集的数据清单中的数据与预设的任务清单数据和组织结构数据所对应的一致性校验模板之间的一致性，如果一致，则将上层参考数据的关系属性中与一致性校验模板配置的参考关系一致的关系属性的值，作为下层参考数据集，且读取上层参考数据的关系属性中与一致性校验模板配置的分配关系一致的关系属性的值，作为上层校验数据备选集；如果不一致，则重复该步骤；s1202，将上层校验数据备选集中数据类型与一致性校验模板中配置的校验数据不一致的剔除，得到上层校验数据集；s1203，读取上层校验数据的关系属性中与一致性校验模板配置的校验关系一致
的关系属性的值，作为下层校验数据集。
26.s130，输出分类处理后的所述数据列表。
27.优选地，所述数据列表包括所述上层校验数据集以及所述下层校验数据集。
28.可以理解的是，通过这样的方式，进一步地，所述示例性数据处理方法包括以下步骤：s140，逐个遍历上层校验数据集中的实例数据，作为上层校验数据s150，逐个遍历下层参考数据集中的实例数据，读取实例数据的关系属性中与一致性校验模板配置的分配关系一致的关系属性的值，得到属性值并集；s160，判断下层校验数据集是否为属性值并集的子集，如果是，再判断上层校验数据集中的数据是否全部遍历；如果否，将上层参考数据作为异常数据，将分配关系作为异常关系，将上层校验数据作为关联数据；其中当上层校验数据集中的数据是全部遍历，再判断所述数据清单中主键数据是否全部遍历，如果是，在所述数据列表中暂时所述数据，如果否，则标记该数据为异常数据。
29.本领域技术人员能够理解的是，通过这样的方式，能够对数据清单中的数据自动地进行归类，此外，在归类后，还可以通过对归类后的数据进行异常验证。
30.如此一来，不仅提高了数据分类的效率，还能够有效地减少归类的异常。
31.示例性数据处理系统参考图3，依本发明一较佳的实施例的数据处理系统将在以下被详细地阐述，其中所述数据处理系统包括数据采集模块100、数据处理模块200以及数据输出模块300，其中所述数据采集模块100和所述数据处理模块200以及所述数据输出模块300通信连接。
32.所述数据采集模块100被设置采集数据清单中的数据；所述数据处理模块200被设置根据预设的任务清单数据和组织结构数据所对应的一致性校验模板，分类处理所述任务清单数据、组织结构数据，以形成数据列表；所述数据输出模块300被设置输出分类处理后的所述数据列表。
33.进一步地，所述数据处理模块200被设置判断采集的数据清单中的数据与预设的任务清单数据和组织结构数据所对应的一致性校验模板之间的一致性，如果一致，则将上层参考数据的关系属性中与一致性校验模板配置的参考关系一致的关系属性的值，作为下层参考数据集，且读取上层参考数据的关系属性中与一致性校验模板配置的分配关系一致的关系属性的值，作为上层校验数据备选集；如果不一致，则重复该步骤；并将上层校验数据备选集中数据类型与一致性校验模板中配置的校验数据不一致的剔除，得到上层校验数据集；而且读取上层校验数据的关系属性中与一致性校验模板配置的校验关系一致的关系属性的值，作为下层校验数据集。
34.所述数据处理系统包括校验模块400，其中所述校验模块400被设置可通信地连接于所述数据处理模块200和所述数据输出模块300。所述校验模块400被设置逐个遍历上层校验数据集中的实例数据，作为上层校验数据；并逐个遍历下层参考数据集中的实例数据，读取实例数据的关系属性中与一致性校验模板配置的分配关系一致的关系属性的值，得到属性值并集；而且还判断下层校验数据集是否为属性值并集的子集，如果是，再判断上层校验数据集中的数据是否全部遍历；如果否，将上层参考数据作为异常数据，将分配关系作为异常关系，将上层校验数据作为关联数据；其中当上层校验数据集中的数据是全部遍历，再
判断所述数据清单中主键数据是否全部遍历，如果是，在所述数据列表中暂时所述数据，如果否，则标记该数据为异常数据。
35.示例性计算机装置图4为本技术计算机装置一个实施例的结构示意图，如图4所示，上述计算机装置可以包括：一个或多个处理器；存储器；以及一个或多个计算机程序。
36.其中，上述计算机装置可以为电脑，服务器，移动终端（手机），收银设备，计算机，智慧屏，无人机，智能网联车（intelligent connected vehicle；以下简称：icv），智能（汽）车（smart/intelligent car）或车载设备等设备。
37.其中上述一个或多个计算机程序被存储在上述存储器中，上述一个或多个计算机程序包括指令，当上述指令被上述设备执行时，使得上述设备执行以下步骤：采集数据清单中的数据；根据预设的任务清单数据和组织结构数据所对应的一致性校验模板，分类处理所述任务清单数据、组织结构数据，以形成数据列表；输出分类处理后的所述数据列表。
38.此外，当上述指令被上述设备执行时，使得上述设备执行以下步骤：判断采集的数据清单中的数据与预设的任务清单数据和组织结构数据所对应的一致性校验模板之间的一致性，如果一致，则将上层参考数据的关系属性中与一致性校验模板配置的参考关系一致的关系属性的值，作为下层参考数据集，且读取上层参考数据的关系属性中与一致性校验模板配置的分配关系一致的关系属性的值，作为上层校验数据备选集；如果不一致，则重复该步骤；将上层校验数据备选集中数据类型与一致性校验模板中配置的校验数据不一致的剔除，得到上层校验数据集；读取上层校验数据的关系属性中与一致性校验模板配置的校验关系一致的关系属性的值，作为下层校验数据集。
39.此外，当上述指令被上述设备执行时，使得上述设备执行以下步骤：逐个遍历上层校验数据集中的实例数据，作为上层校验数据；逐个遍历下层参考数据集中的实例数据，读取实例数据的关系属性中与一致性校验模板配置的分配关系一致的关系属性的值，得到属性值并集；判断下层校验数据集是否为属性值并集的子集，如果是，再判断上层校验数据集中的数据是否全部遍历；如果否，将上层参考数据作为异常数据，将分配关系作为异常关系，将上层校验数据作为关联数据；其中当上层校验数据集中的数据是全部遍历，再判断所述数据清单中主键数据是否全部遍历，如果是，在所述数据列表中暂时所述数据，如果否，则标记该数据为异常数据。
40.图4所示的计算机装置可以是终端设备或服务器也可以是内置于上述终端设备或服务器的电路设备。该设备可以用于执行本技术图1所示实施例提供的数据处理方法。
41.如图4所示，计算机装置900包括处理器910和存储器920。其中，处理器910和存储器920之间可以通过内部连接通路互相通信，传递控制和/或数据信号，该存储器920用于存储计算机程序，该处理器910用于从该存储器920中调用并运行该计算机程序。
42.上述存储器920可以是只读存储器（read-only memory，rom）、可存储静态信息和
指令的其它类型的静态存储设备、随机存取存储器（random access memory，ram)或可存储信息和指令的其它类型的动态存储设备，也可以是电可擦可编程只读存储器（electrically erasable programmable read-only memory，eeprom）、只读光盘（compact disc read-only memory，cd-rom）或其他光盘存储、光碟存储（包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等）、磁盘存储介质或者其它磁存储设备，或者还可以是能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其它介质等。
43.上述处理器910可以和存储器920可以合成一个处理装置，更常见的是彼此独立的部件，处理器910用于执行存储器920中存储的程序代码来实现上述功能。具体实现时，该存储器920也可以集成在处理器910中，或者，独立于处理器910。
44.应理解，图4所示的计算机装置900能够实现本技术图1所示实施例提供的方法的各个过程。计算机装置900中的各个模块的操作和/或功能，分别为了实现上述方法实施例中的相应流程。具体可参见本技术图1所示方法实施例中的描述，为避免重复，此处适当省略详细描述。
45.除此之外，为了使得计算机装置900的功能更加完善，该计算机装置900还可以包括电源940、输入单元950等中的一个或多个。
46.可选地，电源950用于给计算机装置中的各种器件或电路提供电源。
47.应理解，图3所示的计算机装置900中的处理器910可以是片上系统soc，该处理器910中可以包括中央处理器（central processing unit；以下简称：cpu），还可以进一步包括其他类型的处理器。
48.总之，处理器910内部的各部分处理器或处理单元可以共同配合实现之前的方法流程，且各部分处理器或处理单元相应的软件程序可存储在存储器920中。
49.本技术还提供一种计算机装置，所述装置包括存储介质和中央处理器，所述存储介质可以是非易失性存储介质，所述存储介质中存储有计算机可执行程序，所述中央处理器与所述非易失性存储介质连接，并执行所述计算机可执行程序以实现本技术图1所示实施例提供的方法。
50.以上各实施例中，涉及的处理器可以例如包括cpu、dsp、微控制器或数字信号处理器，还可包括gpu、嵌入式神经网络处理器（neural-network process units）；，该处理器还可包括必要的硬件加速器或逻辑处理硬件电路，如asic，或一个或多个用于控制本技术技术方案程序执行的集成电路等。此外，处理器可以具有操作一个或多个软件程序的功能，软件程序可以存储在存储介质中。
51.本技术实施例还提供一种计算机可读存储介质，该计算机可读存储介质中存储有计算机程序，当其在计算机上运行时，使得计算机执行本技术图1所示实施例提供的方法。
52.本技术实施例还提供一种计算机程序产品，该计算机程序产品包括计算机程序，当其在计算机上运行时，使得计算机执行本技术图1所示实施例提供的方法。
53.本领域普通技术人员可以意识到，本文中公开的实施例中描述的各单元及算法步骤，能够以电子硬件、计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本技术的范围。
54.所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
55.在本技术所提供的几个实施例中，任一功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本技术各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器（read-only memory；以下简称：rom）、随机存取存储器（random access memory；以下简称：ram）、磁碟或者光盘等各种可以存储程序代码的介质。
56.以上所述，仅为本技术的具体实施方式，任何熟悉本技术领域的技术人员在本技术揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本技术的保护范围之内。本技术的保护范围应以所述权利要求的保护范围为准。
57.本领域的技术人员应理解，上述描述及附图中所示的本发明的实施例只作为举例而并不限制本发明。本发明的优势已经完整并有效地实现。本发明的功能及结构原理已在实施例中展示和说明，在没有背离所述原理下，本发明的实施方式可以有任何变形或修改。

技术特征：

1.数据处理方法，其特征在于，所述数据处理方法包括：s110，采集数据清单中的数据；s120，根据预设的任务清单数据和组织结构数据所对应的一致性校验模板，分类处理所述任务清单数据、组织结构数据，以形成数据列表；s130，输出分类处理后的所述数据列表。2.根据权利要求1所述数据处理方法，其特征在于，所述步骤s120包括：s1201，判断采集的数据清单中的数据与预设的任务清单数据和组织结构数据所对应的一致性校验模板之间的一致性，如果一致，则将上层参考数据的关系属性中与一致性校验模板配置的参考关系一致的关系属性的值，作为下层参考数据集，且读取上层参考数据的关系属性中与一致性校验模板配置的分配关系一致的关系属性的值，作为上层校验数据备选集；如果不一致，则重复该步骤；s1202，将上层校验数据备选集中数据类型与一致性校验模板中配置的校验数据不一致的剔除，得到上层校验数据集；s1203，读取上层校验数据的关系属性中与一致性校验模板配置的校验关系一致的关系属性的值，作为下层校验数据集。3.根据权利要求1所述数据处理方法，其特征在于，所述示例性数据处理方法包括以下步骤：s140，逐个遍历上层校验数据集中的实例数据，作为上层校验数据；s150，逐个遍历下层参考数据集中的实例数据，读取实例数据的关系属性中与一致性校验模板配置的分配关系一致的关系属性的值，得到属性值并集；s160，判断下层校验数据集是否为属性值并集的子集，如果是，再判断上层校验数据集中的数据是否全部遍历；如果否，将上层参考数据作为异常数据，将分配关系作为异常关系，将上层校验数据作为关联数据；其中当上层校验数据集中的数据是全部遍历，再判断所述数据清单中主键数据是否全部遍历，如果是，在所述数据列表中暂时所述数据，如果否，则标记该数据为异常数据。4.根据权利要求1所述数据处理方法，其特征在于，根据预设的任务清单数据和组织结构数据所对应的一致性校验模板被设置包括：参考数据类型、参考关系类型、分配关系类型、校验数据类型、校验关系类型。5.数据处理系统，其特征在于，所述数据处理系统包括：数据采集模块，所述数据采集模块被设置采集数据清单中的数据；数据处理模块，所述数据处理模块被设置根据预设的任务清单数据和组织结构数据所对应的一致性校验模板，分类处理所述任务清单数据、组织结构数据，以形成数据列表；数据输出模块，所述数据输出模块被设置输出分类处理后的所述数据列表。6.根据权利要求4所述数据处理系统，其特征在于，所述数据处理模块被设置：判断采集的数据清单中的数据与预设的任务清单数据和组织结构数据所对应的一致性校验模板之间的一致性，如果一致，则将上层参考数据的关系属性中与一致性校验模板配置的参考关系一致的关系属性的值，作为下层参考数据集，且读取上层参考数据的关系属性中与一致性校验模板配置的分配关系一致的关系属性的值，作为上层校验数据备选集；如果不一致，则重复该步骤；并将上层校验数据备选集中数据类型与一致性校验模板中配置的校验
数据不一致的剔除，得到上层校验数据集；而且读取上层校验数据的关系属性中与一致性校验模板配置的校验关系一致的关系属性的值，作为下层校验数据集。7.根据权利要求4所述数据处理系统，其特征在于，所述数据处理系统包括校验模块，其中所述校验模块被设置可通信地连接于所述数据处理模块和所述数据输出模块，所述校验模块被设置逐个遍历上层校验数据集中的实例数据，作为上层校验数据；并逐个遍历下层参考数据集中的实例数据，读取实例数据的关系属性中与一致性校验模板配置的分配关系一致的关系属性的值，得到属性值并集；而且还判断下层校验数据集是否为属性值并集的子集，如果是，再判断上层校验数据集中的数据是否全部遍历；如果否，将上层参考数据作为异常数据，将分配关系作为异常关系，将上层校验数据作为关联数据；其中当上层校验数据集中的数据是全部遍历，再判断所述数据清单中主键数据是否全部遍历，如果是，在所述数据列表中暂时所述数据，如果否，则标记该数据为异常数据。8.计算机装置，其特征在于，一个或多个处理器；存储器；以及一个或多个计算机程序，一个或多个计算机程序被存储在上述存储器中，上述一个或多个计算机程序包括指令，当上述指令被上述设备执行时，使得上述设备执行以下步骤：采集数据清单中的数据；根据预设的任务清单数据和组织结构数据所对应的一致性校验模板，分类处理所述任务清单数据、组织结构数据，以形成数据列表；输出分类处理后的所述数据列表。

技术总结

本申请公开数据处理方法、系统及其计算装置，所述数据处理方法包括：采集数据清单中的数据；根据预设的任务清单数据和组织结构数据所对应的一致性校验模板，分类处理所述任务清单数据、组织结构数据，以形成数据列表；输出分类处理后的所述数据列表。类处理后的所述数据列表。类处理后的所述数据列表。

技术研发人员：

林波 尹峻松 王双双 曹江 陈光 张伟华 罗常伟

受保护的技术使用者：

中国人民解放军军事科学院战争研究院

技术研发日：

2022.10.10

技术公布日：

2022/12/30