数据去重查询方法、装置、设备及存储介质与流程

1.本技术涉及数据处理技术领域，尤其涉及一种数据去重查询方法、装置、设备及存储介质。

背景技术：

2.对于多版本数据查询，当用户希望仅展示最新版本数据时，需要对查询到的多个数据版本进行去重。目前，多版本数据查询方式主要在数据库中对按版本号排列后的多版本数据，以维度组合值进行分组去重。但是当维度字段较多时，数据库将因维度组合值分组去重耗时过长而使得数据展示超时。可见当前数据去重查询方式的去重查询效率非常低。

技术实现要素：

3.本技术提供了一种数据去重查询方法、装置、设备及存储介质，以解决当前数据去重查询方法存在效率低的技术问题。
4.为了解决上述技术问题，第一方面，本技术提供了一种数据去重查询方法，包括：
5.获取基于维度过滤条件查询到的多版本数据集，多版本数据集包括具有排列顺序的多个版本数据；
6.基于所述排列顺序，向第一预设数据结构添加与版本数据对应的短编码组合值，短编码组合值基于版本数据的多个数据维度编码得到，第一预设数据结构中存放的短编码组合值不重复；
7.展示目标版本数据，目标版本数据为成功添加至第一预设数据结构的短编码组合值对应的版本数据。
8.本技术通过获取基于维度过滤条件查询到的多版本数据集，以得到待去重的多个版本数据；再按照版本数据的排列顺序，向第一预设数据结构添加与版本数据对应的短编码组合值，短编码组合值基于版本数据的多个数据维度编码得到，以利用第一预设数据结构中存放的短编码组合值不重复的特点，对具有相同数据维度的多个版本数据进行去重，从而直接筛选出相同数据维度下的一个版本数据，实现多版本数据集的高效去重查询，提高去重查询效率；最后展示目标版本数据，以将成功添加至第一预设数据结构的短编码组合值对应的目标版本数据进行展示，提高展示效率。同时，本技术去重逻辑不依赖数据库，可以从数据库取数(获取多版本数据集)，而无需在数据库预设字典表，减少预置操作，再在计算机中对多版本数据集进行去重，减少因数据库层去重查询耗时而导致的效率低问题，以及本技术以短编码组合值结合第一预设数据结构的方式，极大程度上减少了计算机内存空间的占用。
9.在第一方面的一些实现方式中，基于排列顺序，向第一预设数据结构添加与版本数据对应的短编码组合值，包括：
10.对于每个版本数据的短编码组合值，按照排列顺序，依次在第一预设数据结构中对短编码组合值进行匹配，以确定短编码组合值在第一预设数据结构中的不重复性，其中
下一次用于添加短编码组合值的第一预设数据结构为上一次得到的最新的第一预设数据结构；
11.若短编码组合值在第一预设数据结构中不重复，则在第一预设数据结构中存放短编码组合值，并判定短编码组合值成功添加至第一预设数据结构。
12.本实现方式利用第一预设数据结构所添加的数据不重复的特点，在第一预设数据结构仅存放不重复的短编码组合值，从而以一个第一预设数据结构，实现所有版本数据的去重，降低去重逻辑的复杂度，提高去重效率。
13.在第一方面的一些实现方式中，对于每个短编码组合值，按照排列顺序，依次在第一预设数据结构中对短编码组合值进行匹配，以确定短编码组合值在第一预设数据结构中的不重复性，包括：
14.对于每个版本数据的短编码组合值，依次将短编码组合值添加至第一预设数据结构中，以确定短编码组合值与第一预设数据结构中已存放的目标短编码组合值是否相同；
15.若短编码组合值与目标短编码组合值不相同，则判定短编码组合值在第一预设数据结构中不重复。
16.本实现方式利用第一预设数据结构所添加的数据不重复的特点，以第一预设数据结构自动实现短编码组合值是否相同的判断，而无需额外的判断逻辑，进一步提高去重效率。
17.在第一方面的一些实现方式中，对于每个版本数据的短编码组合值，按照排列顺序，依次在第一预设数据结构中对短编码组合值进行匹配，以确定短编码组合值在第一预设数据结构中的不重复性之前，还包括：
18.遍历版本数据集中的每个版本数据，获取版本数据的多个数据维度对应的成员组合值，其中成员组合值为多个成员值组合得到，一个版本数据的每个数据维度均对应有一个成员值；
19.基于预设编码策略，将成员组合值编码为短编码组合值，预设编码策略包括多个成员值与多个短编码之间的映射关系。
20.本实现方式以成员值与短编码之间的映射关系，实现版本数据的编码，而可以无需额外对每个版本数据预先设置短编码组合值，能够有效针对各种各样的实时数据，避免因版本数据未预先编码而无法去重，提高去重查询的稳定性。
21.在第一方面的一些实现方式中，方法还包括：
22.若版本数据的数据维度和成员组合值中的至少一种发生变更，对预设编码策略进行更新。
23.本实现方式对预设编码策略进行更新，以能够满足不同去重查询场景的需求。
24.在第一方面的一些实现方式中，展示目标版本数据，包括：
25.将目标版本数据集中所有版本数据的数据标识信息添加至第二预设数据结构，目标版本数据集为成功添加至第一预设数据结构的所有短编码组合值对应的版本数据集合；
26.基于第二预设数据结构，展示目标版本数据。
27.本实现方式通过生成第二预设数据结构，以将当前技术从数据库进行条件查询转换为第二预设数据结构基于数据标识信息的主键查询，从而有效提高查询效率。
28.在第一方面的一些实现方式中，基于第二预设数据结构，展示目标版本数据，包
括：
29.基于所述第二预设数据结构中的目标数据标识信息，生成数据查询指令；
30.根据所述数据查询指令，查询与所述目标数据标识信息对应的目标版本数据，并展示所述目标版本数据。本实现方式以目标数据标识信息在第二预设数据结构中进行主键查询，以满足用户需要更有针对性地查询目标版本数据的需求。
31.在第一方面的一些实现方式中，获取基于维度过滤条件查询到的多版本数据集，包括：
32.获取基于维度过滤条件查询到的多个版本数据；
33.以版本号顺序，对多个版本数据进行排序，生成多版本数据集。
34.本实现方式以版本号对版本数据进行排序，以能够向第一预设数据结构添加短编码组合值时，保证目标版本号(例如最新版本号)对应的版本数据最先添加至第一预设数据结构，从而筛选出目标版本号的版本数据。
35.第二方面，本技术还提供一种数据去重查询装置，包括：
36.获取模块，用于获取基于维度过滤条件查询到的多版本数据集，多版本数据集包括具有排列顺序的多个版本数据；
37.添加模块，用于基于排列顺序，向第一预设数据结构添加与版本数据对应的短编码组合值，短编码组合值基于版本数据的多个数据维度编码得到，第一预设数据结构中存放的短编码组合值不重复；
38.展示模块，用于展示目标版本数据，目标版本数据为成功添加至第一预设数据结构的短编码组合值对应的版本数据。
39.第三方面，本技术还提供一种计算机设备，包括处理器和存储器，存储器用于存储计算机程序，计算机程序被处理器执行时实现如第一方面的数据去重查询方法。
40.第四方面，本技术还提供一种计算机可读存储介质，其存储有计算机程序，计算机程序被处理器执行时实现如第一方面的数据去重查询方法。
41.第五方面，本技术还提供一种计算机程序产品，当计算机程序产品在计算机设备上运行时，使得计算机设备执行时实现上述第一方面的数据去重查询方法。
42.需要说明的是，上述第二方面至第五方面的有益效果请参见上述第一方面的相关描述，在此不再赘述。
附图说明
43.图1为本技术实施例示出的数据去重查询方法的流程示意图；
44.图2为本技术实施例示出的一种去重场景示意图；
45.图3为本技术实施例示出的一种去重场景的数据去重查询流程示意图；
46.图4为本技术实施例示出的数据去重查询装置的结构示意图；
47.图5为本技术实施例示出的计算机设备的结构示意图。
具体实施方式
48.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。基于
本技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
49.如相关技术记载，在数据库中进行去查查询，需要在数据库预先存储配置信息和去重逻辑，并通过sql语句以维度组合值进行分组去重，例如维度字段包括dim1，dim2，dim3，dim4，
…
，dimn，则维度组合值为group by(dim1，dim2，dim3，
…
，dimn)。当维度字段较多时，会使得数据库io(读写)耗时过长，从而导致数据展示超时。
50.为此，本技术实施例提供一种数据去重查询方法，通过获取基于维度过滤条件查询到的多版本数据集，以得到待去重的多个版本数据；再向第一预设数据结构添加与版本数据对应的短编码组合值，短编码组合值基于版本数据的多个数据维度编码得到，以利用第一预设数据结构中存放的短编码组合值不重复的特点，对具有相同数据维度的多个版本数据进行去重，从而直接筛选出相同数据维度下的一个版本数据，实现多版本数据集的高效去重查询，提高去重查询效率；最后展示目标版本数据，以将成功添加至第一预设数据结构的短编码组合值对应的目标版本数据进行展示，提高展示效率。同时，本技术去重逻辑不依赖数据库，可以从数据库取数(获取多版本数据集)，而无需在数据库预设字典表，减少预置操作，再在计算机中对多版本数据集进行去重，减少因数据库层去重查询耗时而导致的效率低问题，以及本技术以短编码组合值结合第一预设数据结构的方式，极大程度上减少了计算机内存空间的占用。
51.请参照图1，图1为本技术实施例提供的一种数据去重查询方法的流程示意图。本技术实施例的数据去重查询方法可应用于计算机设备，该计算机设备包括但不限于智能手机、笔记本电脑、平板电脑、桌上型计算机、物理服务器和云服务器等设备。如图1所示，本实施例的数据去重查询方法包括步骤s101至步骤s103，详述如下：
52.步骤s101，获取基于维度过滤条件查询到的多版本数据集，所述多版本数据集包括具有排列顺序的多个版本数据。
53.在本步骤中，维度过滤条件为从数据库取数的取数条件，其包括版本数据的一个或多个维度字段。多版本数据集为从数据库获取到多个版本数据的集合。
54.需要说明的是，对于具有相同维度(或者成员值)的多个版本数据，每个版本数据之间的度量值不同，其中维度表示对象的描述属性或特征，度量值为衡量属性的指标值，成员值为维度下的具体维度值。例如，维度为科目，成员值为该科目下的本月采购量、本月销售量和应付账款，度量值为本月采购量对应的具体采购量数值(如100个)、本月销售量对应的具体销售量数值(如99个)、应付账款对应的具体账款数额(如100元)。
55.可选地，以维度过滤条件向数据库取数，得到多个版本数据，对多个版本数据按照预设排序策略进行排列，以生成具有排列顺序的多版本数据集。其中预设排序策略包括但不限于以版本号排序、以版本更新时间排序或以版本数据的数据量排序等。
56.可选地，所述步骤s101，包括：获取基于所述维度过滤条件查询到的多个所述版本数据；以版本号顺序，对多个所述版本数据进行排序，生成所述多版本数据集。
57.其中，版本号顺序可以是从大到小、从小到大或者其他自定义顺序。本实施例以版本号顺序对多个版本数据进行排序，以能够在后续向第一预设数据结构添加短编码组合值时，将用户所期望得到的版本号优先添加，从而满足用户需求。例如，用户期望得到最新版本的版本数据，则以版本号从大到小对多个版本数据进行排序。又例如，用户期望得到次新
版本的版本数据，则以自定义顺序对多个版本数据进行排序。
58.可以理解的是，版本号顺序可以实时选择，以将实时选择的版本号顺序作为取数后的版本号属性；也可以不选择，而是以默认版本号顺序作为版本号顺序。
59.步骤s102，基于所述排列顺序，向第一预设数据结构添加与所述版本数据对应的短编码组合值，所述短编码组合值基于所述版本数据的多个数据维度编码得到，所述第一预设数据结构中存放的短编码组合值不重复。
60.在本步骤中，第一预设数据结构为存放的数据具有不重复性的数据结构，其包括但不限于数组(array)、栈(stack)、队列(queue)和链表(linked list)，其中链表可以为具有主键唯一性的主键表和哈希值唯一性的哈希表等。短编码组合值为版本数据的多个数据维度对应的短编码组合得到。
61.可选地，基于多版本数据集，按照版本数据在时间上的排列顺序，以最新版本数据作为第一个版本数据，向第一预设数据结构依次添加版本数据对应的短编码组合值，并在第一预设数据结构中存放数据之间不重复的短编码组合值。示例性地，由于第一预设数据结构在初始状态为空值，所以第一个添加至第一预设数据结构的短编码组合值(为便于描述，记为a)，能够直接添加成功，从第二个短编码组合值(为便于描述，记为b)开始，与第一预设数据结构中的短编码组合值进行对比，例如若a与b重复，则第一预设数据结构不添加b，并下一个短编码组合值的对比，直至多版本数据集遍历完成，则最终的第一预设数据结构所存放的短编码组合值即为去重后的短编码组合值。
62.步骤s103，展示目标版本数据，所述目标版本数据为成功添加至所述第一预设数据结构的短编码组合值对应的版本数据。
63.在本步骤中，在每次向第一预设数据结构添加短编码组合值时，若该短编码组合值成功添加第一预设数据结构，记录该短编码组合值对应的版本数据作为目标版本数据。在多版本数据集遍历完成后，对记录的一个或多个目标版本数据进行展示。
64.在一些实施例中，在图1所示实施例的基础上，所述步骤s102，包括：
65.对于每个所述版本数据的短编码组合值，按照所述排列顺序，依次在所述第一预设数据结构中对所述短编码组合值进行匹配，以确定所述短编码组合值在所述第一预设数据结构中的不重复性，其中下一次用于添加短编码组合值的第一预设数据结构为上一次得到的最新的第一预设数据结构；
66.若所述短编码组合值在所述第一预设数据结构中不重复，则在所述第一预设数据结构中存放所述短编码组合值，并判定所述短编码组合值成功添加至所述第一预设数据结构。
67.在本实施例中，每次对短编码组合值a进行匹配后，若在第一预设数据结构保留该短编码组合值a，则将保留有短编码组合值a的第一预设数据结构作为下一次匹配的第一预设数据结构。
68.可选地，不重复性的确定过程，包括：对于每个所述版本数据的短编码组合值，依次将所述短编码组合值添加至所述第一预设数据结构中，以确定所述短编码组合值与所述第一预设数据结构中已存放的目标短编码组合值是否相同；若所述短编码组合值与所述目标短编码组合值不相同，则判定所述短编码组合值在所述第一预设数据结构中不重复。
69.示例性地，第一预设数据结构为hashset＜string＞，利用hashset无法添加重复
数据的特点，通过hashset.add(短编码组合值)返回true，则表示该短编码组合值不重复，即判定添加成功；返回false则表示跳过当前短编码组合值，继续处理下一个短编码组合值。
70.在一些实施例中，所述对短编码组合值进行匹配之前，还包括：
71.遍历所述版本数据集中的每个所述版本数据，获取所述版本数据的多个数据维度对应的成员组合值，其中所述成员组合值为多个成员值组合得到，一个所述版本数据的每个所述数据维度均对应有一个成员值；
72.基于预设编码策略，将所述成员组合值编码为所述短编码组合值，所述预设编码策略包括多个成员值与多个短编码之间的映射关系。
73.在本实施例中，数据维度有很多个分类，每个分类均有一个或多个成员值，例如维度分类为组织、期间、科目和人员，组织维度的成员值包括公司a、公司b和公司c，期间维度的成员值包括m01、m02和m03，科目维度的成员值包括本月采购量、本月销售量和应付账款，人员维度的成员值包括小明、小红和小张。
74.数据表的维度字段实际存储的是某个维度分类的某个成员值，所以先获取每个维度字段对应的成员组合值，再将成员组合值编码为短编码组合值。
75.可选地，通过dimensionandmembers.get(维度分类)获取到版本数据在某一维度分类下的所有成员值映射关系membersandshortnumber(map)，再利用membersandshortnumber.get(成员值)获取成员值对应的短编码，在将短编码进行拼接，得到短编码组合值。
76.可选地，预设编码策略可以为基于映射数据结构的编码策略。例如，以哈希表为例，映射数据结构为hashmap＜string，map＜string，string＞＞，即hashmap＜维度分类，map＜成员值，成员值的短编码＞＞。例如，维度分类包括a、b、c和d；a的成员值包括10000和10001，对应的成员值的短编码为a1和a2；b的成员值包括123123123和123412341，对应的成员值的短编码为b1和b2；c的成员值包括456456456和456789456，对应的成员值的短编码为c1和c2；d的成员值包括678678678和678967896，对应的成员值的短编码为d1和d2。对于，某一个成员值包括10000、123123123、456456456、678678678的版本数据，则基于上述映射数据结构，可以得到成员值的短编码分别为a1、b1、c1和d1，则该版本数据的短编码组合值为a1b1c1d1。
77.可选地，基于预设编码策略，将所述成员组合值编码为所述短编码组合值之前，还包括：若所述版本数据的数据维度和成员组合值中的至少一种发生变更，对所述预设编码策略进行更新。
78.在本可选实施例中，确定维度和成员值是否更新，若有更新，则构造成员值与短编码之间的映射关系，以更新所述预设编码策略。
79.在一些实施例中，在图1所示实施例的基础上，所述步骤s103，包括：
80.将目标版本数据集中所有版本数据的数据标识信息添加至第二预设数据结构，所述目标版本数据集为成功添加至所述第一预设数据结构的所有短编码组合值对应的版本数据集合；
81.基于所述第二预设数据结构，展示所述目标版本数据。
82.在本实施例中，第二预设数据结构为数据标识信息的数据结构，其包括但不限于
数组(array)、栈(stack)、队列(queue)和链表(linked list)。需要说明的是，相比于第一预设数据结构，第二预设数据结构可以为存放的数据具有不重复性的数据结构，也可以为存放的数据可以重复的数据结构。
83.示例性地，第二预设数据结构为hashset＜long＞，数据标识信息为数据id，当版本数据对应的短编码组合值成功添加至第一预设数据结构，如成功添加至上述hashset＜string＞，则将该版本数据对应的数据id添加至hashset＜long＞，则多版本数据集遍历完成后，最终得到的hashset＜long＞即为去重后的版本数据对应的数据id集合。
84.可选地，所述基于所述第二预设数据结构，展示所述目标版本数据，包括：
85.基于所述第二预设数据结构中的目标数据标识信息，生成数据查询指令；
86.根据所述数据查询指令，查询与所述目标数据标识信息对应的目标版本数据，并展示所述目标版本数据。
87.在本可选实施例中，去重后的第二预设数据结构中可能包括多个数据id，所以为了满足用户进一步查询到某一具体数据id的需求，基于第二预设数据结构进行主键查询。可选地，数据查询指令为where id in(xxx)。
88.可选地，数据查询指令可以由计算机设备根据第二预设数据结构中的目标数据标识信息自主生成得到，也可以根据用户发起的查询请求中携带的目标数据标识信息生成得到，其中将查询请求中的目标数据标识信息与第二预设数据结构中的数据标识进行匹配，若不一致，则说明去重后的第二预设数据结构中不存在目标版本数据，并返回查询失败的信息；若一致，则根据目标数据标识信息生成数据查询指令，并根据数据查询指令，到数据库中取数，以得到目标数据标识信息对应的目标版本数据，以及对目标版本数据进行展示。
89.作为示例而非限定，图2示出了本技术实施例的一种去重场景示意图，图3示出了该去重场景的数据去重查询流程示意图。如图2所示，以时间顺序在数据库中执行取数操作，得到以时间先后为排列顺序的多个版本数据，如v1版本数据、v2版本数据和v3版本数据，对多个版本数据进行汇总后进行去重查询，最终得到以“组织、期间、科目、人员”等维度以及如“期初、期末、本年累计”等度量进行分类的目标版本数据。
90.如图3所示，多版本数据汇总并去重查询的过程包括：确定数据维度和成员值是否更新，若数据维度或成员值有更新，则对更新后的数据维度或成员值进行分类，并设置数据维度的前缀短编码(即维度分类)，将前缀短编码结合数据维度的成员值，编排短编码，再建立成员值与短编码之间的映射关系，映射关系以映射数据结构hashmap＜string，map＜string，string＞＞进行表示，将具有该映射关系的预设编码策略存入预设缓存空间，以便于去重查询时调用。
91.若无更新，则从缓存空间获取包括映射关系的预设编码策略，以排列顺序遍历版本数据集中的每行版本数据，根据上述预设编码策略，生成版本数据对应的短编码组合值，采用第一预设数据结构hashset＜long＞对短编码组合值进行去重，并利用第二预设数据结构hashset＜long＞存储短编码组合值对应的版本数据id，当版本数据集中的所有版本数据遍历完成后，得到包含去重后的所有版本数据id的第二预设数据结构，并根据该第二预设数据结构，查询并展示目标版本数据。
92.为了执行上述方法实施例对应的数据去重查询方法，以实现相应的功能和技术效果。参见图4，图4示出了本技术实施例提供的一种数据去重查询装置的结构框图。为了便于
说明，仅示出了与本实施例相关的部分，本技术实施例提供的数据去重查询装置，包括：
93.获取模块401，用于获取基于维度过滤条件查询到的多版本数据集，所述多版本数据集包括具有排列顺序的多个版本数据；
94.添加模块402，用于基于所述排列顺序，向第一预设数据结构添加与所述版本数据对应的短编码组合值，所述短编码组合值基于所述版本数据的多个数据维度编码得到，所述第一预设数据结构中存放的短编码组合值不重复；
95.展示模块403，用于展示目标版本数据，所述目标版本数据为成功添加至所述第一预设数据结构的短编码组合值对应的版本数据。
96.在一些实施例中，所述添加模块402，包括：
97.第一添加单元，用于对于每个所述版本数据的短编码组合值，按照所述排列顺序，依次在所述第一预设数据结构中对所述短编码组合值进行匹配，以确定所述短编码组合值在所述第一预设数据结构中的不重复性，其中下一次用于添加短编码组合值的第一预设数据结构为上一次得到的最新的第一预设数据结构；
98.判定单元，用于若所述短编码组合值在所述第一预设数据结构中不重复，则在所述第一预设数据结构中存放所述短编码组合值，并判定所述短编码组合值成功添加至所述第一预设数据结构。
99.在一些实施例中，所述第一添加单元，包括：
100.确定子单元，用于对于每个所述版本数据的短编码组合值，依次将所述短编码组合值添加至所述第一预设数据结构中，以确定所述短编码组合值与所述第一预设数据结构中已存放的目标短编码组合值是否相同；
101.判定子单元，用于若所述短编码组合值与所述目标短编码组合值不相同，则判定所述短编码组合值在所述第一预设数据结构中不重复。
102.在一些实施例中，所述添加模块402，还包括：
103.遍历单元，用于遍历所述版本数据集中的每个所述版本数据，获取所述版本数据的多个数据维度对应的成员组合值，其中所述成员组合值为多个成员值组合得到，一个所述版本数据的每个所述数据维度均对应有一个成员值；
104.编码单元，用于基于预设编码策略，将所述成员组合值编码为所述短编码组合值，所述预设编码策略包括多个成员值与多个短编码之间的映射关系。
105.在一些实施例中，所述添加模块402，还包括：
106.更新模块，用于若所述版本数据的数据维度和成员组合值中的至少一种发生变更，对所述预设编码策略进行更新。
107.在一些实施例中，所述展示模块403，包括：
108.第二添加单元，用于将目标版本数据集中所有版本数据的数据标识信息添加至第二预设数据结构，所述目标版本数据集为成功添加至所述第一预设数据结构的所有短编码组合值对应的版本数据集合；
109.展示单元，用于基于所述第二预设数据结构，展示所述目标版本数据。
110.在一些实施例中，所述展示单元，包括：
111.生成子单元，用于基于所述第二预设数据结构中的目标数据标识信息，生成数据查询指令；
112.展示子单元，用于根据所述数据查询指令，查询与所述目标数据标识信息对应的目标版本数据，并展示所述目标版本数据。
113.在一些实施例中，所述获取模块401，包括：
114.获取单元，用于获取基于所述维度过滤条件查询到的多个所述版本数据；
115.生成单元，用于以版本号顺序，对多个所述版本数据进行排序，生成所述多版本数据集。
116.上述的数据去重查询装置可实施上述方法实施例的数据去重查询方法。上述方法实施例中的可选项也适用于本实施例，这里不再详述。本技术实施例的其余内容可参照上述方法实施例的内容，在本实施例中，不再进行赘述。
117.图5为本技术一实施例提供的计算机设备的结构示意图。如图5所示，该实施例的计算机设备5包括：至少一个处理器50(图5中仅示出一个)处理器、存储器51以及存储在所述存储器51中并可在所述至少一个处理器50上运行的计算机程序52，所述处理器50执行所述计算机程序52时实现上述任意方法实施例中的步骤。
118.所述计算机设备5可以是智能手机、平板电脑、桌上型计算机和云端服务器等计算设备。该计算机设备可包括但不仅限于处理器50、存储器51。本领域技术人员可以理解，图5仅仅是计算机设备5的举例，并不构成对计算机设备5的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如还可以包括输入输出设备、网络接入设备等。
119.所称处理器50可以是中央处理单元(central processing unit，cpu)，该处理器50还可以是其他通用处理器、数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现成可编程门阵列(field－programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
120.所述存储器51在一些实施例中可以是所述计算机设备5的内部存储单元，例如计算机设备5的硬盘或内存。所述存储器51在另一些实施例中也可以是所述计算机设备5的外部存储设备，例如所述计算机设备5上配备的插接式硬盘，智能存储卡(smart media card，smc)，安全数字(secure digital，sd)卡，闪存卡(flash card)等。进一步地，所述存储器51还可以既包括所述计算机设备5的内部存储单元也包括外部存储设备。所述存储器51用于存储操作系统、应用程序、引导装载程序(bootloader)、数据以及其他程序等，例如所述计算机程序的程序代码等。所述存储器51还可以用于暂时地存储已经输出或者将要输出的数据。
121.另外，本技术实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述任意方法实施例中的步骤。
122.本技术实施例提供了一种计算机程序产品，当计算机程序产品在计算机设备上运行时，使得计算机设备执行时实现上述各个方法实施例中的步骤。
123.在本技术所提供的几个实施例中，可以理解的是，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意的是，在有些作为替换的实现方式
中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。
124.所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备执行本技术各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read－only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
125.以上所述的具体实施例，对本技术的目的、技术方案和有益效果进行了进一步的详细说明，应当理解，以上所述仅为本技术的具体实施例而已，并不用于限定本技术的保护范围。特别指出，对于本领域技术人员来说，凡在本技术的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本技术的保护范围之内。

技术特征：

1.一种数据去重查询方法，其特征在于，包括：获取基于维度过滤条件查询到的多版本数据集，所述多版本数据集包括具有排列顺序的多个版本数据；基于所述排列顺序，向第一预设数据结构添加与所述版本数据对应的短编码组合值，所述短编码组合值基于所述版本数据的多个数据维度编码得到，所述第一预设数据结构中存放的短编码组合值不重复；展示目标版本数据，所述目标版本数据为成功添加至所述第一预设数据结构的短编码组合值对应的版本数据。2.如权利要求1所述的数据去重查询方法，其特征在于，所述基于所述排列顺序，向第一预设数据结构添加与所述版本数据对应的短编码组合值，包括：对于每个所述版本数据的短编码组合值，按照所述排列顺序，依次在所述第一预设数据结构中对所述短编码组合值进行匹配，以确定所述短编码组合值在所述第一预设数据结构中的不重复性，其中下一次用于添加短编码组合值的第一预设数据结构为上一次得到的最新的第一预设数据结构；若所述短编码组合值在所述第一预设数据结构中不重复，则在所述第一预设数据结构中存放所述短编码组合值，并判定所述短编码组合值成功添加至所述第一预设数据结构。3.如权利要求2所述的数据去重查询方法，其特征在于，所述对于每个所述短编码组合值，按照所述排列顺序，依次在所述第一预设数据结构中对所述短编码组合值进行匹配，以确定所述短编码组合值在所述第一预设数据结构中的不重复性，包括：对于每个所述版本数据的短编码组合值，依次将所述短编码组合值添加至所述第一预设数据结构中，以确定所述短编码组合值与所述第一预设数据结构中已存放的目标短编码组合值是否相同；若所述短编码组合值与所述目标短编码组合值不相同，则判定所述短编码组合值在所述第一预设数据结构中不重复。4.如权利要求2所述的数据去重查询方法，其特征在于，所述对于每个所述版本数据的短编码组合值，按照所述排列顺序，依次在所述第一预设数据结构中对所述短编码组合值进行匹配，以确定所述短编码组合值在所述第一预设数据结构中的不重复性之前，还包括：遍历所述版本数据集中的每个所述版本数据，获取所述版本数据的多个数据维度对应的成员组合值，其中所述成员组合值为多个成员值组合得到，一个所述版本数据的每个所述数据维度均对应有一个成员值；基于预设编码策略，将所述成员组合值编码为所述短编码组合值，所述预设编码策略包括多个成员值与多个短编码之间的映射关系。5.如权利要求4所述的数据去重查询方法，其特征在于，所述方法还包括：若所述版本数据的数据维度和成员组合值中的至少一种发生变更，对所述预设编码策略进行更新。6.如权利要求1所述的数据去重查询方法，其特征在于，所述展示目标版本数据，包括：将目标版本数据集中所有版本数据的数据标识信息添加至第二预设数据结构，所述目标版本数据集为成功添加至所述第一预设数据结构的所有短编码组合值对应的版本数据集合；
基于所述第二预设数据结构，展示所述目标版本数据。7.如权利要求6所述的数据去重查询方法，其特征在于，所述基于所述第二预设数据结构，展示所述目标版本数据，包括：基于所述第二预设数据结构中的目标数据标识信息，生成数据查询指令；根据所述数据查询指令，查询与所述目标数据标识信息对应的目标版本数据，并展示所述目标版本数据。8.如权利要求1所述的数据去重查询方法，其特征在于，所述获取基于维度过滤条件查询到的多版本数据集，包括：获取基于所述维度过滤条件查询到的多个所述版本数据；以版本号顺序，对多个所述版本数据进行排序，生成所述多版本数据集。9.一种数据去重查询装置，其特征在于，包括：获取模块，用于获取基于维度过滤条件查询到的多版本数据集，所述多版本数据集包括具有排列顺序的多个版本数据；添加模块，用于基于所述排列顺序，向第一预设数据结构添加与所述版本数据对应的短编码组合值，所述短编码组合值基于所述版本数据的多个数据维度编码得到，所述第一预设数据结构中存放的短编码组合值不重复；展示模块，用于展示目标版本数据，所述目标版本数据为成功添加至所述第一预设数据结构的短编码组合值对应的版本数据。10.一种计算机设备，其特征在于，包括处理器和存储器，所述存储器用于存储计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至8任一项所述的的数据去重查询方法。11.一种计算机可读存储介质，其特征在于，其存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至8任一项所述的的数据去重查询方法。

技术总结

本申请公开了一种数据去重查询方法、装置、设备及存储介质，通过获取基于维度过滤条件查询到的多版本数据集，向第一预设数据结构添加与版本数据对应的短编码组合值，短编码组合值基于版本数据的多个数据维度编码得到，将成功添加至第一预设数据结构的短编码组合值对应的目标版本数据进行展示。本申请在计算机中，利用第一预设数据结构中存放的短编码组合值不重复的特点，对具有相同数据维度的多个版本数据进行去重，从而直接筛选出相同数据维度下的一个版本数据，实现多版本数据集的高效去重查询，提高去重查询效率。提高去重查询效率。提高去重查询效率。