一种通用动态数据检索配置方法及系统与流程

1.本发明属于数据处理技术领域，具体涉及一种通用动态数据检索配置方法及系统。

背景技术：

2.在web系统中，为了更高效地利用已有的数据资源，通常会内建数据检索模块。从数据来源来看，可以将数据检索分为两类：站内数据检索和站外数据检索。从检索模块的构建上看主要有两种方式：1)根据自身系统的数据特点从0到1构建一个完全符合主体应用的数据检索模块；2)采用通用的数据检索模块，将所有数据信息汇总后以较粗的粒度归总开放给用户。
3.但通过以上两种常规的方式构建数据检索模块，普遍存在以下问题：1)不够灵活，尤其是从接入数据的种类、数量都缺乏可拓展性，每次接入新数据时均需编码接入；2)无法对检索结果进行干预和编排，对于一些敏感数据，同样需要通过编码的方式进行脱敏和过滤；3)搜索结果样式单一，与主体应用的风格无法统一，产品体验差；4)各应用间的数据检索实现缺乏统一标准，实现一个检索模块需付出较高的人工成本。

技术实现要素：

4.本发明旨在提供一种简化数据接入复杂度，提高检索结果干预度，提升检索模块与主应用统一性，减少开发人员的工作量的检索配置方法及系统，并采用下述技术方案实现。
5.一种通用动态数据检索配置方法，其特征在于，包括如下步骤：
6.a)根据待处理数据，配置应用信息、数据抽取元信息、用户权限信息、展示方案信息到数据库；
7.b)将步骤a)配置的信息包装成数据抽取方案、数据过滤方案、数据展示方案，并存储到内存数据库中；
8.c)根据所述数据抽取方案，定时将数据汇总到全文检索数据库中；
9.d)响应用户的检索内容，检索全文检索数据库，得到检索数据后，根据步骤b)包装的数据过滤方案对数据进行加密或脱敏；
10.e)对步骤d)处理后的数据，通过步骤b)包装成的数据展示方案，得到展示结果及展示样式。
11.具体地，所述应用信息包括但不限于应用标识信息、接入秘钥信息；所述数据抽取元信息包括但不限于数据类型信息、数据字段信息、字段类型信息、抽取周期信息；所述用户权限信息包括但不限于检索角信息、角权限信息；所述数据展示方案信息包括页面布局信息、页面配信息。
12.具体地，步骤a)的配置过程具体包括：
13.a1)配置应用与角的关系；
14.a2)配置角与数据权限的关系；
15.a3)配置数据权限与数据表、数据列的对应关系；
16.a4)配置应用与展示方案的关系。
17.具体地，步骤b)中通过将步骤a)配置的信息转化为键值对的方式进行包装。
18.具体地，步骤c)包括以下步骤：
19.c1)判断数据接入类型；
20.c2)读取符合预设的内置接入类型的数据；
21.c3)根据数据最后的同步时间读取数据并汇入全文检索数据库。
22.具体地，步骤d)包括以下步骤：
23.d1)全文检索数据库返回检索数据；
24.d2)数据过滤引擎根据返回数据的类型反向读取数据抽取元信息；
25.d3)数据过滤引擎根据用户请求获取用户角信息，获取数据权限过滤方案；
26.d4)数据过滤引擎根据数据抽取元信息与过滤方案，对返回的数据进行混淆脱敏操作；
27.d5)得到检索结果，并将数据交给页面渲染引擎处理。
28.具体地，步骤e)包括以下步骤：
29.e1)页面渲染引擎得到检索结果；
30.e2)页面渲染引擎根据用户请求获取用户角信息，获取所述展示方案；
31.e3)页面渲染引擎根据展示方案返回与应用匹配的搜索结果页面。
32.一种基于上文所述的通用动态数据检索配置方法的配置系统，其特征在于，包括：数据描述、数据权限、数据展示配置单元；数据抓取、过滤、脱敏控制框架；结果数据渲染、展示层，其中：数据描述、数据权限、数据展示配置单元，用于根据待接入数据配置数据描述元信息，根据数据展示需求配置数据权限信息，数据展示样式及布局等维度信息到存储层；数据抓取、过滤、脱敏控制框架，用于根据配置的数据描述到异构系统获取相应数据并存储到检索数据库中，根据检索信息对数据进行检索，并根据数据权限配置信息对结果数据进行过滤、脱敏等操作，最终提供结果数据供渲染层和展示层渲染；结果数据渲染、展示层，用于根据数据展示配置单元配置的信息，对经过处理后的数据展示结果进行渲染，组织成符合预定客户端的数据返回到客户端。
33.具体地，所述数据抓取、过滤、脱敏控制框架包括数据抓取模块、数据过滤模块，数据脱敏模块；所述数据抓取模块用于根据数据描述信息到异构系统获取数据，所述数据过滤模块用于根据权限配置信息对检索到的数据进行剪裁，所述数据过滤模块根据数据展示配置信息，对剪裁后的数据做进一步的脱敏，替换操作。
34.由于采用了以上技术方案，本发明所取得技术进步如下：本发明使得应用在接入数据时只需针对需接入数据进行简单配置就可以将数据接入，无需单独的编码。针对用户的检索结果，能通过配置的方式进行干预和编排，为数据接入提供了统一的实现和管理标准，大大减少了开发人员的工作量。
附图说明
35.图1为本发明实施例提供的动态数据检索配置方法的主流程图。
36.图2为本发明实施例提供的动态数据检索配置方法中步骤a)的细节流程图。
37.图3为本发明实施例提供的动态数据检索配置方法中步骤c)的细节流程图。
38.图4为本发明实施例提供的动态数据检索配置方法中步骤d)的细节流程图。
39.图5为本发明实施例提供的动态数据检索配置方法中步骤e)的细节流程图。
具体实施方式
40.下面将结合附图对本发明的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
41.如图1所示，本实施例提供一种通用动态数据检索配置方法，包括步骤a)、b)、c)、d)、e)，具体如下：
42.a)根据待处理数据，配置应用信息、数据抽取元信息、用户权限信息、展示方案信息到数据库。其中，应用信息包括但不限于应用标识信息、接入秘钥信息；数据抽取元信息包括但不限于数据类型信息、数据字段信息、字段类型信息、抽取周期信息；用户权限信息包括但不限于检索角信息、角权限信息；数据展示方案信息包括页面布局信息、页面配信息等。
43.如图2所示，步骤a)的配置过程具体包括如下内容：
44.a1)配置应用与角的关系；其中，一个应用可以对应多个角，一个角只能属于一个应用；
45.a2)配置角与数据权限的关系；其中，一个角可以对应多份数据权限，一份数据权限可以属于同一应用下的多个角；
46.a3)配置数据权限与数据表、数据列的对应关系；其中，一个数据权限可以对应一张表的多个数据列；一张表的一个数据列可以属于多个数据权限；
47.a4)配置应用与展示方案的关系；其中，一个应用可以对应一个展示方案，一个展示方案可以对应多个应用。
48.b)将步骤a)配置的信息包装成数据抽取方案、数据过滤方案、数据展示方案，并存储到内存数据库中。其中，步骤a)配置的信息通过转化为键值对的方式进行包装，以提升权限校验，数据过滤时的性能。
49.c)根据所述数据抽取方案，定时将数据汇总到全文检索数据库中。参见图3，步骤c)具体包括以下步骤：
50.c1)判断数据接入类型；
51.c2)读取符合预设的内置接入类型的数据；
52.c3)根据数据最后的同步时间读取数据并汇入全文检索数据库。
53.d)响应用户的检索内容，检索全文检索数据库，得到检索数据后，根据步骤b)包装的数据过滤方案对数据进行加密或脱敏。参见图4，步骤d)的主要流程如下：
54.d1)全文检索数据库返回检索数据；
55.d2)数据过滤引擎根据返回数据的类型反向读取数据抽取元信息；
56.d3)数据过滤引擎根据用户请求获取用户角信息，获取数据权限过滤方案；
57.d4)数据过滤引擎根据数据抽取元信息与过滤方案，对返回的数据进行混淆脱敏操作；
58.d5)得到检索结果，并将数据交给页面渲染引擎处理。
59.e)对步骤d)处理后的数据，通过步骤b)包装成的数据展示方案，得到展示结果及展示样式。参见图5，步骤e)具体包括以下步骤：
60.e1)页面渲染引擎得到检索结果；
61.e2)页面渲染引擎根据用户请求获取用户角信息，获取所述展示方案；
62.e3)页面渲染引擎根据展示方案返回与应用匹配的搜索结果页面。
63.其中，上文所述的数据过滤引擎及页面渲染引擎属于数据检索及呈现领域的常用组件，本文不再对其做赘述。
64.基于上述通用动态数据检索配置方法，本实施例还提供一种通用动态数据检索配置系统，包括数据描述、数据权限、数据展示配置单元；数据抓取、过滤、脱敏控制框架；结果数据渲染、展示层。其中：
65.数据描述、数据权限、数据展示配置单元，用于根据待接入数据配置数据描述元信息，根据数据展示需求配置数据权限信息，数据展示样式及布局等维度信息到存储层；
66.数据抓取、过滤、脱敏控制框架，用于根据配置的数据描述到异构系统获取相应数据并存储到检索数据库中，根据检索信息对数据进行检索，并根据数据权限配置信息对结果数据进行过滤，脱敏等操作，为渲染层和展示层提供结果数据；
67.结果数据渲染、展示层，用于根据数据展示配置单元配置的信息，对经过处理后的数据展示结果进行渲染，组织成符合预定客户端的数据返回到客户端。
68.本实施例中，数据抓取、过滤、脱敏控制框架包括数据抓取模块、数据过滤模块，数据脱敏模块。所述数据抓取模块用于根据数据描述信息到异构系统获取数据，所述数据过滤模块用于根据权限配置信息对检索到信息进行剪裁，所述数据过滤模块根据数据展示配置信息，对剪裁后的信息做进一步的脱敏，替换等操作。
69.本发明公开一种通用动态数据检索配置方法及系统，所述配置方法根据待处理的动态数据配置应用信息、数据抽取元信息、用户权限信息、展示方案信息到数据库；通过预定规则将数据描述元信息包装成数据抽取方案并存储到缓存中；通过预定规则将检索配置信息包装成搜索展示方案并存储到缓存中；通过预定规则将数据权限信息包装成数据过滤方案并存储到缓存中；根据数据抽取方案对动态数据进行抽取，并洗入全文检索数据库中；根据数据权限控制方案对用户不可见信息进行脱敏或加密处理；根据展示方案展示相关检索结果。本发明的应用,能动态以无需编码的方式接入异构平台的数据，并完成数据的检索及展示、大大简化了开发人员的工作量。采用本发明，能够实现通用且高效稳定的多数据源数据检索模块，用户只需进行简单的配置，即可实现复杂的多源数据检索管理，无需额外的开发工作量，即可实现更符合主体应用的数据检索模块。
70.以上实施例仅为充分公开而非限制本发明，凡基于本发明的创作主旨、无需经过创造性劳动即可得到的等效技术特征的替换，应当视为本发明揭露的范围。

技术特征：

1.一种通用动态数据检索配置方法，其特征在于，包括如下步骤：a)根据待处理数据，配置应用信息、数据抽取元信息、用户权限信息、展示方案信息到数据库；b)将步骤a)配置的信息包装成数据抽取方案、数据过滤方案、数据展示方案，并存储到内存数据库中；c)根据所述数据抽取方案，定时将数据汇总到全文检索数据库中；d)响应用户的检索内容，检索全文检索数据库，得到检索数据后，根据步骤b)包装的数据过滤方案对数据进行加密或脱敏；e)对步骤d)处理后的数据，通过步骤b)包装成的数据展示方案，得到展示结果及展示样式。2.根据权利要求1所述的通用动态数据检索配置方法，其特征在于，所述应用信息包括但不限于应用标识信息、接入秘钥信息；所述数据抽取元信息包括但不限于数据类型信息、数据字段信息、字段类型信息、抽取周期信息；所述用户权限信息包括但不限于检索角信息、角权限信息；所述数据展示方案信息包括页面布局信息、页面配信息。3.根据权利要求2所述的通用动态数据检索配置方法，其特征在于，步骤a)的配置过程具体包括：a1)配置应用与角的关系；a2)配置角与数据权限的关系；a3)配置数据权限与数据表、数据列的对应关系；a4)配置应用与展示方案的关系。4.根据权利要求3所述的通用动态数据检索配置方法，其特征在于，步骤b)中通过将步骤a)配置的信息转化为键值对的方式进行包装。5.根据权利要求3所述的通用动态数据检索配置方法，其特征在于，步骤c)包括以下步骤：c1)判断数据接入类型；c2)读取符合预设的内置接入类型的数据；c3)根据数据最后的同步时间读取数据并汇入全文检索数据库。6.根据权利要求5所述的通用动态数据检索配置方法，其特征在于，步骤d)包括以下步骤：d1)全文检索数据库返回检索数据；d2)数据过滤引擎根据返回数据的类型反向读取数据抽取元信息；d3)数据过滤引擎根据用户请求获取用户角信息，获取数据权限过滤方案；d4)数据过滤引擎根据数据抽取元信息与过滤方案，对返回的数据进行混淆脱敏操作；d5)得到检索结果，并将数据交给页面渲染引擎处理。7.根据权利要求6所述的通用动态数据检索配置方法，其特征在于，步骤e)包括以下步骤：e1)页面渲染引擎得到检索结果；e2)页面渲染引擎根据用户请求获取用户角信息，获取所述展示方案；e3)页面渲染引擎根据展示方案返回与应用匹配的搜索结果页面。
8.一种通用动态数据检索配置系统，基于权利要求1-7任意一项所述的通用动态数据检索配置方法，其特征在于，包括：数据描述、数据权限、数据展示配置单元；数据抓取、过滤、脱敏控制框架；结果数据渲染、展示层，其中：数据描述、数据权限、数据展示配置单元，用于根据待接入数据配置数据描述元信息，根据数据展示需求配置数据权限信息，数据展示样式及布局等维度信息到存储层；数据抓取、过滤、脱敏控制框架，用于根据配置的数据描述到异构系统获取相应数据并存储到检索数据库中，根据检索信息对数据进行检索，并根据数据权限配置信息对结果数据进行过滤、脱敏等操作，最终提供结果数据供渲染层和展示层渲染；结果数据渲染、展示层，用于根据数据展示配置单元配置的信息，对经过处理后的数据展示结果进行渲染，组织成符合预定客户端的数据返回到客户端。9.根据权利要求8所述的通用动态数据检索配置系统，其特征在于，所述数据抓取、过滤、脱敏控制框架包括数据抓取模块、数据过滤模块，数据脱敏模块；所述数据抓取模块用于根据数据描述信息到异构系统获取数据，所述数据过滤模块用于根据权限配置信息对检索到的数据进行剪裁，所述数据过滤模块根据数据展示配置信息，对剪裁后的数据做进一步的脱敏、替换操作。

技术总结

本发明公开一种通用动态数据检索配置方法及系统，所述配置方法根据待处理的动态数据配置应用信息、数据抽取元信息、用户权限信息、展示方案信息到数据库；通过预定规则将数据描述元信息包装成数据抽取方案并存储到缓存中；通过预定规则将检索配置信息包装成搜索展示方案并存储到缓存中；通过预定规则将数据权限信息包装成数据过滤方案并存储到缓存中；根据数据抽取方案对动态数据进行抽取，并洗入全文检索数据库中；根据数据权限控制方案对用户不可见信息进行脱敏或加密处理；根据展示方案展示相关检索结果；本发明的应用,能动态以无需编码的方式接入异构平台的数据，并完成数据的检索及展示、大大简化了开发人员的工作量。大大简化了开发人员的工作量。大大简化了开发人员的工作量。