(19)中华人民共和国国家知识产权局
(12)发明专利申请
(10)申请公布号 (43)申请公布日 (21)申请号 201910480817.6
(22)申请日 2019.06.04
(71)申请人 宁波银行股份有限公司
地址 315042 浙江省宁波市鄞州区宁东路
345号
(72)发明人 沈栋 陈卫华 邵林君 柳强波
刘永峰
(74)专利代理机构 北京集佳知识产权代理有限
公司 11227
代理人 赵焕
(51)Int.Cl.
G06F 16/28(2019.01)
G06F 16/25(2019.01)
G06F 16/21(2019.01)
(54)发明名称一种数据仓库系统(57)摘要本发明提供了一种数据仓库系统，依托大数据平台的存储及计算能力构建基础架构，开发了调度管理系统、大数据平台批处理框架模块、开发运维管理系统、大数据平台系统、大数据批处理任务开发工具和数据管理系统等系统，扩展了数据仓库的能力，在数据架构、数据建模、数据管理、数据仓库、数据开发运维、任务调度等方面做出了改进。本发明中的数据仓库除能够进行数据存储外，还能基于数据导出的配置信息，对获取的数据进行数据导出，即支持数据导出操作。另外能够通过大数据平台批处理框架模块接收数据处理需求，依据所述数据处理需求，对所述数据处理需求所需的数据进行处理，即也具有数据处理功能， 扩展了数据库的功能。权利要求书2页 说明书8页 附图1页CN 110188149 A 2019.08.30
C N 110188149
A
1.一种数据仓库系统，其特征在于，包括：
开发运维管理系统，用于管理与大数据平台系统、数据仓库相关的辅助开发运维过程，以及与大数据平台批处理框架相关的配置信息；所述配置信息包括数据加载的配置信息及数据导出的配置信息；
调度管理系统，用于对与大数据平台系统的数据仓库相关的批处理任务进行调度；
大数据平台批处理框架模块，用于与所述开发运维管理系统和大数据平台系统进行数据交互以及执行与大数据平台系统相关的批处理任务；
大数据平台系统，用于通过所述大数据平台批处理框架模块获取数据加载的配置信息及数据导出的配置信息，基于所述数据加载的配置信息及数据导出的配置信息，对获取的数据进行数据存储和导出，以及通过大数据平台批处理框架模块接收数据处理需求，依据所述数据处理需求，对所述数据处理需求所需的数据进行处理；
大数据批处理任务开发工具，用于开发与大数据平台系统的批处理任务相关的工具；
数据管理系统，用于对大数据平台系统的数据仓库中的数据的整个生命周期进行管理。
2.根据权利要求1所述的数据仓库系统，其特征在于，所述大数据平台系统包括数据存储模块，所述数据存储模块包括：
数据贴源层，用于存储在数据获取时间的指定时间之内的数据；
数据历史层，用于存储所述数据贴源层存储过的所有数据；
数据模型层，用于存储预设数据主题模型和数据主题模型；所述数据主题模型基于预设数据主题模型、所述数据贴源层和数据历史层分别存储的数据生成；
数据集市层，用于存储预设数据集市模型和数据集市；所述数据集市基于所述数据贴源层和数据历史层分别存储的数据、所述预设数据主题模型、所述数据主题模型和所述预设数据集市模型生成。
3.根据权利要求2所述的数据仓库系统，其特征在于，大数据平台系统包括数据处理模块；所述数据处理模块用于依据所述数据处理需求，对所述数据处理需求所需的数据进行处理时，具体用于：
若所述数据处理请求包括数据加载，通过所述大数据平台批处理框架模块获取数据加载的配置信息，并对所述数据处理需求所需的数据进行数据加载操作；
若所述数据处理请求包括数据导出，通过所述大数据平台批处理框架模块获取数据导出的配置信息，并对所述数据处理需求所需的数据进行数据导出操作；
若所述数据处理请求包括数据加工，对所述数据处理需求所需的数据进行数据加工操作。
4.根据权利要求3所述的数据仓库系统，其特征在于，若所述数据加工包括生成数据主题模型；所述数据处理模块用于依据所述数据处理需求，对所述数据处理需求所需的数据进行处理时，具体用于：
基于数据加载的配置信息，获取与数据处理需求对应的第一待处理数据；所述第一待处理数据包括所述数据贴源层和数据历史层分别存储的数据；
从所述数据模型层中获取与所述数据处理需求对应的预设数据主题模型；
依据所述预设数据主题模型和所述待处理数据，生成所述数据处理需求对应的数据主
题模型。
5.根据权利要求4所述的数据仓库系统，其特征在于，若所述数据加工包括生成数据集市；所述数据处理模块用于依据所述数据处理需求，对所述数据处理需求所需的数据进行处理时，具体用于：
基于数据加载的配置信息，获取与数据处理需求对应的第二待处理数据；所述第二待处理数据包括所述数据贴源层和数据历史层分别存储的数据；
获取与所述数据处理需求对应的预设数据集市模型；
基于所述待处理数据和所述预设数据集市模型，生成所述数据处理需求对应的数据集市。
6.根据权利要求1所述的数据仓库系统，其特征在于，还包括：
集管理模块，用于在基于所述数据加载的配置信息及数据导出的配置信息，对获取的数据进行数据存储和导出，以及通过大数据平台批处理框架模块接收数据处理需求，依据所述数据处理需求，对所述数据处理需求所需的数据进行处理时，提供集服务。
7.根据权利要求1所述的数据仓库系统，其特征在于，还包括：
安全管理模块，用于设置用户访问所述数据仓库系统的权限。
8.根据权利要求1所述的数据仓库系统，其特征在于，所述数据包括日志数据、流式数据、数据库数据和互联网数据中的一种或多种。
9.根据权利要求1所述的数据仓库系统，其特征在于，所述调度管理系统用于对与大数据平台系统的数据仓库相关的批处理任务进行调度时，具体用于：
基于定时触发或者事件触发的方式，对与大数据平台系统的数据仓库相关的批处理任务进行数据加载调度、数据加工调度和数据导出调度三种操作。
一种数据仓库系统
技术领域
[0001]本发明涉及数据仓库领域，更具体的说，涉及一种数据仓库系统。
背景技术
[0002]数据库(Database)是按照数据结构来组织、存储和管理数据的仓库，它产生于距今六十多年前，数据库有很多种类型，从最简单的存储有各种数据的表格到能够进行海量数据存储的大型数据库系统，数据库在各个领域得到了广泛的应用。
[0003]但是，现有的数据库仅能够提供数据存储功能，功能较单一。
发明内容
[0004]有鉴于此，本发明提供一种数据仓库系统，以解决现有的数据库仅能够提供数据存储和数据查询功能，功能较单一的问题。
[0005]为解决上述技术问题，本发明采用了如下技术方案：
[0006]一种数据仓库系统，包括：
[0007]开发运维管理系统，用于管理与大数据平台系统、数据仓库相关的辅助开发运维过程，以及与大数据平台批处理框架相关的配置信息；所述配置信息包括数据加载的配置信息及数据导出的配置信息；
[0008]调度管理系统，用于对与大数据平台系统的数据仓库相关的批处理任务进行调度；
[0009]大数据平台批处理框架模块，用于与所述开发运维管理系统和大数据平台系统进行数据交互以及执行与大数据平台系统相关的批处理任务；
[0010]大数据平台系统，用于通过所述大数据平台批处理框架模块获取数据加载的配置信息及数据导出的配置信息，基于所述数据加载的配置信息及数据导出的配置信息，对获取的数据进行数据存储和导出，以及通过大数据平台批处理框架模块接收数据处理需求，依据所述数据处理需求，对所述数据处理需求所需的数据进行处理；
[0011]大数据批处理任务开发工具，用于开发与大数据平台系统的批处理任务相关的工具；
[0012]数据管理系统，用于对大数据平台系统的数据仓库中的数据的整个生命周期进行管理。
[0013]优选地，所述大数据平台系统包括数据存储模块，所述数据存储模块包括：[0014]数据贴源层，用于存储在数据获取时间的指定时间之内的数据；
[0015]数据历史层，用于存储所述数据贴源层存储过的所有数据；
[0016]数据模型层，用于存储预设数据主题模型和数据主题模型；所述数据主题模型基于预设数据主题模型、所述数据贴源层和数据历史层分别存储的数据生成；
[0017]数据集市层，用于存储预设数据集市模型和数据集市；所述数据集市基于所述数据贴源层和数据历史层分别存储的数据、所述预设数据主题模型、所述数据主题模型和所
述预设数据集市模型生成。
[0018]优选地，大数据平台系统包括数据处理模块；所述数据处理模块用于依据所述数据处理需求，对所述数据处理需求所需的数据进行处理时，具体用于：
[0019]若所述数据处理请求包括数据加载，通过所述大数据平台批处理框架模块获取数据加载的配置信息，并对所述数据处理需求所需的数据进行数据加载操作；
[0020]若所述数据处理请求包括数据导出，通过所述大数据平台批处理框架模块获取数据导出的配置信息，并对所述数据处理需求所需的数据进行数据导出操作；
[0021]若所述数据处理请求包括数据加工，对所述数据处理需求所需的数据进行数据加工操作。
[0022]优选地，若所述数据加工包括生成数据主题模型；所述数据处理模块用于依据所述数据处理需求，对所述数据处理需求所需的数据进行处理时，具体用于：
[0023]基于数据加载的配置信息，获取与数据处理需求对应的第一待处理数据；所述第一待处理数据包括所述数据贴源层和数据历史层分别存储的数据；
[0024]从所述数据模型层中获取与所述数据处理需求对应的预设数据主题模型；[0025]依据所述预设数据主题模型和所述待处理数据，生成所述数据处理需求对应的数据主题模型。
[0026]优选地，若所述数据加工包括生成数据集市；所述数据处理模块用于依据所述数据处理需求，对所述数据处理需求所需的数据进行处理时，具体用于：
[0027]基于数据加载的配置信息，获取与数据处理需求对应的第二待处理数据；所述第二待处理数据包括所述数据贴源层和数据历史层分别存储的数据；
[0028]获取与所述数据处理需求对应的预设数据集市模型；
[0029]基于所述待处理数据和所述预设数据集市模型，生成所述数据处理需求对应的数据集市。
[0030]优选地，还包括：
[0031]集管理模块，用于在基于所述数据加载的配置信息及数据导出的配置信息，对获取的数据进行数据存储和导出，以及通过大数据平台批处理框架模块接收数据处理需求，依据所述数据处理需求，对所述数据处理需求所需的数据进行处理时，提供集服务。[0032]优选地，还包括：
[0033]安全管理模块，用于设置用户访问所述数据仓库系统的权限。
[0034]优选地，所述数据包括日志数据、流式数据、数据库数据和互联网数据中的一种或多种。
[0035]优选地，所述调度管理系统用于对与大数据平台系统的数据仓库相关的批处理任务进行调度时，具体用于：
[0036]基于定时触发或者事件触发的方式，对与大数据平台系统的数据仓库相关的批处理任务进行数据加载调度、数据加工调度和数据导出调度三种操作。
[0037]相较于现有技术，本发明具有以下有益效果：
[0038]本发明提供了一种数据仓库系统，本发明中的数据仓库除能够进行数据存储外，还能基于数据导出的配置信息，对获取的数据进行数据导出，即支持数据导出操作。另外还能够通过大数据平台批处理框架模块接收数据处理需求，依据所述数据处理需求，对所述
豫公网安备41160202000603
站长QQ:729038198
关于我们
投诉建议