基于分布式处理的业务指标获取方法、装置及可读介质与流程

1.本技术属于数据采集与处理技术领域，尤其涉及一种基于分布式处理的业务指标获取方法、装置及可读介质。

背景技术：

2.以往营销业务主要采用市场行情、代销渠道等数据作为营销的依托，进行营销指标计算，然而该方式难以实现精准、更符合客户需求的营销推荐。
3.除此之外，在基于数据处理的营销指标计算时，传统技术还存在对大数据量数据计算慢的问题，难以满足指标的时效性需求，以及还存在指标准确性与稳定性差等问题。

技术实现要素：

4.有鉴于此，本技术提供一种基于分布式处理的业务指标获取方法、装置及可读介质，用于结合分布式技术及信息化手段，解决传统技术在基于数据处理获取所需的营销指标以进行营销推荐等应用时所存在的至少部分技术问题。
5.具体方案如下：
6.一种基于分布式处理的业务指标获取方法，包括：
7.从源数据库采集后台交易数据至分布式处理系统，作为贴源层数据；
8.基于营销所需的不同业务要求和/或功能分别对应的分区与存储策略，对贴源层数据进行分区与存储处理，得到对应于不同业务要求和/或功能的分区存储数据，作为模型层数据；
9.基于分布式处理方式对模型层数据中的不同业务要求和/或功能的分区存储数据进行处理，得到不同业务要求和/或功能各自所需的营销指标，作为数据集市层数据；
10.将所得的数据集市层数据输出至对应的下游业务系统。
11.可选的，所述从源数据库采集后台交易数据至分布式处理系统，作为贴源层数据，包括：
12.从源数据库采集后台的基金交易持仓数据至分布式处理系统，作为贴源层数据；其中，贴源层数据与源数据中的字段与字段数据保持一致。
13.可选的，基于营销所需的不同业务要求和/或功能分别对应的分区与存储策略，对贴源层数据进行分区与存储处理，得到对应于不同业务要求和/或功能的分区存储数据，包括：
14.确定不同业务要求和/或功能下的营销指标计算分别所需的时间分片方式；
15.根据不同业务要求和/或功能下的营销指标计算对应所需的时间分片方式，对贴源层数据的数据库表进行分区与存储。
16.可选的，所述贴源层数据包括如下类型数据中的至少部分：
17.交易数据，持仓数据与基金数据，用户数据，维度数据。
18.可选的，所述根据不同业务要求和/或功能下的营销指标计算对应所需的时间分
片方式，对贴源层数据的数据库表进行分区与存储，包括：
19.将交易数据与用户数据按照交易日期或确认日期进行分区与存储；
20.将持仓数据与基金数据每日保存一份从起始日期至当前的历史全量信息；
21.将维度数据每日全量刷新一次并存储。
22.可选的，所述基于分布式处理方式对模型层数据中的不同业务要求和/或功能的分区存储数据进行处理，得到不同业务要求和/或功能各自所需的营销指标，包括：
23.按照不同业务要求和/或功能分别所需的营销指标对应的计算逻辑，基于分布式处理方式对模型层数据中的相应分区存储数据进行加工、计算与数据格式适配，以生成不同业务要求和/或功能分别所需的营销指标。
24.可选的，所述将所得的数据集市层数据输出至对应的下游业务系统，包括：
25.采用hdfs文件操作的方式，将集市层数据导出至下游业务系统。
26.可选的，所述采用hdfs文件操作的方式，将集市层数据导出至下游业务系统，包括：
27.通过定时任务，将数据集市层对应库表下的hdfs文件输出至中转服务器，以在中转服务器检测到相应业务要求和/或功能下的文件就绪后，将对应文件发送至下游营销平台。
28.一种基于分布式处理的业务指标获取装置，包括：
29.采集模块，用于从源数据库采集后台交易数据至分布式处理系统，作为贴源层数据；
30.分区与存储处理模块，用于基于营销所需的不同业务要求和/或功能分别对应的分区与存储策略，对贴源层数据进行分区与存储处理，得到对应于不同业务要求和/或功能的分区存储数据，作为模型层数据；
31.数据处理模块，用于基于分布式处理方式对模型层数据中的不同业务要求和/或功能的分区存储数据进行处理，得到不同业务要求和/或功能各自所需的营销指标，作为数据集市层数据；
32.输出模块，用于将所得的数据集市层数据输出至对应的下游业务系统。
33.一种计算机可读介质，其上存储有计算机程序，所述计算机程序包含用于执行如上文任一项所述的方法的程序代码。
34.综上所述，本技术提供的基于分布式处理的业务指标获取方法、装置及可读介质，从源数据库采集后台交易数据至分布式处理系统，作为贴源层数据，基于预设的分区与存储策略，对贴源层数据进行分区与存储处理，得到对应于不同业务要求和/或功能的分区存储数据，作为模型层数据，并基于分布式处理方式对模型层数据中的不同业务要求和/或功能的分区存储数据进行处理，得到不同业务要求和/或功能各自所需的营销指标，作为数据集市层数据，最终将所得的数据集市层数据输出至对应的下游业务系统。
35.本技术通过将后台交易数据如基金交易持仓数据引入营销场景，可以帮助定量的分析客户特征与喜好，能够进行更精准、更符合客户需求的营销推荐。在此基础上，通过引入分布式处理系统进行数据的存储与处理，能够很好的解决传统方式对于大数据量情况存在的计算慢的问题，满足了指标的时效性需求。且通过设计数据库表的分层结构，将营销数据分为贴源层、模型层与数据集市层，并针对不同层采用差异化存储方案，简化了指标计算
逻辑，提升了指标准确性与稳定性。
附图说明
36.为了更清楚地说明本技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
37.图1是本技术提供的基于分布式处理的业务指标获取方法流程图；
38.图2是本技术提供的基于分布式处理交易持仓数据来计算营销指标的示例性处理流程；
39.图3是本技术提供的基于分布式处理的业务指标获取装置的组成结构图。
具体实施方式
40.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
41.本技术公开一种基于分布式处理的业务指标获取方法、装置及可读介质，参见图1所示的基于分布式处理的业务指标获取方法流程图，本技术提供的方法包括以下处理过程：
42.步骤101、从源数据库采集后台交易数据至分布式处理系统，作为贴源层数据。
43.其中，后台交易数据可以视实际的业务场景而定，示例性的，可以是基金交易持仓数据。
44.以往营销业务主要采用市场行情、代销渠道等数据作为营销的依托，进行营销指标计算，申请人发现，该方式难以实现精准、更符合客户需求的营销推荐，主要原因在于，对于购买企业基金等产品的老客户，其交易持仓信息没有引起足够重视，基于此，申请人提出将企业内部后台交易持仓数据引入营销场景，来帮助定量的分析客户特征与喜好，例如根据客户的交易标的、交易频次与交易择时情况，判定客户的交易风格，在客户喜爱的择时时间段推荐客户关注的产品等等，以此来进行更为精准、更符合客户需求的营销推荐。
45.相应的，本步骤可以从源数据库采集后台的基金交易持仓数据至分布式处理系统，作为贴源层数据。
46.贴源层数据与源数据中的字段及字段数据均保持一致。
47.其中，采集到的源数据，也即贴源层数据，包括但不限于如下类型中的部分或全部数据：
48.a、交易数据
49.如用户交易记录信息、用户定投记录信息等。
50.b、持仓数据与基金数据
51.如用户每日持仓记录。
52.c、用户数据
53.如用户的账号信息。
54.d、维度数据
55.如交易的渠道、业务类型等。
56.步骤102、基于营销所需的不同业务要求和/或功能分别对应的分区与存储策略，对贴源层数据进行分区与存储处理，得到对应于不同业务要求和/或功能的分区存储数据，作为模型层数据。
57.为了解决内部后台交易持仓数据过于庞大，传统数据库难以存储与计算运用的难题，本技术还引入分布式处理系统进行数据的存储与计算，分布式处理系统具有数据存储能力强，计算速度快等优点，能够很好的解决传统方式对于大数据量情况计算慢的问题，满足了指标的时效性需求。
58.同时，针对营销指标计算难度高，使用数据维度广泛的问题，设计了数据库表的分层结构，将营销数据分为上文所述的贴源层，以及模型层与数据集市层。并且针对不同层采用差异化存储方案，以此简化指标计算逻辑，提升指标准确性与稳定性，优化不同系统之间的数据流转方式。
59.在得到贴源层数据后，本技术实施例进一步基于营销所需的不同业务要求和/或功能分别对应的分区与存储策略，对贴源层数据进行分区与存储处理，并将处理所得的对应于不同业务要求和/或功能的分区存储数据，作为模型层数据。
60.其中，上述分区与存储策略，可以为与时间分片方式相关的策略。
61.具体的，不同类型的数据在所对应业务要求和/或功能下进行营销指标计算中的使用方式也不相同，基于此，本技术实施例将贴源层库表依照不同业务要求与功能，为贴源层中的交易数据、持仓数据与基金数据、用户数据、维度数据等不同数据，匹配设计对应的时间分片方式，按对应的时间分片方式对贴源层中的不同数据进行进行分区与存储。
62.本步骤中，相应可进一步确定不同业务要求和/或功能的营销指标计算分别所需的时间分片方式，并根据不同业务要求和/或功能的营销指标计算对应所需的时间分片方式，对贴源层数据的数据库表进行分区与存储。
63.示例性的，将交易数据与用户数据按照交易日期或确认日期进行分区与存储，将持仓数据与基金数据每日保存一份从起始日期至当前的历史全量信息，以用于通过基金净值得出持仓金额，将维度数据每日全量刷新一次并存储，以此类逻辑构建的模型层数据能满足营销指标的计算。
64.步骤103、基于分布式处理方式对模型层数据中的不同业务要求和/或功能的分区存储数据进行处理，得到不同业务要求和/或功能各自所需的营销指标，作为数据集市层数据。
65.其中，结合参见图2所示的基于分布式处理交易持仓数据来计算营销指标的示例性处理流程，具体可以按照不同业务要求和/或功能分别所需的营销指标对应的计算逻辑，基于分布式处理方式对模型层数据中的相应分区存储数据进行加工、计算与数据格式适配，以生成不同业务要求和/或功能分别所需的营销指标，并将生成的不同业务要求和/或功能分别所需的营销指标作为数据集市层数据。
66.示例性的，对于常见的用户每日交易、持仓明细等指标，仅在当日的分区内计算即可，相比于已有技术存储于传统数据库的全量数据，计算效率大幅提升。对于计算难度较大
的历史交易情况、持仓明细、客户损益等指标，先通过模型层构建的时间分区数据，按照不同历史维度进行回溯计算，以此解决已有技术因传统数据库设计中未保存历史数据，或者由于采用全量表、拉链表等方式存储，导致对历史指标的计算极其复杂而无法使用历史数据的痛点。
67.步骤104、将所得的数据集市层数据输出至对应的下游业务系统。
68.数据集市层中的数据可直接适用于下游业务系统。在得到数据集市层的数据后，本技术实施例采用hdfs(hadoop distributed file system，分布式文件系统)文件操作的方式，将集市层数据导出至下游业务系统。即，采用hdfs文件操作方式代替计算引擎处理方式进行不同系统之间的数据流转，本实施例依靠分布式处理系统，采用hdfs文件操作的方式，能够高效的将集市层数据直接导出至下游业务系统。
69.具体的，采用hdfs文件操作的方式，将集市层数据导出至下游业务系统的过程，可以但不限于实现为：通过定时任务，将数据集市层对应库表下的hdfs文件读出至中转服务器；中转服务器在检测到相应业务要求和/或功能下的所有事件文件就绪后，将文件打包发送至下游营销平台；下游营销平台解包文件并放置在对应目录下，挂载分区并创建分区表进行指标数据存储，在此基础上，营销指标数据即可在下游营销平台中查询与使用。
70.综上所述，本技术提供的基于分布式处理的业务指标获取方法，从源数据库采集后台交易数据至分布式处理系统，作为贴源层数据，基于预设的分区与存储策略，对贴源层数据进行分区与存储处理，得到对应于不同业务要求和/或功能的分区存储数据，作为模型层数据，并基于分布式处理方式对模型层数据中的不同业务要求和/或功能的分区存储数据进行处理，得到不同业务要求和/或功能各自所需的营销指标，作为数据集市层数据，最终将所得的数据集市层数据输出至对应的下游业务系统。
71.本技术通过将后台交易数据如基金交易持仓数据引入营销场景，可以帮助定量的分析客户特征与喜好，能够进行更精准、更符合客户需求的营销推荐。在此基础上，通过引入分布式处理系统进行数据的存储与处理，能够很好的解决传统方式对于大数据量情况计算慢的问题，满足了指标的时效性需求。且通过设计数据库表的分层结构，将营销数据分为贴源层、模型层与数据集市层，并针对不同层采用差异化存储方案，简化了指标计算逻辑，提升了指标准确性与稳定性。
72.对应于上述的基于分布式处理的业务指标获取方法，本技术还提供一种基于分布式处理的业务指标获取装置。
73.该装置的组成结构如图3所示，包括采集模块10、分区与存储处理模块20、数据处理模块30和输出模块40。
74.采集模块10，用于从源数据库采集后台交易数据至分布式处理系统，作为贴源层数据。
75.其中，后台交易数据可以视实际的业务场景而定，示例性的，可以是基金交易持仓数据。
76.以往营销业务主要采用市场行情、代销渠道等数据作为营销的依托，进行营销指标计算，申请人发现，该方式难以实现精准、更符合客户需求的营销推荐，主要原因在于，对于购买企业基金等产品的老客户，其交易持仓信息没有引起足够重视，基于此，申请人提出将企业内部后台交易持仓数据引入营销场景，来帮助定量的分析客户特征与喜好，例如根
据客户的交易标的、交易频次与交易择时情况，判定客户的交易风格，在客户喜爱的择时时间段推荐客户关注的产品等等，以此来进行更为精准、更符合客户需求的营销推荐。
77.相应的，采集模块10可以从源数据库采集后台的基金交易持仓数据至分布式处理系统，作为贴源层数据。
78.贴源层数据与源数据中的字段及字段数据均保持一致。
79.其中，采集到的源数据，也即贴源层数据，包括但不限于如下类型中的部分或全部数据：
80.a、交易数据
81.如用户交易记录信息、用户定投记录信息等。
82.b、持仓数据与基金数据
83.如用户每日持仓记录。
84.c、用户数据
85.如用户的账号信息。
86.d、维度数据
87.如交易的渠道、业务类型等。
88.分区与存储处理模块20，用于基于预设的分区与存储策略，对贴源层数据进行分区与存储处理，得到对应于不同业务要求和/或功能的分区存储数据，作为模型层数据。
89.为了解决内部后台交易持仓数据过于庞大，传统数据库难以存储与计算运用的难题，本技术还引入分布式处理系统进行数据的存储与计算，分布式处理系统具有数据存储能力强，计算速度快等优点，能够很好的解决传统方式对于大数据量情况计算慢的问题，满足了指标的时效性需求。
90.同时，针对营销指标计算难度高，使用数据维度广泛的问题，设计了数据库表的分层结构，将营销数据分为上文所述的贴源层，以及模型层与数据集市层。并且针对不同层采用差异化存储方案，以此简化指标计算逻辑，提升指标准确性与稳定性，优化不同系统之间的数据流转方式。
91.在得到贴源层数据后，本技术实施例进一步基于营销所需的不同业务要求和/或功能分别对应的分区与存储策略，对贴源层数据进行分区与存储处理，并将处理所得的对应于不同业务要求和/或功能的分区存储数据，作为模型层数据。
92.其中，上述分区与存储策略，可以为与时间分片方式相关的策略。
93.具体的，不同类型的数据在所对应业务要求和/或功能下进行营销指标计算中的使用方式也不相同，基于此，本技术实施例将贴源层库表依照不同业务要求与功能，为贴源层中的交易数据、持仓数据与基金数据、用户数据、维度数据等不同数据，匹配设计对应的时间分片方式，按对应的时间分片方式对贴源层中的不同数据进行进行分区与存储。
94.分区与存储处理模块20，相应可进一步确定不同业务要求和/或功能的营销指标计算分别所需的时间分片方式，并根据不同业务要求和/或功能的营销指标计算对应所需的时间分片方式，对贴源层数据的数据库表进行分区与存储。
95.示例性的，将交易数据与用户数据按照交易日期或确认日期进行分区与存储，将持仓数据与基金数据每日保存一份从起始日期至当前的历史全量信息，以用于通过基金净值得出持仓金额，将维度数据每日全量刷新一次并存储，以此类逻辑构建的模型层数据能
满足营销指标的计算。
96.数据处理模块30，用于基于分布式处理方式对模型层数据中的不同业务要求和/或功能的分区存储数据进行处理，得到不同业务要求和/或功能各自所需的营销指标，作为数据集市层数据。
97.其中，具体可以按照不同业务要求和/或功能分别所需的营销指标对应的计算逻辑，基于分布式处理方式对模型层数据中的相应分区存储数据进行加工、计算与数据格式适配，以生成不同业务要求和/或功能分别所需的营销指标，并将生成的不同业务要求和/或功能分别所需的营销指标作为数据集市层数据。
98.示例性的，对于常见的用户每日交易、持仓明细等指标，仅在当日的分区内计算即可，相比于已有技术存储于传统数据库的全量数据，计算效率大幅提升。对于计算难度较大的历史交易情况、持仓明细、客户损益等指标，先通过模型层构建的时间分区数据，按照不同历史维度进行回溯计算，以此解决已有技术因传统数据库设计中未保存历史数据，或者由于采用全量表、拉链表等方式存储，导致对历史指标的计算极其复杂而无法使用历史数据的痛点。
99.输出模块40，用于将所得的数据集市层数据输出至对应的下游业务系统。
100.数据集市层中的数据可直接适用于下游业务系统。在得到数据集市层的数据后，本技术实施例采用hdfs(hadoop distributed file system，分布式文件系统)文件操作的方式，将集市层数据导出至下游业务系统。即，采用hdfs文件操作方式代替计算引擎处理方式进行不同系统之间的数据流转，本实施例依靠分布式处理系统，采用hdfs文件操作的方式，能够高效的将集市层数据直接导出至下游业务系统。
101.具体的，采用hdfs文件操作的方式，将集市层数据导出至下游业务系统的过程，可以但不限于实现为：通过定时任务，将数据集市层对应库表下的hdfs文件读出至中转服务器；中转服务器在检测到相应业务要求和/或功能下的所有事件文件就绪后，将文件打包发送至下游营销平台；下游营销平台解包文件并放置在对应目录下，挂载分区并创建分区表进行指标数据存储，在此基础上，营销指标数据即可在下游营销平台中查询与使用。
102.综上所述，本技术提供的基于分布式处理的业务指标获取装置，从源数据库采集后台交易数据至分布式处理系统，作为贴源层数据，基于预设的分区与存储策略，对贴源层数据进行分区与存储处理，得到对应于不同业务要求和/或功能的分区存储数据，作为模型层数据，并基于分布式处理方式对模型层数据中的不同业务要求和/或功能的分区存储数据进行处理，得到不同业务要求和/或功能各自所需的营销指标，作为数据集市层数据，最终将所得的数据集市层数据输出至对应的下游业务系统。
103.本技术通过将后台交易数据如基金交易持仓数据引入营销场景，可以帮助定量的分析客户特征与喜好，能够进行更精准、更符合客户需求的营销推荐。在此基础上，通过引入分布式处理系统进行数据的存储与处理，能够很好的解决传统方式对于大数据量情况计算慢的问题，满足了指标的时效性需求。且通过设计数据库表的分层结构，将营销数据分为贴源层、模型层与数据集市层，并针对不同层采用差异化存储方案，简化了指标计算逻辑，提升了指标准确性与稳定性。
104.本技术还提供一种计算机可读介质，其上存储有计算机程序，所述计算机程序包含用于执行如上文方法实施例提供的基于分布式处理的业务指标获取方法的程序代码。
105.在本技术的上下文中，计算机可读介质(机器可读介质)可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom或快闪存储器)、光纤、便捷式紧凑盘只读存储器(cd-rom)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
106.需要说明的是，本技术上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本技术中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本技术中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、rf(射频)等等，或者上述的任意合适的组合。
107.上述计算机可读介质可以是电子设备中所包含的；也可以是单独存在，而未装配入电子设备中。
108.综上所述，本技术实施例提供的基于分布式处理的业务指标获取方法、装置及可读介质，至少具备以下技术优势：
109.1)创新性的引入后台交易持仓数据应用于营销分析场景，相比单一的行情与代销渠道数据，交易持仓数据能够构建出更多元化、精确化的营销指标；
110.2)为满足营销指标计算要求，在分布式处理系统中按照分层的理念设计数据流转的形式，分层设计有助于提升数据的准确性与稳定性，方便溯源；
111.3)为计算部分复杂场景或对历史数据依赖的营销指标，根据不同类型的数据，采用不同的时间分区进行存储与计算；
112.4)创新性的采用高效的hdfs文件操作方式代替计算引擎处理方式进行不同系统之间的数据流转。相比通过计算引擎处理，hdfs文件操作具有处理速度快、准确性高、长时间任务不易出错等优点。
113.需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。
114.为了描述的方便，描述以上系统或装置时以功能分为各种模块或单元分别描述。
当然，在实施本技术时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
115.通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本技术可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本技术各个实施例或者实施例的某些部分所述的方法。
116.最后，还需要说明的是，在本文中，诸如第一、第二、第三和第四等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
117.以上所述仅是本技术的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本技术原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本技术的保护范围。

技术特征：

1.一种基于分布式处理的业务指标获取方法，其特征在于，包括：从源数据库采集后台交易数据至分布式处理系统，作为贴源层数据；基于营销所需的不同业务要求和/或功能分别对应的分区与存储策略，对贴源层数据进行分区与存储处理，得到对应于不同业务要求和/或功能的分区存储数据，作为模型层数据；基于分布式处理方式对模型层数据中的不同业务要求和/或功能的分区存储数据进行处理，得到不同业务要求和/或功能各自所需的营销指标，作为数据集市层数据；将所得的数据集市层数据输出至对应的下游业务系统。2.根据权利要求1所述的方法，其特征在于，所述从源数据库采集后台交易数据至分布式处理系统，作为贴源层数据，包括：从源数据库采集后台的基金交易持仓数据至分布式处理系统，作为贴源层数据；其中，贴源层数据与源数据中的字段与字段数据保持一致。3.根据权利要求1所述的方法，其特征在于，基于营销所需的不同业务要求和/或功能分别对应的分区与存储策略，对贴源层数据进行分区与存储处理，得到对应于不同业务要求和/或功能的分区存储数据，包括：确定不同业务要求和/或功能下的营销指标计算分别所需的时间分片方式；根据不同业务要求和/或功能下的营销指标计算对应所需的时间分片方式，对贴源层数据的数据库表进行分区与存储。4.根据权利要求3所述的方法，其特征在于，所述贴源层数据包括如下类型数据中的至少部分：交易数据，持仓数据与基金数据，用户数据，维度数据。5.根据权利要求4所述的方法，其特征在于，所述根据不同业务要求和/或功能下的营销指标计算对应所需的时间分片方式，对贴源层数据的数据库表进行分区与存储，包括：将交易数据与用户数据按照交易日期或确认日期进行分区与存储；将持仓数据与基金数据每日保存一份从起始日期至当前的历史全量信息；将维度数据每日全量刷新一次并存储。6.根据权利要求1所述的方法，其特征在于，所述基于分布式处理方式对模型层数据中的不同业务要求和/或功能的分区存储数据进行处理，得到不同业务要求和/或功能各自所需的营销指标，包括：按照不同业务要求和/或功能分别所需的营销指标对应的计算逻辑，基于分布式处理方式对模型层数据中的相应分区存储数据进行加工、计算与数据格式适配，以生成不同业务要求和/或功能分别所需的营销指标。7.根据权利要求1所述的方法，其特征在于，所述将所得的数据集市层数据输出至对应的下游业务系统，包括：采用hdfs文件操作的方式，将集市层数据导出至下游业务系统。8.根据权利要求7所述的方法，其特征在于，所述采用hdfs文件操作的方式，将集市层数据导出至下游业务系统，包括：通过定时任务，将数据集市层对应库表下的hdfs文件输出至中转服务器，以在中转服务器检测到相应业务要求和/或功能下的文件就绪后，将对应文件发送至下游营销平台。
9.一种基于分布式处理的业务指标获取装置，其特征在于，包括：采集模块，用于从源数据库采集后台交易数据至分布式处理系统，作为贴源层数据；分区与存储处理模块，用于基于营销所需的不同业务要求和/或功能分别对应的分区与存储策略，对贴源层数据进行分区与存储处理，得到对应于不同业务要求和/或功能的分区存储数据，作为模型层数据；数据处理模块，用于基于分布式处理方式对模型层数据中的不同业务要求和/或功能的分区存储数据进行处理，得到不同业务要求和/或功能各自所需的营销指标，作为数据集市层数据；输出模块，用于将所得的数据集市层数据输出至对应的下游业务系统。10.一种计算机可读介质，其特征在于，其上存储有计算机程序，所述计算机程序包含用于执行如权利要求1-8任一项所述的方法的程序代码。

技术总结

本申请公开一种基于分布式处理的业务指标获取方法、装置及可读介质，该方法包括从源数据库采集后台交易数据至分布式处理系统，作为贴源层数据，对贴源层数据进行分区与存储，得到对应于不同业务要求和/或功能的分区存储数据，作为模型层数据，基于分布式处理方式对模型层数据中的不同业务要求和/或功能的分区存储数据进行处理，得到对应的营销指标，作为数据集市层数据，最终将数据集市层数据输出至下游业务系统。本申请通过将后台交易数据引入营销场景，能够进行更精准、更符合客户需求的营销推荐。通过引入分布式处理系统并设计数据库表的分层结构进行数据存储与处理，解决了传统方式对于大数据量情况计算慢、指标准确性与稳定性差等问题。稳定性差等问题。稳定性差等问题。