一种银行数据存储方法、装置、系统和介质与流程

1.本技术涉及计算机技术领域，特别涉及一种银行数据存储方法、装置、系统和介质。

背景技术：

2.随着金融行业数字化转型进程的加速，用于监控和定位问题的日志量呈现指数级增长趋势。目前基于应用日志的存储一般都采用es(elastic search，弹性搜索)作为存储中间件。应用产生的日志数据通过采集、加工处理后，存储到es中，以支撑日志的全文检索与查询功能。
3.其中，elastic search是一个分布式、高扩展、高实时的搜索与数据分析引擎。为了及时排查和定位生产问题，上述采集、加工处理的过程都需要做到实时/准实时，然后直接写入es中，无法在上述过程中做过多的数据处理。为了满足运维监控的查询周期，只能延长数据在es中的存储周期，es的存储空间随之线性增长。
4.因此，如何在银行数据降低对存储空间的需求的同时，满足日志的存储周期，是本领域需要解决的技术问题。

技术实现要素：

5.有鉴于此，提供该发明内容部分以便以简要的形式介绍构思，这些构思将在后面的具体实施方式部分被详细描述。该发明内容部分并不旨在标识要求保护的技术方案的关键特征或必要特征，也不旨在用于限制所要求的保护的技术方案的范围。
6.本技术的目的在于提供一种银行数据存储方法、装置、系统和介质，可以在降低银行数据对存储空间的需求的同时，满足日志的存储周期。
7.为实现上述目的，本技术有如下技术方案：
8.第一方面，本技术实施例提供了一种银行数据存储方法，包括：
9.采集当前银行应用数据；
10.根据预设有效数据的识别依据，识别所述当前银行应用数据中的有效数据；
11.将所述有效数据中的本地数据存储在各个本地存储中心；
12.当所述本地存储中心的数据超过预设存储时长时，将其作为传输数据，发送至预设存储中心存储。
13.在一种可能的实现方式中，所述根据预设有效数据的识别依据，识别所述当前银行应用数据中的有效数据，包括：
14.将所述当前银行应用数据中的实时在线数据，作为所述有效数据的第一部分；
15.将所述当前银行应用数据中的离线数据，根据所述预设有效数据的识别依据，去除所述离线数据中的无效数据，得到所述有效数据的第二部分。
16.在一种可能的实现方式中，还包括：
17.根据数据查询信号，查询所述各个本地存储中心，得到与所述数据查询信号对应
的查询数据，并将所述查询数据进行展示。
18.在一种可能的实现方式中，将所述当前银行应用数据中的离线数据，根据所述预设有效数据的识别依据，去除所述离线数据中的无效数据，得到所述有效数据的第二部分，包括：
19.将所述当前银行应用数据中的离线数据根据预设规则转换为标准数据，并存储在分布式文件存储系统中；
20.将所述标准数据，根据所述预设有效数据的识别依据，去除所述标准数据中的无效数据，并存储在所述分布式文件存储系统中，作为标准有效数据；
21.将所述标准有效数据导入弹性搜索引擎中，作为所述有效数据的第二部分进行存储。
22.第二方面，本技术实施例提供了一种银行数据存储装置，包括：
23.采集单元，用于采集当前银行应用数据；
24.识别单元，用于根据预设有效数据的识别依据，识别所述当前银行应用数据中的有效数据；
25.存储单元，用于将所述有效数据中的本地数据存储在各个本地存储中心；
26.发送单元，用于当所述本地存储中心的数据超过预设存储时长时，将其作为传输数据，发送至预设存储中心存储。
27.在一种可能的实现方式中，所述识别单元，具体用于：
28.将所述当前银行应用数据中的实时在线数据，作为所述有效数据的第一部分；
29.将所述当前银行应用数据中的离线数据，根据所述预设有效数据的识别依据，去除所述离线数据中的无效数据，得到所述有效数据的第二部分。
30.在一种可能的实现方式中，还包括：
31.展示单元，用于根据数据查询信号，查询所述各个本地存储中心，得到与所述数据查询信号对应的查询数据，并将所述查询数据进行展示。
32.在一种可能的实现方式中，所述识别单元，具体用于：
33.将所述当前银行应用数据中的离线数据根据预设规则转换为标准数据，并存储在分布式文件存储系统中；
34.将所述标准数据，根据所述预设有效数据的识别依据，去除所述标准数据中的无效数据，并存储在所述分布式文件存储系统中，作为标准有效数据；
35.将所述标准有效数据导入弹性搜索引擎中，作为所述有效数据的第二部分进行存储。
36.第三方面，本技术实施例提供了一种银行数据存储系统，包括：
37.存储器，用于存储计算机程序；
38.处理器，用于执行所述计算机程序时实现如上述所述银行数据存储方法的步骤。
39.第四方面，本技术实施例提供了一种计算机可读介质，所述计算机可读介质上存储有计算机程序，所述计算机程序被处理执行时实现如上述所述银行数据存储方法的步骤。
40.与现有技术相比，本技术实施例具有以下有益效果：
41.本技术实施例提供了一种银行数据存储方法、装置、系统和介质，可应用于大数据
领域或金融领域。该方法包括：采集当前银行应用数据，根据预设有效数据的识别依据，识别当前银行应用数据中的有效数据，将有效数据中的本地数据存储在各个本地存储中心，当本地存储中心的数据超过预设存储时长时，将其作为传输数据，发送至预设存储中心存储。从而可以剔除一部分无效数据，降低了银行数据对存储空间的需求，且将要超过预设存储时长的数据发送至预设存储中心再存储，可以支撑更长周期的查询与检索。
附图说明
42.为了更清楚地说明本技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
43.结合附图并参考以下具体实施方式，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。贯穿附图中，相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的，原件和元素不一定按照比例绘制。
44.图1示出了本技术实施例提供的一种银行数据存储方法的流程图；
45.图2示出了本技术实施例提供的一种银行数据存储装置的示意图。
具体实施方式
46.需要说明的是，本发明提供的一种银行数据存储方法、装置、系统和介质，可应用于大数据领域或金融领域。上述仅为示例，并不对本发明提供的一种银行数据存储方法、装置、系统和介质的应用领域进行限定。
47.下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。
48.本文使用的术语“包括”及其变形是开放性包括，即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”；术语“另一实施例”表示“至少一个另外的实施例”；术语“一些实施例”表示“至少一些实施例”。其他术语的相关定义将在下文描述中给出。
49.需要注意，本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分，并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。
50.需要注意，本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。
51.正如背景技术中的描述，经申请人研究发现，随着金融行业数字化转型进程的加速，用于监控和定位问题的日志量呈现指数级增长趋势。目前基于应用日志的存储一般都采用es(elastic search，弹性搜索)作为存储中间件。应用产生的日志数据通过采集、加工处理后，存储到es中，以支撑日志的全文检索与查询功能。
52.其中，elastic search是一个分布式、高扩展、高实时的搜索与数据分析引擎。为了及时排查和定位生产问题，上述采集、加工处理的过程都需要做到实时/准实时，然后直
接写入es中，无法在上述过程中做过多的数据处理。为了满足运维监控的查询周期，只能延长数据在es中的存储周期，es的存储空间随之线性增长。
53.因此，如何在银行数据降低对存储空间的需求的同时，满足日志的存储周期，是本领域需要解决的技术问题。
54.为了解决以上技术问题，本技术实施例提供了一种银行数据存储方法、装置、系统和介质，可应用于大数据领域或金融领域。该方法包括：采集当前银行应用数据，根据预设有效数据的识别依据，识别当前银行应用数据中的有效数据，将有效数据中的本地数据存储在各个本地存储中心，当本地存储中心的数据超过预设存储时长时，将其作为传输数据，发送至预设存储中心存储。从而可以剔除一部分无效数据，降低了银行数据对存储空间的需求，且将要超过预设存储时长的数据发送至预设存储中心再存储，可以支撑更长周期的查询与检索。
55.示例性方法
56.参见图1所示，为本技术实施例提供的一种银行数据存储方法的流程图，包括：
57.s101：采集当前银行应用数据。
58.在本技术实施例中，首先可以采集当前银行应用数据。具体的，可以采用flume(日志收集系统)和filebeat(用于“转发”和“集中日志数据”的“轻量型数据采集器”)作为日志文本的采集工具。
59.其中，flume是一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。
60.在一种可能的实现方式中，在进行当前银行应用数据的采集时，可以数据分类进行采集。具体的，可以划分热数据、冷数据、离线数据。根据各类应用日志的作用的不同，将各类日志均划分为热、冷、离线数据；进一步，根据各类日志的特点，确定各类日志热、冷、离线数据分别存储的数据内容。具体如下：
61.热数据：近n天内，经过采集、格式化、标准化处理后的全量数据，用以支撑实时和最近时间的日志查询、检索，以便快速定位生产问题。
62.冷数据：一定周期内超过热数据存储周期(n天内)的，且通过识别规则和机制识别出的有效数据作为冷数据(d-n+1天至n-m+1天)，用以支撑一定周期内历史数据的查询。
63.离线数据：近n天内，经过采集、格式化、标准化处理后的全量数据，存储在分布式文件系统中，后续通过大数据海量数据处理方式根据有效数据的识别机制识别出有效数据。
64.s102：根据预设有效数据的识别依据，识别所述当前银行应用数据中的有效数据。
65.在本技术实施例中，可以根据预设有效数据的识别依据，识别当前银行应用数据中的有效数据。
66.在一种可能的实现方式中，可以将当前银行应用数据中的实时在线数据，作为有效数据的第一部分；将当前银行应用数据中的离线数据，根据预设有效数据的识别依据，去除离线数据中的无效数据，得到有效数据的第二部分。
67.具体的，热数据和冷数据可以作为当前银行应用数据中的实时在线数据，热数据和冷数据需要支撑日志的查询、检索等功能，以便定位和排查生产问题，可以将其存储在es(elasticsearch)中。
68.离线数据可以主要用来做离线加工，识别出有效数据(最终作为冷数据)，存储在hdfs(hadoop分布式文件系统，hadoop distributed file system)中。
69.在一种可能的实现方式中，可以将当前银行应用数据中的离线数据根据预设规则转换为标准数据，并存储在分布式文件存储系统中；
70.将标准数据，根据预设有效数据的识别依据，去除标准数据中的无效数据，并存储在分布式文件存储系统中，作为标准有效数据；
71.将标准有效数据导入弹性搜索引擎中，作为有效数据的第二部分进行存储。
72.举例来说，可以将原始的日志，经过etl(extract-transform-load，抽取、清洗、转换、装载)等处理转化为标准化数据，作为标准数据，并存储到hdfs中；将存储到hdfs中的离线数据，根据有效数据的识别依据识别出其中的有效数据，并存储到hdfs中，即去除标准数据中的无效数据，并存储在分布式文件存储系统中，作为标准有效数据；将标准有效数据导入弹性搜索引擎es中，作为有效数据的第二部分进行存储。
73.上述提到的实时在线数据可以为原始的日志数据，也可以将实时在线数据经过etl处理转换为标准化的数据，并存储在es中。
74.s103：将所述有效数据中的本地数据存储在各个本地存储中心。
75.s104：当所述本地存储中心的数据超过预设存储时长时，将其作为传输数据，发送至预设存储中心存储。
76.在本技术实施例中，用于监控和问题定位的各类应用日志数据量较大，本着“就近原则”，本地中心产生的日志数据在本地采集、加工处理后，直接存储在本地中心存储内，尽量避免海量数据的跨地域传输。即可以将有效数据中的本地数据存储在各个本地存储中心。
77.此外，当本地存储中心的数据超过预设存储时长时，将其作为传输数据，发送至预设存储中心存储。
78.即可以在分布在不同地域的多个中心中，选取一个作为主中心，其他中心作为普通中心。超过各个普通中心冷数据存储周期的有效数据，可以通过hdfs同步的方式跨地域传输到主中心，以支撑更长周期的查询与检索。
79.从而可以实现不同类型的不同存储，比如离线数据中的数据无需直接存储在es中，可以先在hdfs中进行加工，这样无需延长数据在es中的存储周期，降低了es对存储空间的需求。
80.在一种可能的实现方式中，本技术实施例提供的方法还可以包括：根据数据查询信号，查询各个本地存储中心，得到与数据查询信号对应的查询数据，并将查询数据进行展示。从而可以增强用户使用体验，让用户更直观的了解。
81.本技术实施例提供了一种银行数据存储方法，可应用于大数据领域或金融领域。该方法包括：采集当前银行应用数据，根据预设有效数据的识别依据，识别当前银行应用数据中的有效数据，将有效数据中的本地数据存储在各个本地存储中心，当本地存储中心的数据超过预设存储时长时，将其作为传输数据，发送至预设存储中心存储。从而可以剔除一部分无效数据，降低了银行数据对存储空间的需求，且将要超过预设存储时长的数据发送至预设存储中心再存储，可以支撑更长周期的查询与检索。
82.示例性装置
83.参见图2所示，为本技术实施例提供的一种银行数据存储装置的示意图，包括：
84.采集单元201，用于采集当前银行应用数据；
85.识别单元202，用于根据预设有效数据的识别依据，识别所述当前银行应用数据中的有效数据；
86.存储单元203，用于将所述有效数据中的本地数据存储在各个本地存储中心；
87.发送单元204，用于当所述本地存储中心的数据超过预设存储时长时，将其作为传输数据，发送至预设存储中心存储。
88.在一种可能的实现方式中，所述识别单元，具体用于：
89.将所述当前银行应用数据中的实时在线数据，作为所述有效数据的第一部分；
90.将所述当前银行应用数据中的离线数据，根据所述预设有效数据的识别依据，去除所述离线数据中的无效数据，得到所述有效数据的第二部分。
91.在一种可能的实现方式中，还包括：
92.展示单元，用于根据数据查询信号，查询所述各个本地存储中心，得到与所述数据查询信号对应的查询数据，并将所述查询数据进行展示。
93.在一种可能的实现方式中，所述识别单元，具体用于：
94.将所述当前银行应用数据中的离线数据根据预设规则转换为标准数据，并存储在分布式文件存储系统中；
95.将所述标准数据，根据所述预设有效数据的识别依据，去除所述标准数据中的无效数据，并存储在所述分布式文件存储系统中，作为标准有效数据；
96.将所述标准有效数据导入弹性搜索引擎中，作为所述有效数据的第二部分进行存储。
97.本技术实施例提供了一种银行数据存储装置，可应用于大数据领域或金融领域。应用于该装置的方法包括：采集当前银行应用数据，根据预设有效数据的识别依据，识别当前银行应用数据中的有效数据，将有效数据中的本地数据存储在各个本地存储中心，当本地存储中心的数据超过预设存储时长时，将其作为传输数据，发送至预设存储中心存储。从而可以剔除一部分无效数据，降低了银行数据对存储空间的需求，且将要超过预设存储时长的数据发送至预设存储中心再存储，可以支撑更长周期的查询与检索。
98.在上述实施例的基础上，本技术实施例提供了一种银行数据存储系统，包括：
99.存储器，用于存储计算机程序；
100.处理器，用于执行所述计算机程序时实现如上述银行数据存储方法的步骤。
101.在上述实施例的基础上，本技术实施例还提供了一种计算机可读介质，所述计算机可读介质上存储有计算机程序，所述计算机程序被处理执行时实现如上述银行数据存储方法的步骤。
102.需要说明的是，本公开上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、
或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、rf(射频)等等，或者上述的任意合适的组合。
103.上述计算机可读介质可以是上述系统中所包含的；也可以是单独存在，而未装配入该系统中。
104.特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在非暂态计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。
105.本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其它实施例的不同之处。尤其，对于装置实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。
106.以上所述仅是本技术的优选实施方式，虽然本技术已以较佳实施例披露如上，然而并非用以限定本技术。任何熟悉本领域的技术人员，在不脱离本技术技术方案范围情况下，都可利用上述揭示的方法和技术内容对本技术技术方案做出许多可能的变动和修饰，或修改为等同变化的等效实施例。因此，凡是未脱离本技术技术方案的内容，依据本技术的技术实质对以上实施例所做的任何的简单修改、等同变化及修饰，均仍属于本技术技术方案保护的范围内。

技术特征：

1.一种银行数据存储方法，其特征在于，包括：采集当前银行应用数据；根据预设有效数据的识别依据，识别所述当前银行应用数据中的有效数据；将所述有效数据中的本地数据存储在各个本地存储中心；当所述本地存储中心的数据超过预设存储时长时，将其作为传输数据，发送至预设存储中心存储。2.根据权利要求1所述的方法，其特征在于，所述根据预设有效数据的识别依据，识别所述当前银行应用数据中的有效数据，包括：将所述当前银行应用数据中的实时在线数据，作为所述有效数据的第一部分；将所述当前银行应用数据中的离线数据，根据所述预设有效数据的识别依据，去除所述离线数据中的无效数据，得到所述有效数据的第二部分。3.根据权利要求1所述的方法，其特征在于，还包括：根据数据查询信号，查询所述各个本地存储中心，得到与所述数据查询信号对应的查询数据，并将所述查询数据进行展示。4.根据权利要求2所述的方法，其特征在于，将所述当前银行应用数据中的离线数据，根据所述预设有效数据的识别依据，去除所述离线数据中的无效数据，得到所述有效数据的第二部分，包括：将所述当前银行应用数据中的离线数据根据预设规则转换为标准数据，并存储在分布式文件存储系统中；将所述标准数据，根据所述预设有效数据的识别依据，去除所述标准数据中的无效数据，并存储在所述分布式文件存储系统中，作为标准有效数据；将所述标准有效数据导入弹性搜索引擎中，作为所述有效数据的第二部分进行存储。5.一种银行数据存储装置，其特征在于，包括：采集单元，用于采集当前银行应用数据；识别单元，用于根据预设有效数据的识别依据，识别所述当前银行应用数据中的有效数据；存储单元，用于将所述有效数据中的本地数据存储在各个本地存储中心；发送单元，用于当所述本地存储中心的数据超过预设存储时长时，将其作为传输数据，发送至预设存储中心存储。6.根据权利要求5所述的装置，其特征在于，所述识别单元，具体用于：将所述当前银行应用数据中的实时在线数据，作为所述有效数据的第一部分；将所述当前银行应用数据中的离线数据，根据所述预设有效数据的识别依据，去除所述离线数据中的无效数据，得到所述有效数据的第二部分。7.根据权利要求5所述的装置，其特征在于，还包括：展示单元，用于根据数据查询信号，查询所述各个本地存储中心，得到与所述数据查询信号对应的查询数据，并将所述查询数据进行展示。8.根据权利要求6所述的装置，其特征在于，所述识别单元，具体用于：将所述当前银行应用数据中的离线数据根据预设规则转换为标准数据，并存储在分布式文件存储系统中；
将所述标准数据，根据所述预设有效数据的识别依据，去除所述标准数据中的无效数据，并存储在所述分布式文件存储系统中，作为标准有效数据；将所述标准有效数据导入弹性搜索引擎中，作为所述有效数据的第二部分进行存储。9.一种银行数据存储系统，其特征在于，包括：存储器，用于存储计算机程序；处理器，用于执行所述计算机程序时实现如权利要求1-4任意一项所述银行数据存储方法的步骤。10.一种计算机可读介质，其特征在于，所述计算机可读介质上存储有计算机程序，所述计算机程序被处理执行时实现如权利要求1-4任意一项所述银行数据存储方法的步骤。

技术总结

本申请提供了一种银行数据存储方法、装置、系统和介质，可应用于大数据领域或金融领域。该方法包括：采集当前银行应用数据，根据预设有效数据的识别依据，识别当前银行应用数据中的有效数据，将有效数据中的本地数据存储在各个本地存储中心，当本地存储中心的数据超过预设存储时长时，将其作为传输数据，发送至预设存储中心存储。从而可以剔除一部分无效数据，降低了银行数据对存储空间的需求，且将要超过预设存储时长的数据发送至预设存储中心再存储，可以支撑更长周期的查询与检索。可以支撑更长周期的查询与检索。可以支撑更长周期的查询与检索。