一种网络日志分析方法、装置、电子设备及存储介质与流程

1.本技术涉及网络通信管理、自动化运维和网络日志分析的技术领域，具体而言，涉及一种网络日志分析方法、装置、电子设备及存储介质。

背景技术：

2.简单网络管理协议(snmp，simple network management protocol)构成了互联网工程工作小组(ietf，internet engineering task force)定义的internet协议族的一部分，该协议能够支持网络管理系统，用以监测连接到网络上的设备是否有任何引起管理上关注的情况。
3.文件传输协议(file transfer protocol，ftp)，是指用于在网络上进行文件传输的一套标准协议，ftp协议是传输控制协议模型的第四层，即应用层，使用传输控制协议传输而不是用户数据报协议。
4.目前，现有的网络日志采集和分析通常是，采用snmp陷阱(trap)采集法或者ftp协议采集法来对网络日志进行采集后分析。其中，snmp陷阱(trap)采集法例如：snmp协议中的被管设备主动发送向snmp管理器发送日志信息，然后，snmp管理器被动接收snmp协议中的被管设备发送的日志信息。ftp协议采集法例如：通过ftp协议实现远程客户端的日志文件下载。然而，在具体的实践过程中发现，如果服务端遇到突发的瞬间大量网络日志数据同时发送的情况，服务端单位时间内接收到大量网络日志数据，就会导致服务器的资源被瞬间耗尽。也就是说，现有网络日志分析过程中的服务端难以应对突发的瞬间大量网络日志数据同时发送的情况。

技术实现要素：

5.本技术实施例的目的在于提供一种网络日志分析方法、装置、电子设备及存储介质，用于改善难以应对突发的瞬间大量网络日志数据同时发送的情况的问题。
6.本技术实施例提供了一种网络日志分析方法，包括：通过采集内核实时获取网络设备的网络日志，并通过采集内核将获取的网络日志实时推送到分布式事件流平台；使用分布式事件流平台采用消息队列对网络日志进行数据缓冲，获得缓冲后的网络日志；使用分布式流数据流引擎实时对分布式事件流平台缓存的缓冲后的网络日志进行分析，获得分析结果。。在上述的实现过程中，首先，使用分布式事件流平台对网络日志进行数据缓冲，然后，使用分布式流数据流引擎对缓冲后的网络日志进行分析，获得分析结果。也就是说，通过采用专用的分布式事件流平台对流式数据进行缓冲，并采用专用的分布式流数据流引擎对缓冲的流式数据进行分析，从而有效地将突发的瞬间大量网络日志数据作为流式数据缓冲，且由于flink节点可以匀速实时地消费处理kafka的消息队列中缓冲的网络日志数据，可以根据具体情况增加flink节点来增加对网络日志数据的实时处理能力，从而有效地应对突发的瞬间大量网络日志数据，处理不过来的情况。
7.可选地，在本技术实施例中，所述采集内核设置有分布式采集实例及对应的多个
端口，获取网络设备的网络日志，包括：通过分布式采集实例的不同端口接收网络设备通过预设协议发送的网络日志，分布式采集实例的一个端口对应一种厂商类型的网络设备；根据分布式采集实例的不同端口对网络日志进行标记厂商类型，获得带厂商类型标记的标记后的网络日志。在上述的实现过程中，通过分布式采集实例的不同端口接收网络设备通过预设协议发送的网络日志，并根据分布式采集实例的不同端口对网络日志进行标记，由于一种厂商类型的网络设备传输至一个端口，上述的电子设备可以对该端口传输的网络日志进行协议方面的统一处理，从而实现统一不同厂商的日志格式，有效地改善了不同厂商设备产生的网络日志格式不统一的问题。
8.可选地，在本技术实施例中，使用分布式事件流平台采用消息队列对网络日志进行数据缓冲，包括：将网络设备的网络日志输入到分布式事件流平台中的消息队列；使用消息队列对网络设备的网络日志进行数据缓冲。在上述的实现过程中，通过使用分布式事件流平台(例如kafka)的消息队列对网络设备的网络日志进行数据缓冲，有效地将突发的瞬间大量网络日志数据作为流式数据缓冲，能够保证在遇到突发的瞬间大量网络日志数据时，服务器的资源不会被耗尽。
9.可选地，在本技术实施例中，使用分布式流数据流引擎对缓冲后的网络日志进行分析，包括：使用分布式流数据流引擎从消息队列中获取缓冲后的网络日志；使用正则表达式对缓冲后的网络日志进行告警类型匹配，获得多个告警类型；分别统计多个告警类型在缓冲后的网络日志中出现的次数，获得多个告警次数；根据多个告警次数进行告警压制分析，获得告警压制分析结果。在上述的实现过程中，通过使用分布式流数据流引擎中的流处理程序实时地消费消息队列中的网络日志数据，在遇到突发的瞬间大量网络日志数据时，能够有效且快速地消费掉消息队列中的网络日志数据，从而极大地减小服务器的资源会被耗尽的概率。
10.可选地，在本技术实施例中，在获得告警压制分析结果之后，还包括：对告警压制分析结果进行隐性分析，获得隐性分析结果。在上述的实现过程中，通过在没有错误告警前，提前从网络日志分析并预判出告警趋势，能够根据不同的压制阈值分析出网络中的隐性问题，从而极大地减小服务器出现隐性问题的概率。
11.可选地，在本技术实施例中，使用分布式流数据流引擎对缓冲后的网络日志进行分析，包括：使用分布式流数据流引擎从消息队列中获取缓冲后的网络日志；对缓冲后的网络日志进行统一字段规范分析，获得字段规范标准化的日志数据。在上述的实现过程中，通过使用分布式流数据流引擎从消息队列中获取缓冲后的网络日志，并对缓冲后的网络日志进行统一字段规范分析，从而使得不同厂商设备标准化后的网络日志能够合并在一起实现综合查询等功能。
12.可选地，在本技术实施例中，在获得字段规范标准化的日志数据之后，还包括：将字段规范标准化的日志数据存储至数据库中；通过应用系统程序从数据库中读取日志数据，并对日志数据进行分析和可视化输出。
13.本技术实施例还提供了一种网络日志分析装置，包括：网络日志获取模块，用于通过采集内核实时获取网络设备的网络日志，并通过采集内核将获取的网络日志实时推送到分布式事件流平台；网络日志缓冲模块，用于使用分布式事件流平台采用消息队列对网络日志进行数据缓冲，获得缓冲后的网络日志；分析结果获得模块，用于使用分布式流数据流
引擎实时对分布式事件流平台缓存的缓冲后的网络日志进行分析，获得分析结果。
14.可选地，在本技术实施例中，网络日志获取模块，包括：网络日志接收模块，用于通过分布式采集实例的不同端口接收网络设备通过预设协议发送的网络日志，分布式采集实例的一个端口对应一种厂商类型的网络设备；网络日志标记模块，用于根据分布式采集实例的不同端口对网络日志进行标记，获得标记后的网络日志。
15.可选地，在本技术实施例中，网络日志缓冲模块，包括：网络日志输入模块，用于将网络设备的网络日志输入到分布式事件流平台中的消息队列；消息队列缓冲模块，用于使用消息队列对网络设备的网络日志进行数据缓冲。
16.可选地，在本技术实施例中，分析结果获得模块，包括：第一日志缓冲模块，用于使用分布式流数据流引擎从消息队列中获取缓冲后的网络日志；告警类型匹配模块，用于使用正则表达式对缓冲后的网络日志进行告警类型匹配，获得多个告警类型；告警次数统计模块，用于分别统计多个告警类型在缓冲后的网络日志中出现的次数，获得多个告警次数；告警压制分析模块，用于根据多个告警次数进行告警压制分析，获得告警压制分析结果。
17.可选地，在本技术实施例中，网络日志分析装置，还包括：日志隐性分析模块，对告警压制分析结果进行隐性分析，获得隐性分析结果。
18.可选地，在本技术实施例中，分析结果获得模块，包括：第二日志缓冲模块，用于使用分布式流数据流引擎从消息队列中获取缓冲后的网络日志；字段规范分析模块，用于对缓冲后的网络日志进行统一字段规范分析，获得字段规范标准化的日志数据。
19.可选地，在本技术实施例中，网络日志分析装置，还包括：日志数据存储模块，用于将字段规范标准化的日志数据存储至数据库中；日志可视输出模块，用于通过应用系统程序从数据库中读取日志数据，并对日志数据进行分析和可视化输出。
20.本技术实施例还提供了一种电子设备，包括：处理器和存储器，存储器存储有处理器可执行的机器可读指令，机器可读指令被处理器执行时执行如上面描述的方法。
21.本技术实施例还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如上面描述的方法。
附图说明
22.为了更清楚地说明本技术实施例的技术方案，下面将对本技术实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本技术的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
23.图1示出的本技术实施例提供的网络日志分析方法的流程示意图；
24.图2示出的本技术实施例提供的网络日志的处理流程示意图；
25.图3示出的本技术实施例提供的网络日志分析装置的结构示意图；
26.图4示出的本技术实施例提供的电子设备的结构示意图。
具体实施方式
27.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整的描述。
28.在介绍本技术实施例提供的网络日志分析方法之前，先介绍本技术实施例中所涉及的一些概念：
29.kafka是一个开源流处理平台，也是分布式事件流平台，由scala语言和java语言编写，kafka的目标是为处理实时数据提供一个统一、高吞吐、低延迟的平台，kafka持久化层本质上是一个按照分布式事务日志架构的大规模发布或者订阅消息队列。
30.flink是一种开源流处理框架，又被称为apache flink，其核心是用java语言和scala语言编写的分布式流数据流引擎；flink以数据并行和管道方式执行任意流数据程序，flink的流水线运行时系统可以执行批处理和流处理程序。
31.正则表达式(regular expression)，有时又称规则表达式，描述了一种字符串匹配的模式(pattern)，此处的正则表达式通常被用来检索、替换那些符合某个模式(pattern)的文本。
32.需要说明的是，本技术实施例提供的网络日志分析方法可以被电子设备执行，这里的电子设备是指具有执行计算机程序功能的设备终端或者服务器，设备终端例如：智能手机、个人电脑(personal computer，pc)、平板电脑或者移动上网设备(mobile internet device，mid)等；服务器例如：x86服务器以及非x86服务器，非x86服务器包括：大型机、小型机和unix服务器。
33.下面介绍该网络日志分析方法适用的应用场景，这里的应用场景包括但不限于：使用该网络日志分析方法采集局域网络或者集网络中的网络设备的网络日志，并对采集的网络日志进行告警压制分析、隐性分析和字段规范分析等等，改善服务器难以应对突发的瞬间大量网络日志数据同时发送的情况等。
34.请参见图1示出的本技术实施例提供的网络日志分析方法的流程示意图；该网络日志分析方法的主要思路是，通过采用专用的分布式事件流平台对流式数据进行缓冲，并采用专用的分布式流数据流引擎对缓冲的流式数据进行分析，从而有效地将突发的瞬间大量网络日志数据作为流式数据缓冲，且由于flink节点可以匀速地消费处理kafka的消息队列中缓冲的网络日志数据，可以根据具体情况增加flink节点来增加对网络日志数据的处理能力，从而有效地应对突发的瞬间大量网络日志数据，处理不过来的情况。
35.上述的网络日志分析方法可以包括：
36.步骤s110：通过采集内核实时获取网络设备的网络日志，并通过采集内核将获取的网络日志实时推送到分布式事件流平台。
37.上述步骤s110的实施方式有很多种，包括但不限于如下几种：
38.第一种实施方式，使用网络设备上事先安装的代理采集程序(agent)来采集网络设备的网络日志，并让代理采集程序发送至分布式采集实例的不同端口；该实施方式例如：
39.步骤s111：网络设备通过代理采集程序采集网络日志，并使用预设协议向电子设备中的分布式采集实例的不同端口发送网络日志。
40.预设协议，是指网络日志发送和接收的协议，网络设备的不同生产厂商可以使用不同的协议传输网络日志。由于一种厂商类型的网络设备传输至一个端口，上述的电子设备可以对该端口传输的网络日志进行协议方面的统一处理，从而实现统一不同厂商的日志格式。当然也可以只使用同一种协议传输网络日志，本实施例中统一使用syslog协议传输日志。
41.请参见图2示出的本技术实施例提供的网络日志的处理流程示意图；上述步骤s111的实施方式例如：网络设备上实现安装了代理采集程序，因此可以通过代理采集程序来采集网络设备的网络日志，代理采集程序可以先识别出网络设备的厂商类型标识。具体例如：假设第一设备厂商的设备厂商标识为1001，从配置文件或者数据库中查询到该厂商类型标识对应的接收端口号是8001，那么可以向该厂商类型标识对应的8001端口发送网络日志。同理地，假设第二设备厂商的设备厂商标识为1002，从配置文件或者数据库中查询到该厂商类型标识对应的接收端口号是8002，那么可以向该厂商类型标识对应的8002端口发送网络日志。
42.步骤s112：电子设备通过分布式采集实例的不同端口接收网络设备通过预设协议发送的网络日志。
43.上述步骤s112的实施方式例如：上述的预设协议可以采用syslog协议，也可以根据厂商类型来具体设置，电子设备通过分布式采集实例的不同端口接收网络设备通过预设协议发送的网络日志。其中，分布式采集实例的一个端口对应一种厂商类型的网络设备，电子设备可以对该端口传输的网络日志进行协议方面的统一处理，从而实现分布式采集，并统一不同厂商的日志格式的功能。
44.步骤s113：电子设备根据分布式采集实例的不同端口对网络日志进行标记厂商类型，获得带厂商类型标记后的网络日志。
45.上述步骤s113的实施方式例如：电子设备将从8001端口接收的网络日志标记为1001，并将从8002端口接收的网络日志标记为1002，具体标记的过程也被称为打标签的过程，即根据不同设备厂商打不同的标签，具体可以在网络日志增加一个字段来存储标记值，然后将标记后的网络日志存储为网络日志；在网络日志的采集过程中，也可以采用开源采集内核。
46.第二种实施方式，事先通过人工识别出网络设备的厂商类型，然后在该网络设备中配置网络日志需要发送的接收端口，该接收端口是与厂商类型对应的，该实施方式例如：
47.步骤s114：网络设备使用预设协议向电子设备中的分布式采集实例的预设端口发送网络日志。
48.上述步骤s114的实施方式例如：假设第一设备厂商的设备厂商标识为1001，第一设备厂商的网络设备使用syslog协议向电子设备中的分布式采集实例的8001端口发送网络日志；假设第二设备厂商的设备厂商标识为1002，第二设备厂商的网络设备使用syslog协议向电子设备中的分布式采集实例的8002端口发送网络日志。在具体的实践过程中，上述的网络设备可以是光线路终端(optical line terminal，olt)设备，具体可以采用olt设备采集不同告警类型的网络日志，并通过syslog协议发送不同告警类型的网络日志，上述的告警类型包括但不限于：光猫掉电告警、光猫掉电恢复告警、无源光纤网络(passive optical network，pon)口断纤告警、pon口断纤恢复告警、光猫断纤告警和光猫断纤恢复告警等等。
49.步骤s115：电子设备通过分布式采集实例的预设端口接收网络设备通过预设协议发送的网络日志。
50.步骤s116：电子设备根据分布式采集实例的不同端口对网络日志进行标记，获得标记后的网络日志。
51.其中，该步骤s115至步骤s116的实施原理和实施方式与步骤s112至步骤s113的实施原理和实施方式是类似的，因此，这里不再说明其实施原理和实施方式，如有不清楚的地方，可以参考对步骤s112至步骤s113的描述。
52.在步骤s110之后，执行步骤s120：使用分布式事件流平台采用消息队列对网络日志进行数据缓冲，获得缓冲后的网络日志。
53.上述步骤s120的实施方式可以包括：在对网络日志打完标签之后，获得标记后的网络日志，然后，可以将标记后的网络日志输入到分布式事件流平台(例如kafka)中的消息队列中。使用消息队列对网络设备的网络日志进行数据缓冲，获得缓冲后的网络日志。在上述的实现过程中，通过使用分布式事件流平台(例如kafka)的消息队列对网络设备的网络日志进行数据缓冲，有效地将突发的瞬间大量网络日志数据作为流式数据缓冲，能够保证在遇到突发的瞬间大量网络日志数据时，服务器的资源不会被耗尽。
54.在步骤s120之后，执行步骤s130：使用分布式流数据流引擎实时对分布式事件流平台缓存的缓冲后的网络日志进行分析，获得分析结果。
55.分布式流数据流引擎，是指对网络日志进行分析的分布式流数据流引擎，分布式流数据流引擎具体可以采用flink流处理框架，flink流处理框架中的流处理程序可以实时地消费kafka中的网络日志数据。
56.上述步骤s130的实施方式有很多种，包括但不限于如下几种：
57.第一种实施方式，对网络日志进行告警压制分析，告警压制分析的具体过程可以包括：
58.步骤s131：使用分布式流数据流引擎从消息队列中获取缓冲后的网络日志。
59.上述步骤s131的实施方式例如：通过分布式流数据流引擎(例如采用flink流处理框架)从kafka的消息队列中获取缓冲后的网络日志；具体例如：在kafka的消息队列极速采集到网络日志并缓冲之后，就可以使用flink流处理框架来匀速地消费处理kafka的消息队列中缓冲的网络日志数据，此处的消费是指匀速获取并进行下面步骤的计算，从而达到网络日志的入库缓冲和处理消费是无耦合的效果。相比于传统的采集一条网络日志，就消费计算一条网络日志，本技术实施例提供的kafka极速采集缓冲，加上flink匀速消费计算，使得数据采集过程和计算过程有效地分离，从而明显地提高了网络日志的处理能力和速度。
60.步骤s132：使用正则表达式对缓冲后的网络日志进行告警类型匹配，获得多个告警类型。
61.上述步骤s132的实施方式例如：通过flink流处理框架使用正则表达式对缓冲后的网络日志进行告警类型匹配，获得多个告警类型；其中，正则表达式可以用来检查一个串是否含有某种子串、将匹配的子串替换或者从某个串中取出符合某个条件的子串等。
62.步骤s133：分别统计多个告警类型在缓冲后的网络日志中出现的次数，获得多个告警次数。
63.上述步骤s133的实施方式例如：通过flink流处理框架分别统计多个告警类型在缓冲后的网络日志中出现的次数，即对缓冲后的网络日志中出现的告警类型次数进行累加，获得多个告警次数，此处的告警次数可以用于下面的告警压制分析。
64.步骤s134：根据多个告警次数进行告警压制分析，获得告警压制分析结果。
65.告警压制，是指在单位时间内有连续n次的告警消息需要发送时，只发送一次真正
的告警消息；具体例如：在一分钟之类有1000次类型相同且同一个设备的告警消息需要发送，那么在告警压制分析出这种情况之后，只向用户发送一次告警消息。
66.上述步骤s134的实施方式例如：通过flink流处理框架根据多个告警次数进行告警压制分析，获得告警压制分析结果。
67.在上述的实现过程中，通过使用flink流处理框架中的流处理程序实时地消费kafka中的网络日志数据，在遇到突发的瞬间大量网络日志数据时，能够有效且快速地消费掉kafka中的网络日志数据，从而极大地减小服务器的资源会被耗尽的概率。
68.第二种实施方式，对网络日志进行隐性分析；即在获得告警压制分析结果之后，还可以进行隐性分析，隐性分析的具体过程可以包括：
69.步骤s135：对告警压制分析结果进行隐性分析，获得隐性分析结果。
70.上述步骤s135的实施方式例如：告警压制分析结果中包括不同的压制阈值，然后，根据不同的压制阈值分析出网络中的隐性问题，此处的隐性问题是指在没有错误告警前，提前从网络日志分析并预判出告警趋势，告警趋势例如：在一段时间内网络设备中央处理器(central processing unit，cpu)的占用率从30％上升到80％。在具体实践过程中，还可以根据告警趋势采集指标数据，此处的指标数据例如：网络设备的cpu使用率、内存占用率和带宽使用率等等。
71.第三种实施方式，对网络日志进行字段规范分析，字段规范分析的具体过程可以包括：
72.步骤s136：使用分布式流数据流引擎从消息队列中获取缓冲后的网络日志。
73.其中，该步骤s136的实施原理和实施方式与步骤s131的实施原理和实施方式是类似的，因此，这里不再说明其实施原理和实施方式，如有不清楚的地方，可以参考对步骤s131的描述。
74.步骤s137：对缓冲后的网络日志进行统一字段规范分析，获得字段规范标准化的日志数据。
75.上述步骤s137的实施方式例如：使用flink流处理框架对缓冲后的网络日志进行统一字段规范分析(即日志格式标准化)，获得字段规范标准化的日志数据；具体例如：从缓冲后的网络日志提取出告警来源、告警时间、告警设备、设备厂商标识等字段。然后，可以将字段规范标准化的日志数据存储至数据库(例如oracle数据库或者mysql数据库)中。
76.可选地，在字段规范标准化之后，还可以分析并可视化输出字段规范标准化的日志数据，该实施方式可以包括：
77.步骤s138：将字段规范标准化的日志数据存储至数据库中。
78.上述步骤s138的实施方式例如：数据库可以理解为用于存储日志数据的数据仓库，具体可以采用内存数据库、关系型数据库和/或非关系型数据库，因此，可以将字段规范标准化的日志数据存储内存数据库、关系型数据库和/或非关系型数据库中；其中，可以使用的内存数据库例如：memcached和redis等，可以使用的关系型数据库例如：mysql、postgresql、oracle和sqlsever等，可以使用的非关系型数据库包括：grakn数据库、neo4j图数据库、hadoop子系统hbase、mongodb和couchdb等。
79.可以理解的是，在将字段规范标准化的日志数据存储至数据库中之后，就意味着将不同厂商设备标准化后的网络日志能够合并在一起存放至数据库中，能够实现综合分析
查询。如果不同厂商设备的网络日志格式不统一，就难以合并在一起，就无法实现综合分析查询功能。
80.步骤s139：通过应用系统程序从数据库中读取日志数据，并对日志数据进行分析和可视化输出。
81.上述步骤s139的实施方式例如：通过应用系统程序从数据库中读取日志数据，并根据不同的压制阈值分析出网络中的隐性问题，此处的隐性问题是指在没有错误告警前，提前从网络日志分析并预判出告警趋势，告警趋势例如：在一段时间内网络设备中央处理器(central processing unit，cpu)的占用率从30％上升到80％。然后，对日志数据进行分析和可视化输出，具体例如：在超文本标记语言(hyper text markup language，html)网页页面上根据不同的告警次数显示不同的颜，从而有效地将告警趋势和告警严重程度展示给用户。
82.在具体的实践过程中，还可以结合上述第一种至第三种实施方式，在获得字段规范标准化的日志数据之后，可以只对字段规范标准化的日志数据进行告警压制分析和可视化输出，也可以对字段规范标准化的日志数据进行告警压制分析、隐性分析和可视化输出。
83.在上述的实现过程中，首先，使用分布式事件流平台对网络日志进行数据缓冲，然后，使用分布式流数据流引擎对缓冲后的网络日志进行分析，获得分析结果。也就是说，通过采用专用的分布式事件流平台对流式数据进行缓冲，并采用专用的分布式流数据流引擎对缓冲的流式数据进行分析，从而有效地将突发的瞬间大量网络日志数据作为流式数据缓冲，且由于flink节点可以匀速地消费处理kafka的消息队列中缓冲的网络日志数据，可以根据具体情况增加flink节点来增加对网络日志数据的处理能力，从而有效地应对突发的瞬间大量网络日志数据，处理不过来的情况。
84.请参见图3示出的本技术实施例提供的网络日志分析装置的结构示意图；本技术实施例提供了一种网络日志分析装置200，包括：
85.网络日志获取模块210，用于通过采集内核实时获取网络设备的网络日志，并通过采集内核将获取的网络日志实时推送到分布式事件流平台。
86.网络日志缓冲模块220，用于使用分布式事件流平台采用消息队列对网络日志进行数据缓冲，获得缓冲后的网络日志。
87.分析结果获得模块230，用于使用分布式流数据流引擎实时对分布式事件流平台缓存的缓冲后的网络日志进行分析，获得分析结果。
88.可选地，在本技术实施例中，采集内核设置有分布式采集实例及对应的多个端口，网络日志获取模块，包括：
89.网络日志接收模块，用于通过分布式采集实例的不同端口接收网络设备通过预设协议发送的网络日志，分布式采集实例的一个端口对应一种厂商类型的网络设备。
90.网络日志标记模块，用于根据分布式采集实例的不同端口对网络日志进行标记厂商类型，获得带厂商类型标记后的网络日志。
91.可选地，在本技术实施例中，网络日志缓冲模块，包括：
92.网络日志输入模块，用于将网络设备的网络日志输入到分布式事件流平台中的消息队列。
93.消息队列缓冲模块，用于使用消息队列对网络设备的网络日志进行数据缓冲。
94.可选地，在本技术实施例中，分析结果获得模块，包括：
95.第一日志缓冲模块，用于使用分布式流数据流引擎从消息队列中获取缓冲后的网络日志。
96.告警类型匹配模块，用于使用正则表达式对缓冲后的网络日志进行告警类型匹配，获得多个告警类型。
97.告警次数统计模块，用于分别统计多个告警类型在缓冲后的网络日志中出现的次数，获得多个告警次数。
98.告警压制分析模块，用于根据多个告警次数进行告警压制分析，获得告警压制分析结果。
99.可选地，在本技术实施例中，网络日志分析装置，还包括：
100.日志隐性分析模块，对告警压制分析结果进行隐性分析，获得隐性分析结果。
101.可选地，在本技术实施例中，分析结果获得模块，还可以包括：
102.第二日志缓冲模块，用于使用分布式流数据流引擎从消息队列中获取缓冲后的网络日志。
103.字段规范分析模块，用于对缓冲后的网络日志进行统一字段规范分析，获得字段规范标准化的日志数据。
104.可选地，在本技术实施例中，网络日志分析装置，还包括：
105.日志数据存储模块，用于将字段规范标准化的日志数据存储至数据库中。
106.日志可视输出模块，用于通过应用系统程序从数据库中读取日志数据，并对日志数据进行分析和可视化输出。
107.应理解的是，该装置与上述的网络日志分析方法实施例对应，能够执行上述方法实施例涉及的各个步骤，该装置具体的功能可以参见上文中的描述，为避免重复，此处适当省略详细描述。该装置包括至少一个能以软件或固件(firmware)的形式存储于存储器中或固化在装置的操作系统(operating system，os)中的软件功能模块。
108.请参见图4示出的本技术实施例提供的电子设备的结构示意图。本技术实施例提供的一种电子设备300，包括：处理器310和存储器320，存储器320存储有处理器310可执行的机器可读指令，机器可读指令被处理器310执行时执行如上的方法。
109.本技术实施例还提供了一种计算机可读存储介质330，该计算机可读存储介质330上存储有计算机程序，该计算机程序被处理器310运行时执行如上的方法。
110.其中，计算机可读存储介质330可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(static random access memory,简称sram)，电可擦除可编程只读存储器(electrically erasable programmable read-only memory,简称eeprom)，可擦除可编程只读存储器(erasable programmable read only memory,简称eprom)，可编程只读存储器(programmable read-only memory,简称prom)，只读存储器(read-only memory,简称rom)，磁存储器，快闪存储器，磁盘或光盘。
111.本技术实施例提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其他的方式实现。以上所描述的装置实施例仅是示意性的，例如，附图中的流程图和框图显示了根据本技术实施例的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代
码的一部分，模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以和附图中所标注的发生顺序不同。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这主要根据所涉及的功能而定。
112.另外，在本技术实施例中的各个实施例的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
113.在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。
114.以上的描述，仅为本技术实施例的可选实施方式，但本技术实施例的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本技术实施例揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本技术实施例的保护范围之内。

技术特征：

1.一种网络日志分析方法，其特征在于，包括：通过采集内核实时获取网络设备的网络日志，并通过所述采集内核将获取的网络日志实时推送到分布式事件流平台；使用所述分布式事件流平台采用消息队列对所述网络日志进行数据缓冲，获得缓冲后的网络日志；使用分布式流数据流引擎实时对所述分布式事件流平台缓存的所述缓冲后的网络日志进行分析，获得分析结果。2.根据权利要求1所述的方法，其特征在于，所述采集内核设置有分布式采集实例及对应的多个端口，所述获取网络设备的网络日志，包括：通过分布式采集实例的不同端口接收所述网络设备通过预设协议发送的网络日志，所述分布式采集实例的一个端口对应一种厂商类型的网络设备；根据所述分布式采集实例的不同端口对所述网络日志进行标记厂商类型，获得带厂商类型标记的所述网络设备的网络日志。3.根据权利要求2所述的方法，其特征在于，所述使用分布式事件流平台采用消息队列对所述网络日志进行数据缓冲，包括：将所述网络设备的网络日志输入到所述分布式事件流平台中的消息队列；使用所述消息队列对所述网络设备的网络日志进行数据缓冲。4.根据权利要求3所述的方法，其特征在于，所述使用分布式流数据流引擎对所述缓冲后的网络日志进行分析，包括：使用所述分布式流数据流引擎从所述消息队列中获取所述缓冲后的网络日志；使用正则表达式对所述缓冲后的网络日志进行告警类型匹配，获得多个告警类型；分别统计所述多个告警类型在所述缓冲后的网络日志中出现的次数，获得多个告警次数；根据所述多个告警次数进行告警压制分析，获得告警压制分析结果。5.根据权利要求4所述的方法，其特征在于，在所述获得告警压制分析结果之后，还包括：对所述告警压制分析结果进行隐性分析，获得隐性分析结果。6.根据权利要求3所述的方法，其特征在于，所述使用分布式流数据流引擎对所述缓冲后的网络日志进行分析，包括：使用所述分布式流数据流引擎从所述消息队列中获取所述缓冲后的网络日志；对所述缓冲后的网络日志进行统一字段规范分析，获得字段规范标准化的日志数据。7.根据权利要求6所述的方法，其特征在于，在所述获得字段规范标准化的日志数据之后，还包括：将所述字段规范标准化的日志数据存储至数据库中；通过应用系统程序从所述数据库中读取所述日志数据，并对所述日志数据进行分析和可视化输出。8.一种网络日志分析装置，其特征在于，包括：网络日志获取模块，用于通过采集内核实时获取网络设备的网络日志，并通过所述采集内核将获取的网络日志实时推送到分布式事件流平台；
网络日志缓冲模块，用于使用所述分布式事件流平台采用消息队列对所述网络日志进行数据缓冲，获得缓冲后的网络日志；分析结果获得模块，用于使用分布式流数据流引擎实时对所述分布式事件流平台缓存的所述缓冲后的网络日志进行分析，获得分析结果。9.一种电子设备，其特征在于，包括：处理器和存储器，所述存储器存储有所述处理器可执行的机器可读指令，所述机器可读指令被所述处理器执行时执行如权利要求1至7任一所述的方法。10.一种计算机可读存储介质，其特征在于，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如权利要求1至7任一所述的方法。

技术总结

本申请提供一种网络日志分析方法、装置、电子设备及存储介质，该方法包括：获取网络设备的网络日志；使用分布式事件流平台对网络日志进行数据缓冲，获得缓冲后的网络日志；使用分布式流数据流引擎对缓冲后的网络日志进行分析，获得分析结果。在上述的实现过程中，通过采用专用的分布式事件流平台对流式数据进行缓冲，并采用专用的分布式流数据流引擎对缓冲的流式数据进行分析，从而有效地将突发的瞬间大量网络日志数据作为流式数据缓冲，有效地应对突发的瞬间大量网络日志数据同时发送的情况。况。况。