一种基于动态规则驱动的海量互联网流量处理系统及方法与流程

1.本发明属于流量处理技术领域，特别涉及运营商核心网(固定/移动)海量流量处理，具体涉及一种基于动态规则驱动的海量互联网流量处理系统及方法。

背景技术：

2.随着互联网的飞速发展，城际互联网、移动核心网数据流量持续扩容，运营商数据处理流量从x100gbps增加到xtbps、x10tbps的规模，针对于海量互联网流量中协议、流量、内容的分析越来越困难。如何在海量实时网络流量中灵活精准获取关注业务流量，如何在海量流量中全面掌握网络数据流量、网络协议成为互联网协议分析的重要工作。
3.当前主要实现方案有三种：(1)传统的线路抓包分析一是无发完成如此大流量数据包的存盘写入工作，二是即便对数据进行存盘写入，对写入的数据进行无差别分析处理也变的极为困难；(2)采用网络核心设备对流量进行采样分析的方法无法获取准确、全面的流量内容，特别针对于特定流量，容易造成流量丢失进而导致分析结果不全面，不准确；(3)采用网络核心设备全接入全处理，则建设费用巨大，且很难跟上数据流量增长速度。
4.针对传统线路质量分析、qos提升、全接入全处理、采样或局部接入流量的处理方式分别分析如下：
5.(1)传统的线路质量分析方式受限于入口限制、处理性能、磁盘io等因素，适合于较小流量的人工验证分析，无法处理海量互联网流量。
6.(2)按照采样或局部处理的方式无法获取准确、全面的流量内容，特别针对于特定流量，容易造成流量丢失进而导致分析结果不全面，不准确。
7.(3)全接入全处理方式对全量入口流量进行流量接入、规则处理、多业务分发，扩容频繁、设备规模巨大、处理效能低。

技术实现要素：

8.为了克服上述现有技术存在的不足，本发明提供了一种基于动态规则驱动的海量互联网流量处理系统及方法，特别针对面向海量实时互联网数据处理的灵活精准获取和处理的方法，为绿互联网辅助服务提供支持。
9.为了实现上述目的，本发明提供如下技术方案：
10.一种基于动态规则驱动的海量互联网流量处理系统，包括：
11.一级处理层，用于以引接ge/10g/100g互联网流量为数据源，以五元组白名单规则为驱动，去除站点级别的可信网站；
12.二级处理层，用于以多业务组规则并集为规则驱动，按照流量特征筛选用户关注流量；
13.多业务组分发层，用于根据各业务组规则分发复制输出各自流量，解决数据流多命中复制分发问题；
14.复杂规则层，该层的数据输入为组规则命中数据流，解决除五元组和特征串规则
外，支持正则表达式、函数表达式、跨包运算规则，支持组内多业务数据的分发；
15.规则管理层，用于支持五元组规则、特征规则、复杂规则管理，对接收到的规则进行规则合并、规则转换，转换为各级分流设备能够识别的多条规则，并分配内部规则id给转换后的规则，分别下发到不同的设备中；
16.流量统计反馈层，用于实时统计记录各级分流设备的输入、输出流量，并与分流器或处理设备的阈值进行比较，对即将超限或流量异常的情况实时提示提升，联动反馈规则管理实现动态流量调配。
17.优选地，所述一级处理层还支持数据包接入、数据包解析、数据包分类、同源同宿、数据流采样、流量复制、汇聚收敛、报文去重、数据包分发功能。
18.优选地，所述二级处理层为规则并集处理层，规则并集包括ip五元组规则、固定位置特征串、浮动位置特征串规则，规则命中数据转发多业务组分发进行下一步处理；所述ip五元组规则包括源ip、目的ip、源端口、目的端口、协议类型。
19.优选地，所述多业务组分发层需要对数据流量分别进行多组规则的独立匹配，每个组需要的流量分别输出给各组设备；极限情况下，如果一个报文m个组都需要，则最多输出m份给各个组。
20.优选地，所述规则管理层维护id映射关系，保障规则命中数据按规则id号正确分发和处理。
21.本发明的另一目的在于提供一种基于动态规则驱动的海量互联网流量处理方法，包括以下步骤：
22.统一规则设置：根据业务需求设置ip五元组、固定位置特征码、浮动位置特征码、正则表达式、函数表达式、跨包运算规则；
23.统一规则处理：根据规则和生效环节不同进行规则的校验、去重、合并，形成归一化规则集；针对各级设备处理能力不同，对规则集进行拆分，形成各处理环节规则子集及规则映射关系；
24.统一规则分发：将拆分后的规则设置到各环节处理设备，实现多级规则分发；
25.一级白名单处理：实时接入互联网流量，进行白名单规则过滤，实现高速率数据接入处理；
26.二级规则并集处理：通过深度规则筛选保留规则并集命中流量集合，实现数据收敛；规则命中的数据报文通过编辑mac地址携带命中组信息向后流转，最终输出命中流量报文供多业务组分发处理；
27.三级多业务组规则分发：通过将各业务组规则设置到专用硬件设备，实现高通量的实时报文预处理，实现组规则匹配和多命中报文复制，以背靠背的隔离方式使每一个业务组都能获取各自关注数据报文；
28.复杂规则处理：在接收流量后依据组内各用户规则进行数据分发及复制，使每个业务用户均能获取其关注报文；业务用户调用复杂规则动态库，对送入的方向流量进行深度匹配，符合模块逻辑的由用户更进一步落盘或推送给下一级业务处理设备；
29.其它流量处理：每个多业务组输出流量根据业务需要对接不同的流量处理设备，其以分发输出的实时互联网流量或离线数据包为数据源，提供网络协议数据提取、分析、关联处理，最后通过数据分发输出；
30.流量统计反馈：通过通信接口从各级处理设备获取规则匹配流量信息，对关注规则类型与规则id范围的规则匹配流量情况进行统计；
31.规则动态联动调整：根据预先设定联动规则动态调整各级设备规则，并及时反馈管理人员；
32.统一数据分发：将各流量处理设备处理结果进行收集，具备数据缓存和数据分发后续数据处理平台的能力。
33.优选地，所述统一规则分发处理的生效规则包括：
34.数据接入：ip五元组规则，包括源ip、目的ip、源端口、目的端口、传输层协议类别；
35.规则处理：ip五元组规则、固定位置特征码、浮动位置特征码；
36.数据分发：ip五元组规则、固定位置特征码、浮动位置特征码；
37.复杂规则处理：正则表达式、函数表达式、跨包运算及插件。
38.优选地，所述一级白名单处理具体包括：数据包接入、数据包处理、数据包分类、同源同宿、报文去重；结果报文按照源ip+目的ip或其它定制方式进行hash，保证流量同源同宿输出。
39.优选地，所述二级规则并集处理具体包括：
40.规则并集处理支持多业务组规则集合的处理，包括各业务组的ip五元组规则、特征串规则的合一匹配筛选；通过深度规则筛选保留规则并集命中流量集合，实现ntbps到x100g的数据收敛；规则命中的数据报文通过编辑流量报文mac地址携带命中组信息向后流转；最终输出命中流量报文供多业务组分发处理。
41.优选地，所述多业务组分发处理以规则并集输出新号为数据来源，数据报文经过规则并集处理，数据量从xtbps下降到x100gbps。
42.本发明提供的基于动态规则驱动的海量互联网流量处理系统及方法具有以下有益效果：
43.本发明通过灵活的规则体系来调度各类处理设备，使海量互联网流量处理不再是一个固化的分发处理模式，而是一个由用户规则驱动，与关注流量、分析方向、分析结果相关联的实时处理新模式，从而构建一个灵活高效、精准获取、实时可控的流量处理方法。本发明提供的方法能够提升资源利用率以及功效产出比，也将为运营商数据处理和业务优化工作带来更大的效益。
附图说明
44.为了更清楚地说明本发明实施例及其设计方案，下面将对本实施例所需的附图作简单地介绍。下面描述中的附图仅仅是本发明的部分实施例，对于本领域普通技术人员来说，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
45.图1为本发明实施例1的基于动态规则驱动的海量互联网流量处理系统的总体架构图。
46.图2为本发明实施例1的基于动态规则驱动的海量互联网流量处理方法的流程图。
47.图3为规则并集处理流程图。
48.图4为多业务组分发处理流程图。
49.图5为流量统计管理流程图。
具体实施方式
50.为了使本领域技术人员更好的理解本发明的技术方案并能予以实施，下面结合附图和具体实施例对本发明进行详细说明。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。
51.实施例1
52.本发明提供了一种基于动态规则驱动的海量互联网流量处理系统，对运营商分流器、数据接入、规则并集处理、多业务组分发、数据采集及规则处理、数据处理等进行统一规则管理，驱动相关处理设备实现精准深度包检测、深度流检测和规则匹配处理。
53.从控制流看实现多级处理设备的规则联动和统一规则处理；从数据流看在处理规则的驱动下实现网络流量的灵活控制；从处理设备看，通过接入流量的调整和处理规则的下发实现处理设备入口流量的定制和处理规则的联动。进而实现数据流量处理、规则管理、流量筛选的动态联动，构建规则管理可定义、数据流量可编排、规则流量可反馈的统一规则处理体系，有效提升海量互联网数据流量处理效能。
54.系统主要由一级规则过滤、多业务组分发、多业务分发及复杂规则处理、规则管理、各级流量监控等部分组成。通过对接入互联网数据的多级规则匹配，面向多业务完成基于五元组、固定和浮动字符串规则和正则表达式等复杂规则的原始数据匹配、采集、分发和下载，实现海量互联网数据到高价，系统总体框架结构如图1所示，包括：
55.一级处理(白名单处理)层，用于以引接ge/10g/100g互联网流量为数据源，以五元组白名单规则为驱动，去除站点级别的可信网站，此外还支持数据包接入、数据包解析、数据包分类、同源同宿、数据流采样、流量复制、汇聚收敛、报文去重、数据包分发等功能。
56.二级处理(规则并集处理)层，用于以多业务组规则并集为规则驱动，按照流量特征筛选用户关注流量。规则并集包括ip五元组规则(源ip、目的ip、源端口、目的端口、协议类型)、固定位置特征串、浮动位置特征串规则，规则命中数据转发多业务组分发进行下一步处理。
57.多业务组分发层，该层目的是根据各业务组规则分发复制输出各自流量，解决数据流多命中复制分发问题。该层需要对数据流量分别进行多组规则的独立匹配，每个组需要的流量分别输出给各组设备。极限情况下，如果一个报文m个组都需要，则最多输出m份给各个组。
58.复杂规则(多业务分发及复杂规则处理)层，该层的数据输入为组规则命中数据流，需要解决两个主要问题。其一，除五元组和特征串规则外，支持正则表达式、函数表达式、跨包运算等复杂规则；其二是支持组内多业务数据的分发。
59.规则管理层，规则管理支持五元组规则、特征规则、复杂规则管理。对接收到的规则进行规则合并、规则转换，转换为各级分流设备可识别的多条规则，并分配内部规则id给转换后的规则，分别下发到不同的设备中。规则管理维护id映射关系，保障规则命中数据按规则id号正确分发和处理。
60.流量统计反馈层，实时统计记录各级分流设备的输入、输出流量，并与分流器或处理设备的阈值进行比较，对即将超限或流量异常的情况实时提示提升，联动反馈规则管理实现动态流量调配。
61.基于以上系统，本发明还提供了一种基于动态规则驱动的海量互联网流量处理方
法，具体为一种基于动态规则驱动和规则流量反馈，实现规则控制可定义、数据获取可编排、数据处理动态驱动的海量互联网流量处理方法。基于用户规则驱动的海量互联网流量处理方法，可根据业务方向动态调整规则体系，通过不断迭代逐步圈定分析范围，精准获取关注流量。如图2至图5所示，总体处理流程主要以下步骤：
62.步骤101：统一规则设置
63.根据业务需求设置ip五元组、固定位置特征码、浮动位置特征码、正则表达式、函数表达式、跨包运算等规则。
64.步骤102：统一规则处理
65.需要根据规则和生效环节不同进行规则的校验、去重、合并，形成归一化规则集；针对各级设备处理能力不同，对规则集进行拆分，形成各处理环节规则子集及规则映射关系。
66.步骤103：统一规则分发
67.将拆分后的规则设置到各环节处理设备，实现多级规则分发。主要环节生效规则包括：
68.数据接入：ip五元组规则(源ip、目的ip、源端口、目的端口、传输层协议类别)；
69.规则处理：ip五元组规则、固定位置特征码、浮动位置特征码；
70.数据分发：ip五元组规则、固定位置特征码、浮动位置特征码；
71.复杂规则处理：正则表达式、函数表达式、跨包运算及插件。
72.步骤104：一级白名单处理
73.以10g/100g实时接入ntbps级别的互联网流量，采用专用定制硬件设备实现源ip、目的ip、源端口、目的端口、传输层协议类别等白名单规则过滤，实现高速率数据接入处理，包括：数据包接入、数据包处理、数据包分类、同源同宿、报文去重等功能。结果报文按照源ip+目的ip或其它定制方式进行hash，保证流量同源同宿输出。
74.步骤105：二级规则并集处理
75.深度规则处理支持ip五元组规则(源ip、目的ip、源端口、目的端口、协议类型)、特征串规则(固定位置特征、浮动位置特征)等规则并集的匹配筛选。通过深度规则筛选保留规则并集命中流量集合，实现ntbps到x100g的数据收敛。规则命中的数据报文通过编辑mac地址携带命中组信息向后流转；最终输出命中流量报文供多业务组分发处理。
76.步骤106：三级多业务组规则分发
77.多业务组规则分发用于解决一级、二级处理无法解决的多业务组规则重复命中的问题。通过将各业务组规则设置到专用硬件设备，实现高通量的实时报文预处理，实现组规则匹配和多命中报文复制。以背靠背的隔离方式使每一个业务组都能获取各自关注数据报文。
78.步骤107：复杂规则处理
79.复杂规则处理主要解决比较耗费计算资源的正则表达式、函数表达式、跨包运算及插件等复杂规则处理。在接收流量后依据组内各用户规则进行数据分发及复制，使每个业务用户均能获取其关注报文；业务用户调用复杂规则动态库，对送入的方向流量进行深度匹配，符合模块逻辑的由用户更进一步落盘或推送给下一级业务处理设备。
80.其中，复杂规则动态库由业务用户依据复杂规则动态库接口规范编写数据流处理
逻辑程序，将逻辑程序编译为.so模块，加载.so模块对送入的疑似流量进行深度匹配。
81.步骤108：其它流量处理
82.每个多业务组输出流量可以根据业务需要对接不同的流量处理设备，包括：业务b处理设备、业务c处理设备、业务d处理设备、业务e处理设备等。以业务b设备为例，其以分发输出的实时互联网流量或离线数据包为数据源，提供网络协议数据提取、分析、关联等处理，最后通过数据分发输出。
83.步骤109：流量统计反馈
84.通过通信接口从各级处理设备获取规则匹配流量信息，对关注规则类型与规则id范围的规则匹配流量情况进行统计。每条规则匹配一次计数一次，每条规则每秒流量计为xmbps。匹配统计的规则类型包括五元组规则、特征码规则等。对于流量异常规则及时上报流量异常数值(如规则命中流量超限、业务组流量合计超限等)。
85.步骤110：规则动态联动调整
86.根据预先设定联动规则动态调整各级设备规则，并及时反馈管理人员。主要包括两方面的动态调整：一是超限规则的动态下线；二是前序规则命中后的后续规则动态设置，如某浮动特征串命中后联动其客户端ip作为后续规则自动设置；进而实现动态规则调整。
87.步骤111：统一数据分发
88.统一数据分发将各流量处理设备处理结果进行收集，具备数据缓存和数据分发后续数据处理平台的能力。
89.进一步地，如图3所示，本实施例中规则并集处理具体包括：
90.规则并集处理支持多业务组规则集合的处理，包括各业务组的ip五元组规则(源ip、目的ip、源端口、目的端口、协议类型)、特征串规则(固定位置特征、浮动位置特征)规则的合一匹配筛选。通过编辑规则命中流量报文mac地址将命中组信息向后流转；最终输出命中流量报文供后处理。处理流程主要以下步骤：
91.步骤501：报文接收
92.规则并集处理报文主要来源包括两个方面：(1)一级白名单过滤后的报文数据，根据五元组负载均衡转发各规则并集处理业务处理单元；(2)其它业务处理单元按规则并集命中的报文数据，且按规则归属对应端口转发过来需要本处理单元输出的报文数据。各规则并集处理业务处理单元并行工作，对本处理单元接收报文进行规则并集处理。
93.步骤502：输入流量统计
94.对于接收的数据流量进行瞬时流量周期性统计(周期可配置)，流量统计结果存入流量统计表。流量统计表对各主要业务处理单元输入流量进行保存，可通过管理接口提供统计数据访问，为整体流量分析提供并集规则处理业务处理单元输入流量数据支撑。
95.步骤503：报文解析
96.报文解析对接入数据隧道封装报文，提供链路层报文识别、vlan报文识别、mpls报文识别、ip层报文识别、ipv4/ipv6识别、tcp/udp/sctp识别及隧道剥离解析，为后续规则匹配提供报文数据支撑。
97.步骤504：数据流维护更新
98.数据流维护更新主要对接入数据报文流进行标识管理，按源地址、源端口、目标地址、目标端口组成会话流，一个流包含正反两个方向。支持数据流的创建、更新和回收等过
程。为数据流处理过程中的生命周期提供维护支撑。
99.步骤505：跨级别输出识别
100.判断数据流是否为其它业务处理单元已经按规则合集命中，并按规则归属对应处理级别转发过来需要跨级别(即是否需要按多业务组进行分发)输出的报文；若是则执行步骤512进行报文输出；否则执行步骤506进行规则并集的匹配。
101.步骤506：ip规则匹配
102.特征串规则匹配以ip五元组规则并集为输入进行数据流规则匹配并标注。ip五元组规则主要包括源ip地址、目的ip地址、源端口、目的端口和协议类型，以及五个维度的组合规则。ip规则匹配处理将输入数据包的ip五元组信息与规则并集ip五元组规则表中的规则进行匹配，对命中数据所属业务组进行标记。
103.步骤507：特征串规则匹配
104.特征串规则匹配以多业务组特征串规则并集为输入进行数据流规则匹配并标注。主要包括固定位置特征串、浮动位置特征串相关规则，包括支持对包负载按特征字符串进行匹配、全包浮动匹配、包负载指定偏移位置开始匹配、浮动特征和固定特征组合匹配、五元组+特征串匹配等。特征串规则匹配处理将输入数据包载荷与规则并集特征串规则表中的规则进行匹配，对命中数据所属业务组进行追加标记。
105.步骤508：命中转发控制
106.根据规则命中标识确定报文转发处理方向：若为规则命中报文，则是后续处理需要的数据，执行步骤510进行规则命中情况标注；若非规则命中报文则根据采样策略进行处理，执行步骤509。
107.步骤509：采样转发处理
108.规则并集未命中的数据根据采样策略进行处理。支持多种采样策略，例如按客户端ip地址哈希、按协议类别+客户端ip地址等按一定采样比(如200:1采样)进行数据轮询采样。采样命中数据执行步骤510进行标注；采样未命中数据丢弃。
109.步骤510：数据标注
110.数据标注用于根据规则命中情况对业务组命中数据进行标记。通过标记可以知道有哪些业务组命中了被标记数据流，以提高后续多业务组数据分发效率。同时通过数据标注还可以携带原始线路编号、处理设备编号等信息。
111.步骤511：跨级别输出
112.根据数据标注信息中多业务组编号及多业务组分发配置信息，进行是否跨处理级别识别。(1)跨处理级别输出，即将规则并集命中数据流转发多业务组分发处理,进行多业务组数据流识别、复制、分发；(2)非跨处理级别输出执行步骤512，直接输出流量给外部对应处理设备。
113.步骤512：非跨级别输出
114.非跨处理级别输出即对于不需要进行多业务组分发输出的情况，按照规则设置进行输出接口的选择并输出；同时统计输出流量值。
115.进一步地，如图4所示，本实施例中多业务组分发处理具体包括：
116.多业务组分发以规则并集输出新号为数据来源，数据报文经过规则并集处理，价值密度明显提高，数据量从xtbps，下降到x100gbps。由于规则并集处理无法解决多用组规
则重复命中的问题，因此在多业务组分发处理中需要进行数据报文分发，使每一个业务组都能获取各自关注数据报文，且相互独立隔离。
117.多业务组分发的目的是实现业务组(如：业务组1-n)的规则筛选、流量复制输出。
118.处理流程主要以下步骤：
119.步骤601：报文接收
120.多业务组分发处理接收来自规则并集处理报文。经过规则并集处理输出的数据流是有业务组(一个或多个)关注的价值报文；多业务组分发处理通过业务端口或者系统共用背板带宽获取上一级(规则并集处理)结果数据。
121.步骤602：输入流量统计
122.对于接收的数据流量进行瞬时流量周期性统计(周期可配置)，流量统计结果存入流量统计表。流量统计表对各主要业务处理单元输入流量进行保存，可通过管理接口提供统计数据访问，为整体流量分析提供并集规则处理业务处理单元输入流量数据支撑。
123.步骤603：报文解析
124.报文解析对接入数据隧道封装报文，提供链路层报文识别、vlan报文识别、mpls报文识别、ip层报文识别、ipv4/ipv6识别、tcp/udp/sctp识别及隧道剥离解析，为后续规则匹配提供报文数据支撑。
125.步骤604：数据流维护更新
126.数据流维护更新主要对接入数据报文流进行标识管理，按源地址、源端口、目标地址、目标端口组成会话流，一个流包含正反两个方向。支持数据流的创建、更新和回收等过程。为数据流处理过程中的生命周期提供维护支撑。
127.步骤605：组并集规则匹配
128.多业务组分发处理以各组并集规则为匹配目标，通过对各业务组规则与输入数据流的比对，识别数据流有哪些业务组规则命中，并进行标注。匹配规则为以业务组为单位的ip五元组规则并集和特征串规则并集。其中ip五元组规则主要包括源ip地址、目的ip地址、源端口、目的端口和协议类型，以及五个维度的组合规则。特征串规则包括对包负载按特征字符串进行匹配、全包浮动匹配、包负载指定偏移位置开始匹配、浮动特征和固定特征组合匹配、五元组+特征串匹配等。命中执行步骤606；未命中执行步骤607。
129.步骤606：多业务组命中复制
130.根据规则命中组标识判断数据流报文命中业务组的个数和业务组标识；若为单个业务组命中，则直接进行接口选择输出；若为多个业务组命中，则为每一个业务组复制一份数据流，再进行接口选择输出。
131.步骤607：非命中输出
132.对于非命中报文，即对于不需要进行多业务组分发输出的情况，按照转发设置选择端口输出或丢弃。
133.步骤608：输出接口选择
134.根据前序步骤数据流标识情况，此处可识别数据流应转发的目的端业务组，并根据业务组输出配置信息，确定数据流应转发的业务处理板卡。
135.步骤609：跨板输出识别
136.判断数据流是否为其它业务处理单元已经按业务组规则命中，并按规则归属对应
处理板卡转发过来需要跨板卡输出的报文；若是则判断需要输出板卡，进行数据流识别、复制、分发；否则执行步骤610进行接口选择输出。
137.步骤610：本业务处理板输出
138.非跨业务处理板输出时，按照规则设置进行业务组对应输出接口组的选择(一个业务组可以对应多个输出端口)，并按照五元组按端口负载均衡转发输出；同时统计输出流量值。
139.进一步地，本实施例中复杂规则处理具体包括：
140.复杂规则是基于正则表达式、跨包运算、函数运算类的复杂规则，需由分析人员添加规则将疑似流量通过一级白名单处理、规则并集处理、多业务组分发进行过滤输出，命中的流量即为用户复杂规则的疑似流量。送入组内分发及复杂规则处理。多业务分发及复杂规则处理业务用户调用复杂规则动态库，依据复杂规则动态库接口规范编写数据流处理逻辑程序，将逻辑程序编译为.so模块，加载.so模块对送入的疑似流量进行深度匹配，符合模块逻辑的可落盘存储，由用户更进一步处理。
141.进一步地，如图5所示，本实施例中各级流量统计管理具体包括：
142.各级流量统计对一级白名单处理、二级规则并集处理、三级多业务组分发、复杂规则处理及其它流量处理设备出入口及关键端口的流量、规则命中流量进行采集分析；对于超限流量进行分析，联动规则管理撤销对应异常规则或根据设置联动设置其它规则。系统处理流程涉及接口通信、流量采集、流量分析、超限提示、规则联动、规则撤销等。处理流程主要以下步骤：
143.步骤701：设备信息提取
144.从设备信息表中获取需要采集流量信息的设备信息包括ip地址、服务端口、流量类型及接口参数等信息。
145.步骤702：启动并发采集
146.考虑到需要采集流量的设备较多，且接口相对独立，采用并发的方式的进行数据流量的采集。根据不同类型设备启动不同的数据采集现成进行流量采集。包括：数据接入处理数据流量采集、规则并集处理数据流量采集、业务组分发处理流量采集等。
147.步骤703：采集各类数据流量
148.通过与各类型处理环节的对接获取多种类型的流量统计信息。各处理环节输入流量统计信息、输出流量统计信息；以采集周期为单位的瞬时流量，及一段时间的峰值流量、最小流量和平均流量。
149.步骤704：获取规则流程信息
150.包括：规则流量统计信息，包括一级白名单过滤输入及输出流量、二级规则并集处理输入及输出流量；三级多业务组规则分发输入及输出流量、各业务组输出流量；以及各规则命中流量等。
151.步骤705：数据流量阈值比对
152.将采集到的各类数据流量，与预先设置好的流量阈值进行比对；若存在超限的情况，则执行步骤706进行超限提示；若不存在超限情况，在执行步骤710，按照采集周期进行下一次数据采集。
153.步骤706：超限提示
154.根据超限阈值情况，进行超限类别分析，包括已经超限或接近超限(如，达到80％)。将超限类别信息推送超限告警表，用于向管理人员告警。
155.步骤707：超限联动分析
156.根据超限规则的类型和超限联动动作位置情况，判断超限规则是否需要自动触发联动撤控。若触发联动撤控，则执行步骤708进行联动撤控。否则执行步骤709，更新状态后，根据采集周期，执行下一次采集。
157.步骤708：超限联动撤控
158.根据规则设置时设置的联动动作标识，在触发联动撤控时：更新阈值表；触发规则撤控服务，并更新规则信息表；将超限规则从各处理环节撤控，以保证整个处理环节的正常运转。同时，即时提示管理人员。
159.步骤709：超限阈值状态更新
160.对于超限且未联动撤控的情况，及时更新阈值状态，为管理人员及时获取流量异常提供超限信息参考。
161.步骤710：采集周期间隔
162.根据设置的各环节采集周期进行规则流量信息的采集，避免频繁采集造成的资源开销。
163.步骤711：设备信息更新判断
164.在整个数据流量采集周期内，即时对设备的更新情况进行监视，对于设备信息有变化的情况，转步骤701重新提取设备信息；对于未发生设备信息变化的情况，则可直接执行步骤704采集流量。
165.本发明基于动态规则驱动的海量互联网流量处理系统及方法，基于统一规则管理和动态规则驱动及流量反馈机制，实现规则控制可定义、规则流量可反馈、数据获取可编排、数据处理动态驱动的海量互联网流量处理框架，具有以下优势：
166.1、通过对接入汇聚处理、多业务分发、数据采集及规则处理、数据处理等进行统一规则管理，驱动相关处理设备实现精准深度包检测、深度流检测和规则匹配处理，实现海量互联网流量实时匹配筛选、逐级收敛，在保留业务用户关注运营业务基础上，可有效提高处理效能，实现对绿上网服务的互联网大流量的实时精准分析，为大流量互联网流量监管提供灵活精准、实时可控的统一流量处理架构。
167.2、规则流量反馈及规则动态调整机制：各级处理设备统计规则命中流量，将设备流量及时上传反馈规则管理；规则管理对流量汇总统计分析，及时掌握全局规则命中情况；根据规则设定驱动停用超阈值规则或者停用原规则联动上控更精细规则，为流量处理提供超限保护，使整个处理流程处于健康运行状态。
168.3、兼顾数据处理业务特点，提高数据处理效能。在大流量、处理效果、设备投入之间探索一个可持续发展的平衡点，为系统建设方、承建方带来更大的效益。
169.4、本发明以动态规则为驱动，设计ip五元组、固定位置特征码、浮动位置特征、正则表达式、函数表达式、跨包运算等分析维度，通过动态规则调度，实现多级流量处理设备协同，在保留业务用户关注数据报文的基础上，实现从tbps级，到100gbps级别，再到10gbps级别的逐级收敛。既能满足业务用户关注价值数据筛选的需要，又便于业务用户自主开展原始数据分析。同时搭建一个全流量数据接入，支持逐级规则筛选和数据分流的开放式分
析平台，便于后续进一步与新业务处理平台开展深入联动集成。
170.5、该方法在业务需求、数据流量和建设规模之间寻求一个相对平衡的点，可有效实现对海量互联网流量的实时分析，面向行业绿服务、服务安全部门提供海量互联网流量处理支撑。
171.6、通过动态规则调度和流量反馈机制，实现多级流量处理设备协同，在保留业务用户关注数据报文的基础上，实现海量流量逐级收敛。既满足业务用户关注价值数据处理的需要，又便于业务用户自主开展原始数据分析。同时搭建一个开放式分析平台，为后续新处理业务提供支撑。
172.以上所述实施例仅为本发明较佳的具体实施方式，本发明的保护范围不限于此，任何熟悉本领域的技术人员在本发明披露的技术范围内，可显而易见地得到的技术方案的简单变化或等效替换，均属于本发明的保护范围。

技术特征：

1.一种基于动态规则驱动的海量互联网流量处理系统，其特征在于，包括：一级处理层，用于以引接ge/10g/100g互联网流量为数据源，以五元组白名单规则为驱动，去除站点级别的可信网站；二级处理层，用于以多业务组规则并集为规则驱动，按照流量特征筛选用户关注流量；多业务组分发层，用于根据各业务组规则分发复制输出各自流量，解决数据流多命中复制分发问题；复杂规则层，该层的数据输入为组规则命中数据流，解决除五元组和特征串规则外，支持正则表达式、函数表达式、跨包运算规则，支持组内多业务数据的分发；规则管理层，用于支持五元组规则、特征规则、复杂规则管理，对接收到的规则进行规则合并、规则转换，转换为各级分流设备能够识别的多条规则，并分配内部规则id给转换后的规则，分别下发到不同的设备中；流量统计反馈层，用于实时统计记录各级分流设备的输入、输出流量，并与分流器或处理设备的阈值进行比较，对即将超限或流量异常的情况实时提示提升，联动反馈规则管理实现动态流量调配。2.根据权利要求1所述的基于动态规则驱动的海量互联网流量处理系统，其特征在于，所述一级处理层还支持数据包接入、数据包解析、数据包分类、同源同宿、数据流采样、流量复制、汇聚收敛、报文去重、数据包分发功能。3.根据权利要求2所述的基于动态规则驱动的海量互联网流量处理系统，其特征在于，所述二级处理层为规则并集处理层，规则并集包括ip五元组规则、固定位置特征串、浮动位置特征串规则，规则命中数据转发多业务组分发进行下一步处理；所述ip五元组规则包括源ip、目的ip、源端口、目的端口、协议类型。4.根据权利要求3所述的基于动态规则驱动的海量互联网流量处理系统，其特征在于，所述多业务组分发层需要对数据流量分别进行多组规则的独立匹配，每个组需要的流量分别输出给各组设备；极限情况下，如果一个报文m个组都需要，则最多输出m份给各个组。5.根据权利要求4所述的基于动态规则驱动的海量互联网流量处理系统，其特征在于，所述规则管理层维护id映射关系，保障规则命中数据按规则id号正确分发和处理。6.一种根据权利要求1至5任一项所述的基于动态规则驱动的海量互联网流量处理系统的处理方法，其特征在于，包括以下步骤：统一规则设置：根据业务需求设置ip五元组、固定位置特征码、浮动位置特征码、正则表达式、函数表达式、跨包运算规则；统一规则处理：根据规则和生效环节不同进行规则的校验、去重、合并，形成归一化规则集；针对各级设备处理能力不同，对规则集进行拆分，形成各处理环节规则子集及规则映射关系；统一规则分发：将拆分后的规则设置到各环节处理设备，实现多级规则分发；一级白名单处理：实时接入互联网流量，进行白名单规则过滤，实现高速率数据接入处理；二级规则并集处理：通过深度规则筛选保留规则并集命中流量集合，实现数据收敛；规则命中的数据报文通过编辑mac地址携带命中组信息向后流转，最终输出命中流量报文供多业务组分发处理；
三级多业务组规则分发：通过将各业务组规则设置到专用硬件设备，实现高通量的实时报文预处理，实现组规则匹配和多命中报文复制，以背靠背的隔离方式使每一个业务组都能获取各自关注数据报文；复杂规则处理：在接收流量后依据组内各用户规则进行数据分发及复制，使每个业务用户均能获取其关注报文；业务用户调用复杂规则动态库，对送入的方向流量进行深度匹配，符合模块逻辑的由用户更进一步落盘或推送给下一级业务处理设备；其它流量处理：每个多业务组输出流量根据业务需要对接不同的流量处理设备，其以分发输出的实时互联网流量或离线数据包为数据源，提供网络协议数据提取、分析、关联处理，最后通过数据分发输出；流量统计反馈：通过通信接口从各级处理设备获取规则匹配流量信息，对关注规则类型与规则id范围的规则匹配流量情况进行统计；规则动态联动调整：根据预先设定联动规则动态调整各级设备规则，并及时反馈管理人员；统一数据分发：通过统一数据分发收集各流量处理设备处理结果，并按后续处理需要分发给对应处理平台，同时具备收集数据缓存能力。。7.根据权利要求6所述的基于动态规则驱动的海量互联网流量处理方法，其特征在于，所述统一规则分发处理的生效规则包括：数据接入：ip五元组规则，包括源ip、目的ip、源端口、目的端口、传输层协议类别；规则处理：ip五元组规则、固定位置特征码、浮动位置特征码；数据分发：ip五元组规则、固定位置特征码、浮动位置特征码；复杂规则处理：正则表达式、函数表达式、跨包运算及插件。8.根据权利要求7所述的基于动态规则驱动的海量互联网流量处理方法，其特征在于，所述一级白名单处理具体包括：数据包接入、数据包处理、数据包分类、同源同宿、报文去重；结果报文按照源ip+目的ip或其它定制方式进行hash，保证流量同源同宿输出。9.根据权利要求8所述的基于动态规则驱动的海量互联网流量处理方法，其特征在于，所述二级规则并集处理具体包括：规则并集处理支持多业务组规则集合的处理，包括各业务组的ip五元组规则、特征串规则的合一匹配筛选；通过深度规则筛选保留规则并集命中流量集合，实现ntbps到x100g的数据收敛；规则命中的数据报文通过编辑流量报文mac地址携带命中组信息向后流转；最终输出命中流量报文供多业务组分发处理。10.根据权利要求9所述的基于动态规则驱动的海量互联网流量处理方法，其特征在于，所述多业务组分发处理以规则并集输出新号为数据来源，数据报文经过规则并集处理，数据量从xtbps下降到x100gbps。

技术总结

本发明提供了一种基于动态规则驱动的海量互联网流量处理系统及方法，属于流量处理技术领域，该系统包括一级处理层、二级处理层、多业务组分发层、复杂规则层、规则管理层及流量统计反馈层；该方法包括统一规则设置、统一规则处理、统一规则分发、一级白名单处理、二级规则并集处理、三级多业务组规则分发、复杂规则处理、其它流量处理、流量统计反馈、规则动态联动调整及统一数据分发。本发明通过灵活的规则体系来调度各类处理设备，使海量互联网流量处理不再是一个固化的分发处理模式，而是一个由用户规则驱动，与关注流量、分析方向、分析结果相关联的实时处理新模式，从而构建一个灵活高效、精准获取、实时可控的流量处理方法。实时可控的流量处理方法。实时可控的流量处理方法。