一种基于强化学习的网络设备识别方法及系统与流程

1.本发明涉及通信网络技术领域，尤其是一种基于强化学习的网络设备识别方法及系统。

背景技术：

2.目前针对网络设备的识别主要是基于三种方式，imei(国际移动设备识别码)识别、mac(介质访问控制)地址识别和ua(用户代理)识别。在这些网络设备的识别中基本是通过设备开放端口、mac地址等单一的信息，对设备进行识别，通用性不足。随着技术的发展也有通过机器学习来对设备进行分类的，但它们的识别基本是只根据流量一个指标进行分类，指标数量少，识别效果不好，而且不能基于生成模型再次学，如专利cn109450733就是通过流量来进行识别的。而这种单一指标识别效果不好，无法满足复杂问题以及在不断变化的网络环境中对设备识别的需求，常会导致识别错误或无法识别的问题产生，也不能基于所生成的模型进行再次学习，每次都需要重新学习，进一步影响了识别效果。

技术实现要素：

3.针对现有的不足，本发明提供一种基于强化学习的网络设备识别方法及系统。
4.本发明解决其技术问题所采用的技术方案是：一种基于强化学习的网络设备识别方法，步骤如下：
5.s1，在关键网络节点采集所有设备的多个网络行为特征的网络行为数据并对其进行清洗和结构化后形成数据库；
6.s2，将数据库中的数据进行特征化处理生成初级机器学习模型；
7.s3，利用初级机器学习模型和数据库中的数据进行多次的学习训练形成最终机器学习模型；
8.s4，通过最终机器学习模型对待识别网络设备的网络行为数据进行识别。
9.作为优选，最终机器学习模型形成后还包括有对其进行评估的过程。
10.作为优选，在步骤s1中所述网络行为数据的采集包括如下步骤：
11.s1a，通过arp协议和/或tcp协议来探测网络中存在的设备；
12.s1b，通过python脚本访问所探测到的设备中各个设备的开放端口来获取数据。
13.作为优选，所述网络行为数据包括流量数据、设备的连接关系数据、设备开放端口数据、访问开放端口返回的数据。
14.作为优选，所述特征化处理是基于层次空间聚类的表语义汇总算法来处理或者是基于概念分层的语义图汇总算法来处理。
15.作为优选，所述基于概念分层的语义图汇总算法是先对网络中各节点的属性值概念分层，然后通过k-snap方法来处理，所述属性值概念分层是基于层次类的k-summary算法分层的，所述k-snap方法中包括有分层序列函数和基于分级的统一评价函数，所述分层序列函数先根据nodediff将beta作为第一序列目标函数，然后依据edgediff将delta作为第
二序列目标函数；所述统一评价函数根据nodediff和egdediff分别对所有组节点对排序，每对组节点获得两个序号，将序号之和最小的组节点对作为最终选择。
16.一种基于强化学习的网络设备识别系统，包括数据模块和学习模块，所述数据模块用于在关键网络节点采集所有设备的多个网络行为特征的网络行为数据并对其进行清洗和结构化后形成数据库；所述学习模块用于将数据库中的数据进行特征化处理生成初级机器学习模型，并利用初级机器学习模型和数据库中的数据进行多次的学习训练形成最终机器学习模型。
17.作为优选，还包括有评估模块，所述评估模块用于对最终机器学习模型进行评估。
18.一种计算机设备，包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集中的任意一种，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如前任一项所述的设备识别方法。
19.一种计算机可读存储介质，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集中的任意一种，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如前任一项所述的设备识别方法。
20.本发明的有益效果在于：该发明通过采集网络设备的多个网络行为的网络行为数据，利用设备网络行为的多个特征指标经处理后形成机器学习模型来对设备进行识别，同时形成的机器学习模型还能进行不断地学习和反馈进而优化机器学习模型，提高识别效果，可有效区分、管理网络中的设备，并相对于现有机器学习模型中每次都需要重新学习，提高了效率也节省了成本。
附图说明
21.图1是本发明实施例流程示意图；
22.图2是本发明实施例学习过程示意图；
具体实施方式
23.为了更清楚地说明本发明实施例的目的、技术方案和优点，下面将结合附图及实施例对本发明作进一步说明，进行清楚、完整的描述，显然，所描述的实施例是本发明的部分实施例，而不是全部实施例。基于本发明的实施例，本领域普通技术人员在没有付出创造性劳动的前提下所获得的所有其他实施例，都属于本发明的保护范围。此外，本发明中所提到的方向用语，例如，“上”、“下”、“前”、“后”、“左”、“右”、“内”、“外”等，仅是参考附加图示的方向，使用的方向用语是为了更好、更清楚地说明及理解本发明，而不是指示或暗指本发明必须具有的方位，因此不能理解为对本发明的限制。
24.本发明实施例如图1至图2中所示，一种基于强化学习的网络设备识别方法，步骤如下：
25.s1，在关键网络节点采集所有设备的多个网络行为特征的网络行为数据并对其进行清洗和结构化后形成数据库,关键的网络节点就意味着该节点时能够在更大程度上影响网络的结构与功能的特殊节点，而对于关键网络节点则可以利用现有的方法来进行确认，如采用kpp-pos和kpp-neg来进行确定，在kpp-neg中就将网络分隔成连通片，或者使节点之间的路径长度大到相当于断开连接，其隐含的则是图碎片，可通过对网络碎片化的度量、彼
此断开连接的节点数量的度量、去掉关键节点后节点间的总距离的衡量等方式来确认；kpp-pos就到可以通过直接链接或短路径到达竟可能多的剩余节点的节点，其隐含的则是组间凝聚力，可通过计算关键点集与网络其余点集之间的内聚量确认或者通过设定目标函数来进行组合确认，对于设定目标函数来说，先设定目标函数然后通过目标函数到最优个体，接着依次冗余最少的下一个最优个体，或者利用禁忌搜索、模拟退火或者遗传算法来进行搜索确认。网络行为特征就是说流经各个设备的流量、各个设备之间的连接关系、各个设备开放端口等，通过这些特征就会产生相应的网络行为数据，其包括流量数据、设备的连接关系数据、设备开放端口数据、访问开放端口返回的数据(含html、图像等)；对这些网络行为数据的采集就可以通过如下步骤来实现：
26.s1a，通过arp协议和/或tcp协议来探测网络中存在的设备；
27.s1b，通过python脚本访问所探测到的设备中各个设备的开放端口来获取数据；
28.在采集到设备的网络数据后，这些数据都是杂乱的，就对这些数据进行清洗，清洗后对它们结构化形成数据库，不同的网络行为特征就对应的形成不同的数据库，如流量数据库、连接关系数据库等。对应于网络设备的识别系统就是数据模块，即用于在关键网络节点采集所有设备的多个网络行为特征的网络行为数据并对其进行清洗和结构化后形成数据库。
29.s2，将数据库中的数据进行特征化处理生成初级机器学习模型，通过特征化处理后就可以缩减数据规模并尽可能的保留数据原有的特征，特征化处理是是基于层次空间聚类的表语义汇总算法来处理或者是基于概念分层的语义图汇总算法来处理。基于层次空间聚类的表语义汇总算法，其是关系数据的数据特征化，其中语义汇总表保留了原始表丰富的予以特征，并利用表中各属性上的属性值概念分层对原始数据表进行元组概化，用少量的“抽象”元组来表示大量的“详细”元组，从而达到缩减数据表的目的，属性值概念分层则是描述属性值域上分类关系的一种树形层次结构，反映属性的本体信息；比如如下的算法resadjust(t,k)
30.input：t，set原始数据的编码集；
31.k，int压缩率
32.output：rset，set子空间编码集；
[0033][0034]
基于概念分层的语义图汇总算法来处理则是先对网络中各节点的属性值概念分层，然后通过k-snap方法来处理，所述属性值概念分层是基于层次类的k-summary算法分层的，所述k-snap方法中包括有分层序列函数和基于分级的统一评价函数，所述分层序列函
数先根据nodediff将beta作为第一序列目标函数，然后依据edgediff将delta作为第二序列目标函数；所述统一评价函数根据nodediff和egdediff分别对所有组节点对排序，每对组节点获得两个序号，将序号之和最小的组节点对作为最终选择。
[0035]
s3，利用初级机器学习模型和数据库中的数据进行多次的学习训练形成最终机器学习模型，初级及其学习模型通过不断与数据库数据的交互，获得奖励/惩罚，以此调整策略，解决了每次学习存在有一定的滞后性的问题，获得最大累积奖励，避免陷入局部最优解问题，由于每次识别结果并非全部数据，每次学习都只会返回部分数据，在批量多次学习后，最终机器学习模型将得到最优解，也解决了现有机器学习模型中每次都需要重新学习的问题，提高了效率也节省了成本；
[0036]
s4，通过最终机器学习模型对待识别网络设备的网络行为数据进行识别。
[0037]
进一步的改进，最终机器学习模型形成后还包括有对其进行评估的过程，通过评估就可以很好的验证最终机器学习模型能否解决问题，确保其实用性，评估就可以采用现有的任何一种评估方法来进行评估。
[0038]
一种计算机设备，包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集中的任意一种，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如前任一项所述的设备识别方法，计算机设备包括中央处理器单元、随机存取存储器和制度存储器的系统存储器，以及连接系统存储器和中央处理器的系统总线，还包括帮助计算机内的各个器件之间传输信息的基本输入/输出系统和用于存储操作系统。应用程序和其它程序模块的大容量存储设备。
[0039]
一种计算机可读存储介质，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集中的任意一种，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如前任一项所述的设备识别方法，存储介质包括ram、rom、eprom、eeprom、闪存或其它固态存储器技术，cd-rom、dvd或其它光学存储、磁带、磁盘存储或其它磁性存储设备。
[0040]
应当理解的是，对本领域普通技术人员来说，可根据上述说明加以改进或变换，而所有这些改进和变换都应属于本发明所附权利要求的保护范围。

技术特征：

1.一种基于强化学习的网络设备识别方法，其特征在于：步骤如下：s1，在关键网络节点采集所有设备的多个网络行为特征的网络行为数据并对其进行清洗和结构化后形成数据库；s2，将数据库中的数据进行特征化处理生成初级机器学习模型；s3，利用初级机器学习模型和数据库中的数据进行多次的学习训练形成最终机器学习模型；s4，通过最终机器学习模型对待识别网络设备的网络行为数据进行识别。2.根据权利要求1所述基于强化学习的网络设备识别方法，其特征在于:最终机器学习模型形成后还包括有对其进行评估的过程。3.根据权利要求1所述基于强化学习的网络设备识别方法，其特征在于:在步骤s1中所述网络行为数据的采集包括如下步骤：s1a，通过arp协议和/或tcp协议来探测网络中存在的设备；s1b，通过python脚本访问所探测到的设备中各个设备的开放端口来获取数据。4.根据权利要求1所述基于强化学习的网络设备识别方法，其特征在于:所述网络行为数据包括流量数据、设备的连接关系数据、设备开放端口数据、访问开放端口返回的数据。5.根据权利要求1所述基于强化学习的网络设备识别方法，其特征在于:所述特征化处理是基于层次空间聚类的表语义汇总算法来处理或者是基于概念分层的语义图汇总算法来处理。6.根据权利要求5所述基于强化学习的网络设备识别方法，其特征在于:所述基于概念分层的语义图汇总算法是先对网络中各节点的属性值概念分层，然后通过k-snap方法来处理，所述属性值概念分层是基于层次类的k-summary算法分层的，所述k-snap方法中包括有分层序列函数和基于分级的统一评价函数，所述分层序列函数先根据nodediff将beta作为第一序列目标函数，然后依据edgediff将delta作为第二序列目标函数；所述统一评价函数根据nodediff和egdediff分别对所有组节点对排序，每对组节点获得两个序号，将序号之和最小的组节点对作为最终选择。7.一种基于强化学习的网络设备识别系统，其特征在于:包括数据模块和学习模块，所述数据模块用于在关键网络节点采集所有设备的多个网络行为特征的网络行为数据并对其进行清洗和结构化后形成数据库；所述学习模块用于将数据库中的数据进行特征化处理生成初级机器学习模型，并利用初级机器学习模型和数据库中的数据进行多次的学习训练形成最终机器学习模型。8.根据权利要求7所述基于强化学习的网络设备识别系统，其特征在于:还包括有评估模块，所述评估模块用于对最终机器学习模型进行评估。9.一种计算机设备，其特征在于:包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集中的任意一种，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如权利要求1至6任一项所述的设备识别方法。10.一种计算机可读存储介质，其特征在于:所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集中的任意一种，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如权利要求1至6任一项所述的设备识别方法。

技术总结

本发明涉及一种基于强化学习的网络设备识别方法及系统，其方法步骤如下：S1，在关键网络节点采集所有设备的网络行为数据并对其进行清洗和结构化后形成数据库；S2，将数据库中的数据进行特征化处理生成初级机器学习模型；S3，利用初级机器学习模型和数据库中的数据进行多次的学习训练形成最终机器学习模型；S4，通过最终机器学习模型对待识别网络设备的网络行为数据进行识别，同时公开了采用该方法实现网络设备识别的系统、计算机设备和计算机可读存储介质。该发明通过设备网络行为的多个特征指标来对设备进行识别，同时形成的机器学习模型还能进行不断地学习和反馈进而优化机器学习模型，提高识别效果，可有效区分管理网络中的设备。中的设备。中的设备。