(19)中华人民共和国国家知识产权局
(12)发明专利申请
(10)申请公布号 (43)申请公布日 (21)申请号 201910991363.9
(22)申请日 2019.10.18
(71)申请人 浪潮云信息技术有限公司
地址 250100 山东省济南市高新区浪潮路
1036号浪潮科技园S01号楼
(72)发明人 翟延成 王翠 刘牧
(74)专利代理机构 济南信达专利事务所有限公
司 37100
代理人 阚恭勇
(51)Int.Cl.
G06F 16/215(2019.01)
G06F 16/2458(2019.01)
G06F 16/248(2019.01)
G06N 3/04(2006.01)
(54)发明名称
(57)摘要
本发明提供一种基于Flink的物联网设备行
为分析方法，属于物联网技术领域，本发明基于
物联网平台收集设备的数据并发送到MQTT中，
flink从MQTT中获取设备数据，先进行数据清洗 获得所需的特征值，然后利用机器学习算法对所
获得的特征值进行计算获得设备行为模型，最后
通过flink的时间窗口机制，对设备行为模型进
行分析、筛选及聚合得到设备行为分析结果，将
其存入HDFS并动态实时展示出来。其中，特征值
由实际需求所确定。最终形成的设备行为分析结
果可用于设备故障预测，设备性能分析，及设备
个性化服务等。权利要求书1页 说明书3页 附图1页CN 110737654 A 2020.01.31
C N 110737654
A
1.一种基于Flink的物联网设备行为分析方法，其特征在于，
包括：
1)通过Flink对设备数据进行清洗及筛选；
2)通过机器学习算法用设备的特征值建立设备行为模型；
3)通过Flink时间窗口统计与分析结果，实现动态实时更新。
2.根据权利要求1所述的方法，其特征在于，
基于物联网平台收集设备的数据并发送到MQTT中，flink从MQTT中获取设备数据，先进行数据清洗获得所需的特征值。
3.根据权利要求2所述的方法，其特征在于，
利用机器学习算法对所获得的特征值进行计算获得设备行为模型。
4.根据权利要求2所述的方法，其特征在于，
机器学习算法采用三层人工神经网络方法对数据进行处理。
5.根据权利要求3或4所述的方法，其特征在于，
最后通过flink的时间窗口，对设备行为模型进行分析、筛选及聚合得到设备行为分析结果，将其存入HDFS并动态实时展示出来。
6.根据权利要求5所述的方法，其特征在于，
其中，特征值由实际需求所确定。
7.根据权利要求6所述的方法，其特征在于，
最终形成的设备行为分析结果用于设备故障预测，设备性能分析，及设备个性化服务。
8.根据权利要求7所述的方法，其特征在于，
具体步骤如下：
步骤1)根据实际需求制定相应的特征值及标签规则，确定需要采集的设备行为数据；步骤2)物联网平台收集设备的行为数据；
步骤3)物联网平台的设备行为数据流通过MQTT发送给Flink进行处理，Flink SQL进行处理后得到机器学习算法所需的特征值，交给搭载在Flink上的机器学习算法进行处理；
步骤4)机器学习算法采用三层人工神经网络方法对数据进行处理，在学习过程中生成设备行为模型；
步骤5)机器学习算法生成的设备行为模型通过Flink对设备行为模型的结果按照根据实际需求制定的的标签规则进行分析及聚合，为设备打上标签；
步骤6)分析及聚合的结果存入HDFS，并通过Flink的时间窗口对分析及聚合的结果通过设备及标签进行实时动态展示；
步骤7)设备行为分析的结果用来进行用户行为分析、设备故障预测，设备个性化服务。
权 利 要 求 书1/1页CN 110737654 A
一种基于Flink的物联网设备行为分析方法
技术领域
[0001]本发明涉及物联网技术，涉及flink,hadoop等相关组件，应用机器学习等相关技术，具体说是一种基于Flink的物联网设备行为分析方法。
背景技术
[0002]Flink是一个面向数据流处理的可分布式的开源计算框架，支持高吞吐、低延迟、高性能的流处理，支持带有事件时间(event time)语义的流处理和窗口处理。事件时间的语义使流计算的结果更加精确，尤其在事件到达无序或者延迟的情况下。支持高度灵活的窗口操作。支持基于time、count、session，以及data-driven的窗口操作，能很好的对现实环境中的创建的数据进行建模。支持savepoints机制。即可以将应用的运行状态保存下来，在升级应用或者处理历史数据是能够做到无状态丢失和最小停机时间。
[0003]近年来，物联网技术发展迅速，其所引发的不仅是第四次工业革命，包括对农业、工业、服务业等人类社会基本业态，都会产生深远影响，从而对整个人类社会的生产和生活方式带来革命。
[0004]物联网中存在海量的设备，其产生的数据量也规模巨大，云计算技术的推广普及和云基础设施及平台的建设，使得这些海量终端的实时动态管理以及智能分析变得可能。通用物联网平台的出现将大大降低开发物联网应用的门槛，传统的物联网应用开发将转向平台，而随着近几年机器学习技术的发展，通过对海量设备数据进行分析，进而挖掘出数据背后潜在的商业价值。在物联网环境下，通用
物联网平台已经解决了部分设备接入的问题，在这种情况下，如何能有效地分析物联网中的设备行为成为亟需解决的问题。
发明内容
[0005]为了解决以上技术问题，本发明提出了一种基于Flink的物联网设备行为分析方法，提高设备行为的分析效率。
[0006]本发明的技术方案是：
[0007]一种基于Flink的物联网设备行为分析方法，
[0008]包括：
[0009]1)通过Flink对设备数据进行清洗及筛选；
[0010]2)通过机器学习算法用设备的特征值建立设备行为模型；
[0011]3)通过Flink时间窗口统计与分析结果，实现动态实时更新。
[0012]进一步的，
[0013]基于物联网平台收集设备的数据并发送到MQTT中，flink从MQTT中获取设备数据，先进行数据清洗获得所需的特征值。
[0014]进一步的，
[0015]利用机器学习算法对所获得的特征值进行计算获得设备行为模型。机器学习算法采用三层人工神经网络方法对数据进行处理。
[0016]进一步的，
[0017]最后通过flink的时间窗口，对设备行为模型进行分析、筛选及聚合得到设备行为分析结果，将其存入HDFS并动态实时展示出来。
[0018]进一步的，
[0019]其中，特征值由实际需求所确定。
[0020]最终形成的设备行为分析结果用于设备故障预测，设备性能分析，及设备个性化服务。
[0021]再进一步的，
[0022]具体步骤如下：
[0023]步骤1)根据实际需求制定相应的特征值及标签规则，确定需要采集的设备行为数据；
[0024]步骤2)物联网平台收集设备的行为数据；
[0025]步骤3)物联网平台的设备行为数据流通过MQTT发送给Flink进行处理，Flink SQL 进行处理后得到机器学习算法所需的特征值，交给搭载在Flink上的机器学习算法进行处理；
[0026]步骤4)机器学习算法采用三层人工神经网络方法对数据进行处理，在学习过程中生成设备行为模型；
[0027]步骤5)机器学习算法生成的设备行为模型通过Flink对设备行为模型的结果按照根据实际需求制定的的标签规则进行分析及聚合，为设备打上标签；
[0028]步骤6)分析及聚合的结果存入HDFS，并通过Flink的时间窗口对分析及聚合的结果通过设备及标签进行实时动态展示；
[0029]步骤7)设备行为分析的结果可用来进行用户行为分析、设备故障预测，设备个性化服务。
[0030]本发明的有益效果是
[0031]1)提高了设备行为分析的效率。
[0032]2)提高了设备行为分析的有效性。
[0033]3)实现了实时动态更新。
附图说明
[0034]图1是本发明的工作流程示意图。
具体实施方式
[0035]为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。[0036]本发明的一种基于Flink的物联网设备行为分析方法，基于物联网平台收集设备的数据并发送到MQTT中，flink从MQTT中获取设备数据，先进行数据清洗获得所需的特征值，然后利用机器学习算法对所获得的特征值进行计算获得设备行为模型，最后通过flink
的时间窗口机制，对设备行为模型进行分析、筛选及聚合得到设备行为分析结果，将其存入HDFS并动态实时展示出来。
[0037]其中，特征值由实际需求所确定。最终形成的设备行为分析结果可用于设备故障预测，设备性能分析，及设备个性化服务等。
[0038]具体操作步骤如下：
[0039]步骤1)根据实际需求制定相应的特征值及标签规则，确定需要采集的设备行为数据；
[0040]步骤2)物联网平台收集设备的行为数据；
[0041]步骤3)物联网平台的设备行为数据流通过MQTT发送给Flink进行处理，例如设备行为数据是JSON格式的数据流，Flink SQL进行处理后得到机器学习算法所需的特征值，交给搭载在Flink上的机器学习算法进行处理；
[0042]步骤4)机器学习算法采用三层人工神经网络方法对数据进行处理，在学习过程中生成设备行为模型。
[0043]步骤5)机器学习算法生成的设备行为模型通过Flink对设备行为模型的结果按照根据实际需求制定的的标签规则进行分析及聚合，为设备打上标签。
[0044]步骤6)分析及聚合的结果存入HDFS，并通过Flink的时间窗口对分析及聚合的结果通过设备及标签进行实时动态展示。
[0045]步骤7)设备行为分析的结果可用来进行用户行为分析、设备故障预测，设备个性化服务等。
[0046]以上所述仅为本发明的较佳实施例，仅用于说明本发明的技术方案，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所做的任何修改、等同替换、改进等，均包含在本发明的保护范围内。
豫公网安备41160202000603
站长QQ:729038198
关于我们
投诉建议