基于C-LSTM的传感器数据流半监督在线异常检测算法

第34卷第3期2021年3月传感技术学报CHINESE JOURNAL

OF

SENSORS

AND

ACTUATORSVol.

34

No.

3Mar.

2021Semi-Supervised

Online

Anomaly

Detection

Algorithm

of

Sensor

Data

Stream

Using

C-LSTM

Neural

Network

*TANG

Haixian1,2

,LI

Guanghui1'2^(1.

School

ofArtificial

Intelligence

and Computer

Science

f

Jiangnan

University,

Wuxi Jiangsu

214122

fChina；ch

Center

of

IoT

Technology

Application

Engineering(

MOE)

,

Wuxi Jiangsu

214122

f

China)Abstract

：In

sensor

networks,

the

accuracy

and

robustness

of

supervised

anomaly

detection

algorithms

are

limited

by

the

construction

of

labeled

datasets.

Unsupervised

anomaly

detection

algorithms

often

result

in

high

false

positive

rates

(

FPR).

To

solve

this

issue,

a

semi-supervised

online

anomaly

detection

algorithm

of

sensor

data

stream

using

CNN

and

LSTM

is

proposed・

The

proposed

algorithm

determines

the

detection

error using

K-means

clustering

and

retrains

the

machine

learning

model with

the

newly

inputted

data

to

detect

anomalies.

We

implemented

the

proposed

algorithm

on

Intel

Berkeley

Research

Lab

datasets

(IBRL)

,and

compared

it

with

the

existing

algorithms・

The

exper­imental

results

demonstrated

that

the

proposed

algorithm

outperform

other

methods

in

term

o£

recall

and

Fl-Score

on

each

dataset.

Furthermore,

it

is

found

that

the

semi-supervised

learning

model

using

K-means

clustering

can

signifi­cantly

improve

the

model

words:

sensor

data

stream；online

anomaly

detection

；

semi-supervised

learning；

C-LSTM

；K-meansEEACC：

7230

doi

：10.3969/.l004-1699.2021.03.007基于C-LSTM的传感器数据流半监督在线异常检测算法唐海贤李光辉▽(1.江南大学人工智能与计算机学院，江苏无锡214122；2,物联网技术应用教育部工程技术研究中心，江苏无锡214122)摘要:在传感器网络中，有监督的异常数据检测算法的检测准确率以及鲁棒性受限于有标注数据集的构建，无监督异常数

据检测算法往往导致较高的误报率(FPR)。为解决上述问题，针对到达服务器端的传感器数据流提出了一种基于卷积神经

网络(CNN)和长短时记忆网络(LSTM)的半监督在线异常检测算法。本算法利用K-means判别检测误差，并在检测中利用新

数据重新训练机器学习模型，从而提高模型在长时间范围内的异常检测准确度。为了评估本算法的性能，使用因特尔伯克利

实验室数据集IBRL(Intel

Berkeley

Research

Lab)完成仿真实验，并与同类算法进行对比。实验结果表明，与同类算法相比，本

算法对各个数据集都具有较高的召回率和Fl-Score;应用K-means聚类的半监督模型，其异常检测结果更稳定。关键词：传感器数据流;在线异常检测;半监督;C-LSTM;

K-means中图分类号:TP274.2

文献标识码:A

文章编号:1004-1699

(2021)

03-0330-10传感器网络经常被于环境监测领域,传感器节

感器数据流的异常检测是为了及时发现数据流中与

点需要不间断地采集环境参数，形成随时间变化的

传感器数据流。受监测环境、通信信道或节点本身

正常模式有明显差异的数据⑴。检测到异常数据

之后,便可以实现对环境事件的实时报警、异常数据

等多方面因素的影响,传感器节点采集到的原始数

据流会不可避免地存在缺失、数据异常等问题。传修复、节点故障修复等应用。因此，传感器数据流的

异常检测对于监测系统的可靠性保障和管理部门的

项目来源:国家自然科学基金项目(62072216)；无锡市国际科技研发合作项目(CZE02H1706)；江苏省农业科技自主创新资金

项目(CX(

19)3087)收稿日期：2020-07-07

修改日期：2021-01-14

第3期唐海贤，李光辉:基于C-L5TM的传感器数据流半监督在线异常检测算法331决策支持均有重要意义数据的异常值。该算法利用CNN提取数据的空间

特征，利用I5TM提取数据的时间待征，并利用预测

数据流的异常检测是数据科学中非常重要的_

方面。近年来，已经有大量的研究者利用机器学习

方法，提取数据流(比如传感器数据流)的特征来进

算法或分类算法检测异常数据。该算法对具有明显

时空特征的数据具有好的检测准确率。但是这类有

行数据流的异常检测⑶。根据异常检测的建模类

监督学习异常检测算法对于数据集的构建有很高要

求，需要训练集尽可能包含全部的异常种类，并有足

型，数据流的异常检测方法分为三类⑷：统计建模

方法、时序特征建模方法、空间特征建模方法。异常

够的数据量。但是现实中，环境监测数据流具有正

常数据和异常数据占比不平衡、数据随时间会有较

检测算法按照是否需要人工标注好的数据集，则可

将数据异常检测算法分为有监督学习异常检测算法

和无监督学习异常检测算法。明显的周期性波动、异常数据种类多样等特点⑷，

很难对采集的数据进行准确的标注，或者很难获取

纯净的数据(全部是正常值的数据)，因此不能有效

检测新型异常。Wazid等人⑸利用K-means聚类算法检测无线

传感网络(WSN)的入侵异常。他们通过分析数据流

的统计特征,计算出正常数据和异常数据的聚类中

心。并通过计算WSN数据与聚类中心的欧氏距离进

行异常检测，对特定种类的入侵异常有较高的检测准

综上所述,不需要提前标注数据的无监督异常

检测算法有很大的局限性，只适合检测统计异常。

有监督异常检测算法可以有效利用环境监测数据流

的时空特性，对各种异常都有高的检测准确率，但是

确率。Lee等人⑹将SOM算法⑺与K-means聚类结

合，实现了在线异常检测。该算法通过实时更新的网

络结构，并利用新数据的适应程度重建异常簇或拆分

正常簇，实现了对新型异常的检测。这类算法在检测

难以获取有效的有标注数据集。因此，需要针对环

境监测数据流研究既能有效检测具有时空特征的异

常数据，又能有效检测新型异常数据的半监督异常

统计异常时具有高的检测准确率，并且不需要提前标

注数据集，是无监督异常检测算法，但是它们难以区

检测算法⑹⑷。为实现上述目标，本文针对到达服

务器端的环境监测传感器数据流，提出了一种基于

分与异常数据具有相似分布的正常数据。Wu等人⑹研究了

LSTM算法〔9］在工业物联网

传感器数据流异常检测中的应用。他们使用LSTM

C-LSTM的传感器数据流半监督在线异常检测算法

(Semi-Supervised

Online

Anomaly

Detection

Algorithm

of

Sensor

Data

Stream

Using

C-LSTM

Neural Network,

简记为C-LKM)

o模型预测未来数据，通过预测值与实际值的误差检

测异常数据。Feng等人［⑼利用LSTM模型提取工

业控制系统数据的时序待征，并使用Saftmax分类

异常数据。这些方法利用RNN提取数据流的时序

特征,通过预测算法预测未来数据,并利用预测值与

1

C-LSTM模型和K-meaus算法简介1.1

C-LSTM

模型C-LSW模型是一种将卷积神经网络(CNN)与

长短时记忆网络(LSTM)相结合，来分类时序序列

真实值的误差检测异常值;或者使用分类算法检测

异常数据。这类算法对于具有确定时序特征的数据

流有好的检测准确率，对于不具有确定时序特征的

的多层前馈网络［⑶，网络结构如图1所示。

C-LSTM网络利用时序序列作为输入，经卷积神经网

数据流无法准确检测。Shi等人［⑴研究了将GNN与LSTM结合来预

络提取高维特征，并将卷积神经网络最后一层最大

池化层(Max

Pooling)的输出作为I5TM网络的输

测未来的降水强度。他们利用CNN和ISTM提取

数据的时间与空间待征①］，使用预测算法预测未来

数据。Kim等人［⑶使用C-LSTM模型检测网络流量

输入入。将LSTM网络提取的特征展开，经过全连接层

进一步提取输入数据的特征，最终利用Softmax函

数,获取输入数据的预测结果。最大池化LSTMM；■FC层Softmax

A---------y图1

C-LSTM网络模型

332传感技术学报chinatransducers.

seu.

edu. cn第34卷其中LSTM网络采用加入peephole

connection

的LSTM模型a〕，其特点是在三个控制门的输入分

别加入细胞状态信息。其状态方程为：讣

(1)(2)

。产

g

WpoPt+W」,_i+Wy

j

+b。)

(3)c,

=£。％1

+—诃(Wpj,

+Whcht_1

+bc)

(4)h,

=

ot-

(5)式(1)

~式(5)使用的符号:i,f,o分别代表着LSTM

的输入、遗忘门、以及输出门。式(1)~式(5)使用

的符号c、h分别代表着I5TM网络一个单元的状

态,以及隐藏层的状态。b为激活函数，比如tanh、

Relu函数。W代表LSTM对应门的权值矩阵,6为

偏置。P,用于表示UTM网络t时刻的输入，其输

入为CNN网络的池化层在t时刻的输出。其中符

号。表示矩阵Hadamard乘积。LSTM单元为模型提

取了传感器数据流在时间上的特征。使用Softmax函数对LSTM网络的输出进行判

别，判断结果为0或1。0代表正常数据，1代表异

常数据。p(eld)=argmaxc6Cexpid^w1)(6)》exp(d"7W")K-means

算法K-means即K均值算法,是一种无监督的聚类

算法少］。对于给定样本D,K-means算法针对聚类

所得簇C={c1,c2,c3,c4］最小化平方误差。这里使

用欧氏距离作为两点之间的距离,进行聚类。歆E*若裔(心)2=若盍裁卢宀Y

2(c厂£)⑺X

2(ck-xk)=^mkck=

Y

Xk^>ck=丄

X

xk

xeC^ xeC^

xeC^(8)2基于C-LSTM的传感器数据流半

监督在线异常检测算法(C-LKM)2.1

C-LSTM模型结构C-LSTM模型使用了

CNN和LSTM两种神经网

络,LSTM利用CNN提取的传感器数据流高维特征

作为输入，并继续提取其时间特征，最后经全连接层

压缩数据后，交由Softmax函数判定是否为异常。C-

lstm网络的预测结果为yclBtmOC-LSTM模型可以根据实际应用调整其网络结

构,令其包含不同数量的卷积层、池化层、LSTM隐

藏层。同时，变量数量也会发生变化。模型的大小

以及变量数量会影响最终的识别效果以及识别速

度。一般来说，模型规模越大,识别效果越好，识别

速度越慢。同时.C-LSTM模型可以适应不同尺度

的输入数据，在改变输入数据的尺寸(维数、窗口长

度)时，模型需要微调。本文的输入是时间窗口长度1=101的传感器

数据流，每条数据包含4个属性，使用两层卷积加上

两层LSTM的C-LSTM网络结构来检测输入数据的

异常信息，每层LSTM网络包含64个节点。其网络

结构如表1所示。该网络结构包含两个卷积层，两

个池化层，一个LSTM网络,两个全连接层，用tanh

函数作为激活函数。在卷积层，使用的卷积核大小

为5,卷积步长为1,对输入数据均不使用padding0

在池化层,使用最大池化来压缩特征数量,池化核尺

寸为2,池化步长为2。使用卷积层最后一层池化层

的输出作为LSTM网络的输入。使用tanh函数作为

C-LSTM网络的激活函数。tanh函数用于将一个实数映射到［-1,1］范围

内，当输入为0时,tanh函数的输出也为0。Tanh函

数对中间部分的变化敏感,并可以有效抑制两端,对

分类有利I"〕。本文使用tanh函数作为激活函数，一

方面可以在传感器数据流出现异常后，有效地捕捉

到传感器数据流的细微变化，另一方面能够将网络

输出数据压缩到［-1,1

］之间,使得数据在卷积神经

网络的层与层之间传递时不发生扩散,不超限，加速

网络拟合,增加网络的鲁棒性。tanh%

=ex-e~xe

—x

+e~——x

(9)表1

C-LSTM网络结构网络层卷积核数量核大小步长Convolution6451Activation

(tanh

)———Pooling—22Convolution6451Activation

(tanh

)———Pooling—22LSTM(64)———LSTM(64)———Dense

(32)———Activation

(tanh

)———Dense

(2)———Softmax———2.2

K-means模型更新算法使用K-means模型更新算法可以使异常检测算

第3期唐海贤，李光辉:基于C-LSTM的传感器数据流半监督在线异常检测算法333法在遇到数据分布变化时(如出现数据波动、出现

训练集中没有的数据分布)，及时更新模型的权重，

使其学习到新的数据分布。K-means模型的输入与C-LSTM模型的输入相

同。使用K-means将数据聚类为4个簇C={c1,c2,

c3,c4}，并获取其四个聚类中心Centerp

=

{

cpj,cp2,

，并将其中包含数据数量最少的簇c；设置

为异常簇，其余簇设置为正常簇。若存在多个包含

数据数量最小的簇,则计算各聚类中心到其余簇聚

类中心的合向量的模VectorMod

=

{

vmj,

vm2

,

vm3

,

vmj，并将所有包含数据数量最小的簇中合向量的

模最大的簇设置为异常簇，其余簇设置为正常簇。

据此，获取新的簇的集合{Cp’C”}，其中CP为异常

簇，C”为正常簇，由此获得K-means的分类标

签

^K-means °定义1

(合向量的模)各聚类中心CR到其余

聚类中心的合向量的模vm;定义如下：j^ivm;=

I

丫

cPiCpy

I,

iw

{1,2,3,4}

(10)

jw

{1,2,3,4}算法1用K-means获取分类标签输入:一段传感器数据流Xjnpuf输出:输入数据疋讪远的分类标签丫3圖『I.

c,

Centerp

=

K_means

(

Xinpat,K=4)

2-

Initialize

KK-meanS

>len-c3.

min_len

=

min

(len_c

)4.

Obtain

min_num

//min_num:

len_c

中

min_len

的数量5.

Obtain

min_index

//min_index:

min_len

len_c

中的索引6. if

min_num

is

1

do7.

anomaly_index =

min_index

//

anomaly_index:异常

簇的索引8.

else9.

Obtain

VectorMod10.

Obtain

anomaly_indexII.

//anomaly_index:

VectorMod

中，值为

min_index

的值

的索引12.

end

if13.

for

i

in

C_

anomaly_index]

do14.

y—[i]=l15.

end

for]6.

return

FK_means定义2分类误差£是指,C-LSTM分类结果

人込和K-means分类结果不同的数据的

个数。"Y

%[订-人—订1

(⑴i

= 0分类误差的阈值g根据经验值选取10。如果

分类误差大于阈值g,则认定C-LSTM分类器分类结

果不可信，并执行网络更新步骤;若分类误差小于阈

值g,则认定C-LSTM分类器分解结果可信，并将其

结果作为输出。本文提出的C-LKM算法网络更新，仅更新C-

LSTM网络中的LSTM网络。更新方法包含有标注

数据生成以及网络更新两部分。有标注数据生成方法如下：首先，认定C-LSTM和K-means分类所得标签

%诚与相同部分对应的数据为可信数据，并

对其进行标注;之后，利用K-means算法对不可信数

据以％

=

2进行再次聚类,并将聚类所得簇中，数据

量少的认定为异常簇，数据量多的认定为正常簇，并

对其进行标注;之后将标注好的数据合并，作为C-

LSTM网络的输入，重新分类。算法2标注数据输入:C-LKM模型的输入数据X.C-LSTM以及K-means的

分类标签卩込、％5沁.

输出:标注好的数据,X论、陥.1初始化兀尼加23for

i

from

0

to

1

do

：4ifFchs［订工兔哑ans

［订(Zi)

6append

⑴

7

end if8. end

for9-

/=算法

1(X”)10.

for

i

from

0

to

len(Xs)do□

缢［%』］］=y」］12.

end

for

13-

return网络更新方法如下：将新生成的有标注数据输入预训练的CNN提

取数据的高维特征，并将提取好的特征作为LSTM

网络的输入;之后，利用反向传播不断更新LSTM网

络的参数，直到LSTM网络的输出经全连接层以及

Softmax分类器分类结果同原始有标注数据误差小

于分类误差阈值g时，结束迭代，此时异常检测模型

成功学习到新的数据分布;若迭代次数超过20次,

结束迭代，此时异常检测模型未能学习到新的数据

分布。至此，网络更新结束。这样可以有效避免因

为数据分布变化带来的异常检测误报率上升、检测

精度下降的问题。C-LKM算法在检测时不断以最新获取的分类

误差较大的数据作为网络输入重新训练LSTM网

334络，使其记住最新数据的时间特征。传感技术学报chinatransducers.

seu.

edu. cn第34卷征波动。这是设计C-LKM的传感器数据流异常检

2.3本文提出的算法(C-LKM)正常情况下，传感器网络采集的数据变化平缓,

当异常发生时，某个传感器的数据会表现为较大的

测模型的原则。C-LKM的模型结构如图2所示,整

个模型分为预训练与在线检测两大部分。该模型

中，程序首先使用有标注的传感器数据流，对C-

波动，当某些传感器的数据超出阈值时，判定为异

常。异常可以分为三个类别，孤立点异常、上下文异

常、集体异常⑷。这些异常发生时对应的特征波动

相对稳定，但是也会出现预先没有学习到的异常特LSTM网络进行预训练,获取预训练的C-LSTM网

络，我们称之为预训练过程。在线检测过程中，模型

接收并分类无标注的传感器数据,并使用K-means

无监督的优化C-LSTM网络，修正模型误差。图2

C-LKM的模型结构图算法3传感器数据流在线异常检测算法(C-LKM)输入数据集X输出输入数据的预测标签step

1利用有标注的传感器数据流预训练C-LSTM网

3实验与结果分析3.1实验环境本文实验在一台安装了一块AMD

R7

2700x

CPU,_块

NVIDIA

GTX1080Ti

GPU,32GB

2666MHz

DDR4内存的电脑上完成。AMD

R7

2700x

CPU有

络,获取预训练的C-LSTM网络模型.step

2选取窗口为长度1的新采集数据

3利用预训练的C-LSW网络预测最新的传感器数

据X,获取预测标签『皿”.step

4以X为输入运行算法1,获得K-means的分类标

8个核心，16个线程，能方便地训练与运行C-LKM

模型，以及本文使用的各种对比模型;32GB内存则

能保证存储全部的模型参数。程序运行在

签

^K-means-step

5根据式(11)计算分类误差若&>g,执行step6,

否则,跳转到

6运行算法2，生成新的有标注数据X诚”,陰”step

7

重新训练LSW网络，获得训练集的预测标

Windows

10

系统，使用

numpy

1.1&0

以及

pandas

0.23.4进行数据预处理以及矩阵运算，使用

tensorflow2.0.0利用CPU训练及运行网络模型。签人心step

8计算分类误差0=艺1人込［订-人皿［订I

；若&>i

=

0g,跳转到step7；若sWg,或者迭代次数超过20

3.2数据集为验证本文提出算法的可行性,使用英特尔伯

克利研究室(IBRL)传感器数据集进行实验验证。

该数据集是英特尔伯克利研究室(IBRL)在2004年

次,结束网络跟新，执行

9输出预测结果乙血.2月28日至2004年4月5日收集的54个传感器的

真实数据。该网络中，传感器每隔31

s收集一组包

C-LKM模型既考虑了传感器数据流的空间相

含温度、湿度、光照强度、传感器节点电压4个属性

关性，也考虑了其时间相关性,并利用K-means算法

实现了模型的半监督学习,模型在使用时，只需要少

量数据进行预训练，实际预测中,便可依照数据特

的数据购，传感器网络中的节点分布如图3所示。

选取31号节点数据作为本文实验原始数据。英特尔伯克利研究室传感器数据流为无标注的

征，自动调节网络参数，使得模型可以有效分类新型

异常数据。原始采集数据，数据中存在缺失值、异常值,在使用

它进行实验之前需要对数据进行预处理。首先，因

第3期唐海贤，李光辉:基于C-L5TM的传感器数据流半监督在线异常检测算法335为采用的31节点前40

000组数据中丢失数据均为

该时刻全部的温度、湿度、光照以及电压数据，且只

存在两段长时间的数据丢失情况。所以，忽略长时

间丢失数据的情况,并对其余缺失值使用线性插值

法期进行补齐，取补齐后数据的前60

000组数据

作为实验数据集，并将预处理后的数据标记为正常

数据。之后,对数据插入异常点。在实验数据集中，随

机选取一些正常点，将其四个属性值改为异常

值异常值计算方法为，以随机选取的异常点为

中心，以15为时间窗口，计算该时间窗口内各属性

的均值X

=

｛兔，兀执,xv.

,以及方差“产%，

%如，其中｛xt.,xh.执,XV.分别表示第i个时间窗

口内，温度、湿度、光照强度、电池电压的均值；｛厶,

%，地，如｝分别表示第i个时间窗口内,温度、湿酸、

蒐照聶直、电池电压的方差。异常值疋的计算方

法为：(12)

式中:m为计算机生成的随机数，椀为正整数，口和

G为取值在(0,1］内的随机数。实验中，分别向

IBRL_31数据集中插入1%、2%、5%、10%的异常

点，获取四组异常占比分别为1%、2%、5%、10%的

有标注数据集，实验数据集如表2所示。表2实验数据集It数据集训练样

测试样

异常占

本数本数上"％属性数IIBRL_315 00055

00012nIBRL_315 00055

00022mIBRU315 00055

00052IVIBRL

315 00055

0001023.3评价指标本文将异常检测作为二分类问题进行解决，最

终分类结果为:异常P、正常N。对于二分类问题,

将最终分类结果划分为:真正例TP(True

Positive)、

假正例

FP

(

False

Positive

)、真反例

TN (

True

Nega­tive)、假反例FN(False

Negative)，其中正例P为异

常数据，反例N为正常数据。异常检测数据集存在

正反例占比不均的问题，为准确反映各对比模型的

异常检测性能，采用召回率Recall、精确率

Precission

A

F1

-Score作为算法的评价指标。Recall

=TP/(TP+FN)

(13)Precission =

TP/(

TP+FP)

(14)_

2xRecallxPrecission"g

Recall+Precission使用算法方差变化率检测K-means模型更

新算法对模型预测稳定性的提升效果。定义3算法方差变化率民屮Var-Var,Vaj

X100%

(16)式中:V叫为未用模型更訥算法的异常检测算法异

常检测结果的方差;Vai;为使用模型更新算法后，半

监督异常检测模型异常检测结果的方差。3.4实验结果与分析为验证本文算法在长时间范围上的有效性，在

补齐缺失值的IBRL_31数据集中选取60

000组数

据，分别插入占比1%、2%、5%、10%的异常点，以前

5000组数据作为训练集，后55

000组数据作为训练

集进行试验。并且记录模型在每5

000组测试数据

上的异常检测准确性。分别用CNN、LSTM、C-

UTM、CKM、LKM以及C-LKM在这三组异常占比不

同的数据集上进行试验，其中CKM、LKM分别为

CNN、LSTM应用K-means模型更新算法的半监督异

常检测模型。使用召回率和Fl-Score作为衡量指

标，对比其检测精度,并计算算法在测试集11个不

同时间段上检测结果的召回率以及Fl-Score的方

差,来验证K-means模型更新算法对异常检测模型

检测稳定性的提升效果。实验结果如表3和图4所示，图4横坐标表示

测试区间。由图4可知,C-LKM方法较C-LSTM方

法在Fl-Score和召回率上有明显提升。当异常占比

为1%时,C・LKM在每一段测试集上的Fl-Sco玛最

高为0.942,召回率最高为0.983,在全部55000组数

据上的Fl-Score均值为0.939,召回率均值为0.954。

当异常占比为2%时,C-LKM在每一段测试集上的

Fl-Score最高为0.956,召回率最高为0.989,在全部

55000组数据上的Fl-Score均值为0.948,召回率均

值为0.949o当异常占比为5%时,C-LKM在每一段

测试集上的Fl-Score最高为0.968,召回率最高为

0.980,在全部55

000组数据上的Fl-Score均值为

0.965,召回率均值为0.964o当异常占比为10%时，

336传感技术学报chinatransducers,

seu.

edu.

cn第34卷(a)在数溜11上，各算法在各时间段上的Fl-Score(b)在娠集I上，各算法在各时间段上的召回率(c)在数髀d上，各算法在各时间段上的Fl-Scow(d)在螂集U上，各算法在各时间段上的召回率SOOTSa9^

a^0

^a85

8a0

75a

10000

20000

30000 40

000

50 000Periods(e)在数据集MI上”各算法在各时间段上的Fl-Scow10000

20000

30000

40

000

50000Periods(f)在数据集皿上，各算法在各时间段上的召回率10000

20000

30000

40

000

50000Poiods(g)在数粋IV上，各算法在各时间段上的Fl-Scow(h)在数粋甲上，各算法在各时间段上的召回率图4

CNN、LSTM、C-LSTM、CKM、LKM、C-LKM算法在各时间段上的Fl-Score和召回率

表3算法在不同异常占比数据集上的Fl-Score和Recall异常占比

算法CNN1%Fl

2%5%RecallFl

10%Recall0.600Recall0.497Fl

Fl

Recall0.6960.7260.7090.7330.5020.7270.7380.7430.9630.7920.5820.5700.9440.6560.646L£TMC-LSTMCKM0.6080.9420.5960.5810.9370.7320.9570.7820.7890.5730.9560.9250.7620.7840.9390.9360.7710.5910.6310.6710.6440.964LKM0.6590.9540.7890.9480.7950.970C-LKM0.9490.9650.954

第3期唐海贤，李光辉:基于C-LSTM的传感器数据流半监督在线异常检测算法337C-LKM在每一段测试集上的Fl-Score最咼为0.976,

召回率最高为0.977,在全部55

000组数据上的

更新算法依旧可以利用新获取的传感器数据流继续

训练模型,使得模型进一步拟合，提升了模型异常检

Fl-Score均值为0.970,召回率均值为0.954。相较于

其他对比算法.C-LKM算法提升了异常点检测准确

测效果，但是提升幅度没有前两种模型高。为探究K-means模型更新算法对异常检测算法

异常检测效果及稳定性的提升，以及对比异常检测

度。对比未使用K-means模型更新算法的原算法，

使用K-means模型更新算法之后，模型在各区间上

算法在不同异常占比的数据集上的异常检测效果,

的Fl-Score和召回率均获得明显提升，其中，

使用各异常检测算法在测试集11个时间段上异常

检测结果的召回率以及Fl-Score作为元数据，绘制

K-means模型更新算法对GNN以及LSTM算法提升

最明显。这是由于单独的CNN无法有效提取传感

器数据流的时间特征，单独的LSTM算法无法有效

提取传感器数据流的空间特征,这导致预训练期间，

箱型图。图5展示了各对比算法在各实验数据集分

组上的Fl-Score和召回率箱型图。其中箱体内部的

线表示异常检测算法在测试集11个时间段上异常

检测结果的召回率以及Fl-Score的中位数,箱体部

他们的模型无法有效拟合。随着输入数据增加，

K-means模型更新算法可以利用新获取的传感器数据

继续训练预训练模型，帮助模型进一步拟合,从而提

分表示实验结果第1四分位至第3四分位的数值范

围，三角形表示实验结果的均值。箱体部分范围越

升模型异常检测效果。C-LSTM算法本身已经可以有

效提取传感器数据流的时空特征,在预训练阶段已经

获得了较好的拟合效果，但是由于训练集数量较少,

窄，实验结果越集中。从图上可以看出，使用

K-means模型更新算法之后，异常检测结果的

Fl-Score和召回率均获得提升，并且实验结果分布

更集中，表明随着新数据输入异常检测模型,模型成

只有5

000组数据，并且训练集异常占比低，异常种类

不全，导致模型并未完全拟合。之后,K-means模型

0.80功学习到了新型异常的特征，并检测出了新型异常,00.78

-0.76

-爭00.740.720.700.68虫12

_CNNO.O.O.O.O.O.O.1

2

曽.5

-甲10—CKM5

10Anomaly

rate/%(a)

CNN及CKM算法在各数据集上的Fl-Score箱型图0.8085o.

O.8OAnomaly

rate/%(b)

CNN及CKM算法在各数据集上的召回率箱型图OO°0.78-T-—

LSTM0.760.740.72eO.75O.070—LKM白—

LSTM-65O.60O.55O.50-

A11215-L™;11

2

事5

1010Anomaly

rate/%(c)

LSTM^LKM算法在各数据集上的Fl-Score箱型图Anomaly

rate/%(d)

LSTM及LKM算法在各数据集上的召回率箱型图0.970.960.95詐4OO.

O.96O.0

94

92980.940.93-莹0.92丰—C-LSTM—C-LKM2

510°

I9Oo.

O-88_

C-LSTM

—C-LKM1

2

5

10Anomaly

rate/%(e)

C-LSTM及C・LKM算法在各数据集上的Fl-Score箱型图Anomaly

rate/%(f)

C-LSTM及C・LKM算法在各数据集上的召回率箱型图图5

CNN、LSTM、C-LSTM、CKM、LKM、C-LKM算法在各数据集分组上的Fl-Score和召回率箱型图

338传感技术学报chinatransducers.

seu.

edu. cn第34卷这提升了模型的检测稳定性。随着异常数据占比的

合了准确率和召回率的评价指标。因为异常检测数

据集中，异常占比低,即使将所有数据全部检测为正

提升，异常检测算法在测试集11个时间段上异常检

测结果的召回率以及F1-Score的分布，呈集中趋势，

以及上升趋势，这表明,异常数据占比越高,异常检

常数据，获取的准确率也高于90%。原算法的F1-

Score波动较大说明原算法的误报率（FPR）不稳定,

测算法的异常检测效果越稳定,异常检测准确度越

高。这是由于随着异常占比的提升,异常检测数据

原算法的异常检测准确率受正常数据在短时间范围

内的波动影响较大，这也是由训练集在总数据集上

占比小，无法反映完整数据集的数据分布导致

的数据分布更为理想（二分类问题理想类别比例为

1

：1），模型训练时可以学习到更多的异常类别的特

征,以及正常类别的特征，模型拟合的更好。的［如。K-means模型更新算法使原算法在数据流

发生波动时及时调整权重，来适应数据流在短时间

范围上的波动，并且在遇到未学习到的数据分布时

进一步，使用原异常检测算法以及使用K-

means模型更新算法后的异常检测算法在每一段异

常检测数据集上Fl-Score的方差变化率和召回率方

差变化率，量化K-means模型更新算法对异常检测

结果稳定性的提升效果。图6所示为各算法的F1-

Score和召回率在每一段测试集上的方差。表4展

及时调整权重，从而学习到了新的数据分布。表4

中部分Recall的稳定性变化率为负值，这表明在全

部的测试结果中,召回率的稳定性存在变坏的情况。

这由两种情况导致:①模型重训练时存在过拟合

的可能;②K-means模型更新算法将占比最少的簇

示了

K-means模型更新算法对异常检测结果稳定性

设置为异常簇，这使得系统可以利用新的数据流

重新训练异常检测模型，但是这种分类方法不完

全可信，可能将某些正常数据划分成异常数据,导

致模型向相反的方向训练,最终使得召回率稳定

的提升效果。从表中可以看出，使用K-means模型

更新算法之后,Fl-Score最高提升了

73.1%,召回率

最高提升了

31.1%,并且对Fl-Score稳定性的提升

远高于对召回率稳定性的提升。由于Fl-Score是综

0.000

140.000

12性下降。8000070.C006^500C55004

00040030.00

0.20.10

0异常占比

算法CKMLKMC-LKM为探究K-means模型更新算法对检测时间上的

影响，本文统计并分析CKM、LKM以及C-LKM在线

检测阶段（使用测试集）触发模型更新的次数，以及

模型更新所用的时间，得出的结论如表5所示。其

中触发次数指的是在线检测阶段各实验模型触发模

型更新的次数;平均时间指的是完成一次模型更新

使用的平均时间，单位是毫秒（ms）；失败次数指的

是在一次模型更新中，模型经历20次迭代之后,其

分类误差依旧超过阈值的次数。模型更新失败代表

着模型没有学习到近期数据的有效特征。从表5可

spouodjospoiledJ00.000

100.000080.000060.000

040.000

02O1

2

5

101 2

5

10Anomaly

rate/%

（a）

F1

-Score

Anomaly rate/%（b）召回率图6各算法的Fl-Score和召回率在每一段测试集上的方差表4

K-means模型更新算法对异常检测结果稳定性的提升

1%2%单位:％10%Fl5%RecallFlF1RecallFlRecall14.0Recall19.065.448.231.1-1.25.261.6-16.528.520.862.757.935.00.454.24&9-7.773.137.2-5.060.423.829.9以看出，三种使用了

K-means模型更新算法的模型

在在线检测阶段均触发了模型更新机制，其中

由于其原始算法的检测准确

度低,其触发模型更新机制的次数也很高,其模型更

新的失败次数也很高说明了这两种算法的可以有效

的学习到新数据的特征，但是受限于原始模型的性

能,其无法准确学习到新数据的特征。C-LKM的模

型更新机制触发次数很少，模型更新失败次数也很

少,说明其可以有效并准确地学习到新数据的特征。

同时，三种模型在本实验平台上，模型更新速度都是

第3期唐海贤，李光辉:基于C-LSTM的传感器数据流半监督在线异常检测算法339毫秒级，实际应用中不会造成性能瓶颈。表5模型更新机制统计结果算法触发次数平均时间/ms失败次数CKM7

49615.926

004LKM7

03254.245103C-LKM30767.31644结论本文提出了一种针对到达服务器端的环境监测

传感器数据流在线异常检测的半监督学习方法，该

方法只需要少量的有标注数据集作为训练集,所提

的K-means模型更新算法可以提高原算法在长时间

范围上的检测准确度以及检测稳定度。在本实验平

台上,C-LKM算法对于单一节点数据的平均检测时

间在毫秒级，对于以固定时间间隔上报数据的环境

监测传感器网络的异常检测应用不会造成性能上的

瓶颈。本研究的实证结论对将现有的有监督异常检

测模型转变为半监督模型提供了一种参考。参考文献：[1

]

Xie

陋，Han

S,

Tian

B, et

al. Anomaly

Detection

in

Wireless

Sensor

Networks:A Surveyf

J].

Journal

of

Network

and

Computer

Appli­cations,

2011,34(4)

:1302-1325.[2]

Garcia-Font

V,Garrigues

C,Rifti-Pous

H.

A

Comparative

Study

of

Anomaly

Detection

Techniques

for Smart City

Wireless

Sensor

Net­works

[J].

sensors,2016,16(6)

:868.[3]

Habeeb

R

A

A,Nasaruddin F,Gani A,et

al.

Real-Time

Big

Data

Processing

for

Anomaly

Detection:

A

Survey

[

J

].

International

Journal

of

Information

Management,2019,45:289-307.[4]

Chandola

V,Baneijee

A,Kumar

V.

Anomaly

Detection:

A Survey[J]. ACM

Computing Surveys(CSUR)

,2009,41(3)

：1

-5&[5]

Wazid

M,

Das

A

K.

An

Efficient

Hybrid Anomaly

Detection

Scheme

Using

K-Means

Clustering

for

Wireless

Sensor

Networks

[J].

Wireless

Personal

Communications,2016,90(4)

•

1971-2000.[6]

Lee

S,

Kim

G,

Kim

S.

Self-Adaptive

and

Dynamic

Clustering for

Online

Anomaly

Detectionf

J].

Expert Systems

with

Applications,

2011,38(12):14891-14898.[7]

曹步清，肖巧翔，张祥平，等.融合SOM功能聚类与DeepFM

质量预测的API服务推荐方法[J].计算机学报,2019,42

(6):1367-1383.唐海贤(1995-),男,江南大学人工智

能与计算机学院硕士研究生，主要研究

方向为机器学习，数据挖掘,

1225279963@

；

[8]

Wu

D,

Jiang

Z,

Xie

X,

et al.

LSTM

Learning

with

Bayesian

and

Gaussian

Processing

for

Anomaly

Detection

in

Industrial

IoT

[ J

].

IEEE

Transactions

on

Industrial

Informatics,

2019,16

(

8

) :

5244

-5253.[9]

Hochreiter

S,Schmidhuber

J.

Long

Short-Term

Memory[

J].

Neural

Computation,

1997,9(8)

.1735-1780.[10]

Feng

C,

Li

T,

Chana

D.

Multi-Level

Anomaly

Detection

in

Industrial

Control Systems

Via

Package

Signatures

and LSTM

Net­works

[C

]//2017

47th

Annual

IEEE/IFIP

International

Conference on

Dependable

Systems

and

Networks

(

DSN

).

IEEE,

2017：261-272.[11

]

Xingjian

SHI,

Chen

Z,

Wang

H,et

al.

Convolutional

L5TM

Net­work

:A

Machine

Learning

Approach

for

Precipitation

Nowcasting

[C

]

//Advances

in

Neural Information

Processing Systems.

2015：

802-810.[12]

邓丽，刘庆连,郭勇，等.基于数据流时空特征的WSN异常检测

及异常类型识别[J].传感技术学报,2019,32(9)

：

1374-1380.[13]

Kim

T

Y,Cho

S

B.

Web

Traffic

Anomaly

Detection

Using

C-LSTM

Neural

Networks

[

J].

Expert

Systems

with

Applications,

2018,

106：66-76.[14]

Akcay

S,Atapour-Abarghouei

A,Breckon T

P. Ganomaly:Semi-Super-

vised

Anomaly

Setection

Via

Adversarial

Training[

C

]//Asian

Confer­ence

on

Computer

Vision.

Springer,Cham,2018:622-637.[15] Gers

F

A,

Schraudolph

N

N,

Schmidhuber,

Jdrgen.

Learning

Precise Timing

with

LSTM

Recurrent

Networks

[J].

Journal

of

Ma­chine

Learning

Research,2003,3(1)

：

115-143.[16]

Cui

M,

Wang

J,

Yue

ML

Machine

Leaming-Based

Anomaly

Detection

for

Load

Forecasting

under

Cyberattacks

[

J

].

IEEE

Transactions

on

Smart

Grid,2019,10(5) :5724-5734.[17] Komoto

K,

Aizawa

H,

Kato

K.

Consistency

Ensured

Bi-directional

GAN

for

Anomaly

Detection

[

C

]

//International

Workshop

on

Frontiers

of

Computer

Vision.

Springer,

Singapore,2020:236-247.[18]

Rajasegarar

S,Bezdek

J

C,Leckie

C,et

al.

Elliptical

Anomalies

in

Wireless

Sensor

Networks

[

J].

ACM

Transactions

on

Sensor

Net-

works(TOSN)

,2010,6(1)

：l-28.[19]

Yi

X,Zheng

Y,Zhang

J,et

al.

ST-MVL：

Filling Missing

Values

in

Geo-Sensory

Time

Series

Data[C]//The

Twenty-Fifth

International

Joint

Conference

on

Artificial

Intelligence.

2016：2704-2710.[20]

Suthaharan

S,

Alzahrani

M,Rajasegarar

S,et

al.

Labelled

Data Col­lection

for

Anomaly

Detection

in

Wireless

Sensor

Networks[ C]//

2010

Sixth

International

Conference

on

Intelligent

Sensors,

Sensor

Networks

and

Information

Processing.

IEEE

,2010:269-274.[21

]

Lu

J,Liu

A,Dong

F,et

al.

Learning under

Concept

Drift:

A

Review

[J

].

IEEE

Transactions

on

Knowledge

and

Data

Engineering,

2018,31(12)：2346-2363.李光辉(1970-)，男，教授，博士生导

师，主要研究方向为物联网、边缘计

算、无损检测、大数据分析等,ghli@

。