基于L2正则化LSTM的非线性动态系统辨识

基于L2正则化LST M的非线性动态系统辨识

徐宝昌1吕爽1董秀娟；王健；

(1.中国石油大学(北京)信息科学与工程学院;2.中石油北京天然气管道有限公司)

摘要LSTM本身具有良好的非线性逼近能力，但在应用于化工流程工业建模时，存在模型泛化能力低的问题。对此，提出一种基于L2正则化LSTM的非线性动态系统辨识策略，将L2正则化项引入网络的损失函数中，优化网络结构，从而提高模型泛化能力。同时，利用TE过程进行相关验证实验，仿真结果表明：所提出的方法优于传统的BP神经网络和支持向量回归，能够有效地提高模型的精度和泛化能力，降低对辨识输入数据的要求。

关键词长短期记忆动态系统建模正则化方法

中图分类号TP18文献标识码A文章编号1000-3932(2021)01-0001-07

实现良好的控制是提高工业生产过程经济效益、保障生产安全的关键，而实现良好控制的基础就是建立准确的模型#但现有的化工过程辨识方法大多过于依赖实验获得的数据，这严重地限制了其使用范围$随着计算机计算能力的提升,DCS在实际生产中逐渐普及，大量的生产数据被存储在本地或云端，这些数据中蕴含着生产过程的各种动静态信息，如果能充分挖掘DCS中数据的信息，通过一定的模型

结构和参数来表达非线性的动态过程，建立良好的替代模型，将能够更好地掌握过程的内在特性，便于研究出更加高效稳定的控制方法，实现对整个流程的故障预测、控制、监督以及经济效益优化等。

为解决上述问题，笔者引入深度学习算法中的模型----长短期记忆(Long Short-Term Memory，LSTM)[1]o LSTM在循环神经网络(Recurrent Neural Network，RNN)的基础上引入长短期记忆结构，既考虑了过往信息的影响，也有效地解决了梯度消失或爆炸问题，在手写识别)2*、图像分析[3]及时间序列预测等方面表现出良好的效果$Yadav A等利用LSTM对印度股票市场进行预测，通过有无状态模型和隐藏层数量对网络进行优化，结果表明LSTM在股票预测上具有可行性[4];Gonzalez J和Yu W则利用LSTM与神经网络的结合，证明了改进后的方法对于只使用测试输入、不利用以往测试输出的模型而言具有更好的效果[5]; Joohyun W等利用LSTM进行无人水面车辆(SUV)模型的建立，该方法相比传统的线性动态模型降低了浪涌预测误差、偏航率预测误差等，表现出良好的性能[6]$针对基本结构对数据契合不高的问题，学者们对其结构进行了改变或采用与其他模型、方法相结合的思路，如韩恒贵利用LSTM的变体GRU和混合模型进行绝缘双极性晶体管的故障预测，实验结果表明新方法进行故障预测的均方根值为0.0756，预测效果有了很大的提升⑺；Yu R等提出一种基于序列相关特征的LSTM-EFG 模型用于风力发电预测，该方法对遗忘门功能进行了增强，提高了预测的效果[8]$

在实际应用中,LSTM基础网络由于结构和输入数据不足等问题，往往会出现模型过拟合、泛化能力低等问题，为此笔者结合常用于解决过拟合现象的正则化[9，10]方法提出基于L2正则化LSTM 辨识策略，

并利用非自衡系统TE过程(Tennessee Eastman Process)进行方法有效性的验证。通过实验表明，该方法具有更快的收敛速度，模型泛化能力更强，对所需辨识数据要求更低，辨识得到

作者简介：徐宝昌(1974-)，副教授，从事复杂系统的建模与先进控制、钻井过程自动控制技术方面的研究$

通讯作者：吕爽(1993-)，硕士研究生，从事基于人工神经网络的复杂系统建模方面的研究，lvshuang_ls1204@126.

com

的模型可以很好地反映系统的阶跃响应过程!预测系统的输出。

1L2正则化LST M模型

1.1LSTM模型

LSTM是由RNN发展而来的重要结构，由Hochreiter S和Schmidhuber J于1997年提出⑴，它在RNN的基础上增加了输入门、输出门、遗忘门和记忆单元4个门限，能够对长距离依赖问题进行处理，避免梯度消失或爆炸的问题。LSTM内部结构如图1所示。

图1LSTM内部结构

在LSTM的结构中，以!时刻的输入"!和前一时刻的状态信息h t_1作为输入信息，通过内部细胞进行状态单元的填充或移除完成信息更新。原始的LSTM结构的门限由sigmoid函数与矩阵点乘组成，由于sigmoid函数的输出为0〜1之间的数字，因此可以描述信息的通过程度，其中0代表移除，1代表全部信息通过。LSTM网络的前向传播可以表示为：

/%!(&•九1，"」+))(1)

*!%!(&•九1，"」+®)(2)

〜尸tanh(&((3)

c t%f t c t_1+i>(4)

。尸！(&o•九1,"t$+)o)(5)

h t%!*tanh(c t)(6)

其中，tanh和!分别表示双曲正切函数和sigmoid激活函数；"t表示t时刻的输入;/、it、o t、c t分别代表t

时刻遗忘门、输入门、输出门信息和细胞状态；〜t表示细胞状态的调制信号；&f、&i、&。、&c 分别代表遗忘门、输入门、输出门信息和细胞状态更新过程中所对应的权值；)f、)i、)。、)c分别代表遗忘门、输入门、输出门信息和细胞状态更新过程中所对应的偏置。1.2基于L2正则化LSTM模型

为增强辨识模型的泛化能力，笔者采用可以对参数进行稀疏化的L2正则化方法对LSTM基础模型进行优化，即在原损失函数上加上L2范数正则化项，得到的损失函数-公式如下：

其中，"为正则化系数，用于权衡正则项与原始函数的比重;.为训练集样本大小;-0为原始的损失函数;#为权重；为模型实际输出；为模型预测输出。

根据上述公式，权重#的更新为：

酶联法#"#一$-处#%(1-处)#-$丛(8)

##n n##

其中,$为学习率。

从结果可以看出，权重#的系数1-小于1

时，可以实现权重衰减，从某种意义上讲，较小的#意味着网络复杂度更低，对数据的拟合更好。

2010年江苏高考英语根据式(7)、(8)，可以得到基于L2正则化LSTM辨识策略的权值更新公式：

W"(k+1)%W"(k)-V-&#^-%W"(k)-V8^t(9)

&(k+1)%W#(k)-V-—-%W{h(k)-v8^t(10)

#&f h(k

)

可"

"11)

'就!%叫t %&f

%et f , t ='$［(t_i ，*t &+，f

(12)

其中，'$*、'$(分别为遗忘门更新时输入信息

和上一层状态所对应的更新权重为时刻;!$,t 为

损失函数.对于［(t-i , *t ］+，f 的偏导数+

其余权值更新公式同理+2实验及结果分析2.1数据来源及预处理

笔者采用非自衡系统TE 过程作为辨识对象+

TE 过程是一个实际化工过程的仿真模拟，它是由

美国Tennessee Eastman 化学公司过程控制小组的

Downs J J 和Vogel E F 提出的［11］，被广泛地应用于

过程控制技术的研究［18&。整个TE 过程可以被用来

进行各种各样的过程研究，主要包括装置的控制策略设计、多变量控制、过程优化及预测控制等+

TE 过程包含12个操纵变量和41个测量变量,

所给出的已知数据集中包含21个预先设定好的故障，其中16个为已知故障"包含阶跃、随机变量

等),5个为未知故障+每一种故障对应两组数据,

分别为具有498个数据的训练集和948个数据的

测试集+文中笔者选取12个操纵变量作为输入,

产品分离器温度XMEAS11的测量值作为输出，具

菲达协同>国家船舶舱容积计量站

体的训练集、测试集、验证集来源见表1 +

表1 实验中涉及的几组数据集组合

编号

工况

训练集测试集验证集1正常运行工况，包含噪声d00.dat d00_te.dat d01_te.dat 2

流2中物料D 的温度变化，阶跃d03.dat d03_te.dat d01_te.dat 3流2中物料C 的温度变化，随机变量

d10.dat d10_te.dat d01_te.dat 4

未知情况

d20.dat

d20_te.dat

d01_te.dat

TE 过程所提供的数据集来自仿真实验，需要

进行时序处理才能符合L2正则化LSTM 网络的输入形式+同时，为消除不同量纲和数量级带来的

影响，需将数据集进行0〜1标准化处理+笔者选用

以下几种模型评价指标来对辨识效果进行评估, 包括ACC "精确度)、MAPE "平均相对百分比误差)、RMSE "均方根误差)及42(拟合优度)等+其

中,MAPE 和RMSE 的值越小，说明模型建立的效

果越好;R 2衡量的是回归方程整体的拟合度,R 2的值越接近1，说明模型的拟合效果越好+具体评价

指标如下：

"G 厂J )2 "(7厂7，)2

R 2=

-----------=1^1------------ (16)

% %

ACC =

"100%

(13)

% i =1 7i

mape =

1 "(7i -7i

(14)

i=1

rmse =-

(7厂7 i

(15)

"(7厂J )' "(7厂J )2

其中,J

为实际输出的平均值+

2.2 LSTM 网络结构设定

文中用前%步时间状态的11个操纵变量数据预测后9步产品分离器温度XMEAS11 ，即网络输

入1 (t ) , ： 2 (t ),…,:11 (t ),…,：1 (t-%) , ：2(一 %)，…,：11(t-%)}，输出 Y ={Y (t ),…,<(t+9)}。

利用L2正则化LSTM 辨识策略和表1中的第4

组数据集进行TE 过程辨识，根据网格搜索法确定标准LSTM 辨识时的最优参数组合为：隐藏层参数为25，学习率"为0.3 ，时间步长time_step 为2，迭代

次数为1 000次+从［0,10］中选取正则化系数#的

值，观察训练集、测试集和验证集的评价指标变

化，其中验证集变化曲线如图2所示

根据仿真结果可以得到：验证集偏差随正则时，验证集偏差最小，正则化方法使用前后的评化系数！的增加先减小后增大，当正则化系数!$2

价指标见表2。

表2 正则化方法使用前后评价指标的对比

使用方法

ACC

MAPE RMSE /V R 2

输出偏差/!正常情况

训练集0.997 40.002 60.263 4 1.767 60.069 4

测试集0.996 90.003 10.305 3 1.109 0

0.093 2验证集

0.986 40.013 6

1.194 5

0.303 6

1.426 9

正则化训练集0.997 20.002 80.292 8 3.013 70.084 1测试集0.997 2

0.002 80.290 1 1.933 4

0.084 1

验证集

0.986 50.013 5

1.165 6

0.332 4 1.358 7

2.3实验对比分析

现利用支持向量回归(SVR )、3P 和基于L2正

则化LSTM 的网络(L2-G -LSTM )对TE 过程进行辨

识与比较，得到的训练结果如图3、4所示，评价指

见标表3〜6。所采用的数据集为表1中的4组数据

验证集样本C.基于验证集

集

二

I S V K W X

悭吗蹤w

ng K

图3测试集各个样本预测误差百分比

华硕易pcP

二 IS

V M W X

径

gl ^w o

ng K

8080.8

.64.2.0.8

.648080797979

二 I

S V K W X

径鸡幣w

ng K

验证集样本C.基于验证集

50 100 150 200 250 300 350 400 450 500

训练集样本

a.基于训练集

图4基于第2组数据集各算法的预测结果

表3基于第1组数据集的评价指标

电机技术数据集算法ACC

MAPE RMSE /X R 2

输出偏差/!

训练集

0.998 20.001 80.184 722.593 80.034 1SVR 0.998 5*0.001 5*0.143 3* 2.973 6*

0.020 5*L2-G -LSTM

0.998 4

0.001 6

0.158 9

3.370 8

0.025

（续表3）数据集算法ACC MAPE RMSE/V R2输出偏差/"测试集BP0.99780.00220.218440.21100.0477 SVR0.99800.00200.1961 3.643880.0385 L2-G-LSTM0.9981$0.0019$0.1886$ 3.73250.0356$验证集BP0.99510.00490.6003135.99900.3603 SVR0.

9955$0.0045$0.5730$30.75320.3284$ L2-G-LSTM0.99270.00730.6433 1.3244$0.4183

注代表同一实验数据所对应的较优结果，下表同

表4基于第2组数据集的评价指标

数据集算法ACC MAPE RMSE/"R2输出偏差/"

训练集BP0.99820.00180.1816 3.88710.0330 SVR0.9984$0.0016$0.1512$ 2.0792$0.0229$ L2-G-LSTM0.99830.00170.1700 2.84570.0289测试集BP0.99770.00230.2252 6.32500.0507 SVR0.9980$0.0020$0.2022 3.3178$0.0409 L2-G-LSTM0.9980$0.0020$0.1986$ 3.67620.0394$验证集BP0.99550.00450.5790$15.62790.3352$ SVR0.9956$0.0044$0.581517.84160.3381 L2-G-LSTM0.99210.00790.7000 1.0736$0.4900

表5基于第3组数据集的评价指标

数据集算法ACC MAPE RMSE/"R2输出偏差/"训练集BP0.99810.00190.1906 2.30620.0363 SVR0.9983$0.0017$0.1631 2.41980.0266$ L2-G-LSTM0.99820.00180.1731 2.1205$0.0300测试集BP0.9977$0.0023$0.2385 4.68780.0569 SVR0.99750.00250.2569 6.68110.0660 L2-G-LSTM0.9977$0.0023$0.2283$ 1.1044$0.0521$验证集BP0.9957$0.0043$0.5539$13.96260.3068$

SVR0.99560.00440.560526.25260.3141 L2-G-LSTM0.99110.00890.76620.5923$0.5870

本文发布于:2024-09-22 21:20:34，感谢您对本站的认可！

本文链接：https://www.17tex.com/xueshu/53843.html

上一篇：一种简单高效的模糊文本图片清晰化处理方法[发明专利]

下一篇：l2正则化python_L1、L2正则化的区别

标签：数据模型过程

留言与评论（共有 0 条评论）