92基于St a cking集成学习的锅炉NO X排放预测基于Stacking集成学习的锅炉NO x排放预测NO；Emissio;Predictioa of Boiler Based o;St a ckiag E;semble Learaiag 王辉章国宝黄永明(东南大学自动化学院，江苏南京210096)
张永春(江苏省特种设备安全监督研究院，江苏南京210036)
摘要：针对锅炉的NO；排放预测问题，提出了一种将Stacking集成学习应用于NO；排放预测建模。首先采用XG-Boost、ANN、SVR算法建立三个单一预测模型，再利用Stacking集成方法将三种模型集成为一个强预测模型。在某900MW电站锅炉的运行数据基础上进行实验，结果表明：经过Stacking集成的预测模型在Maa、Msa、Mapa三种评价指标上都优于单一预测模型遥 关键词：NO；排放预测；St a cki;g；XGBoost；ANN；SVR
Abstract:l;order to solve t he problem of boiler's NO；emission predictio；|this p a per proposes a st a cking ensemble learning method which is spplied to the problem of NO；emission prediction modeling.In this p a per|Xgboost|AN^and SVR algorithms sre used to est a blish three single prediction modelS|a;d then st a cking integr a tio;method is used to integrate the three models into a strong prediction model.B a sed on the oper a tio;dat a of a900MW utility boiler,the experiment results show th
at the prediction model integrated by st a cking is superior to the single prediction model in M a e,MSE and MAPE.
Keywords:NO；emission predictio；|St a cki;g|Xgboost|ANN|XVR
我国电站锅炉主要是燃煤锅炉［1］，煤炭在燃烧时会生成大
量NO；，进而导致酸雨等环境污染问题。随着国家2014年修订的
《锅炉大气污染物排放标准》岀台，新建锅炉NO；排放不得超过
250mg/m3。所以降低锅炉运行过程中NO；的排放，成为了电站
锅炉运行优化的一个重要目标。而在进行NO；排放的优化过程
化工辞典中，建立由锅炉操作参数到NO；排放的预测模型就至关重要。
随着数据科学技术的发展袁许多学者开始将一些基于统计
学的方法应用于NO；的排放预测。如文献［2暂采用支持向量回
归算法对NO；排放进行建模预测，并取得了不错的效果。由于
SVR对于非线性模型的拟合能力较差；文献［3-4］采用了非线
性拟合能力更好的最小二乘支持向量机(LSSV M)算法，取得了
更优的效果。因为人工神经网络特殊的仿生结构和激活函数，使
其能够适用于更复杂的系统，文献［5-7］就将ANN算法应用到
锅炉NO；排放的建模预测和优化中。
在上述的NO；排放预测方法中，都只采用了单一的算法进
行建模，难以获得稳定的预测模型。集成学习冋通过组合多个弱
预测模型，以获得效果更好的强预测模型。本文采用Stacking
集成学习的方式，将基于XGBoost、ANN、SVR训练好的预测模
型集成融合，获得了优于单一模型的效果。
1研究对象
1.1数据准备
实验选取某900MW电站锅炉的运行数据结构如表1所示，其中包括一组操作参数煤粉速率、一次风量、二次风量、二次风门开度、O-FA风门开度，以及NO；排放浓度。本文共获取实验数据5620条袁在
表1数据描述
数最九社•工出
-：•
：：.=!；■it d .：■■：叩■•：•；：•=!」幵£■'06 O.-A
fW；：!.-W"
该数据集基础上建立由操作参数到NO；的预测模型。
1.2数据预处理
本文实验数据均由锅炉现场传感器采集获得袁所以存在异常监测点影响后续建模精度，所以在建模前
需检测删除离点。本文采用四分位极差(IQR)方法检测离点,Q1为下四分位数,Q2为中位数,Q3为上四分位数。IQR定义如下，当数据满足如下限制时认为是正常数据，不满足时当作异常数据进行删除。
IQR=Q3-Q1(1) Q1-1.5*IQR臆value臆1.5*IQR+Q3(2)因为实验所采集的参数包括风量、速率等不同量纲参数，操作参数之间大小差距过大，在模型训练时会导致某些数值较大的参数影响比重较大，无法建立准确的模型。所以在建立模型前需要对参数进行min-max归一化处理，将参数范围归一化至［0,1］遥
m a x-mi;
2研究方法
2.1Stacking集成学习
集成学习(ansambla laarning冤通过融合多个弱模型构建强模型来提高模型的精度遥集成学习算法可以分为三类:①Bagging算法，通过融合多个同种模型降低最终模型的预测方差；
②Boosting算法，通过残差学习的方式降低最终模型的预测偏差;③Stacking算法，通过融合不同种模型降低模型的过拟合程度遥三类集成学习算法都可以在弱模型的基础上得到精度更高的强模型遥
Stacking集成学习算法和B a ggign.Boosting算法的最大区别就是可以集成异构分类器遥以本文NO；排放预测任务为例，St a cki ng集成学习步骤如下：
1)在数据集D的基础上训练得到一组弱模型M b；
2)将弱模型集合M b的输岀作为输入，利用元学习器(一般为线性回归)学习不同弱模型的权重；
3)将弱模型的输岀根据元学习器学习的权重进行加权融合遥
D=〔d i l(X j)},i=1，2,3…t(4) M b=m1,m2,m3…m§(5)式中必-锅炉操作参数；y i-NO；排放浓度；d|—实验样本;t-实验数据样本数；g-弱模型个数遥
本文将在实验数据的基础上分别训练ANN、XGBoost、SVM预测模型，采用线性回归(linear ragrassion)作为元学习
《工业控制计算机》2021年第34卷第4期
在职攻读硕士
93
器获得三种弱模型的权重系数，最后通过加权获得Stacking 集 成后的输岀。
2.2人工神经网络ANN
ANN (ArtificiaI Neural Network )是根据仿生学模仿脑神经
的连接运作方式而诞生的一种信息处理系统。ANN 分为多层结 构，每一层有若干神经元组成，神经元之间依靠带权有向弧连 接，该权重可以通过反向传播逐渐调整，每层之后跟有激活函数
如Sigmoid 等，使得ANN 具备较好的非线性拟合能力。ANN 作 为一种黑箱模型，使用者无需明确知道输入输岀之间的映射关
系，完全通过数据驱动自适应调整内部参数。本文在锅炉运行
DCS 数据的基础上，利用ANN 自适应、数据驱动、非线性拟合
能力强的优势，构建NO ”排放预测的基模型。2.3极端梯度决策树XGBoost
XGBoost (eXtrem Gradient Boosting Tree )作为一种集
成决策树算法，以决策树作为基学习器通过Boosting 的方式集 成形成强学习器。 XGBoost 在训练过程中通过不断生成决策树
拟合残差来提高模型精度。XGBoost 每一轮训练都会生成一颗
决策树代表一个弱模型f ，最后将M 个弱模型的结果相加生成
最后结果，如下式：
M
y i
=
移
f m (x i ) (6)
m = 1
式中：y-预测值;f m -第m 个决策树模型；X i -样本;M-总决 策树数。
XGBoost 算法以下式作为目标函数进行训练确定决策树结
构，该目标函数包括损失函数I 用于提高模型的预测精度和正 则项降低模型过拟合的风险：
nM
L=
》i(y ,
yJ +移赘(篇)
(7)
i = 1
m = 1
式中：L-目标函数；l-损失函数；赘-正则项。
XGBoost 算法的目标函数中引入了正则项用于控制决策树
的复杂度，可以有效地减少过拟合情况的发生。同时XGBoost 算法在损失函数的推导中同时利用率一阶导数和二阶导数信 息，能够加快模型的收敛速度。
2.4支持向量回归SVR
支持向量机SVM 是在模式识别领域中广义肖像算法的基 础上发展岀来的一种二元分类算法，它按照监督学习的方式进 行分类。 SVM 的目 标是求解能够将数据集不同类别分隔开的最
大超平面，然后利用该超平面对数据进行分类。 传统的 SVM 算
给刘翔的一封信法只能实现线性的分类效果，对于非线性的分类问题，可以通过 引 入核函数进行非线性变换将其转变为线性分类问题。 同时 SVM 算法在求解时，加入了正则化项用以降低过拟合的风险。
SVR (Support Vector Regression )是 SVM 的一个应用分
支袁SVR 解决的是分类问题袁SVR 在求解超平面时目标是到 一个和所有样本点总偏差最小的超平面, 同时用这个超平面确
定函数模型。和SVM 类似袁SVR 也可以通过核函数的选取对非 线性的回归问题进行拟合。3建模实验
3.1实验准备
采用表1的8000条数据进行实验，其中4000条数据用作训
练集，另外4000条作为验证集。本文采用Mse (Mean Squared
Error )、Mae (Mean Abso I ure Error )和 Mape (Mean Abso I ute Percentage Error )三种指标对模型进行评估。三种指标如下：
k
Mae=k
2
20q(
赠-%)
(8)
Mape=¥^ 移上^
(10)
k ： = 1 y 3.2实验
集成学习的目的就是结合多个不同的基模型，综合各模型 的优势达到提高模型精度的效果，因此经过Stacking 的最终模 型精度应该优于单一模型。本节将对XGBoost 、ANN 、SVM 建立
的单一模型和经过Stacking 的集成学习模型进行对比，结果如
表 2 所示。
表2模型对比
抒吁
稅咀
Mac Mxc
1XCDoutL
I 24.5450.999
2
4.41/93
5. Rvi S-VK!11斗「送O.n 斗 n 2.
4
fiL ；l'.：ki 12
丄朋I8.3>5
表 2 给岀了三个单一算法模型和 Stackin 集成模型的实验
结果。从表中可以看岀，单一算法模型中XGBoost 算法建立的 模型在Mae 、Mse 、Mape 三种评价指标上优于其它两种单一算 法模型。经过Stacking 的集成学习模型在三种评价指标上优于 单一算法建立的预测模型。
为了验证元学习器能够学到一组优化的集成权重，将
Stacking 方法和简单的先验加权融合方式进行对比, 加权方式 如下式所示：
赞 1
丫=帀(a *y a +b *y x +c *y s )
(11)
式中：y a -ANN 模型预测结果；y x -XGBoost 模型预测结果； y s -SVR 模型预测结果；a 、b 、c -加权系数。
因为上述单一模型实验中袁SVR 模型的效果最差，所以在本 对比试验的权重设置中将 SVR 的权重系数设置偏低。 实验结果
如表 3 所示：
表3权重实验
序号
皿合方.代
Vise
Mape
u 2.h 4.c 4
2.41?
10 016
O.SRv
2
：.i 3,b 5,'：.： -1
.i.'-hU 25 71 ：2I.i ：：.i ：：i
Stacking
j.l
处
由表 3 可以看岀, 经过 Stacking 集成方式的最终模型要优
于两种先验权重设置的方式, 同时对比加权方式 1、2 可以看岀 当调高a 的值时融合效果会变差，符合我们的分析。
通过本节实验可以得到结论, 经过 Stacking 方式集成多个 模型的预测效果要优于单一模型的结果, 并且结果也要优于经
验设置加权系数的融合结果。4 结束语
本文针对电站锅炉NO x 排放预测问题，提岀了一种基于 Stacking 集成学习预测模型。在数据预处理方面, 本文采用四分 位极差(IQR )方法对数据中的异常值进行清理，利用min-max 归一化方法消除数据中量纲不一致导致模型训练的不平衡问
题。 在模型效果方面，本文采用三种常用的回归算法 XGBoost 、
ANN 、SVR 构建单一预测模型, 用 Stacking 降级成方式构建最 终的强预测模型。
实验结果表明： 本文的 Stackig 集成学习模型在验证集上
获得了优于任一单一模型的效果，能够改善 NO x 排放建模的效
果，为相关 NO x 排放优化研究提供了新的建模策略。
(下转第96页
)
96视觉低级任务中的CNN压缩研究
nections for efficient neural networks[J].arXiv preprint arXiv: 1506.02626,2015
[7]Han S,Mao H,Dally W J.Deep compression:Compressing
北京网通公司
deep neural networks with pruning,trained quantization and huffman coding[J].arXiv preprint arXiv:1510.00149,2015 [8]Luo o H,Wu J,Lin W.Thinet:A filterlevel pruning method
for deep neural network compression[C]//Proceedings of the IEEE international conference on computer vision,2017:5058-5066
[9]Dong X,Huang J,Yang Y,et al.More is less:A more compli
cated network with less inference compIexity[C]//Proceedings of the IEEE Conference on Computer
Vision and Pattern Recognition,2017:5840-5848
[10]Han S,Liu X,Mao H,et al.EIE:Efficient inference engine
on compressed deep neural network[J].ACM SIGARCH Computer Architecture News,2016,44(3):243-254
[11]Han S,Kang J,Mao H,et al.Ese:Efficient speech recog
nition engine with sparse Istm on fpga[C]//Proceedings of the2017ACM/SIGDA International Symposium on Field-Programmable Gate Arrays,2017:75-84
[12]Zhu C,Han S,Mao H,et al.Trained ternary quantization
[J].arXiv preprint arXiv:1612.01064,2016
[13]Courbariaux M,Hubara I,Soudry D,et al.Binarized neural
networks:Training deep neural networks with weights and activations constrained to+1or-1[J].arXiv preprint arXiv: 1602.02830,2016
[14]Rastegari M,Ordonez V,Redmon J,et al.Xnor-net:Ima-
genet classification using binary convolutional neural networks[C]//European conference on computer vision.
Springer,Cham,2016:525-542
[15]Mathieu M,Henaff M,LeCun Y.Fast training of convolutional
networks through ffts[J].arXiv preprint arXiv:1312.5851,2013 [16]VasiIache N,Johnson J,Mathieu M,et al.Fast convolution
al nets with fbfft:A GPU performance evaluation[J].arXiv preprint arXiv:1412.7580,2014
[17]Lavin A,Gray S.Fast algorithms for convolutional neural net-
works[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition,2016:4013-4021
[18]Bagherinezhad H,Farhadi A,Rastegari M.Lookup-based con
volutional neural network:U.S.Patent10,691,975[P].2020-6-23
[19]Lebedev V,Ganin Y,Rakhuba M,et al.Speeding-up con
volutional neural networks using fine-tuned cp-decomposi-
(上接第93页)
参考文献
[1]Chang S,Zhuo J,Meng S,et al.CIean Coal Technologies in
China:Current Status and Future Perspectives[J].Engineering,2016,2(4):447-459
[2]Zhao Y,Wang G,Hu Q,et al.Coal blending optimization model
for reducing pollutant emission costs based on Support Vector Machine[J].IOP Conference Series:Earth and Environmental Science,2019,300(3):032086
[3]Lv Y,Liu J,Yang T,et al.A novel least squares support
vector machine ensemble model for NOx emission prediction of a coal-fired boiIer[J].Energy,2013,55(15):319-329
[4]Tang Z,Wu X,Cao S熏et al.Modeling of the Boiler NOx
Emission with a Data Driven Algorithm[J].JournaI of chemical
tion[J].arXiv preprint arXiv:1412.6553,2014
[20]Gong Y,Liu L,Yang M,et al.Compressing deep convolu
tional networks using vector quantization[J].arXiv preprint arXiv:1412.6115,2014
[21]Masana M,van de Weijer J,Herranz L,et al.Domain-adaptive
deep network compression[C]//Proceedings of the IEEE International Conference on Computer Vision,2017:4289-4297 [22]Xue J,Li J,Gong Y.Restructuring of deep neural network
acoustic models with singular value decomposition[C]//ln-terspeech,2013:2365-2369
[23]Denton E,Zaremba W,Bruna J,et al.Exploiting linear
structure within convolutional networks for efficient evaluation [J].arXiv preprint arXiv:1404.0736,2014
[24]Girshick R.Fast r-cnn[C]//Proceedings of the IEEE interna
tional conference on computer vision,2015:1440-1448 [25]Jaderberg M,Vedaldi A,Zisserman A.Speeding up convo
lutional neural networks with low rank expansions[J].arXiv preprint arXiv:1405.3866,2014
[26]Zhang X,Zou J,He K,et al.Accelerating very deep con
volutional networks for classification and detection[J].IEEE transactions on pattern analysis and machine intelligence, 2015,38(10):1943-1955
[27]Polyak A,Wolf L.Channel-level acceleration of deep face
representations[J],IEEE Access,2015(3):2163-2175 [28]Hu H,Peng R,Tai Y W,et al.Network trimming:A data-
driven neuron pruning approach towards efficient deep ar-chitectures[J].arXiv preprint arXiv:1607.03250,2016
[29]Anwar S,Sung W.Compact deep convolutional neural net
works with coarse pruning[J].arXiv preprint arXiv:1610.09639, 2016
[30]Molchanov P,Tyree S,Karras T,et al.Pruning convolutional
neural networks for resource efficient transfer learning[J].
arXiv preprint arXiv:1611.06440,2016,3
[31]Tucker L R.Some mathematical notes on three-mode fac
tor anaIysis[J].Psychometrika,1966,31(3):279-311
[32]Nakajima S,Sugiyama M,Babacan S D,et al.Global ana
lytic solution of fully-observed variational Bayesian matrix factorization[J].JournaI of Machine Learning Research,2013, 14(Jan):1-37
[33]Nakajima S,Tomioka R,Sugiyama M,et al.Perfect dimen
sionality recovery by variational Bayesian PCA[J].Advances in Neural Information Processing Systems,2012,25:971-979
[收稿日期：2021.1.27]
engineering of Japan,2018,51(8):695-703
[5]白建云，朱竹军，张培华•基于BP神经网络的循环流化床锅炉生成
NO x质量浓度在线软测量[J].热力发电，2016,45(12)：78-83 [6]易正明，邓植丹，覃佳卓，等•基于RBF-BP混合神经网络的烧结烟
气NO x预测[J].钢铁研究学报,2020,32(7)：639-646
[7]辉，刘冉，余廷芳•基于支持向量机和BP神经网络的燃煤锅炉
NO x排放预测[J].热能动力工程,2016,31(10)：104-108,129-130 [8]魏乐，胡晓东，尹诗•基于优化XGBoost的发电机前轴承故障预警
[J/OL].系统仿真学报：1-8[2021-01-05]./
10.16182/j.issn1004731x.joss.20-0538
[9]Dietterich T G.Ensemble Methods in Machine Learning[C]^/
International Workshop on Multiple Classifier Systems.Springer, Berlin,Heidelberg,2000
pos系统
[收稿日期：2021.1.7]
豫公网安备41160202000603
站长QQ:729038198
关于我们
投诉建议