一种基于三维卷积神经网络和门控循环单元的PM2.5预测方法

一种基于三维卷积神经网络和门控循环单元的pm2.5预测方法
技术领域
1.本发明属于大气污染物预测技术领域，具体涉及一种基于三维卷积神经网络和门控循环单元的pm2.5预测方法。

背景技术：

2.pm2.5是大气污染物中直径小于等于2.5μm的可吸入空气污染物颗粒。由于直径较小，这些颗粒能够在空气中长时间悬浮，结合空气中病毒吸入肺部进而进入人体器官造成呼吸系统和心血管系统疾病。多步长高精度的pm2.5预测能够为日常出行人提供及时的防护意见，减少空气污染对身体的危害，为政府部门环境治理提供有效参考意见。pm2.5受工厂运作、交通出行及气候变化等多因素影响难以长久且准确预测，因此如何实现多步长且高精度的pm2.5预测是一项具有挑战但意义重大的任务。
3.公开号为cn108268935b的中国发明专利文献中公开了一种基于时序循环神经网络的pm2.5浓度预测方法及系统，该pm2.5预测方法包括：原始数据采集及数据预处理，创建一个三层的循环神经网络预测网络，调整隐含层和输出层的节点个数，设定网络训练期望的误差值、学习率和最大迭代次数。通过反向传播训练模型最优状态。
4.为了有效提高pm2.5预测精度，白盛楠等人在论文《基于lstm循环神经网络的pm2.5预测》中提出基于长短时记忆网络(lstm)的pm2.5预测模型。lstm通过引入输入门、遗忘门和输出门控制信息有效传递，避免传统循环神经网络模型训练中出现梯度消失和梯度爆炸的问题。
5.经文献调查，目前大多pm2.5预测都使用深度学习的方式，以循环神经网络以及循环神经网络的变种为主。利用循环神经网络及其改良体提取时间序列长期和短期的特征，却忽视了pm2.5受人类社会每天24小时，每周7天活动规律周期性变化特征影响。no2和so2等其它空气污染物在大气中经过化学反应形成二次颗粒物进而而影响pm2.5浓度，有效提取其他空气污染物与pm2.5之间的特征有利于提高多步长pm2.5预测的精度。门控循环单元是循环神经网络的一种变体，在解决传统循环神经网络预测中梯度消失和梯度爆炸问题的同时减少了计算量，能够高效地提取时间序列长期和短期的记忆特性。为了在提取时间序列长期和短期特征的同时提取每天24小时，每周7天以及多变量之间的特征，本发明提出一种基于三维卷积神经网络和门控循环单元的pm2.5预测方法。

技术实现要素：

6.本发明旨在解决以上现有技术的问题。提出了一种基于三维卷积神经网络和门控循环单元的pm2.5预测方法。本发明的技术方案如下：
7.一种基于三维卷积神经网络和门控循环单元的pm2.5预测方法，其包括以下步骤：
8.步骤1、数据收集步骤：收集每小时的pm2.5浓度数据以及与pm2.5相关的no2,so2在内的多种变量空气污染物数据；
9.步骤2、数据预处理步骤：对收集到的数据缺失值填补，对数据标准化处理，划分训练集、验证集和测试集；
10.步骤3、将输入数据根据小时、天和多变量三种特征扩展到三维并使用三维卷积神经网络学习每天24小时、每周7天和多种输入变量三个维度的特征；
11.步骤4、将提取到的特征放入门控循环单元提取时间序列长期和短期的记忆特性，然后连接全连接层输出pm2.5预测结果。
12.进一步的，所述步骤2的数据预处理步骤具体包括：
13.step1:检查收集到的数据完整性及可用性，使用插值方法补全数据中缺失值；
14.step2:对多变量数据分别进行标准化处理；
15.step3:将原始数据划分为训练集、验证集和测试集，原始数据的70％为训练集，20％为验证集，10％作为测试集，根据需求确定训练数据的时间序列步长和预测数据的时间步长。
16.进一步的，所述step1中数据插值适用于少量连续数据缺失，若大量数据缺失则数据不具有可用性。
17.进一步的，所述step2中数据标准化处理方法为极差标准化法：x
′
＝(x-x
min
)/(x
max-x
min
)，x为原始数据，x
min
为原始数据最小值，x
max
为数据最大值，x
′
为标准化后的数据。
18.进一步的，还包括设置训练模型结构的步骤，具体包括：
19.step1:三维卷积神经网络结构，包括卷积层层数，输入层数据形状、卷积核尺寸，卷积核个数和激活层的激活函数；
20.step2:门控循环单元结构，包括门控循环单元层数，隐藏层个数；
21.step3:总模型训练参数设置，包括批处理尺寸batch_size、模型训练次数epoch、模型学习率lr和优化器optimizer。
22.进一步的，基于训练集和验证集训练预测模型，具体如下：
23.step1:使用三维卷积神经网络学习每天24小时、每周7天和多变量三个维度的特征；
24.step2:将三维卷积神经网络处理后的三维张量采用python numpy库中reshape()函数重塑为二维矩阵，然后放入门控循环单元提取时间序列长期和短期的记忆特性，最后连接全连接层输出pm2.5预测结果完成模型训练。
25.进一步的，所述三维卷积神经网络的输入为尺寸为(24,7,6)，卷积神经网络的层数为3，激活函数为selu:其中α
selu
≈1.6733，λ
selu
≈1.0507。α
selu
，λ
selu
为激活函数selu固定的超参数。
26.进一步的，所述step2:将三维卷积神经网络处理后的三维张量重塑为二维矩阵，然后放入门控循环单元提取时间序列长期和短期的记忆特性，具体包括：
27.将三维卷积神经网络处理后的三维张量(24，7，48)重塑为二维矩阵(168，48)，然后放入门控循环单元提取时间序列长期和短期的记忆特性，门控循环单元包括更新门和重置门两个门控单元；门控循环单元通过门控单元学习时间序列h
t-1
,h
t
…
时刻的信息，保留有效信息，遗忘重复冗余的信息，计算公式为：
28.z
t
＝σ(w
z1ht-1
+w
z2
x
t
+b)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)
29.r
t
＝σ(w
r1ht-1
+w
r2
x
t
+br)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2)
[0030][0031][0032]zt
为更新门，用来控制时间序列中前一时刻的信息保留到状态存储中的程度，更新门的值越大表示对应时刻的信息越有效；h
t-1
表示前一时刻状态输出量，b、w
z1
、w
z2
、w
r1
、w
r2
、br、w
h1
、w
h2
、bh为门控循环单元可训练的参数，通过模型训练效果修正并确定最优参数。x
t
表示当前时刻输入量，σ表示激活函数sigmoid，计算公式为s(x)＝1/(1+e-x
)；r
t
为重置门，用于控制前一时刻有多少存储在当前时刻的候选信息中，r
t
的值越小则前一时刻被丢弃的信息越多，表示当前时刻候选隐藏状态，为按元素相乘，tanh为正切激活函数，计算公式为：tanhx＝(e
x-e-x
)/(e
x
+e-x
)，h
t
表示当前时刻状态输出量。
[0033]
本发明的优点及有益效果如下：
[0034]
目前大多pm2.5预测使用循环神经网络及其变体提取时间序列长期和短期特性，却忽视了pm2.5受人类社会每天24小时，每周7天活动规律周期性变化特征以及其它空气污染物对pm2.5的影响。本发明为有效同时提取pm2.5每天24小时、每周7天以及多污染物输入变量关系特征，使用三维卷积神经网络同时提取三种特征，然后使用门控循环单元提取时间序列长期和短期的记忆特性，提供一种高精度多步长的pm2.5预测方法。
[0035]
本发明是一种基于数据驱动的pm2.5预测模型，只需要采集大量数据进行监督学习训练模型参数，不受地区限制，具有广泛适用性。少量数据缺失时使用三次样条插值补全数据，三次样条插值计算相对简单，具有较好的光滑性和收敛性。
[0036]
三维卷积神经网络在卷积操作时具有三个卷积核移动方向，能够同时提取每天24小时、每周7天以及多变量的特征，有效提升模型学习pm2.5内部隐含特征的能力。
[0037]
门控循环单元是基本循环神经网络的变体，解决了模型训练中梯度消失和梯度爆炸的问题，相比长短时记忆网络减少一个门控机制有效降低了模型运算量。
[0038]
本发明使用三维卷积神经网络提取pm2.5每天24小时、每周7天的变化规律以及其他空气污染物数据对pm2.5的影响特征，有效学习pm2.5内部变化特征。门控循环单元进一步提取时间序列长期和短期的依赖特性，实现pm2.5多步长高精度预测，有利于预防空气污染对人类的危害和环境污染治理。
附图说明
[0039]
图1是本发明提供优选实施例提出的pm2.5预测方法流程图；
[0040]
图2为本发明提出的pm2.5预测方法的模型框架图；
[0041]
图3为本发明所述的三维卷积神经网络原理图；
[0042]
图4为本发明所述的门控循环单元原理图。
具体实施方式
[0043]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、详细地描述。所描述的实施例仅仅是本发明的一部分实施例。
[0044]
本发明解决上述技术问题的技术方案是：
[0045]
本实施例提供了一种基于三维卷积神经网络和门控循环单元的pm2.5预测方法，如图1所示，包括数据收集、数据预处理、三维特征提取以及时间序列长短时记忆特性提取四个部分细分为六个步骤：
[0046]
(1)收集多种空气污染物逐小时历史数据。为方便保存时刻信息，本发明固定收集某一区域整点时刻空气污染物历史数据，包括pm2.5、pm10、so2、no2、o3、co浓度，pm2.5、pm10、so2、no2、o3的单位为μg/m3，co的单位为mg/m3；
[0047]
(2)数据预处理，包括如下：
[0048]
step1:检查收集到的数据完整性及可用性，使用三次样条插值方法补全数据中缺失值；
[0049]
step2:对多变量数据分别进行标准化处理，标准化方法为极差标准化方法。
[0050]
step3:将原始数据按照70％、20％、10％分别划分为训练集、验证集和测试集，训练数据的时间序列步长设置为168小时，预测数据的时间步长为24小时；
[0051]
(3)如预测方法的模型框架图如图2所示，将原始基于时间和多变量的二维数据根据小时、天和多变量三种特征重塑为3维张量；
[0052]
(4)设置训练模型结构，包括如下：
[0053]
step1:根据数据特征设置三维卷积神经网络的结构，如图2所示，输入层的数据形状为(24，7，6)、卷积层的层数设置为2，卷积核尺寸设置为(3，3，3)，卷积核个数分别为32和48，激活层的激活函数设置为selu；和激活层的激活函数；
[0054]
step2:门控循环单元设置为1层，隐藏层个数为24；
[0055]
step3:总模型训练参数批处理尺寸batch_size设置为4、模型训练次数epoch设置为150、模型学习率lr设置为0.0001、优化器optimizer采用自适应矩估计adam。
[0056]
(5)基于训练集和验证集训练预测模型，包括如下：
[0057]
step1:使用三维卷积神经网络学习每天24小时、每周7天和多变量三个维度的特征，三维卷积神经网络原理图如图3所示，原始数据中对应部分与中间卷积核对应值卷积操作得到提取后的特征值。卷积核能够沿着原始三维张量的三个方向移动完成卷积操作，三个方向分别为24小时变化特征方向，每周7天变化的特征方向，6种空气污染物数据相关关系特征方向。卷积核的个数决定提取特征后的维度，第一层卷积核的个数为32，第二层卷积核的个数为48。第一层卷积操作后数据的尺寸为(24，7，32)，第二层卷积操作后数据的尺寸为(24，7，48)；
[0058]
step2:将三维卷积神经网络处理后的三维张量(24，7，48)重塑为二维矩阵(168，48)，然后放入门控循环单元提取时间序列长期和短期的记忆特性。门控循环单元的原理图如图4所示，主要包括更新门和重置门两个门控单元。门控循环单元通过门控单元学习时间序列h
t-1
,h
t
…
时刻的信息，保留有效信息，遗忘重复冗余的信息。计算公式为：
[0059]zt
＝σ(w
z1ht-1
+w
z2
x
t
+b)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)
[0060]rt
＝σ(w
r1ht-1
+w
r2
x
t
+br)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2)
[0061][0062]
[0063]zt
为更新门，用来控制时间序列中前一时刻的信息保留到状态存储中的程度，更新门的值越大表示对应时刻的信息越有效。h
t-1
表示前一时刻状态输出量，x
t
表示当前时刻输入量，σ表示激活函数sigmoid，计算公式为s(x)＝1/(1+e-x
)。r
t
为重置门，用于控制前一时刻有多少存储在当前时刻的候选信息中，r
t
的值越小则前一时刻被丢弃的信息越多。表示当前时刻候选隐藏状态，为按元素相乘，tanh为正切激活函数，计算公式为：tanhx＝(e
x-e-x
)/(e
x
+e-x
)，h
t
表示当前时刻状态输出量。最后连接全连接层输出pm2.5预测结果完成模型训练，全连接层为一种神经元之间的线性变换，上一层的神经元与当前层的神经元全连接，然后通过加权处理计算当前层的神经元，如图2所示，第一层全连接为多特征全连接映射到1维，第二层全连接将168时刻的信息线性变换到24小时预测值。
[0064]
(6)预测逐小时pm2.5浓度。将训练集训练的pm2.5预测模型在验证集中验证训练效果，选取在验证集中效果最好的模型作为最优模型，避免模型过拟合于训练集数据造成泛化性较差的问题。最后使用最优模型在测试集上预测某区域未来24小时的pm2.5浓度。
[0065]
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
[0066]
以上这些实施例应理解为仅用于说明本发明而不用于限制本发明的保护范围。在阅读了本发明的记载的内容之后，技术人员可以对本发明作各种改动或修改，这些等效变化和修饰同样落入本发明权利要求所限定的范围。

技术特征：

1.一种基于三维卷积神经网络和门控循环单元的pm2.5预测方法，其特征在于，包括以下步骤：步骤1、数据收集步骤：收集每小时的pm2.5浓度数据以及与pm2.5相关的no2,so2在内的多种变量空气污染物数据；步骤2、数据预处理步骤：对收集到的数据缺失值填补，对数据标准化处理，划分训练集、验证集和测试集；步骤3、将输入数据根据小时、天和多变量三种特征扩展到三维并使用三维卷积神经网络学习每天24小时、每周7天和多种输入变量三个维度的特征；步骤4、将提取到的特征放入门控循环单元提取时间序列长期和短期的记忆特性，然后连接全连接层输出pm2.5预测结果。2.根据权利要求1所述的一种基于三维卷积神经网络和门控循环单元的pm2.5预测方法，其特征在于，所述步骤2的数据预处理步骤具体包括：step1:检查收集到的数据完整性及可用性，使用插值方法补全数据中缺失值；step2:对多变量数据分别进行标准化处理；step3:将原始数据划分为训练集、验证集和测试集，原始数据的70％为训练集，20％为验证集，10％作为测试集，根据需求确定训练数据的时间序列步长和预测数据的时间步长。3.根据权利要求2所述的一种基于三维卷积神经网络和门控循环单元的pm2.5预测方法，其特征在于，所述step1中数据插值适用于少量连续数据缺失，若大量数据缺失则数据不具有可用性。4.根据权利要求2所述的一种基于三维卷积神经网络和门控循环单元的pm2.5预测方法，其特征在于，所述step2中数据标准化处理方法为极差标准化法：x
′
＝(x-x
min
)/(x
max-x
min
)，
x
为原始数据，x
min
为原始数据最小值，x
max
为数据最大值，x
′
为标准化后的数据。5.根据权利要求2所述的一种基于三维卷积神经网络和门控循环单元的pm2.5预测方法，其特征在于，还包括设置训练模型结构的步骤，具体包括：step1:三维卷积神经网络结构，包括卷积层层数，输入层数据形状、卷积核尺寸，卷积核个数和激活层的激活函数；step2:门控循环单元结构，包括门控循环单元层数，隐藏层个数；step3:总模型训练参数设置，包括批处理尺寸batch_size、模型训练次数epoch、模型学习率lr和优化器optimizer。6.根据权利要求5所述的一种基于三维卷积神经网络和门控循环单元的pm2.5预测方法，其特征在于，基于训练集和验证集训练预测模型，具体如下：step1:使用三维卷积神经网络学习每天24小时、每周7天和多变量三个维度的特征；step2:将三维卷积神经网络处理后的三维张量采用python numpy库中reshape()函数重塑为二维矩阵，然后放入门控循环单元提取时间序列长期和短期的记忆特性，最后连接全连接层输出pm2.5预测结果完成模型训练。7.根据权利要求5或6所述的一种基于三维卷积神经网络和门控循环单元的pm2.5预测方法，其特征在于，所述三维卷积神经网络的输入为尺寸为(24,7,6)，卷积神经网络的层数
为3，激活函数为selu:其中α
selu
≈1.6733，λ
selu
≈1.0507，α
selu
，λ
selu
为激活函数selu固定的超参数。8.根据权利要求5或6所述的一种基于三维卷积神经网络和门控循环单元的pm2.5预测方法，其特征在于，所述步骤4step2:将三维卷积神经网络处理后的三维张量重塑为二维矩阵，然后放入门控循环单元提取时间序列长期和短期的记忆特性，具体包括：将三维卷积神经网络处理后的三维张量(24，7，48)重塑为二维矩阵(168，48)，然后放入门控循环单元提取时间序列长期和短期的记忆特性，门控循环单元包括更新门和重置门两个门控单元；门控循环单元通过门控单元学习时间序列h
t-1
,h
t
…
时刻的信息，保留有效信息，遗忘重复冗余的信息，计算公式为：z
t
＝σ(w
z1
h
t-1
+w
z2
x
t
+b)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)r
t
＝σ(w
r1
h
t-1
+w
r2
x
t
+b
r
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2)(2)z
t
为更新门，用来控制时间序列中前一时刻的信息保留到状态存储中的程度，更新门的值越大表示对应时刻的信息越有效；h
t-1
表示前一时刻状态输出量，b、w
z1
、w
z2
、w
r1
、w
r2
、b
r
、w
h1
、w
h2
、b
h
为门控循环单元可训练的参数，通过模型训练效果修正并确定最优参数，x
t
表示当前时刻输入量，σ表示激活函数sigmoid，计算公式为s(x)＝1/(1+e-x
)；r
t
为重置门，用于控制前一时刻有多少存储在当前时刻的候选信息中，r
t
的值越小则前一时刻被丢弃的信息越多，表示当前时刻候选隐藏状态，为按元素相乘，tanh为正切激活函数，计算公式为：tanhx＝(e
x-e-x
)/(e
x
+e-x
)，h
t
表示当前时刻状态输出量。

技术总结

本发明请求保护一种基于三维卷积神经网络和门控循环单元的PM2.5预测方法。包括如下步骤：步骤1为数据收集，收集每小时的PM2.5浓度数据以及与PM2.5相关的NO2,SO2等多种变量空气污染物数据；步骤2为数据预处理，对收集到的数据缺失值填补，对数据标准化处理，划分训练集、验证集和测试集；步骤3将输入数据根据小时、天和多变量三种特征扩展到三维并使用三维卷积神经网络学习每天24小时、每周7天和多种输入变量三个维度的特征；步骤4将提取到的特征放入门控循环单元提取时间序列长期和短期的记忆特性然后连接全连接层输出PM2.5预测结果。本发明考虑了PM2.5每天、每周变化趋势、多变量因素的影响以及时间序列长期和短期的记忆特性，有效地提高PM2.5多步长预测的精度。有效地提高PM2.5多步长预测的精度。有效地提高PM2.5多步长预测的精度。