一种卫星多通道辐亮度图像外推方法、装置及存储介质与流程

1.本发明实施例涉及图像外推技术领域，特别涉及一种卫星多通道辐亮度图像外推方法、装置及存储介质。

背景技术：

2.卫星多通道辐亮度图像数据的有效外推对有效、准确获取未来时刻气象参数数据具有非常重要的意义。卫星多通道辐亮度图像外推的本质是完成图像数据在时间、空间序列的特征提取、分析、总结，并预测生成未来时刻图像数据。
3.当前，卫星多通道辐亮度图像外推生成的方法主要为光流法，如多尺度光流模型、半拉格朗日光流模型等。然而光流法的亮度恒定假设在卫星多通道辐亮度图像外推中不适用；光流运动场的估计只能利用给定的相邻两张卫星多通道辐亮度图像。随着人工智能技术的发展，基于卷积循环神经网络的外推方法也被广泛用于外推生成未来时刻预测数据，但现有网络模型仍存在难以有效外推时间较短、长时间外推时生成的图像数据质量差的问题。

技术实现要素：

4.本发明提供了一种卫星多通道辐亮度图像外推方法、装置及存储介质，该外推方法能够有效、准确地获取较长时间范围内的多通道辐亮度外推图像，同时提高了该外推图像的质量。
5.第一方面，本发明实施例提供了一种卫星多通道辐亮度图像外推方法，包括：
6.接收到目标区域对于未来时刻的图像外推请求；
7.获取所述目标区域在不同时刻下的卫星多通道辐亮度图像；
8.利用所述不同时刻下的卫星多通道辐亮度图像，训练得到图像外推模型；其中，所述图像外推模型包括卷积循环神经网络与生成对抗网络；所述卷积循环神经网络还包括：将上一个时间步的最后一个convgru单元的输出结果输入至下一个时间步的第一个convgru单元中；
9.将所述不同时刻下的卫星多通道辐亮度图像输入所述图像外推模型中，并根据所述图像外推请求输出在所述未来时刻的目标外推图像。
10.可选地，所述利用所述不同时刻下的卫星多通道辐亮度图像，训练得到图像外推模型，包括：
11.根据所述卫星多通道辐亮度图像，确定至少两组样本集；其中，每一组样本集中包括作为输入的历史时刻的卫星多通道辐亮度图像以及作为输出的当前时刻的卫星多通道辐亮度图像；所述样本集包括：训练集、验证集；
12.基于所述卷积循环神经网络与所述生成对抗网络，构建初始图像外推模型；其中，所述卷积循环神经网络的每个时间步中，每一层编码convgru单元的输出均拼接到对应层的解码convgru单元的输入中；
13.利用所述至少两组所述训练集对所述初始图像外推模型进行训练，得到所述图像外推模型。
14.可选地，所述利用所述不同时刻下的卫星多通道辐亮度图像，训练得到图像外推模型，包括：
15.在训练时引入损失函数；所述损失函数由平均绝对误差损失函数、均方误差损失函数和focalloss损失函数组成；
16.当所述损失函数的值低于预设损失阈值时，结束训练；
17.所述损失函数表示如下：
18.l＝λ1*mae+λ2*mse+λ3*focalloss
19.其中，l用于表征所述损失函数；mae用于表征所述平均绝对误差损失函数；λ1用于表征所述mae的权重系数；mse用于表征所述均方误差损失函数；λ2用于表征所述mse的权重系数；focalloss用于表征所述focalloss损失函数；λ3用于表征所述focalloss的权重系数。
20.可选地，所述利用所述至少两组训练集对所述初始图像外推模型进行训练，得到所述图像外推模型，包括：
21.在所述利用所述至少两组训练集对所述初始图像外推模型进行训练之后，得到第一图像外推模型；
22.将所述验证集输入所述第一图像外推模型中，得到预测的当前时刻的卫星多通道辐亮度图像；
23.根据所述预测的当前时刻的卫星多通道辐亮度图像与所述验证集中的当前时刻的卫星多通道辐亮度图像，确定均方根误差、临界成功指数和hss评分；
24.判断所述均方根误差是否大于第一预设阈值、所述临界成功指数是否小于第二预设阈值以及所述hss评分是否小于第三预设阈值；
25.若判断均为否，则确定所述第一图像外推模型为所述图像外推模型；否则，则对所述第一图像外推模型进行优化调整。
26.可选地，所述利用所述至少两组训练集对所述初始图像外推模型进行训练，得到所述图像外推模型，包括：
27.在所述利用所述至少两组训练集对所述初始图像外推模型进行训练之后，得到第一图像外推模型；
28.将所述验证集输入所述第一图像外推模型中，得到预测的当前时刻的卫星多通道辐亮度图像；
29.根据所述预测的当前时刻的卫星多通道辐亮度图像与所述验证集中的当前时刻的卫星多通道辐亮度图像，得到均方根误差、临界成功指数和hss评分；
30.判断连续得到的5个均方根误差之间的差值是否均大于第四预设阈值、连续得到的5个临界成功指数之间的差值是否均大于第五预设阈值以及连续得到的5个hss评分之间的差值是否均大于第六预设阈值；
31.若判断均为否，则确定所述第一图像外推模型为所述图像外推模型；否则，则对所述第一图像外推模型进行优化调整。
32.可选地，所述图像外推请求包括未来时刻的时间范围、时间粒度。
33.可选地，所述不同时刻下的卫星多通道辐亮度图像为按时间序列排列的至少两张卫星多通道辐亮度图像；
34.所述目标外推图像为在所述未来时刻内的至少两张按时间序列排列的卫星多通道辐亮度外推图像。
35.可选地，所述获取所述目标区域在不同时刻下的卫星多通道辐亮度图像，包括：
36.获取不同时刻下的云图多通道辐亮度图像数据；
37.将所述云图多通道辐亮度图像数据转换为jpg格式的卫星多通道辐亮度图像；
38.根据所述目标区域对所述卫星多通道辐亮度图像进行选取，得到所述不同时刻下的卫星多通道辐亮度图像。
39.第二方面，本发明实施例还提供了一种卫星多通道辐亮度图像外推装置，包括：
40.接收模块，用于接收到目标区域对于未来时刻的图像外推请求；
41.获取模块，用于获取所述目标区域在不同时刻下的卫星多通道辐亮度图像；
42.训练生成模块，用于利用所述不同时刻下的卫星多通道辐亮度图像，训练得到图像外推模型；其中，所述图像外推模型包括卷积循环神经网络与生成对抗网络；所述卷积循环神经网络还包括：将上一个时间步的最后一个convgru单元的输出结果输入至下一个时间步的第一个convgru单元中；
43.外推模块，用于将所述不同时刻下的卫星多通道辐亮度图像输入所述图像外推模型中，并根据所述图像外推请求输出在所述未来时刻的目标外推图像。
44.第三方面，本发明实施例还提供了一种计算设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器执行所述计算机程序时，实现上述任一项所述的卫星多通道辐亮度图像外推方法。
45.第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行上述任一项所述的卫星多通道辐亮度图像外推方法。
46.本发明实施例提供了一种卫星多通道辐亮度图像外推方法、装置及存储介质，该方法通过获取对应目标区域在不同时刻下的历史卫星多通道辐亮度图像，并采用这些图像对融合的卷积循环神经网络与生成对抗网络进行训练，得到图像外推模型，然后利用该图像外推模型进行卫星多通道辐亮度图像外推预测，得到在未来时刻的目标外推图像。而且卷积循环神经网络还包括：将上一个时间步的最后一个convgru单元的输出结果输入至下一个时间步的第一个convgru单元中。如此，本发明通过改进的卷积循环神经网络有效延长了外推图像的预测时间范围，并通过生成对抗网络进一步提高了预测的外推图像质量，使得基于该图像外推模型能够有效、准确地获取较长时间范围内的、高质量的多通道辐亮度外推图像。
附图说明
47.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
48.图1是本发明一实施例提供的一种卫星多通道辐亮度图像外推方法的流程图；
49.图2是本发明一实施例提供的一种卷积循环神经网络的优化结构示意图；
50.图3和图4是本发明一实施例提供的基于图像外推模型得到fy-4a卫星多通道辐亮度图像的外推图像和真实图像；
51.图5是本发明一实施例提供的一种计算设备的硬件架构图；
52.图6是本发明一实施例提供的一种卫星多通道辐亮度图像外推装置结构图。
具体实施方式
53.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
54.如图1所示，本发明实施例提供了一种卫星多通道辐亮度图像外推方法，该方法包括：
55.步骤100，接收到目标区域对于未来时刻的图像外推请求；
56.步骤102，获取目标区域在不同时刻下的卫星多通道辐亮度图像；
57.步骤104，利用不同时刻下的卫星多通道辐亮度图像，训练得到图像外推模型；其中，图像外推模型包括卷积循环神经网络与生成对抗网络；卷积循环神经网络还包括：将上一个时间步的最后一个convgru单元的输出结果输入至下一个时间步的第一个convgru单元中；
58.步骤106，将不同时刻下的卫星多通道辐亮度图像输入图像外推模型中，并根据图像外推请求输出在未来时刻的目标外推图像。
59.本发明实施例中，通过获取对应目标区域在不同时刻下的历史卫星多通道辐亮度图像，并采用这些图像对融合的卷积循环神经网络与生成对抗网络进行训练，得到图像外推模型，然后利用该图像外推模型进行卫星多通道辐亮度图像外推预测，得到在未来时刻的目标外推图像。而且卷积循环神经网络还包括：将上一个时间步的最后一个convgru单元的输出结果输入至下一个时间步的第一个convgru单元中。如此，本发明通过改进的卷积循环神经网络有效延长了外推图像的预测时间范围，并通过生成对抗网络进一步提高了预测的外推图像质量，使得基于该图像外推模型能够有效、准确地获取较长时间范围内的、高质量的卫星多通道辐亮度外推图像。
60.下面描述图1所示的各个步骤的执行方式。
61.首先，针对步骤100，接收到目标区域对于未来时刻的图像外推请求。图像外推请求包括未来时刻的时间范围、时间粒度。
62.具体地，根据时间粒度确定在未来时刻内获取到的目标外推图像中相邻图像之间的时间间隔。例如，图像外推请求为获取中国南海区域在从此刻开始的未来4h内的卫星多通道辐亮度外推图像的请求，其中，时间粒度为15min；即该请求用于获取未来4h内的16张卫星多通道辐亮度外推图像。
63.针对步骤102，获取目标区域在不同时刻下的卫星多通道辐亮度图像，包括：
64.获取不同时刻下的云图多通道辐亮度图像数据；
65.将云图多通道辐亮度图像数据转换为jpg格式的卫星多通道辐亮度图像；
66.根据目标区域对卫星多通道辐亮度图像进行选取，得到不同时刻下的卫星多通道辐亮度图像。
67.在本发明中，可按照实际使用需求通过风云卫星遥感数据服务网选择相应数据产品完成下载，获取到不同时刻下的历史云图多通道辐亮度图像数据，然后将其数据格式转换为jpg格式，根据目标区域选定该区域的对应数据，得到不同时刻下的卫星多通道辐亮度图像。需要说明的是，该卫星多通道辐亮度图像中包括对应区域的时空特征信息。
68.具体地，接前例所述，用户可以进入风云卫星遥感数据服务网站产品界面，选择卫星型号为卫星fy-4a、数据类型为hdf格式，根据个人需求完成2018年全年数据下载，首先利用编辑好的python程序在尽可能减少丢失文件信息前提下将网格数据从hdf文件中提取出来，并将hdf格式的数据转化为jpg格式，以得到不同时刻下的卫星多通道辐亮度图像，然后根据目标区域，获取该区域的坐标范围，利用编辑好的程序将中国南海区域从上述卫星多通道辐亮度图像大场景数据中切割出来，得到中国南海区域在不同时刻下的卫星多通道辐亮度图像。
69.在步骤104中，利用不同时刻下的卫星多通道辐亮度图像，训练得到图像外推模型，包括：
70.根据卫星多通道辐亮度图像，确定至少两组样本集；其中，每一组样本集中包括作为输入的历史时刻的卫星多通道辐亮度图像以及作为输出的当前时刻的卫星多通道辐亮度图像；样本集包括：训练集、验证集；
71.基于卷积循环神经网络与生成对抗网络，构建初始图像外推模型；其中，卷积循环神经网络的每个时间步中，每一层编码convgru单元的输出均拼接到对应层的解码convgru单元的输入中；
72.利用至少两组训练集对初始图像外推模型进行训练，得到第一图像外推模型；
73.将验证集输入第一图像外推模型中，得到预测的当前时刻的卫星多通道辐亮度图像；
74.根据预测的当前时刻的卫星多通道辐亮度图像与验证集中的当前时刻的卫星多通道辐亮度图像，确定均方根误差、临界成功指数和hss评分；
75.判断均方根误差是否大于第一预设阈值、临界成功指数是否小于第二预设阈值以及hss评分是否小于第三预设阈值；
76.若判断均为否，则确定第一图像外推模型为图像外推模型，得到图像外推模型；否则，则对第一图像外推模型进行优化调整。
77.需要说明的是，样本集还包括：测试集；优选地，样本集中训练集、测试集、验证集的数据数量按照70％、15％、15％比例划分。对第一图像外推模型进行优化调整，是指通过迭代优化对第一图像外推模型进行调整，直至3个判断的判断结果均为否时，结束迭代优化。
78.在一种具体的实施方式中，生成对抗网络使用时序判别模型，而不是使用会忽略生成序列中的时间特征的普通的二分类模型，如此可以通过时序判别模型督促生成器生成真实分布图像的同时，也要保证生成的图像符合对输入序列的预测。
79.在本发明中，所采用的卷积循环神经网络中的convgru单元结构如图2所示。第一，
与原有仅在解码阶段外推图像相比，该结构实现了在每一个时间步外推一张图像，在输入阶段还包括将上一个时间步的最后一个convgru单元的输出结果输入至下一个时间步的第一个convgru单元中，这样在外推图像时，图像外推模型的输入除了上一时间步的隐状态，还多了上一时间步的外推图像。如此，这样的结构使得时空记忆信息可以在不同时间点、不同convgru单元之间流动。第二，对于单个时间步内的网络结构，将每一层编码convgru单元的输出拼接到对应的解码convgru单元的输入中，通过充分利用多尺度的特征，从而避免下采样过程中的信息缺失导致上采样不准确的问题。下采样过程优选使用步长为2卷积核来和max pooling分别对feature map进行下采样后，对输出进行拼接，上采样过程则使用反卷积核来完成。feature map通过卷积核下采样可以保留图像的全局信息，而采用max pool则可以突出图像中强特征的信息，避免出现外推图像中强特征消失的情况。第三，在编码器的不同层的convgru单元输入中加入输入多尺度的原始图像信息，例如将原始图像直接下采样至原始图像的三分之一、六分之一和十二分之一后直接追加到对应层的convgru单元输入中。如此，基于该卷积循环神经网络可以减少模型在训练过程中的学习遗忘，减少特征丢失，降低其遗忘速度，进而有效延长了图像外推模型的外推时间。
80.在本发明中，采用3种定量表征图像一致性指标评估外推图像的精度。具体评估方法包括均方根误差、临界成功指数和hss评分(gilbert，1984)。其中，均方根误差主要评价外推图像与真实图像之间的总体误差，另外两个评价指标主要用于评价外推图像与真实图像的相似度。如此，通过这3种评估方法综合评估外推图像的质量，并基于这3种评估方法对图像外推模型进行进一步优化迭代，从而进一步提高了该图像外推模型输出的外推图像的质量。
81.在步骤104中，包括：在训练时引入损失函数；损失函数由平均绝对误差损失函数、均方误差损失函数和focalloss损失函数组成；
82.当损失函数的值低于预设损失阈值时，结束训练；
83.损失函数表示如下：
84.l＝λ1*mae+λ2*mse+λ3*focalloss
ꢀꢀꢀꢀꢀꢀ
(1)
85.其中，l用于表征损失函数；mae用于表征平均绝对误差损失函数；λ1用于表征mae的权重系数；mse用于表征均方误差损失函数；λ2用于表征mse的权重系数；focalloss用于表征focalloss损失函数；λ3用于表征focalloss的权重系数。
86.需要说明的是，λ1、λ2、λ3通过在训练过程中进行迭代优化确定得到。
87.在本发明中，所采用的损失函数由感知损失和光流损失优化得到；通过感知损失focalloss损失函数，在更高维度的特征图像上进行损失计算，同时利用光流损失计算外推图像帧与真实图像帧之间的差异，最终得到优化后的如公式(1)所示的损失函数，进而降低卫星多通道辐亮度图像像素常规损失计算对图像外推模型的影响，进而提高外推图像质量。
88.在另一种具体的实施方式中，在步骤104确定均方根误差、临界成功指数和hss评分之后，还可以执行如下操作：
89.判断连续得到的5个均方根误差之间的差值是否均大于第四预设阈值、连续得到的5个临界成功指数之间的差值是否均大于第五预设阈值以及连续得到的5个hss评分之间的差值是否均大于第六预设阈值；
90.若判断均为否，则确定第一图像外推模型为图像外推模型；否则，则对第一图像外推模型进行优化调整。
91.在本发明中，同样采用3种评估方法对图像外推模型进行进一步优化迭代，但通过在验证集上连续5个epoch性能不再有提升，来作为终止训练的标志，有利于进一步提高由该训练得到的图像外推模型输出的目标外推图像的质量，确保目标外推图像具有稳定的高质量。
92.更具体地，接前例所述，利用中国南海区域在不同时刻下的卫星多通道辐亮度图像使用adsm优化器对上述优化的卷积循环神经网络与生成对抗网络进行训练，学习率设置为1e-4，当训练得到的模型在验证集上连续5个epoch性能不再有提升，终止训练，得到融合卷积循环神经网络与生成对抗网络的图像外推模型。
93.最后，针对步骤106中，将不同时刻下的卫星多通道辐亮度图像输入图像外推模型中，并根据图像外推请求输出在未来时刻的目标外推图像。
94.具体地，接前例所述，将所获取的中国南海区域在2018年9月6日10：00至12：00时的卫星多通道辐亮度图像输入上述训练得到的图像外推模型，根据图像外推请求，得到12:15时至16:00时的按照时间序列排列的16张目标外推图像，如图4所示；其中，图4示出了不同时刻下目标外推图像(即外推图像)与对应的直接获取到的真实卫星多通道辐亮度图像(即真实图像)。经实验证实，图4获得的16张目标外推图像的均方根误差均不超过0.07，临界成功指数均不低于0.7，hss评分均不低于0.7，即表明该由该图像外推模型预测到的未来4h内的目标外推图像均具有高质量。
95.本发明设计搭建了融合卷积循环神经网络与生成对抗网络的智能网络，了卷积循环神经网络结构和相关损失函数的优化，训练得到的图像外推模型有效、准确地实现了较长时间范围卫星多通道辐亮度图像外推，解决了卫星多通道辐亮度图像难以较长时间有效外推生成，且较长时间外推生成图像数据质量差的问题。本发明提供的卫星多通道辐亮度图像外推主要应用方向包括：特殊演习、演练前对于某区域气象参数(可由外推图像反演得到)有效准确获取应用方面，提高了卫星多通道辐亮度图像外推时长，同时提高了外推图像生成质量。此外，对于卫星拍摄台风、洪涝、山火等自然灾害图像，也可借鉴用于趋势预测。其它应用方向，例如气象播报、实时气象预测等。
96.如图5、图6所示，本发明实施例提供了一种卫星多通道辐亮度图像外推装置。装置实施例可以通过软件实现，也可以通过硬件或者软硬件结合的方式实现。从硬件层面而言，如图5所示，为本发明实施例提供的一种卫星多通道辐亮度图像外推装置所在计算设备的一种硬件架构图，除了图5所示的处理器、内存、网络接口、以及非易失性存储器之外，实施例中装置所在的计算设备通常还可以包括其他硬件，如负责处理报文的转发芯片等等。以软件实现为例，如图6所示，作为一个逻辑意义上的装置，是通过其所在计算设备的cpu将非易失性存储器中对应的计算机程序读取到内存中运行形成的。本实施例提供的一种卫星多通道辐亮度图像外推装置，包括：接收模块600、获取模块602、训练生成模块604和外推模块606；
97.接收模块600，用于接收到目标区域对于未来时刻的图像外推请求；
98.获取模块602，用于获取目标区域在不同时刻下的卫星多通道辐亮度图像；
99.训练生成模块604，用于利用不同时刻下的卫星多通道辐亮度图像，训练得到图像
外推模型；其中，图像外推模型包括卷积循环神经网络与生成对抗网络；卷积循环神经网络还包括：将上一个时间步的最后一个convgru单元的输出结果输入至下一个时间步的第一个convgru单元中；
100.外推模块606，用于将不同时刻下的卫星多通道辐亮度图像输入图像外推模型中，并根据图像外推请求输出在未来时刻的目标外推图像。
101.在一些具体的实施方式中，接收模块600可用于执行上述步骤100，获取模块602可用于执行上述步骤102，训练生成模块604可用于执行上述步骤104，外推模块606可用于执行上述步骤106。
102.在一些具体的实施方式中，训练生成模块604还用于执行如下操作：
103.根据卫星多通道辐亮度图像，确定至少两组样本集；其中，每一组样本集中包括作为输入的历史时刻的卫星多通道辐亮度图像以及作为输出的当前时刻的卫星多通道辐亮度图像；样本集包括：训练集、验证集；
104.基于卷积循环神经网络与生成对抗网络，构建初始图像外推模型；其中，卷积循环神经网络的每个时间步中，每一层编码convgru单元的输出均拼接到对应层的解码convgru单元的输入中；
105.利用至少两组训练集对初始图像外推模型进行训练，得到图像外推模型。
106.在一些具体的实施方式中，训练生成模块604还用于执行如下操作：
107.在训练时引入损失函数；损失函数由平均绝对误差损失函数、均方误差损失函数和focalloss损失函数组成；
108.当损失函数的值低于预设损失阈值时，结束训练；
109.损失函数表示如下：
110.l＝λ1*mae+λ2*mse+λ3*focalloss
111.其中，l用于表征损失函数；mae用于表征平均绝对误差损失函数；λ1用于表征mae的权重系数；mse用于表征均方误差损失函数；λ2用于表征mse的权重系数；focalloss用于表征focalloss损失函数；λ3用于表征focalloss的权重系数。
112.在一些具体的实施方式中，训练生成模块604还用于执行如下操作：
113.在利用至少两组训练集对初始图像外推模型进行训练之后，得到第一图像外推模型；
114.将验证集输入第一图像外推模型中，得到预测的当前时刻的卫星多通道辐亮度图像；
115.根据预测的当前时刻的卫星多通道辐亮度图像与验证集中的当前时刻的卫星多通道辐亮度图像，确定均方根误差、临界成功指数和hss评分；
116.判断均方根误差是否大于第一预设阈值、临界成功指数是否大于第二预设阈值以及hss评分是否大于第三预设阈值；
117.若判断均为否，则确定第一图像外推模型为图像外推模型；否则，则对第一图像外推模型进行优化调整。
118.在一些具体的实施方式中，训练生成模块604还用于执行如下操作：
119.在利用至少两组训练集对初始图像外推模型进行训练之后，得到第一图像外推模型；
120.将验证集输入第一图像外推模型中，得到预测的当前时刻的卫星多通道辐亮度图像；
121.根据预测的当前时刻的卫星多通道辐亮度图像与验证集中的当前时刻的卫星多通道辐亮度图像，得到均方根误差、临界成功指数和hss评分；
122.判断连续得到的5个均方根误差之间的差值是否均大于第四预设阈值、连续得到的5个临界成功指数之间的差值是否均大于第五预设阈值以及连续得到的5个hss评分之间的差值是否均大于第六预设阈值；
123.若判断均为否，则确定第一图像外推模型为图像外推模型；否则，则对第一图像外推模型进行优化调整。
124.在一些具体的实施方式中，图像外推请求包括未来时刻的时间范围、时间粒度。
125.在一些具体的实施方式中，不同时刻下的卫星多通道辐亮度图像为按时间序列排列的至少两张卫星多通道辐亮度图像；
126.目标外推图像为在未来时刻内的至少两张按时间序列排列的卫星多通道辐亮度外推图像。
127.在一些具体的实施方式中，获取模块602还用于执行如下操作：
128.获取不同时刻下的云图多通道辐亮度图像数据；
129.将云图多通道辐亮度图像数据转换为jpg格式的卫星多通道辐亮度图像；
130.根据目标区域对卫星多通道辐亮度图像进行选取，得到不同时刻下的卫星多通道辐亮度图像。
131.可以理解的是，本发明实施例示意的结构并不构成对一种卫星多通道辐亮度图像外推装置的具体限定。在本发明的另一些实施例中，一种卫星多通道辐亮度图像外推装置可以包括比图示更多或者更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件、软件或者软件和硬件的组合来实现。
132.上述装置内的各模块之间的信息交互、执行过程等内容，由于与本发明方法实施例基于同一构思，具体内容可参见本发明方法实施例中的叙述，此处不再赘述。
133.本发明实施例还提供了一种计算设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器执行所述计算机程序时，实现本发明任一实施例中的一种卫星多通道辐亮度图像外推方法。
134.本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序在被处理器执行时，使所述处理器执行本发明任一实施例中的一种卫星多通道辐亮度图像外推方法。
135.具体地，可以提供配有存储介质的系统或者装置，在该存储介质上存储着实现上述实施例中任一实施例的功能的软件程序代码，且使该系统或者装置的计算机(或cpu或mpu)读出并执行存储在存储介质中的程序代码。
136.在这种情况下，从存储介质读取的程序代码本身可实现上述实施例中任何一项实施例的功能，因此程序代码和存储程序代码的存储介质构成了本发明的一部分。
137.用于提供程序代码的存储介质实施例包括软盘、硬盘、磁光盘、光盘(如cd-rom、cd-r、cd-rw、dvd-rom、dvd-ram、dvd-rw、dvd+rw)、磁带、非易失性存储卡和rom。可选择地，可以由通信网络从服务器计算机上下载程序代码。
138.此外，应该清楚的是，不仅可以通过执行计算机所读出的程序代码，而且可以通过基于程序代码的指令使计算机上操作的操作系统等来完成部分或者全部的实际操作，从而实现上述实施例中任意一项实施例的功能。
139.此外，可以理解的是，将由存储介质读出的程序代码写到插入计算机内的扩展板中所设置的存储器中或者写到与计算机相连接的扩展模块中设置的存储器中，随后基于程序代码的指令使安装在扩展板或者扩展模块上的cpu等来执行部分和全部实际操作，从而实现上述实施例中任一实施例的功能。
140.需要说明的是，在本文中，诸如第一和第二之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
…”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同因素。
141.本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储在计算机可读取的存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：rom、ram、磁碟或者光盘等各种可以存储程序代码的介质中。
142.最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

技术特征：

1.一种卫星多通道辐亮度图像外推方法，其特征在于，包括：接收到目标区域对于未来时刻的图像外推请求；获取所述目标区域在不同时刻下的卫星多通道辐亮度图像；利用所述不同时刻下的卫星多通道辐亮度图像，训练得到图像外推模型；其中，所述图像外推模型包括卷积循环神经网络与生成对抗网络；所述卷积循环神经网络还包括：将上一个时间步的最后一个convgru单元的输出结果输入至下一个时间步的第一个convgru单元中；将所述不同时刻下的卫星多通道辐亮度图像输入所述图像外推模型中，并根据所述图像外推请求输出在所述未来时刻的目标外推图像。2.根据权利要求1所述的方法，其特征在于，所述利用所述不同时刻下的卫星多通道辐亮度图像，训练得到图像外推模型，包括：根据所述卫星多通道辐亮度图像，确定至少两组样本集；其中，每一组样本集中包括作为输入的历史时刻的卫星多通道辐亮度图像以及作为输出的当前时刻的卫星多通道辐亮度图像；所述样本集包括：训练集、验证集；基于所述卷积循环神经网络与所述生成对抗网络，构建初始图像外推模型；其中，所述卷积循环神经网络的每个时间步中，每一层编码convgru单元的输出均拼接到对应层的解码convgru单元的输入中；利用所述至少两组所述训练集对所述初始图像外推模型进行训练，得到所述图像外推模型。3.根据权利要求1或2所述的方法，其特征在于，所述利用所述不同时刻下的卫星多通道辐亮度图像，训练得到图像外推模型，包括：在训练时引入损失函数；所述损失函数由平均绝对误差损失函数、均方误差损失函数和focalloss损失函数组成；当所述损失函数的值低于预设损失阈值时，结束训练；所述损失函数表示如下：l＝λ
l
*mae+λ2+mse+λ3*focal loss其中，l用于表征所述损失函数；mae用于表征所述平均绝对误差损失函数；λ1用于表征所述mae的权重系数；mse用于表征所述均方误差损失函数；λ2用于表征所述mse的权重系数；focalloss用于表征所述focalloss损失函数；λ3用于表征所述focalloss的权重系数。4.根据权利要求2所述的方法，其特征在于，所述利用所述至少两组训练集对所述初始图像外推模型进行训练，得到所述图像外推模型，包括：在所述利用所述至少两组训练集对所述初始图像外推模型进行训练之后，得到第一图像外推模型；将所述验证集输入所述第一图像外推模型中，得到预测的当前时刻的卫星多通道辐亮度图像；根据所述预测的当前时刻的卫星多通道辐亮度图像与所述验证集中的当前时刻的卫星多通道辐亮度图像，确定均方根误差、临界成功指数和hss评分；判断所述均方根误差是否大于第一预设阈值、所述临界成功指数是否小于第二预设阈值以及所述hss评分是否小于第三预设阈值；
若判断均为否，则确定所述第一图像外推模型为所述图像外推模型；否则，则对所述第一图像外推模型进行优化调整。5.根据权利要求2所述的方法，其特征在于，所述利用所述至少两组训练集对所述初始图像外推模型进行训练，得到所述图像外推模型，包括：在所述利用所述至少两组训练集对所述初始图像外推模型进行训练之后，得到第一图像外推模型；将所述验证集输入所述第一图像外推模型中，得到预测的当前时刻的卫星多通道辐亮度图像；根据所述预测的当前时刻的卫星多通道辐亮度图像与所述验证集中的当前时刻的卫星多通道辐亮度图像，得到均方根误差、临界成功指数和hss评分；判断连续得到的5个均方根误差之间的差值是否均大于第四预设阈值、连续得到的5个临界成功指数之间的差值是否均大于第五预设阈值以及连续得到的5个hss评分之间的差值是否均大于第六预设阈值；若判断均为否，则确定所述第一图像外推模型为所述图像外推模型；否则，则对所述第一图像外推模型进行优化调整。6.根据权利要求1所述的方法，其特征在于，所述图像外推请求包括未来时刻的时间范围、时间粒度；和/或，所述不同时刻下的卫星多通道辐亮度图像为按时间序列排列的至少两张卫星多通道辐亮度图像；所述目标外推图像为在所述未来时刻内的至少两张按时间序列排列的卫星多通道辐亮度外推图像。7.根据权利要求1所述的方法，其特征在于，所述获取所述目标区域在不同时刻下的卫星多通道辐亮度图像，包括：获取不同时刻下的云图多通道辐亮度图像数据；将所述云图多通道辐亮度图像数据转换为jpg格式的卫星多通道辐亮度图像；根据所述目标区域对所述卫星多通道辐亮度图像进行选取，得到所述不同时刻下的卫星多通道辐亮度图像。8.一种卫星多通道辐亮度图像外推装置，其特征在于，包括：接收模块，用于接收到目标区域对于未来时刻的图像外推请求；获取模块，用于获取所述目标区域在不同时刻下的卫星多通道辐亮度图像；训练生成模块，用于利用所述不同时刻下的卫星多通道辐亮度图像，训练得到图像外推模型；其中，所述图像外推模型包括卷积循环神经网络与生成对抗网络；所述卷积循环神经网络还包括：将上一个时间步的最后一个convgru单元的输出结果输入至下一个时间步的第一个convgru单元中；外推模块，用于将所述不同时刻下的卫星多通道辐亮度图像输入所述图像外推模型中，并根据所述图像外推请求输出在所述未来时刻的目标外推图像。9.一种计算设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器执行所述计算机程序时，实现如权利要求1-7中任一项所述的方法。
10.一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行权利要求1-7中任一项所述的方法。

技术总结

本发明提供了一种卫星多通道辐亮度图像外推方法、装置及存储介质，该方法包括：接收图像外推请求；获取目标区域在不同时刻下的卫星多通道辐亮度图像；利用不同时刻下的卫星多通道辐亮度图像，训练得到图像外推模型；图像外推模型包括卷积循环神经网络与生成对抗网络；卷积循环神经网络还包括：将上一个时间步的最后一个ConvGRU单元的输出结果输入至下一个时间步的第一个ConvGRU单元中；将不同时刻下的卫星多通道辐亮度图像输入图像外推模型中，并根据图像外推请求输出在未来时刻的目标外推图像。本方案提供的外推方法能够有效、准确地获取较长时间范围内的卫星多通道辐亮度外推图像，同时提高了该外推图像的质量。同时提高了该外推图像的质量。同时提高了该外推图像的质量。