(19)中华人民共和国国家知识产权局
(12)发明专利申请
(10)申请公布号 (43)申请公布日 (21)申请号 201711353102.1
(22)申请日 2017.12.15
(71)申请人 中国电力科学研究院有限公司
地址 100192 北京市海淀区清河小营东路
15号
申请人 国家电网公司
国网山东省电力公司青岛供电公司
华北电力大学
(72)发明人 刘鹏 邓春宇 王晓蓉 吴紫微
车建峰 刘镇京 刘化社
(74)专利代理机构 北京安博达知识产权代理有
限公司 11271
代理人 徐国文
(51)Int.Cl.
G06F 16/2453(2019.01)
G06F 16/2458(2019.01)G01W 1/00(2006.01)
(54)发明名称
(57)摘要
本发明提供了一种新能源气象数据管理方
法及系统，包括：获取气象数据；将所述获取的气
象数据存储在大规模并行处理系统MPP的节点
上；建立针对所述节点的气象数据查询表。本发
明提供的技术方案利用MPP的分布式存储能力，
支撑数十PB级气象局量测数据；
可以高效存储和快速处理海量时序大数据；基于MPP库内的Hash
的Shared nothing架构上的散列存储，和MPP并
行化处理能力，最大发挥了单节点内的智能索引
和列式存储能力，大大加速对大表数据的扫描速
度。权利要求书2页 说明书5页 附图3页CN 110019343 A 2019.07.16
C N 110019343
A
1.一种新能源气象数据管理方法，其特征在于，包括：
获取气象数据；
将所述获取的气象数据存储在大规模并行处理系统MPP的节点上；
建立针对所述节点的气象数据查询表。
2.如权利要求1所述的一种新能源气象数据管理方法，其特征在于，所述将所述获取的气象数据存储在大规模并行处理系统MPP的节点上，包括：
将所述获取的气象数据按照时间进行排序；
对排序后的数据进行平均分组；
将分组后的数据采用分布式存储的方式存储在MPP的节点上。
3.如权利要求1所述的一种新能源气象数据管理方法，其特征在于，所述建立针对所述节点的气象数据查询表，包括：
将所述节点内的数据进行区域排序，建立所述气象数据查询表。
4.如权利要求3所述的一种新能源气象数据管理方法，其特征在于，所述将所述节点内的数据进行区域排序，建立所述气象数据查询表前还包括：
若所述节点内存在数据，则将获取的气象数据建立临时表。
5.如权利要求1所述的一种新能源气象数据管理方法，其特征在于，还包括：利用所述气象数据查询表进行数据的查询，包括：
根据散列存储方法按时间字段进行查询；和/或
根据散列存储方法按区域编号进行查询。
6.如权利要求1-5任一所述的一种新能源气象数据管理方法，其特征在于，所述气象数据为PB级气象数据。
7.如权利要求1所述的一种新能源气象数据管理方法，其特征在于，所述节点采用Share-nothing架构。
8.一种新能源气象数据管理系统，其特征在于，包括：
获取模块，用于获取气象数据；
存储模块，用于将所述获取的气象数据存储在大规模并行处理系统MPP的节点上；
建立模块，用于建立针对所述节点的气象数据查询表。
9.如权利要求8所述的一种新能源气象数据管理系统，其特征在于，所述存储模块，用于，
将所述获取的气象数据按照时间进行排序；
对排序后的数据进行平均分组；
将分组后的数据采用分布式存储的方式存储在MPP的节点上。
10.如权利要求8所述的一种新能源气象数据管理系统，其特征在于，所述建立模块包括：
排序子模块，用于将所述节点内的数据进行区域排序，建立所述气象数据查询表。
11.如权利要求10所述的一种新能源气象数据管理系统，其特征在于，所述建立模块还包括：
临时子模块，用于若所述节点内存在数据，则将获取的气象数据建立临时表。
12.如权利要求8所述的一种新能源气象数据管理系统，其特征在于，还包括：查询模
块，包括：
时间查询子模块，用于根据散列存储方法按时间字段进行查询；和/或区域查询子模块，用于根据散列存储方法按区域编号进行查询。
一种新能源气象数据管理方法及系统
技术领域
[0001]本发明属于新能源气象领域、大数据领域，具体涉及一种新能源气象数据管理方法及系统。
背景技术
[0002]目前新能源功率预测是通过建立数学模型提前预知未来时段新能源功率波动规律的技术。由于无法整体把握体量巨大结构复杂的天气预报数据、气象观测数据、功率预测数据以及其他新能源场站的运行数据，新能源功率预测的研究思路多局限于针对单个风电场的独立时间断面上的预测，根据认知范围内理论上的物理意义，人为的对数据信息进行了分割和降维处理，忽略了风能资源及其它要素在时间尺度和空间尺度上的关联特性，以二维模式来描述分析多维空间上的数据关联，局限了对新能源功率的认知维度，从而导致预测精度提升空间非常有限。
[0003]数值天气预报是风电、光伏等新能源功率预测最主要的输入数据，据统计，新能源预测功率的误差中约有60％源自数值天气预报，扩大数值天气预报的预测范围和提高数值天气预报数据的精度是实现新能源功率预测精度提升的最有效手段。目前，面向新能源功率预测的中尺度数值预报模式的空间分辨率多为10km×10km，而典型的装机容量为5MW的风电场占地面积约为3km×3km，光伏电站的占地面积更小，对计算资源的需求随空间分辨率的增大呈指数级增长。
[0004]针对3km×3km的气象数据目前以分布式对象存储系统进行存储，气象数据通过预测模型会产生未来3天预测数据，由于这些数据量比较大，入库效率比较低，因此往往会被丢弃不进行存储，从而造成具有分析价值数据的流失。
发明内容
[0005]针对现有技术的不足，本发明提出一种新能源气象数据管理方法及系统，包括介绍MPP+时间序列数据库的总体架构，提出数据存储扩展性方案，为基础电力气象预测提供高效、精准的数据依据，有效支撑电网安全稳定运行。
[0006]一种新能源气象数据管理方法，包括：
[0007]获取气象数据；
[0008]将所述获取的气象数据存储在大规模并行处理系统MPP的节点上；
[0009]建立针对所述节点的气象数据查询表。
[0010]进一步的，所述将所述获取的气象数据存储在大规模并行处理系统MPP的节点上，包括：
[0011]将所述获取的气象数据按照时间进行排序；
[0012]对排序后的数据进行平均分组；
[0013]将分组后的数据采用分布式存储的方式存储在MPP的节点上。
[0014]进一步的，所述建立针对所述节点的气象数据查询表，包括：
[0015]将所述节点内的数据进行区域排序，建立所述气象数据查询表。
[0016]进一步的，所述将所述节点内的数据进行区域排序，建立所述气象数据查询表前还包括：
[0017]若所述节点内存在数据，则将获取的气象数据建立临时表。
[0018]进一步的，还包括：利用所述气象数据查询表进行数据的查询，包括：
[0019]根据散列存储方法按时间字段进行查询；和/或
[0020]根据散列存储方法按区域编号进行查询。
[0021]进一步的，所述气象数据为PB级气象数据。
[0022]进一步的，所述节点采用Share-nothing架构。
[0023]一种新能源气象数据管理系统，包括：
[0024]获取模块，用于获取气象数据；
[0025]存储模块，用于将所述获取的气象数据存储在大规模并行处理系统MPP的节点上；[0026]建立模块，用于建立针对所述节点的气象数据查询表。
[0027]进一步的，所述存储模块，用于，
[0028]将所述获取的气象数据按照时间进行排序；
[0029]对排序后的数据进行平均分组；
[0030]将分组后的数据采用分布式存储的方式存储在MPP的节点上。
[0031]进一步的，所述建立模块包括：
[0032]排序子模块，用于将所述节点内的数据进行区域排序，建立所述气象数据查询表。[0033]进一步的，所述建立模块还包括：
[0034]临时子模块，用于若所述节点内存在数据，则将获取的气象数据建立临时表。[0035]进一步的，还包括：查询模块，包括：
[0036]时间查询子模块，用于根据散列存储方法按时间字段进行查询；和/或
[0037]区域查询子模块，用于根据散列存储方法按区域编号进行查询。
[0038]与最接近的现有技术比，本发明提供的技术方案具有以下有益效果：
[0039]1、本发明提供的技术方案利用MPP的分布式存储能力，将气象数据进行存储，并建立气象数据查询表，方便以后对数据的查询。
[0040]2、本发明提供的技术方案利用MPP的分布式存储能力，支撑数十PB级气象局量测数据，可以高效存储和快速处理海量时序大数据。
[0041]3、本发明提供的技术方案基于MPP库内的Hash的Shared nothing架构上的散列存储，和MPP并行化处理能力，最大发挥了单节点内的智能索引和列式存储能力，大大加速对大表数据的扫描速度，理论上扫描速度＝500DC×65536×m智能索引过滤率×n节点。[0042]4、本发明提供的技术方案基于MPP的智能索引的粗粒度索引，大大控制气象数据的空间膨胀率，并防止随数据量提升而导致索引生成的代价提升，从而大大提升了数据的入库效率，可以达到秒间3.6G的加载速度。
附图说明
[0043]图1为本发明流程图；
[0044]图2为数据存储节点MPP架构示意图；
豫公网安备41160202000603
站长QQ:729038198
关于我们
投诉建议