(19)中华人民共和国国家知识产权局
(12)发明专利申请
(10)申请公布号 (43)申请公布日 (21)申请号 202010653251.5
(22)申请日 2020.07.08
(71)申请人 自然资源部第一海洋研究所
地址 266061 山东省青岛市崂山区仙霞岭
路6号
申请人 青岛海洋科学与技术国家实验室发
展中心
青岛未图空间科技有限公司
(72)发明人 孙俊川 李淑江 王永刚 滕飞
高秀敏 胡振辉
(74)专利代理机构 北京汇捷知识产权代理事务
所(普通合伙) 11531
代理人 马金华
(51)Int.Cl.
H04L 29/08(2006.01)
G06F 21/64(2013.01)
(54)发明名称一种HYCOM数据下载方法、系统、计算机设备、终端(57)摘要本发明属于海洋天气预报技术领域，公开了一种HYCOM数据下载方法、系统、计算机设备、终端，根据download.ini配置文件，读取下载筛选条件和保存的文件格式筛选条件选项；根据起始时间和终止时间判定对应的H Y C O M 数据的OPeNDAP Server地址；读取数据集元数据信息；根据配置文件中设置的时间段、区域范围、水平分辨率、时间步长和垂向水深进行切片提取指定要素分量；将读取的数据格式化，根据配置文件，创建对应的文件格式；通过python xarray和netcdf类库，读取下载成果数据；通过预设取样网格点，检查下载成果数据是否完整正确；输入对应的处理命令。本发明实现了HYCOM数据的按需提取和高效的统计分析，经过修改也可以适用 于其他支持OPeNDAP协议大气海洋数据的下载。权利要求书2页 说明书10页 附图5页CN 111866104 A 2020.10.30
C N 111866104
A
1.一种HYCOM数据下载方法，其特征在于，所述HYCOM数据下载方法包括：
根据download.ini配置文件，读取下载筛选条件和保存的文件格式筛选条件选项；
根据起始时间和终止时间判定对应的HYCOM数据的OPeNDAP Server地址，如果需要下载最近的预报产品，则启动自动下载Latest预报产品功能，进行业务化自动下载；
读取数据集元数据信息；
根据配置文件中设置的时间段、区域范围、水平分辨率、时间步长和垂向水深进行切片提取指定要素分量；
将读取的数据格式化，根据配置文件设置，创建对应的文件格式；
通过python xarray和netcdf类库，读取下载成果数据；通过预设取样网格点，用于检查成果数据是否正确；
根据处理需求，输入对应的处理命令。
2.如权利要求1所述的HYCOM数据下载方法，其特征在于，所述根据download.ini配置文件，读取下载筛选条件和保存的文件格式筛选条件选项包括：
1)数据时间段，不同的时间段对应不同的数据下载地址和时空分辨率；
2)变量选择，GOFSv3.1版本提供的变量包括：water_temp温度、salinity盐度、surf_el 海表面高度、water_u纬向流速、water_v经向流速、water_temp_bottom底层温度、salinity_bottom底层盐度、water_u_bottom底层纬向流速、water_v_bottom底层经向流速；
3)区域选择：起始点经纬度；
4)水平分辨率：取值间隔，默认为1；
5)时间步长：取值间隔，默认为1；
6)垂向水深选择：选择全部的水深层数或者指定特定层。
3.如权利要求1所述的HYCOM数据下载方法，其特征在于，所述读取数据集元数据信息包括：
GlobalAttributes：获取数据的全局属性；
Dims：获取变量维度的信息，包括：lon：经度、lat：纬度、depth：深度、和time：时间；
Variables：获取变量信息，包括：coordinates：维度、units：单位、long_name：完整变量名称。
4.如权利要求1所述的HYCOM数据下载方法，其特征在于，所述根据配置文件中设置的时间段、区域
范围、水平分辨率、时间步长和垂向水深进行切片提取指定要素分量包括：读取变量经纬度lon和lat，根据设置的区域范围判定水平网格起止点；
读取时间段，根据设置的时间步长确定下载的具体时刻序列；
根据设置的水平分辨率确定水平网格的选取点阵；
根据设置的垂向水深进行指定要素的垂向切片读取。
5.如权利要求1所述的HYCOM数据下载方法，其特征在于，所述将读取的数据格式化，根据配置文件设置，创建对应的文件格式，保存类型包括：NetCDF、JSON和CSV格式，默认的保存文件类型为NetCDF文件；
NetCDF数据结构；NetCDF格式结构定义如下：
NetCDF name；
Dimensions：…//定义维数；
Variables：…//定义变量；
Attributes：…//属性；
Data：…//数据。
6.如权利要求1所述的HYCOM数据下载方法，其特征在于，下载完成后进行双重校验：通过MD5消息摘要算法，产生出一个128位的散列值，用于确保信息传输完整一致；下载中断时，进行自动尝试建立连接重新下载覆盖中断文件。通过python程序语言xarray和netcdf 类库，读取下载成果数据，通过在下载区域的边界预设取样网格点，检查Depth＝0条件下，取样网格点数据是否非空，确认水平网格的数据是否下载完整；通过在下载区域最深水深为5000的区域预设取样网格点，检查每一层的数据是否非空，确认垂向每层的数据是否下载完整。
7.如权利要求1所述的HYCOM数据下载方法，其特征在于，所述根据后处理需求，输入对应的处理命令包括：数据的提取合并、数据的简单运算、数据的统计运算等命令。
8.一种计算机设备，其特征在于，所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如下步骤：根据download.ini配置文件，读取下载筛选条件和保存的文件格式筛选条件选项；
根据起始时间和终止时间判定对应的HYCOM数据的OPeNDAP Server地址，如果需要下载最近的预报产品，则启动自动下载Latest预报产品功能，进行业务化自动下载；
读取数据集元数据信息；
根据配置文件中设置的时间段、区域范围、水平分辨率、时间步长和垂向水深进行切片提取指定要素分量；
将读取的数据格式化，根据配置文件设置，创建对应的文件格式；
通过python xarray和netcdf类库，读取下载成果数据；通过预设取样网格点，用于检查成果数据是否正确；
根据后处理需求，输入对应的处理命令。
9.一种运行权利要求1～7任意一项所述HYCOM数据下载方法的HYCOM数据下载系统，其特征在于，所述HYCOM数据下载系统包括：
第一数据完整性校验模块，用于提取下载指定的目标区域、时间区间、要素、空间分辨率、时间间隔和垂向深度的HYCOM再分析数据产品，并进行数据完整性校验；
第二数据完整性校验模块，用于每天自动提取下载指定的目标区域、时间区间和要素的HYCOM预报产品，并进行数据完整性校验，实现业务化自动运行；
数据后处理模块，用于实现数据的提取合并、数据的简单运算、数据的统计运算。
10.一种终端，其特征在于，所述终端搭载权利要求9所述的HYCOM数据下载系统。
一种HYCOM数据下载方法、系统、计算机设备、终端
技术领域
[0001]本发明属于海洋天气预报技术领域，尤其涉及一种HYCOM数据下载方法、系统、计算机设备、终端。
背景技术
[0002]目前，美国海军的全球海洋预报系统(GOFSv3.0，目前已更新到3.1)由全球1/12°混合坐标海洋模式(HYbrid Coordinate Ocean Model，HYCOM)和耦合海洋资料同化系统(Navy Coupled Ocean Data Assimilation，NCODA)组成，其提供HYCOM再分析产品和预报产品，主要有5个变量:water_temp(温度)、salinity(盐度)、surf_el(海表面高度)、water_ u(纬向流速)、water_v(经向流速)，3.1版本增加了water_temp_bottom(底层温度)、salinity_bottom(底层盐度)、water_u_bottom(底层纬向流速)、water_v_bottom(底层经向流速)。再分析Reanalysis产品主要包括：1、Global Reanalysis 3.0(GLBu0.08)：空间：80.48°S～80.48°N；时间：1992.10.02～2012.12.31；垂向分40
层；水平分辨率0.08°。2、Global Reanalysis 3.1(GLBv0.08)：空间：80S～90°N；时间：1994.01.01～2015.12.31；垂向分40层；水平分辨率：纬向40°S～40°N为0.08°，其他为0.04°；经向为0.08°。分析Analysis产品主要包括：1、Global Reanalysis3.1(GLBv0.08)：空间：80S～90°N；时间：2014.07.01～2020.02.18；垂向分40层；水平分辨率40°S～40°N为0.08°，其他为0.04°。2、Global Reanalysis 3.1(GLBy0.08)：空间：80S～90°N；时间：2014.07.01～2020.02.18；垂向分40层；水平分辨率为经向0.08°，纬向0.04°。预报产品为：Global Forecast 3.1 (GLBy0.08)：空间：80°S～90°N；接近13天的预报产品，时间间隔为3小时；垂向分40层；水平分辨率为经向0.08°，纬向0.04°。HYCOM模式资料支持多种下载方式：1、Web Coverage Service(WCS)下载方式；2、Web Map Service(WMS)下载方式；3、NetCDF Subset Service (NCSS)下载方式；4、OPeNDAP下载方式和5、ftp下载方式。
[0003]其中最简单直接的下载方式为ftp下载，但ftp下载方式需要下载完整的单个文件，导致下载数据量很大，多年的产品数据累计下来更是海量数据。国内的网络很难支持这种下载方式，并且存储下载的数据也需要极大的存储容量，后处理更是低效。尤其是HYCOM 升级到GOFSv3.1后，模拟结果变成3小时一个输出，分辨率和垂向分层也都进行了提高，单个文件变的更大(～4.49GB)，ftp难以下载完整的单个文件，频繁发生下载失败，时效性极差。此外，每天的预报产品不支持ftp下载。因此基于研究和业务化预报需求，发明人在测试了多种下载方式后，选取了OPeNDAP数据协议来编写HYCOM
数据的下载方法，并增加了数据下载检验模块和后处理功能。OPeNDAP的全称是Open-source Project for a Network Data Access Protocol，即“网络数据访问协议开源项目”，旨在通过基于Web的架构和与学科无关的数据访问协议(Data Access Protocol，DAP)来增强对远程结构化数据的检索。读取OpenDAP服务器上的数据，需要有相应的客户端。客户端的形态五花八门，可以是普通浏览器，甚至是Excel表格，常用的客户端包括：NCL–NCAR开发的数据分析与可视化平台；GrADS；NCO；Integrated Data Viewer(IDV)；IDL；Matlab；ArcGIS；Python等。客户端通过
URL引用数据集，基于DAP库向DAP服务器发出HTTP请求来请求元数据或内容。内容请求通常先于对描述结构的元数据的请求以及有关引用数据集的其他详细信息。利用该信息，客户端可以构造DAP检索表达式以从源检索特定内容(即子集)。OPeNDAP服务器提供各种类型的响应，具体取决于客户端请求的具体形式，包括XML，JSON，HTML和ASCII。为了响应内容请求，OPeNDAP服务器可以使用包含具有NetCDF或DAP本机编码的二进制部分的多部分mime文档进行响应。(这些二进制形式实现了大量数据的传输，如果需要，甚至可以流式传输DAP原生数据)。总而言之，OPeNDAP通过子集化，聚合和流式传输提高了大规模数据的访问效率。[0004]OPeNDAP数据协议网络主要下载流程为：1、用户通过浏览器访问OPeNDAP数据服务器；2、在服务器的数据目录中查需要的数据；3、在Data Access Form中构造请求的URL；
4、将构造的URL复制到DAP客户端中或Python相应库中进行下载提取。相比ftp下载而言，OPeNDAP
下载方式可以指定区域、时间、维度要素来进行数据提取和下载，换言之，可以按需索取，进行个性化定制，时效性更好。因此我们基于Python语言，根据OPeNDAP数据协议，构建了可以指定目标区域、时间区间、要素、空间分辨率、时间间隔和垂向深度进行下载的HYCOM数据的下载方法，并结合CDO(Climate Data Operators)软件，对下载的HYCOM模式资料进行后处理，满足常见的数据需求。主要包括：数据的提取合并、数据的简单运算和数据的统计运算等功能。
[0005]通过上述分析，现有技术存在的问题及缺陷为：1、目前的HYCOM下载工具比较有限，主要还是通过ftp下载，少数的基于OPeNDAP下载方式的工具功能比较简单，没有提取下载指定的目标区域、时间区间、要素、空间分辨率、时间间隔和垂向深度的HYCOM数据功能，也没有对HYCOM多种数据集的下载进行整合。2、受网络和服务器工作性能影响，HYCOM数据下载时可能存在连接中断、数据下载不完整和出现非值(nan)等异常问题。3、批量下载的数据文件较多，后处理比较复杂。
[0006]解决以上问题及缺陷的难度为：1、需要对HYCOM提供的一系列数据产品下载进行系统整合，不同数据产品的时间段、分辨率和下载地址皆不相同。2、需要对HYCOM数据结构进行详尽的解析，才能实现下载指定的目标区域、时间区间、要素、空间分辨率、时间间隔和垂向深度的HYCOM数据功能。3、需要构建数据完整性检验模块，来处理可能存在连接中断、数据下载不完整和出现非值(nan)等异常问题，对预报数据下载时效性要求高的用户，需要进行网络测试和专属下载通道布设。4、需要配套数据后处理程序或者软件，方便处理批量下载的数据。
[0007]解决以上问题及缺陷的意义为：1、HYCOM提供的不同数据产品的时间段、分辨率和下载地址皆不相同，系统整合后数据下载更简单方便不易出错。2、实现下载指定的目标区域、时间区间、要素、空间分辨率、时间间隔和垂向深度的HYCOM数据功能，可以针对特定需求下载，减少数据下载量，提高数据下载和处理的时效性。3、构建数据完整性检验模块，可以保证数据下载质量，避免出现数据下载不完整和出现非值(nan)等异常问题。4、配套数据后处理程序或者软件，可以根据需求处理批量下载的数据，提高数据处理效率。
发明内容
[0008]针对现有技术存在的问题，本发明提供了一种HYCOM数据下载方法、系统、计算机设备、终端。
豫公网安备41160202000603
站长QQ:729038198
关于我们
投诉建议