一种基于虚拟数据湖的气象数据文件目录服务生成方法及系统与流程

1.本发明属于大数据

技术领域

：
：，具体涉及一种基于虚拟数据湖的气象数据文件目录服务生成方法及系统。

背景技术

：
：：2.气象数据是开展气象工作的基础，而地域范围广、时空密度大、种类类型多、时效性强、价值密度高的气象数据资源，尤其是伴随高分气象卫星发射、高时空分辨率数值模式发展、高探测精度雷达站的广泛部署等情况所产生的卫星、模式、雷达等非结构化气象数据对气象预报预测、应对气候变化、公共气象服务以及农业、能源、交通等各行业应用均起到了巨大的支撑保障作用。3.气象数据在增长的同时其存储系统还需满足应用对存储时效和数据的分级存储需求，就目前存储技术而言，单独一台存储设备已无法满足此容量的需求，多样异构存储系统的复杂性使气象数据底层存储集约化管理面临巨大的挑战；尤其是面对需要长历史序列气象数据的科学分析研究，如气候变化预测和气象数据挖掘分析等应用场景需求的扩大，数据访问服务已经不能够为用户无感知地提供各类数据的历史序列，且并不能够根据应用场景的不同支持多种数据访问方式，如ftp，s3,cifs,nfs等。对于非结构化气象数据的使用者而言，以直接访问目录方式进行数据访问获取是较为便捷和理想状态，所以如何建立一种气象数据文件目录服务方式，将非结构化气象数据以更加高效、便捷并且规范化的文件目录方式提供给气象业务系统以及科研人员使用具有重大的研究意义。技术实现要素：4.本发明的目的在于克服现有技术的不足，提供一种基于虚拟数据湖的气象数据文件目录服务生成方法及系统。5.本发明的第一个目的是提供一种基于虚拟数据湖的气象数据文件目录服务生成方法，包括以下步骤：6.s1、对虚拟数据湖的节点位置进行布设；7.s2、管理员通过虚拟数据湖服务端上的后台管理服务系统对异构文件系统相关信息进行配置；8.s3、管理员通过虚拟数据湖服务端上的后台管理服务系统界面创建对外虚拟服务目录，将多套异构文件系统中的数据聚合形成统一的服务虚拟目录视图，实现数据虚拟入湖；9.s4、根据用户使用需求，在虚拟数据湖服务端上的后台管理服务系统创建用户及用户所属分组，并对所属分组进行授权，授权完成后，用户获得该分组对目录的读写权限；10.s5、用户挂载虚拟数据湖文件目录访问客户端，根据管理员为该用户配置的读写权限，用户可将虚拟数据湖服务端的虚拟文件系统中有权限目录直接作为本地存储进行读写使用。11.优选的，步骤s2中，所述相关信息为存储类型、读写控制、挂载点和网络地址。12.优选的，步骤s4中，所述授权方式为直接按照目录层级结构进行授权的方式和按照目录层级中时间信息实现按时间段或近期天数进行授权的方式中的任意一种。13.本发明的第二个目的是提供一种基于虚拟数据湖的气象数据文件目录服务生成系统，包括虚拟数据湖服务端和虚拟数据湖文件目录访问客户端；14.所述虚拟数据湖服务端包含worker节点和master节点，所述master节点用于集状态和元数据管理，worker节点用于负责处理文件系统的读写操作请求；15.所述虚拟数据湖文件目录访问客户端，用于将虚拟文件系统挂载到用户端，通过调用虚拟数据湖worker节点提供的文件共享接口，实现将远端的虚拟文件系统挂载到本地的文件系统。16.优选的，所述master节点包含后台管理服务系统和元数据服务模块，所述后台管理服务系统用于负责异构文件系统统一管理与服务，系统日志审计及用户行为记录可视化分析；所述元数据服务模块用于负责系统元数据信息存储，并将元数据信息同步给worker节点。17.优选的，所述worker节点包含存储接入服务模块、文件块缓存服务模块、虚拟文件系统服务模块和文件共享服务模块，所述存储接入服务模块用于负责适配异构存储系统，集成各种后端存储，所述文件块缓存服务模块用于负责在读写后端存储系统的文件后缓存数据，所述虚拟文件系统服务模块用于负责管理虚拟文件系统与后端存储的数据读写管理和用户权限校验，所述文件共享服务模块用于负责对外提供文件访问接口。18.本发明与现有技术相比，其有益效果在于：19.(1)本发明通过虚拟数据湖整合多套nas、对象存储等异构存储系统进行统一配置，能够提供稳定、逻辑统一的非结构化数据访问目录，不再需要各应用程序对底层存储系统进行配置，从而简化了程序的配置管理；20.(2)本发明通过虚拟数据湖构建的虚拟目录，统一了数据管理的命名空间，并支持常见的存储接口，用户可以通过其所需要的接口或者客户端访问所有数据，而不需要考虑源数据的api。促进并支持用户整体架构设计上计算与存储的分离。这种类型的架构为现代数据处理提供了极大的灵活性；21.(3)本发明通过虚拟数据湖构建的虚拟目录满足了用户对非结构化数据快速、便捷获取的需求。22.(4)本发明中用户权限管理控制灵活，权限管理模块支持restapi调用系统提供的服务接口和其他业务应用进行集成。附图说明23.图1为本发明实施例提供的基于虚拟数据湖的气象数据文件目录服务生成方法的流程图；24.图2为本发明实施例提供的基于虚拟数据湖的气象数据文件目录服务生成系统的结构框图。具体实施方式25.为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。26.如图1所示，本发明实施例提供了一种基于虚拟数据湖的气象数据文件目录服务生成方法，具体包括以下步骤：27.s1、对虚拟数据湖的节点位置进行布设，具体在对虚拟数据湖的节点位置进行布设时，需要虚拟数据湖的节点均能够访问到数据实际存储的异构文件系统，如果是nas存储，需要在worker和master节点通过nfsclient挂载上共享目录，如果是s3、hdfs等存储系统，则需要确认网络上各节点与这些存储设备连通；28.s2、管理员通过虚拟数据湖服务端上的后台管理服务系统的物理存储管理功能对异构文件系统的存储类型、读写控制、挂载点和网络地址进行配置；29.s3、管理员在虚拟数据湖服务端的后台管理服务系统界面上根据业务逻辑创建统一命名空间，即对外虚拟服务目录，将多套异构文件系统中的数据聚合形成统一服务虚拟目录视图，实现数据虚拟入湖，后台管理服务系统支持灵活的创建虚拟目录及其与实际目录的映射方式：(a)可在excel文件内批量创建虚拟目录及其对应的实际数据存储的物理目录，excel可在后台管理服务系统上传，系统将自动解析所有配置信息；(b)可通过后台管理服务系统的虚拟目录管理功能逐条创建虚拟目录，并通过虚拟目录挂载功能将各虚拟目录与实际存储的物理目录进行关联挂载管理；30.s4、根据用户使用需求，在虚拟数据湖服务端上的后台管理服务系统创建用户及用户所属分组，并对所属分组进行授权，用户组为最小的被授权对象，可根据实际需求从不同维度为分组授权控制:(a)直接按照目录层级结构授权；(b)按照目录层级中时间信息实现按时间段或近期天数授权，授权完成后，用户获得该分组对目录的读写权限；31.s5、用户挂载虚拟数据湖文件目录访问客户端，根据管理员为该用户配置的读写权限，用户可将服务端的虚拟文件系统中有权限目录直接作为本地存储进行读写使用，目前，该客户端支持主流64位操作系统，具体支持：redhat/centos/oraclelinux6以上版本；ubuntu12以上版本；fedora21以上版本；opensuse10以上版本；windows7以上版本；linux系列国产操作系统。32.如图2所示，本发明实施例还提供了一种基于虚拟数据湖的气象数据文件目录服务生成系统，具体包括虚拟数据湖服务端和虚拟数据湖文件目录访问客户端；33.所述虚拟数据湖服务端包含worker节点和master节点，构成一个分布式虚拟文件系统，所述master节点用于负责系统的目录、文件、以及文件块存储位置、用户权限信息等元数据信息，worker节点用于负责处理文件系统的读写操作请求；34.master节点包含后台管理服务系统和元数据服务模块，负责系统的目录、文件、以及文件块存储位置、用户权限信息等元数据信息，元数据信息存储采用postgresql数据库实现。客户端读取文件时，先通过master获取文件存储位置，然后分发到各个worker节点读写数据，元数据信息同步由redis分布式缓存服务实现；系统管理员可在后台管理服务系统上，实现异构文件系统统一管理与服务，同时还可以在后台管理服务系统上查看系统审计日志，日志通过elasticsearch和kibana实现多维度可视化用户行为分析。35.worker节点包含存储接入服务模块、文件块缓存服务模块、虚拟文件系统服务模块和文件共享服务模块，存储接入服务模块用于负责适配异构存储系统，集成各种后端存储，支持nfs、s3、swift、ceph、hdfs、gfs等存储协议或存储系统；文件块缓存服务模块用于负责在读写后端存储系统的文件后缓存数据，从而加速客户端读写文件的速度，并且支持分层缓存，缓存数据根据热度从memory、ssd、hdd逐层逐出和转移；虚拟文件系统服务模块用于负责管理虚拟文件系统与后端存储的数据读写管理和用户权限校验，文件共享服务模块用于负责对外提供文件访问接口，支持nfs/cifs、s3、ftp/sftp等访问协议。worker节点功能实现采用springboot、netty等技术组件实现。36.虚拟数据湖文件目录访问客户端，是基于fuse实现的目录访问客户端，用于将虚拟文件系统以posix(portableoperatingsysteminterface,可移植操作系统接口，通过该接口标准可实现源码级别的软件可移植性)兼容的方式挂载到服务器，通过调用虚拟数据湖worker节点提供的文件共享接口，实现将远端的虚拟文件系统挂载到本地的文件系统，用户像本地文件系统一样使用服务的虚拟文件系统，无缝对接已有应用，无业务侵入性。此外，也可以使用其他通用协议客户端(nfs、cifs、s3、ftp)，访问虚拟文件系统。37.综上所述，本发明实施例通过虚拟数据湖整合多套nas、对象存储等异构存储系统进行统一配置，能够提供稳定、逻辑统一的非结构化数据访问目录，不再需要各应用程序对底层存储系统进行配置，从而简化了程序的配置管理；且通过虚拟数据湖构建的虚拟目录，统一了数据管理的命名空间，并支持常见的存储接口，用户可以通过其所需要的接口或者客户端访问所有数据，而不需要考虑源数据的api，促进并支持用户整体架构设计上计算与存储的分离，为现代数据处理提供了极大的灵活性，满足了用户对非结构化数据快速、便捷获取的需求。38.以上所述实施例仅表达了本发明的具体实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。当前第1页12当前第1页12

技术特征：

1.一种基于虚拟数据湖的气象数据文件目录服务生成方法，其特征在于，包括以下步骤：s1、对虚拟数据湖的节点位置进行布设；s2、管理员通过虚拟数据湖服务端上的后台管理服务系统对异构文件系统相关信息进行配置；s3、管理员通过虚拟数据湖服务端上的后台管理服务系统界面创建对外虚拟服务目录，将多套异构文件系统中的数据聚合形成统一的服务虚拟目录视图，实现数据虚拟入湖；s4、根据用户使用需求，在虚拟数据湖服务上的后台管理服务系统创建用户及用户所属分组，并对所属分组进行授权，授权完成后，用户获得该分组对目录的读写权限；s5、用户挂载虚拟数据湖文件目录访问客户端，根据管理员为该用户配置的读写权限，用户可将虚拟数据湖服务端的虚拟文件系统中有权限目录直接作为本地存储进行读写使用。2.如权利要求1所述的基于虚拟数据湖的气象数据文件目录服务生成方法，其特征在于，步骤s2中，所述相关信息为存储类型、读写控制、挂载点和网络地址。3.如权利要求1所述的基于虚拟数据湖的气象数据文件目录服务生成方法，其特征在于，步骤s4中，所述授权方式为直接按照目录层级结构进行授权的方式和按照目录层级中时间信息实现按时间段或近期天数进行授权的方式中的任意一种。4.一种基于虚拟数据湖的气象数据文件目录服务生成系统，其特征在于，包括虚拟数据湖服务端和虚拟数据湖文件目录访问客户端；所述虚拟数据湖服务端包含worker节点和master节点，所述master节点用于集状态和元数据管理，worker节点用于负责处理文件系统的读写操作请求；所述虚拟数据湖文件目录访问客户端，用于将虚拟文件系统挂载到用户端服务器，通过调用虚拟数据湖worker节点提供的文件共享接口，实现将远端的虚拟文件系统挂载到本地的文件系统。5.如权利要求4所述的基于虚拟数据湖的气象数据文件目录服务生成系统，其特征在于，所述master节点包含后台管理服务系统和元数据服务模块，所述后台管理服务系统用于负责异构文件系统统一管理与服务，系统日志审计及用户行为记录可视化分析；所述元数据服务模块用于负责系统元数据信息存储，并将元数据信息同步给worker节点。6.如权利要求4所述的基于虚拟数据湖的气象数据文件目录服务生成系统，其特征在于，所述worker节点包含存储接入服务模块、文件块缓存服务模块、虚拟文件系统服务模块和文件共享服务模块，所述存储接入服务模块用于负责适配异构存储系统，集成各种后端存储，所述文件块缓存服务模块用于负责在读写后端存储系统的文件后缓存数据，所述虚拟文件系统服务模块用于负责管理虚拟文件系统与后端存储的数据读写管理和用户权限校验，所述文件共享服务模块用于负责对外提供文件访问接口。

技术总结

本发明公开了一种基于虚拟数据湖的气象数据文件目录服务生成方法及系统，其中方法包括以下步骤：S1、对虚拟数据湖的节点位置进行布设；S2、管理员对异构文件系统相关信息进行配置；S3、管理员通过虚拟数据湖服务端创建对外虚拟服务目录，将多套异构文件系统中的数据聚合形成统一服务虚拟目录视图，实现数据虚拟入湖；S4、在虚拟数据湖服务端创建用户及用户所属分组，并对所属分组进行授权，授权完成后，用户获得该分组对目录的读写权限；S5、用户挂载文件目录访问客户端，用户可将虚拟数据湖服务端的虚拟文件系统中有权限目录直接作为本地存储进行读写使用。本发明能够解决目前一台存储设备已无法满足容量的需求的技术问题。存储设备已无法满足容量的需求的技术问题。存储设备已无法满足容量的需求的技术问题。