施进明;钱建梅;林曼筠
【摘 要】为满足大型业务发展需要,建设新一代数据中心已成为一种共识.根据国际正常运行时间协会(UI)的划分,数据中心从基础级、冗余部件级发展到可并行维护级和容错级,其可用性和可靠性得到明显提高.针对大容量遥感资料对于数据传输和处理高时效、系统计算负载和存储容量高增长的要求,在研究新一代数据中心(NDC:New Data Center)六大关键技术的基础上,重点对自动化动态资源部署、优化资源的利用效率、统一的基础设施管理、完善的资源和数据保护、信息技术架构的可扩展性、节能技术和产品等方面进行了应用与实践,促进了新一代遥感数据中心的成功建设.文章结合新型气象卫星风云三号地面系统的建设实践,阐述了新一代遥感数据处理中心建设中若干关键技术的实现方法. 【期刊名称】《气象科技》
【年(卷),期】2010(038)004
【总页数】6页(P472-477)
【关键词】卫星遥感数据处理;新一代数据中心;绿节能
【作 者】施进明;钱建梅;林曼筠
【作者单位】中国气象局国家卫星气象中心,北京,100081;中国气象局国家卫星气象中心,北京,100081;中国气象局国家卫星气象中心,北京,100081
中国教育和科研计算机网【正文语种】中 文
气象卫星地面数据处理系统是集卫星实时监控、遥感资料接收与处理、业务信息管理、数据存储及卫星气象服务于一体的遥感数据中心,它由高速率数据接收系统、大型计算机集、高性能通信与网络、大型数据库、海量数据存储、高时效预处理和反演应用软件组成。随着遥感卫星对地探测技术的飞速发展,如何可持续性地获得、处理、存储和利用不断增长的遥感数据,在实现业务的连续性、高可用、自动化与海量存储等多方面,给遥感数据中心的建设提出了新要求。
20世纪60～70年代,美国发射了几十颗极轨气象卫星,由于没有一个功能健全、技术成熟的应用系统,大量数据得不到处理,未能在天气预报业务中投入应用。70年代后期,美国在阿拉中国粉末冶金网
斯加的Fairbanks、华盛顿附近的Wallops岛和法国的Lannion建立了3个地面站,并在美国国家环境卫星、数据和信息服务处(NESD IS)资料处理和服务中心用大型计算机建成了资料处理系统,完成了卫星资料实时接收、数据传输、数据处理、存档和分发的一体化,从而使NOAA卫星资料在天气预报、气候和环境监测等领域得到广泛应用,NOAA卫星的巨大效益在全世界得到了公认[1]。
我国第1个极轨气象卫星遥感数据中心是1987年建设的风云一号资料接收处理系统,由设在国家卫星气象中心的数据处理中心和北京、广州、乌鲁木齐3个地面站构成。3个地面站的实时数据通过通信卫星VSA T系统汇集到数据处理中心进行处理、存档和服务。该系统采用了当时先进的技术,数据处理中心的计算机系统由IBM大型机(mainframe)组成,通过气象局专用通信系统进行产品分发,用磁带手工数据存档,连续正常运行了10年以上。1999年该系统进行了全面改造,更新了接收系统,通信系统由VSA T系统改为光纤通信,计算机系统由大型机改为SM P系统为节点的Cluster系统,以6台4 CPU的Unix服务器为核心,通过网络联接组成分布式系统,使用大型自动磁带库进行数据存档和管理,通过气象局专用通信系统和网络进行数据分发和服务。这一系统不间断业务运行了5年多,为我国气象卫星遥感资料的处理与应用发挥了很大的作用。
可比产品成本降低率
2008年前,我国气象卫星遥感数据中心在布局、结构和技术水平上与美、欧接近,但接收卫星的数据量较少,规模较小。2008年气象卫星风云三号发射后,数据量和处理需求都近百倍增长,每天接收汇集数据量达到250 GB、处理原始资料和生成的产品容量达到2 TB,应用要求和处理复杂度大为增加,已经与国际上气象卫星应用系统对信息处理系统的需求相当,因此设计建立先进的气象卫星遥感数据中心基础支撑架构十分关键。
气象卫星风云三号A星遥感数据中心有3方面的数据处理任务:数据通信处理、数据预处理和产品生成处理。数据通信处理将北京、广州、乌鲁木齐、佳木斯、瑞典基律纳5个地面站接收到的风云三号卫星及国外多颗卫星各种实时、延时的全球、全天候、三维、多光谱的探测资料,经过逐帧优选后在最短时间内转发到数据处理和服务中心。数据预处理完成各种遥感器原始数据的质量检验,对各遥感器每个空间探测单元(像素)进行地理定位与定标,计算出相应的卫星与太阳的天顶角、方位角和地表反射率或辐射率。产品生成处理生成反映大气、云、地表及海表等特征的各种地球物理、大气物理参数,生成供气象、海洋、环境、农林渔业、交通运输等部门应用的各种图像、图形及数值产品。
广丰县教育局
为完成上述3方面的任务,遥感数据中心对数据自动处理与时效、数据存储与服务和系统可
靠性等方面有着很高的要求。数据自动处理与时效方面,要求卫星资料接收后自动实时传送至资料处理和服务中心,在限定时间内自动处理成产品,将产品分发至用户,尤其是为数值天气预报模式提供的卫星同化资料,时效要求更高。数据存储与服务方面,每天新增约2 TB数据,包括原始观测数据、预处理后的1级数据集、卫星图像产品、卫星数值产品以及卫星遥测数据、卫星工况数据资料等。这些数据要求长期保存,并可以随时方便快捷地供各类用户调用。由于卫星观测数据量的巨大,不能给每个独立处理单元(如一台处理机)提供一份数据拷贝,需要多台处理机对一次观测数据进行共享。在系统可靠性方面,要求从卫星交付使用开始的设计寿命期内,系统运行成功率达到97%以上。从卫星观测数据开始直至数据处理完毕并完成数据和产品存档或分发,分解到各分系统,要求各分系统的运行成功率在99%以上。为避免系统中出现单点故障,每一个独立的设备单元都应使用高可用技术。
此外,遥感数据中心与卫星、测控系统及外部用户接口种类繁多,与卫星有3个载波信道传输包接口、11种有效载荷源包数据接口,与测控系统有多个轨道参数、数千个遥测波道数据接口,与外部用户有多级数据与产品数据接口,对接口处理流程的可靠性要求很高。如遥感数据中心与4个国内地面站和一个国外地面站的数据传输接口,包括了分块文件多路并行传输接口、文件对帐接口、自动重传接口和降级数据汇集接口等,通过规范的接口控制确保了多站汤加利
数据按时、完整、高质量传输到遥感数据中心,通过气象卫星资料处理软件工程化提高产品处理系统可靠性[2]。为实现风云三号上、下午星组网观测和接收、处理其他多颗国内外的卫星数据,适应风云三号卫星应用领域的增加和新产品不断研发和投入业务,要求系统具备很强的可扩充能力,以适应未来极轨气象卫星的业务运行需要。
在风云三号A星遥感数据中心的建设中,构筑了新型的服务器系统、网络系统、存储系统、空调制冷系统,部署了网格调度、广域网加速、服务器虚拟化、全系统高可用等技术,引入1280个CPU的SGI系统与128个CPU的IBM的System p595 U nix系统,峰值性能达到10万亿次,裸容量360 TB磁盘阵列的在线存储空间和2.5 PB自动磁带库的近线存储能力。该系统分为地面站、网络与传输、资料与产品处理以及存档和服务4层架构,风云三号A星遥感数据中心架构如图1所示。
同时,为了建设新型国际水平的气象卫星应用系统,设计者遵从新一代数据中心或称为绿数据中心的理念,通过对自动化动态资源部署、优化资源的利用效率、统一的基础设施管理、完善的资源和数据保护、架构的可扩展性、采用能够实现节能的技术和产品等六大关键技术的深入研究和探索,在气象卫星遥感数据中心的建设中取得了很大的进展[3]。
风云三号A卫星遥感数据中心的输入数据是卫星不断实时探测到的各种气象遥感数据,输出的是几十种大气、海洋、陆地图像和定量应用产品,这是一个非常复杂的过程,需要多台服务器协同工作。因此必须制定好严格的作业流程,要根据预先制定的工作流程和调度策略启动,自动地、有条理地、像流水线一样井然有序地处理和运行。
这就需要配置一种自动化的作业调度系统,进行自动分配计算资源,实现资源调度的自动化。系统选择了网格计算公司Platfo rm的多平台处理管理器(Platfo rm Process M anager)实现多卫星数据处理的自动化、复杂流程和子流程的实时控制和管理,同时,通过集负载均衡软件Platform LSF实现计算资源的共享和负载平衡,确保计算资源的高可靠和高可用,并且将其作为数据中心自动化运作的重要基础支撑工具。设计者按照数据处理的不同特点,设计了高时效型、时间驱动型、数据驱动型、数据密集型、计算密集型等多类数据处理流水线,每类流水线中根据产品生成的先后次序及逻辑关联设计了多个工作流,作业调度系统根据服务器的负载情况分层均衡并发提交作业。每日调度运行的资料处理作业达6000多个,多机负载均衡度高达80%以上[4]。
高校实行什么的校长负责制在一个小规模集和数据传输压力不大的体系结构中,用户不大关注服务器之间的传输延时,
但当系统规模超过数千个处理器、日数据传输量达到数百GB以上时,就必须采用低度(low-degree)互连或网格(grid)互连,因为此时传输延时将变成一个非常重要的问题。为实现集之间深度共享数据提高虚拟化资源利用程度,风云三号系统遥感数据中心设计中尤其重视基本架构、支撑软件平台和应用软件三者的结合,取得了很好的应用效果。
豫公网安备41160202000603
站长QQ:729038198
关于我们
投诉建议