目录
第1章绪论 (4)
1.1背景与意义 (5)
1.2国内外研究现状分析 (7)
1.2.1高性能遥感计算发展现状分析 (7)
1.2.2遥感数据组织模型发展现状分析 (9)
1.2.3大数据技术发展现状分析 (11)
1.3面向大数据的分布式计算技术 (14)
1.3.1分布式计算模式 (14)
1.3.2分布式计算框架 (19)
1.4 面向数据的架构 (21)
1.4.1总体架构 (21)
1.4.2单点式数据注册中心 (23)
1.4.3大数据系统中的元数据管理 (24)
1.5基础设施与数据资源的统一描述方法 (25)
1.5.1提出背景 (25)
1.5.2“广义数据”的概念与内涵 (30)
第2章海量遥感数据的分布式计算 (37)字幕烟花
2.1遥感数据的分布式计算需求 (39)
2.2分布式计算中的遥感数据组织模型 (40)
2.2.1弹性影像金字塔模型 (41)
2.2.2 弹性影像金字塔的构建 (41)
2.2.3 弹性影像金字塔的存储 (46)
2.2.4 面向影像区块的遥感数据封装 (46)
2.3 适用于遥感数据的分布式计算模型 (47)
2.3.1遥感数据的分布式计算流程划分 (47)
2.3.2遥感数据的分布式计算模式 (48)
2.3.3遥感数据的分布式计算结果归并处理 (49)
2.4面向“广义数据”的DOA架构 (52)
2.4.1总体架构 (52)
2.4.2数据流程 (53)
2.4.3架构特点 (54)
2.5基于内存共享的分布式元数据管理 (54)
2.5.1运行-备份数据集 (55)
2.5.2 自适应主从模型 (60)
2.5.3性能仿真 (65)
2.6扁平化的分布式数据注册中心架构 (70)
2.6.1总体架构 (70)
2.6.2 工作机制 (72)
2.7基于DOA的遥感数据分布式混合计算框架 (73)
2.7.1总体架构设计 (73)
2.7.2 物理设备层设计与实现 (74)
2.7.3 基础支撑层设计与实现 (75)
2.7.4资源聚化层设计与实现 (77)
2.7.5数据注册层设计与实现 (85)
2.7.6应用接口层设计与实现 (89)
2.8 Chaos 计算框架在月球遥感影像处理中的应用 (90)
2.8.1遥感数据分布式计算的实现 (90)
2.8.2 Chaos计算框架应用实例展示 (93)
第3章双态云支持下髙分辨率遥感存算一体化技术 (99)
3.1背景及意义 (99)
3.1.1高分辨率遥感应用的计算密集性 (102)
3.1.2高分辨率遥感应用的数据密集性 (102)
3.1.3高分辨率遥感的存算一体化需求 (103)
3.1.4计算机领域软硬件有了新的进展 (105)
高沸点溶剂
3.2国内外研究现状 (106)伯努利方程实验
3.2.1遥感地学领域云计算技术研究进展 (106)
3.2.2遥感地学领域GPU并行计算研究 (108)
3.3面向高分辨率遥感的双态云存储新模式R-D Cloud (111)
3.3.1主流云计算技术 (111)
3.3.2内存云技术 (116)
3.3.3面向高分辨率遥感的双态云存储架构 (123)
3.4双态云支持下髙分辨率遥感存算一体化技术 (127)
3.4.1双态云下髙分辨率遥感存算一体化策略 (127)
3.4.2高分辨率遥感存算一体化数据组织与存储机制 (128)
3.4.3可扩展高分辨率遥感元数据信息内存云管理机制 (137)移动消防泵
3.4.4面向高分辨率遥感处理的双态云GPU众核计算模型 (143)
3.4.5高分辨率遥感双态云多节点并发任务调度机制 (148)
3.5原型系统设计与实现 (151)
3.5.1系统总体架构 (152)
3.5.2系统运行环境 (154)
3.5.3系统功能实现 (157)
3.5.4系统性能测试 (163)
第四章云计算环境下海量小文件处理模型C-MSFPM及其数据处理 (173)
4.1引言 (173)
4.1.1问题描述 (174)
4.1.2研究内容 (176)
4.2云平台体系结构 (176)
4.2.1基本体系结构 (177)
4.2.2主流云计算平台 (178)
4.3 C-MSFPM模型 (183)
4.3.1云环境下小文件类别划分及预处理策略 (183)
4.3.2海量小文件索引结构 (188)
4.3.3基于就近原则及权值相似度的文件合并算法 (189)
4.4基于XML和多Value的改进MapReduce处理架构 (191)
4.4.1 MapReduce 编程模型 (191)
4.4.2 XML的数据模型 (196)
4.4.3改进的MapReduce架构算法 (199)
4.5基于内容依賴的数据査询处理 (201)
4.5.1 PDF格式文档 (201)
4.5.2复杂任务查询处理 (204)
4.5.3实验分析 (206)
4.6基于云平台的车载信息数据处理系统 (210)
4.6.1处理架构 (211)
4.6.2数据传输协议 (213)
4.6.3数据传输分层模型 (214)
可剥胶
4.6.4实验结果及讨论 (217)
第1章绪论
遥感数据是地球信息科学及其相关领域科学研究和生产工作中最重要的基础性资源，其应用已覆盖了地球信息科学相关的各个领域。基于遥感数据（特别是高分辨率遥感影像数据）的信息提取，是遥感数据的主要应用方式，是智能城市、环境监测、地质灾害预警、土地利用监测、植被监测、水体和海洋遥感、农业遥感和大气研究等行业进行科研和生产工作的常用技术手段。而如何对遥感数据进行有效的组织、管理、处理、计算与分析，是进行遥感数据信息提取的前提。随着3S技术和信息技术的不断发展，多源、多时空分辨率的遥感数据呈现出海量化趋势，累计数据量往往达到TB甚至PB级。以嫦娥二号月球影像数据为例，原始条带影像的数据量已达到 3TB，处理完成后的产品数据也高达800GB，这样庞大的数据量，已远远超出一般图形工作站的处理能力，对遥感数据的存储、管理和计算都提出了新的要求。
以发生于 2014 年 3 月初发生的马来西亚航空公司 MH370 客机失联事件为例，虽然号称动用了十颗卫星进行搜救，但却收效甚微，其根本原因就在于海量遥感数据计算的困难性，从卫星获取的遥感数据首先要经过一系列校正处理才能投入使用，要在海域遥感数据中到飞机影像信息还需要进行精度要求较高的特征提取与识别，在数据分辨率高、数据量大、时间仓促的情况下，现有技术无法及时有效的完成上述数据处理、提取与识别工作，导致虽然调用了大量资源却无法达到预期目的的局面出现。
因此，依托于发展迅速的云计算、大数据等新兴信息技术，针对遥感数据计算特点，结合计算中的数
据组织管理问题，设计适用于分布式计算的遥感数据组织模型；以该模型为基础，探讨适用于遥感数据的分布式计算模式；以实现分布式混合计算的需求为导向，对地球信息科学领域的大数据理论进行深入研究，建立信息系统中基础设施与数据资源的统一描述方法；围绕此方法，提出面向“广义数据”的系统构建方法，通过一个扁平化的数据注册中心，实现集中计算资源、存储资源、数据资源和网络资源的统一管理；并以此为基础，设计并实现面向海量遥感数据的分布式混合计算框架，建立面向海量遥感数据的高性能计算机制，不但能够推动地球信息科学的发展，并为各相关科研行业和应用领域的发展美胸衣
奠定基础。
综上所述，遥感数据在国内外多个行业的科研和生产工作中得到了广泛应用，针对海量遥感数据的计算研究，由于其对各行业、领域发展的促进作用，也在国内外地球信息科学及其相关领域研究工作中得到了高度重视。解决海量遥感数据计算中存在的理论研究、数据组织管理、多类型计算融合和集资源管理等方面的问题，将能够对国内外多个行业的科研和生产工作造成较为深远的影响。因此，对地球信息科学领域的大数据理论进行深入研究，以大数据的思维模式为指导，以相关的存储、管理和计算技术为基础，研究面向海量遥感数据的分布式混合计算技术，实现对遥感数据的统一存储与管理，提供具备可用性、可靠性和可扩展性的高性能遥感计算服务，无论是对推动地球信息科学的发展，还是对促进各相关行业应用领域的科研进展，都具有着重要的意义。
1.1背景与意义
下面从科学问题和技术问题的角度，谈谈本文的研究背景与意义。
（1）面向“大数据”的遥感计算理论缺乏问题
随着数据量的激增，遥感数据的价值密度随之下降，地球信息科学领域开始逐渐迈入大数据时代，海量遥感数据的存储、管理、计算和应用等问题逐渐与大数据领域接轨，基于遥感数据的科研模式逐渐向符合第四范式的科研方式转变，原有的零散存储、独立管理、局部分析的数据应用方式，已无法满足目前地球信息科学领域中数据密集型遥感计算的需要。如何以海量遥感数据计算的应用需求为导向，完善地球信息科学领域的大数据理论，通过大数据的思维模式指导海量遥感数据计算问题的解决，在此基础上，综合运用面向大数据的各类新兴技术，建立海量遥感数据的高性能计算机制，提供具备较高可用性、可靠性和可扩展性的遥感计算服务，是目前海量遥感数据计算与处理研究中面临的一个科学问题。
（2）面向分布式计算的遥感数据组织管理问题
由于遥感数据的多分辨率、多时相、多源等特点，在进行存储和展示时往往采用多层剖分的金字塔数据模型，实现对数据的组织与管理。现有金字塔模型，对遥感数据进行小粒度的分割，使其能够以更
小的数据单位进行传输和加载，从而提高遥感数据展示的体验感。但数据密集型计算更倾向于“计算推向数据”，
豫公网安备41160202000603
站长QQ:729038198
关于我们
投诉建议