性能提升方案
目录
一、引言 (4)
1.1系统现状 (4)
1.2面临问题及发展趋势 (4)
二、现有业务应用和数据构成 (5)
连续流砂过滤器2.1业务应用需求 (6)
2.1.1基本应用 (6)
2.1.2高级应用 (6)
2.1.3业务应用需求总结 (7)
2.2数据构成分析 (7)
2.3数据存储性能分析 (9)
2.4探索研究 (11)
三、系统提升方案 (12)
3.1系统目标及原则 (13)
3.2系统总体方案 (14)
3.1.1性能提升方案 (14)
3.1.2数据存储方案 (15)
3.1.3数据处理方案 (17)
3.1.4基于云存储与关系数据库的应用系统架构 (20)
3.3系统特点、性能和功能 (21)
3.3.1系统特性 (21)
3.3.2系统特点 (21)
3.3.3系统性能 (22)
3.3.4系统功能 (24)
鬼屋道具3.4平台方案优势 (25)
3.4.1严格遵循国网标准化设计 (25)
3.4.2先进的海量数据管理机制 (25)
3.4.3尽可能少的业务系统改动 (26)
3.4.4成熟的实施案例 (26)
3.4.5丰富的经验、鲜明的特 (27)
3.5优化存储策略 (27)
3.5.1功能描述 (29)
矿用运人车3.5.2分布式文件存储系统 (30)
3.5.3存储访问接口 (31)
3.5.4分级动态存储方式 (32)
3.5.5优化存储关键技术 (33)
3.5.6云分布式调度引擎 (34)
四、应用技术说明及要求 (37)三爪拉马
4.1系统安全性 (37)
4.1.1安全保障体系框架 (37)
4.1.2云计算平台的多级信任保护 (39)
4.1.3基于多级信任保护的访问控制 (43)
4.1.4云平台安全审计 (46)
4.1.5云计算综合安全网关 (49)
4.2系统可靠性与扩展性 (52)
4.2.1系统可靠性 (52)
4.2.2系统扩展性 (54)
4.3数据存储系统 (55)
4.3.1海量数据分布式数据存储构架 (55)
4.3.2适应应用需求的混合存储策略 (57)
4.3.3HDFS数据存储 (58)
4.3.4HBase数据存储 (61)
4.3.5Database数据存储 (63)
4.3.6数据存储的可靠性 (65)
4.3.7数据压缩 (66)
4.4计算与存储集的可靠性与负载均衡设计 (68)
4.4.1计算与存储集Master单点失效容错处理 (68)
4.4.2计算与存储集的负载均衡处理 (75)
4.4.3HDFS的可靠性设计 (77)
4.4.4HBase可靠性设计 (79)
4.4.5MapReduce计算可靠性设计 (80)
4.4.6基于Zookeeper的单点失效和负载均衡设计 (83)
五、系统实施方案 (85)
5.1与原系统整合方案 (85)
5.2工作原理 (86)
5.3实施步骤 (87)
六、下步工作开展建议 (88)
一、引言
1.1系统现状
随着国家电网公司对用电信息采集系统数据要求的提升，业务系统部署的全面推进及业务应用的不断深化创新，采集系统逐渐呈现出覆盖规模庞大、采集数据项复杂、存储数据时间长、业务多样化等特点（如山东、浙江、江苏等覆盖用户数已达1000-2000万的级别），从而面临着海量数据存储慢、重点数据分析实效差、系统整体性能下降等难题。同时，随着深化采集系统应用工作的大力开展，对用电信息采集的数据需求更广、数据挖掘更深、在线分析时效性要求更高。为了充分发挥用电信息采集系统基础支撑作用，满足采集数据深化应用工作和对数据存储、查询、统计、分析及对价值数据深入挖掘的需求，通过领先的技术手段提升用电信息采集系统数据处理性能已势在必行。
1.2面临问题及发展趋势
ngd071
用电信息采集系统发展趋势，以采集系统全覆盖为支撑，深入挖掘采集系统数据，深化应用采集系统功能，加强与营销、配电等相关系统集成，实现电费以采集系统全覆盖为支撑，深入挖掘采集系统数据，深化应用采集系统功能，加强与营销、配电等相关系统集成，实现电费抄核自动化、线损管理精细化、互动服务智能化、费控功能实用化的“四化”目标，全面推进营销发展方式转变，全面提升公司供电服务水平。
用电信息采集系统智能电表数量到2015年将达到三亿块，用户用电信息采集频率更加频繁，且数据是双向互动流转，规模和频率的指数级增长，对用电信息的采集、存储、查询、分析等全生命周期的数据处理能力提出了更高的要求。
系统面临的问题主要有：
1)采集系统数据量急剧增长、数据类型多样、业务应用深化创新，对数据存储、
查询、统计、分析及价值数据挖掘提出更高要求；
2)终端数量及采集频率的剧增，采集数据量由TB级向PB级发展，导致数据采
集入库、分析、存储的压力剧增；
3)面临数据高性能存储和高可扩展性挑战，对系统的健壮性、灵活性、简单性、
可扩展性以及安全性提出了更高的要求；
4)电力业务向智能化、精细化方向发展，对数据处理复杂性、实时性提出更高
要求，跨业务、跨平台的数据挖掘能力需要进一步提升，迫切需要进行技术架构优化和性能提升；
5)电力业务的不断深化导致计算资源趋于紧张。任务更复杂，涉及的数据量更
大，现有资源无法保证在规定的时间内完成；
6)现有系统架构在横向线性扩展能力不足，海量数据处理能力已显瓶颈。现有
系统基于Oracle RAC的数据库集方式，由于其采用共享存储，需要在节点间频繁的复制状态和共享数据块，节点的增加只能加剧数据交换，对于性能的提升则非常有限，且成本高昂。
语音会议探讨和研究用电信息采集系统海量数据处理和性能提升已经迫在眉睫，云计算技术对于海量数据的处理已经在互联网领域、智能交通领域、安防视频监控领域得到验证，所以探讨和研究基于云计算平台的用电信息采集海量数据存储与处理技术，解决现行用电信息采集系统现存问题，符合国家电网技术发展的方向，是建设统一坚强智能电网的重要组成部分，是智能用电服务环节的技术基础。对推动智能用电建设有重要意义。
二、现有业务应用和数据构成
现行各网省公司电力用户用电信息采集系统主站均符合国家电网公司电力用户用电信息采集系统主站软件标准化设计（2012年修订版）规范要求，综合考虑功能特点、业务需求、界面布局等因素，将主站功能划分为基本应用、高级应用、运行管理、有序用电、统计查询、系统管理六部分功能，个别省网公司根据自身业务特点及实际需求，在二级菜单或三级菜单内添加个性化功能模块。
用电信息采集系统是智能用电建设的数据源，是大营销体系建设的基础，是促进“三集五大”体系建设的源动力，用电信息采集系统的基本应用、高级应用和深化应用等功能，都是建立在数据采集的基础上。归根结底，采集数据是落脚
豫公网安备41160202000603
站长QQ:729038198
关于我们
投诉建议