iMaster NCE-WAN场景大数据分析技术白皮书 iMaster NCE-WAN场景大数据分析技术白皮书
目录
1 简介 (1)
2 前言 (2)
2.2 NCE-WAN大数据分析的职责 (2)
3 技术与方案介绍 (3)
3.1 整体架构 (3)
4 关键技术 (4)
4.1 大数据平台架构技术 (4)
4.1.1 大数据分析平台 (4)
4.1.2 分布式文件系统 (5)
4.1.3 分布式数据库 (5)
4.1.4 大数据计算框架 (6)
5 应用场景和方案亮点 (8)
5.1.1 客户问题及挑战 (8)
5.1.2 解决方案 (8)
5.1.3 亮点介绍 (9)
5.2 网络质量和增值业务分析............................................................................................................... 错误!未定义书签。
5.2.1 客户问题及挑战 ............................................................................................................................ 错误!未定义书签。
5.2.2 解决方案......................................................................................................................................... 错误!未定义书签。
5.2.3 亮点介绍......................................................................................................................................... 错误!未定义书签。
1 简介
关键词：
大数据、性能监控、大数据分析
摘要：
本文介绍管理海量设备的场景下，通过大数据分析技术对设备的海量性能数据进行采集、存储、统计分析、查询。 2 前言
随着管理规模的增长，面对被管理设备上报的海量数据，传统关系型数据库已经很难适应海量性能数据的存储、统计需求。
为了解决这些问题，NCE-WAN中引入了大数据分析平台，负责海量性能数据的采集、存储、分析、查询。
2.1 海量数据分析的诉求
2.2 NCE-WAN大数据分析的职责
2.1 海量数据分析的诉求
随着网络技术的飞速发展，企业网络规模也在不断扩大，大中型企业客户需要管理和维护少则几百台多则上千台的设备，NCE-WAN需要管理很多租户的设备，设备的总规模在几万台以上，相应需要处理的设备性能数据也是海量的，因此对海量数据的分析诉求非常迫切。
2.2 NCE-WAN大数据分析的职责
NCE-WAN通过大数据分析系统，主要解决如下的问题：
●所有被管理设备的性能数据等的采集；
●通过大数据系统的分布式数据库对数据进行存储；
●对性能数据进行周期汇总统计，计算出按分钟、小时、天的统计数据；
●性能数据的查询展现。
3 技术与方案介绍3.1 整体架构
3.1 整体架构
NCE-WAN场景下，各种设备通过HTTP2.0+Protobuf上报协议将性能数据上报，上报的数据经过网元驱动进行解析。解析后的数据上报给后台服务，基于大数据运算部件Spark完成业务维度的汇聚，并将结果写入HBase数据库。
管理组件服务到HBase数据库中查询，供历史趋势、TopN等界面展现。
4 关键技术
4.1 大数据平台架构技术
4.1 大数据平台架构技术
4.1.1 大数据分析平台
NCE-WAN中的大数据分析平台使用的华为FusionInsight HD平台，FusionInsight
HD的整体架构如下图：
图4-1FusionInsight HD整体架构
FusionInsight HD的Hadoop层提供大数据处理环境，基于社区开源软件增
强，按照场景选择业界最佳实践
豫公网安备41160202000603
站长QQ:729038198
关于我们
投诉建议