首页 > 专利查询

大型云平台系统集成方案

云平台系统集成实施方案

1
项目背景

1.1概述

本期（八期）在枢纽楼机房新增4台IBM-P750小型机；新增1台日立HDS存储，可用容量75TB；新增26台PC服务器；扩容HP光纤交换机，每台扩容48个8GB SDP短波光纤模块。

本期建设思路：通过新增主机、优化部署方案，增强了各数据集市处理性能；通过新增、迁移、整合存储资源实现除A、B外所有数据集市6+1的存储要求；创新性的建设云ETL系统平台。

红部分表示新增设备及扩容设备。

2云平台建设方案

2.1云平台网络建设方案

本平台作为经营分析系统的子系统，基于Hadoop平台架构，数据采集方式包括接口文件采集和网页爬取。接口文件包括对WAP日志等日志数据、GPRS话单、WLAN话单等接口数据进行采集；网页爬取是利用爬虫技术对互联网网页信息进行爬取。

平台从网络结构主要分为内部局域网和外部接入网两个部分。

内部局域网是系统的核心，连接各功能服务器，实现系统内部各功能模块数据交互的网络承载支撑。鉴于本项目局域网内数据流量大，数据种类多，必须采用高速局域网，提供高速无阻塞的通道。

网络逻辑架构图如下：

安全域划分方面，根据各服务器的安全级别以及访问对象，将不同安全级别的服务器部署到不同的安全域中。Hadoop平台的服务器与其它经营分析系统核心服务器一样，都部署在核心域的经营分析系统子域。

爬虫服务器需要访问互联网爬取网页，因此部署在互联网接口子域。它通过外网防火墙从互联网爬取网页；通过内部双层异构防火墙，以及DMZ区网络安全隔离措施，与接口服务器交换数据。（考虑到公网资源问题爬虫服务器只能部署到***12楼机房接入CMNET）.

本子系统相关安全域的访问需求和安全访问策略如下：

服务器	安全域	出站访问需求双向节流阀	入站访问需求
Hadoop平台服务器	经营分析系统子域	到网管前置接口机上FTP取数据到爬虫服务器的数据传输	不允许
爬虫服务器	互联网接口子域	访问互联网。需要地址转换；不允许访问其它内部域	不允许互联网域访问内部核心域传送文件及拉取文件

IP地址规划表：

主机名	IP地址分配	网关	备注
Managernode	待分配	待分配
Namenode01	待分配	待分配
Namenode02	待分配	待分配
Datanode01-17	待分配	待分配
Pachongnode	待分配硅胶模具制作方法	待分配

2.2云平台系统集成部署方案

2.2.1 云平台服务器硬件信息

本系统服务器包括：1台管理调度服务器，16台数据节点，2台爬虫服务器，2台hadoop管理节点。

服务器平台

服务器名称	数量	配置	安装软件	部署位置
爬虫服务器	2	4个8核CPU，64GB内存，2个600G SAS盘共2.4T	CentOS，互联网数据采集应用	互联网接口子域（***）
管理调度服务器	1	4个8核CPU，64GB内存，2个600G SAS盘共1.2T	CentOS MYSQL TOMCAT	经分核心子域
namenode	2	4个8核CPU，64GB内存，4个600G SAS盘共4.8T	CentOS hadoop hive habase Zookeeper	经分核心子域
数据节点	16	4个4核CPU，16GB内存，4个600G SAS盘，共38.4T	CentOS hadoop hive 卫生杯habase Zookeeper	经分核心子域
数据节点	1	4个8核CPU，64GB内存，2个600G SAS盘	CentOS hadoop hive habase Zookeeper	经分核心子域

2.2.2 服务器OS部署

操作系统选择：

CentOS 5.8

注：目前hadoop 主要开发维护公司Cloudera内部使用的是CentOS 5.8。兄弟公司均采用CentOS系列。另，CentOS无版权问题，可以直接用于商用，兼容RedHat。

系统安装要求：

1. 组件安装

Server + 自定义安装（桌面gnome、KDE、gui均不需要安装）

自定义部分：主要涉及开发库、开发工具相关。(x 相关均不需要安装)

2. 配置

关闭selinux

关闭 iptables和iptables6

运行级别为：3

2.2.3 服务器硬盘及分区

hadoop 数据节点和爬虫节点不需要做RAID，Name和管理节点需要做RAID。

详细情况如下：

数据节点和爬虫节点：（19台）

不需要做硬、软件RAID，把机器中的除系统root、boot、swap分区外校园网管理系统(每一块硬盘)，其他硬盘都以/data[N]的方式直接mount到root分区上。

第一块硬盘

/dev/sda(mda) 第一块硬盘
分区	大小	分区类型
/boot	200M	ext3
/	-	ext3
swap	16G	swap

其他硬盘

/dev/sd[b-z] 其他块硬盘
分区	大小	分区类型
/data[N]	-	ext3

注：因后期实验需要，千万不能采用LVM或soft RAID模式。LVM和soft RAID部分由项目组按实验场景后期配置。

Name 节点(2台x 4硬盘)

建议做硬件RAID0+1或RAID5。硬件不满足的条件，建议使用LVM+soft RAID，做RAID0+1。系统配置和data节点一致。

/dev/md0
分区	大小	分区类型
/boot	200M	ext3
/	70G	ext3
/data	-	ext3
swap	64G	swap

管理调度节点（1台x2硬盘）

建议做硬件RAID0+1或RAID5。硬件不满足的条件，建议使用LVM+soft RAID，做RAID0+1。系统配置和data节点一致。

/dev/md0
分区	大小	分区类型
/boot	200M	ext3
/	-	ext3
swap	2G	swap

3施工总体进度安排

为了确保本次扩容顺利进行，建议采用里程碑的模式：分阶段、严格按步骤进行。每阶段实施完毕，上线运行正常后，严格按要求验收合格后再进入下一阶段的实施。

以下就本期项目实施步骤概述如下：

项目任务	完成情况	预计开始	预计完成	备注
准备阶段
项目调研	完成
项目实施文档编写	完成
实施阶段（机房建设）
锦园PC服务器安装上电，操作系统安装	未完成
爬虫服务器安装上电，操作系统安装	未完成
网络线缆布放及测试	未完成
云平台应用软件安装	未完成
云平台应用测试	弹簧包未完成
验收阶段
初验文档编写	未完成
初验文档签字、盖章	未完成
终验文档编写	未完成
终验文档签字、盖章	未完成

本文发布于:2024-09-24 02:34:57，感谢您对本站的认可！

本文链接：https://www.17tex.com/tex/4/273414.html

上一篇：平台快速部署说明

下一篇：云中间件的监控平台搭建教程(十)

标签：服务器数据平台接口新增

留言与评论（共有 0 条评论）