【摘 要】 本文将ProxMox-VE 超融合架构平台应用到宁波广播电视发射中心监控平台中，实现对监控服务进行统一web 管理，利用ceph 分布式存储系统实现数据存储，采用HA 集技术实现服务高可用性。实施过程中，利用NTP 服务提供服务器时钟同步，采用虚拟网络Vlan 技术，实现对多个发射台站网络互通。超融合架构平台首次应用到发射系统综合监控，为今后监控运行在云服务平台进行了积极探索，对建设低成本、高可靠广播电视发射综合监控系统具有重要参考意义。【关键词】 HCI 超融合， HA 集平台， ceph 分布存储， 虚拟网络【中图分类号】 TN939.1 【文献标识码】 B电解离子接地棒
【DOI编码】 10.be.20200012019【本文献信息】庄严.超融合架构平台在发射监控系统中的应用[J].广播与电视技术，2020,Vol.47(12).
Application of Hyper-converged Infrastructure in
Transmitting Monitoring System Zhuang Yan
(Ningbo Radio and Television Transmitter Center, Zhejiang 315175, China)
Abstract In this paper, ProxMox-VE hyper-converged Infrastructure is applied to monitoring platform of
Ningbo Radio and Television Transmitter Center to realize unified web management of monitoring services. CEPH distributed storage system is used to achieve data storage, and HA cluster technology is used to achieve high services availability. In implementation process, NTP service is used to provide server clock synchronization, and virtual network VLAN technology is adopted to realize network interworking of multiple transmitting stations. Hyper-converged Infrastructure platform is first applied to integrated monitoring of transmission system, which is an active exploration for monitoring operation in cloud service platform in the future, and has an important reference significance for the construction of a low-cost and highly reliable integrated monitoring system for radio and television transmission.
Keywords Hyper-converged Infrastructure(HCI), HA cluster platform, CEPH distributed storage, Virtual network
庄严
（宁波广播电视发射中心，浙江 315175)
0 引言
超融合基础架构（HCI ）是一种软件定义的IT 基础架构，可虚拟化传统“硬件定义”系统的所有元素。 HCI 至少包括虚拟化计算（hypervisor ），虚拟化存储（软件定义存储，一般为分布式存储）和虚拟化网络（软件定义网络）。 毫无疑问，超融合在近年来已经成为IT 基础架构领域最具颠覆性的架构之一，它不仅深刻改变着用户IT 基础设施的采购和使用模式，更影响着整个IT 基础架构市场的格局。
目前广播电视发射系统自动化监控已经普遍应用，但是作为核心服务器架构更多使用的是传统模式，即单机或者主备机模式。宁波广播电视发射中心在2019年启动建设一个发
射融合业务集中监控平台，将下属5个广播电视发射台通过专用网络连接，实现对信源、切换、发射、动力环境集中监控，远程控制。在中心服务器平台，首次引入超融合基础架构，将核心服务器、协议转换服务等应用通过虚拟机方式部署到服务器集，实现统一管理和HA 高可靠性。
1 问题提出
宁波广播电视发射中心安播业务融合平台，主要实现对下属5个发射台广播电视节目发射系统的综合监控。中心安播融合平台需要提供发射机综合监控、协议转换、数据库服务等系统应用。如果采用传统模式，每个服务部署在一台服务器上，投入资金较多，并不能提供冗余备份功能。为了更
好的利用硬件资源，方案设计初步阶段就设想将服务器部署在集中，采用虚拟机部署方式对外提供各种服务。
2 平台选择
在集平台选择方面，我们也测试过Vmware公司的EXSI虚拟系统，因为购买版权需要较多费用，最终我们选择免费开源系统：Proxmox VE系统作为融合业务集平台。
Proxmox VE是一个虚拟化平台，可以紧密集成计算，存储和网络资源，管理高可用性集，备份、还原以及灾难恢复。所有组件都是软件定义的，并且彼此兼容。因此，可以通过集中式Web管理界面像单个系统一样对它们进行管理。这些功能使Proxmox VE成为部署和管理开源超融合基础架构的理想选择。
Proxmox VE是一个既可以运行虚拟机也可以运行容器的虚拟化平台。Proxmox VE基于Debian Linux开发，并且完全开源。出于灵活性的考虑，Proxmox VE同时支持两种虚拟化技术：KVM虚拟机和LXC容器，其基本框架结构图如图1所示。
采用Proxmox VE平台最大优势：
1. 去中心化：没有专门的控制节点、没有共享存储。节点集去中心化，分布式存储集Ceph也是去中心化的。
2. 统一管理界面：web管控物理节点、虚拟机、容器、存储、网络、克隆、迁移、备份、恢复。
3. 快速部署：iso一键安装，功能几乎全部集成；安装过程仅仅需要输入密码、ip地址等少数信息。并且对旧服务器支持非常好，可以很容易在X86架构服务器上安装。
4. 灵活可控：底层是完整版本的debian9，系统安全可靠，基于KVM虚拟化技术。
5. 更高的可用性：去中心化加上前端负载均衡、支持HA高可用性，可用性比常规模式要高好几个量级。
6. 更低的建设成本：因为是开源软件，没有巨额的软件授权费（商业软件是按cpu 核数计算授权费的，采购一台服务器，授权费少则几万，多则数十万）。超融合去中心化，省去了昂贵的共享存储（光纤阵列等）。自行采购服务器，按需插上磁盘，比商业的超融合硬件，便宜很多。
7. 易于恢复与重建：支持系统快照、镜像备份，在线迁移，保证数据的安全及业务的连续性，极端情况下，即便整个系统崩溃，也能迅速重建并恢复。
Proxmox VE平台支持CEPH分布式存储系统，不需要配置昂贵的SAN等网络存储系统，通过三台以上服务集，可以组成一个分布式储存池，解决虚拟机操作系统安装和监控数据存储，并支持备份、快照、系统迁移等功能。同时Proxmox VE平台支持强大的虚拟网络定义，在集中监控平台中，可以规划每个台站使用不同Vlan，单台虚拟机与多个台站通讯，避免数据风暴和流量拥堵。
3 具体实施方案
实际应用中，本次超融合平台采用3台联想服务器，组建一个集。每台服务器安装1块300G SAS硬盘用于安装Proxmox VE平台软件，再安装两块300G SAS硬盘用于Ceph 分布式存储系统。具体硬件配置：联想SR630机架式服务器，CPU：Xeon Bronze 3104，内存类型：DDR4 16GB 硬盘：SAS 300GB×2。
三台服务器安装Proxmox VE V5.4版本（考虑系统稳定性，未选择最新版本）。具体下载地址：www. proxmox/en/downloads。
下载iso文件后，采用balenaEtcher-Portable 制作工具，解压缩到U盘，然后U盘启动服务器进行安装。
三台服务都安装完成后，在其中一台服务器上，创建fszx集，其余两台服务器加入该集，在上面安装虚拟机提供服务。实际系统中安装两台Windows7虚拟机为发射一台、发射二台对接协议提供转换服务。另外部署一台Windows server服务器虚拟机，安装URM（发射系统综合监控）服务器，用于集中监控管理。
具体结构示意图见图2宁波广电安播业务融合平台高可用性服务集架。空调节能器
因为采用集服务模式，所有虚拟机都支持热迁移。同
图1 Proxmox VE基本框架结构图
Proxmox GUI 概览图、图4 PVE 平台虚拟机使用资源概览）。
从图3中，可以看到3个节点组成集，分布式存储系统Ceph 工作状态正常。
通过图4 PVE 平台集系统概览图，可以看到每台node 服务器使用资源状态，硬盘、内存、CPU 占用比例，同时虚拟机运行状态也一并展示。
4 主要难点解决
在集平台建设中，我们主要解决了三个技术难点：1、服务器同步时钟问题；2、分布式存储方案；3、虚拟网络应用；
1. 服务器时钟同步
由于Proxmox 的集对各台服务器时钟要求严格同步，常用的做法是与互联网中的时间服务器做实时同步。但是我
们发射自动化监控系统基于安全考虑，与互联网是物理隔绝，无法做到与外网时钟进行同步。解决方案就是选择其中一台PVE1（192.168.40.201）作为NTP 时间服务器，其余两台与它进行时间同步。
具体实施步骤：（因ProxmoxVE 系统底层采用Debin9
图2 宁波广电安播业务融合平台高可用性服务集架
图3 Proxmox GUI概览图
时，三台服务器又采用冗余热备份，在其中一台设备出现故障时，自动迁移到其他正常服务节点（服务器硬件）提供服务，以保证业务不中断。
安装过程此处省略，可以参考Proxmox 公司官方文档，或者网上其他文章。下面主要展示几个管理页面（详见图3
linux操作系统，安装软件建议在连接互联网状态进行，安装完成，断开互联网）。
1）ssh登录到pve1节点服务器，在第一台服务器安装ntp server
#apt-get install ntp
2）修改/f
增加：
server 127.127.1.0 # local clock====
###以局域网内的时间服务器为客户端提供时间同步服务
fudge 127.127.1.0 stratum 10
restrict 192.168.40.0 mask 255.255.255.0 nomodify notrap
### -------允许192.168.25.0网段访问ntp服务器；
隔音仓broadcast 192.168.40.201
3）重启ntp 服务
#service ntp restart
用ps -ax |grep ntp
检查ntp服务是不是在后台运行了。
netstat -tulunp |grep ntp
检查是不是对udp 123端口进行监听。
4）其他服务器同步第一台服务器；
Ssh登录其他服务器，修改/etc/f文件，在[Time]下加入NTP服务器列表，例如:
[Time]
NTP=192.168.40.201
然后重启systemd-timesyncd
#systemctl restart systemd-timesyncd
5）用下面命令检查systemd-timesyncd
#journalctl --since="2019-11-11 08:00:00" -u systemd-timesyncd
正常应该类似
Oct 28 12:51:24 pve2 systemd-timesyncd[10339]: Synchronized to time server 192.1
Oct 28 13:00:52 pve2 systemd[1]: Stopping Network
Oct 28 13:00:52 pve2 systemd[1]: Stopped Network Time Synchronization.
Oct 28 13:00:52 pve2 systemd[1]: Starting Network Time
图4 PVE平台虚拟机使用资源概览
<
Oct 28 13:00:52 pve2 systemd[1]: Started Network Time Synchronization.
Oct 28 13:00:52 pve2 systemd-timesyncd[40309]: Synchronized to time server 192.168.40.201：123
6）检查时钟服务同步状态：
#timedatectl status
通用硒鼓
#timedatectl timesync-status
到此，所有node节点服务器都与第一台进行了时钟同步。
2. Ceph分布式存储系统
传统虚拟机集解决方案通常采用共享存储方式解决数据存储、镜像、备份、快照功能。一般采用SAN或NFS等存储架构。Proxmox VE在V5版本开始支持最新的Ceph分布式存储系统，进一步降低了系统成本，提高了系统可靠性。采用Ceph分布式存储系统，实现存储系统高冗余。所有服务器的硬盘组成一个Ceph存储池，实现容量扩充、冗余性。单个硬盘、单节点存储错误不会造成数据丢失。
实际应用中，我们在每台服务器安装两块300G SAS硬盘，6块硬盘组成一个Ceph分布存储池。具体安装主要步骤：1）web管理界面进入单台服务器命令行shell，选择ceph 进行安装；不进入配置；
#pveceph install
2）登陆pve1，ceph网络初始化；
#pveceph init -network 10.0.0.0/24
3）创建mon监控
#pveceph mon create
4）创建ceph集存储OSD服务
#pveceph createosd /dev/sdb
#pveceph createosd /dev/sdc
============web界面检查pve1 osd已加入；
5）其他主机重复以下动作
创建mon监控
#pveceph mon create
创建ceph集存储OSD服务
#pveceph createosd /dev/sdb
========检查web页面，应该三台服务器硬盘都显示ceph osd（Bluestore）；
6）创建资源池
#ceph osd pool create fszxclusters 128 128
7）添加RDB存储
ID：填写为ceph 必填，不能定义
资源池：fszxclusters（默认为rbd）
#Monitor：pve1 pve2 pve3 （注意添加多个Mon以空格隔开）
8）添加节点：pve1，pve2，pve3
3d打印建筑内容：磁盘镜像、容器；服务器平台
用户名：选择通过pve 来管理ceph 确定
在这里我们还需要添加密钥激活才能正常使用存储（在其中一台服务器操作就可以）。
复制存储ID和密钥到指定文件位置
进入/etc/pve/priv目录
#cd /etc/pve/priv
复制client.admin.keyring到/etc/pve/priv/ceph/ceph.keyring 并改名
#cp /etc/ceph/ceph.client.admin.keyring /etc/pve/priv/ceph/ ceph.keyring
用命令行检查ceph 状态；
ceph -w
安装完成，可以通过web管理页面来查看ceph存储状态，正常应该如图5所示。
到此，应该可以使用创建的ceph来安装虚拟机。
3. 虚拟网络应用
为了保证中心管理平台与各台监控系统良好通讯，又保证数据相互隔离，我们采用Vlan技术来进行通信。发射中心采用Vlan40段，ip地址为192.168.40.0，下属各台为Vlan31～Vlan35，ip地址分配192.168.3x.0。数据转换服务器需要将各台数据经过转换协议后上报中心URM总服务器。因此在PVE
虚拟机中，采用虚拟网络方式实现通讯，具体做法：1）在每台虚拟机创建vmbr2、vmbr3虚拟网桥，对应物理网卡为eno1.121、eno1.122（即第一张网卡，对应vlan121、vlan122）；为了便于下一步VM虚拟机迁移后，每台服务器上都需要有对应虚拟网络，需要所有节点服务器都绑定虚拟网卡。图6 展示了PVE1主机虚拟网桥vmbr配置情况。
2）安装VM虚拟机windows7，在系统中添加两块网卡，第一块网卡对应vmbr1，第二块网卡对应vmbr2虚拟网桥；
3）windows中分配ip地址
网卡1：192.168.40.11（对应vlan40，与中心服务器通讯）；
豫公网安备41160202000603
站长QQ:729038198
关于我们
投诉建议