【摘 要】数据检索、并行计算等越来越丰富的业务对数据中心的流量架构产生了巨大的冲击，需要大量的服务器组成集系统，协同完成工作，这导致数据中心中服务器之间的流量，即“东西向”流量逐渐增大。本文通过设计基于数据中心网络的以太网监测系统，主动建立东西向的流量通道，以评估网络服务和传输质量，可以帮助运营商提高网络的运维能力，并解决及时定位问题。
【关键词】网络性能评估，网络监测
【中图分类号】 TP306+.2/TN919 【文献标识码】 B 【DOI 编码】
borland c 3.110.be.2018008015【本文献信息】赵明.基于数据中心网络东西向流量的监测系统设计[J].广播与电视技术，2018,Vol.45(8).
Design of East-west Traffic Monitoring System for Data Center
Zhao Ming
(Academy of Broadcasting Science, Beijing 100866, China)
Abstract With the advent of cloud computing, more and more services have produced a huge impact on the traffic of data centers, such as data
retrieval, parallel computing and other services. A large number of servers are required to form a cluster system and to work collaboratively. This leads to the traffic among the servers, that is, the east-west traffic becomes very large. This paper researches on the Ethernet system based on the data center network, actively establishes the east-west channel and evaluates the network service quality. The network monitoring can help the operators to improve the network operation and maintenance ability and to find out the problem in time.Keywords Network performance evaluation, Network monitoring
赵明
(国家新闻出版广电总局广播科学研究院，北京 100866)
0 引言
“云计算”的兴起和数据中心的扩展推动着最新的以太网速度升级，而基于云计算技术的数据应用也已
然增加了运营商对数据业务处理的工作负载，同时，多种应用和视频业务等大带宽诉求也驱动了以太网的演进与革新。越来越多的运营商已经开始对数据中心进行重构，10GE 乃至100GE 以太网接口服务器大量部署，万兆业务流量已经发展为数据中心内部的最小流量单元。随着数据检索、并行计算等业务的发展，数据中心的流量调度也从早期的“南北向”流量，即数据中心外部用户和内部服务器之间的交互流量，转变为数据中心内部服务器之间交互的“东西向”流量。
在这种数据中心网路架构模式的演进过程中，针对数据中心内部的东西向网络流量监测对于确保数据和业务传递的稳定性就显得尤为重要。通过设计基于现场可编程门阵列（FPGA ，Field -Programmable Gate Array ）的高速流量发生模块，并通过远程的配置触发请求和结果获取，可以有效地监测数据中心内部的网络传输质量。
1 总体设计原则和结构
面向数据中心网络“东西向”流量的监测系统，采用B /S 两级架构设计，方便网管人员通过具备浏览器的控制设备（台式主机、笔记本电脑等）对监测模块进行远程配置和管理。系统功能包括对监测模块端口的配置、网络端口流量的监测、
CATV ︳
有线网络
RFC2544测试指标[1]的测试方法学实现，能够对基于万兆接口的数据中心网络进行自动化或手动测试，从而较容易评估整体网络端到端的性能和功能。具体系统设计结构图如图1所示。
2 监测模块的硬件设计
监测模块的硬件采用嵌入式系统结合FGPA 方案的架构方式，嵌入式系统负责进行相应的功能算法实现，FPGA 则负责纳秒级别的数据流转发。采用FPGA 实现硬件协议栈具有以下优势：
1. 万兆以太网络对CPU 的处理能力和开发板存储性能要求较高，FPGA 可以集成协议帧的接收、分拣、打包和发送于一体；
2. FPGA 的可编程可配置特性，可以将监测模块部署在不同的网络环境中；
3. 硬核编码实现协议栈，可以提高执行效率和统计精度[2]。
硬件设计如图2所示。
嵌入式系统采用Freescale 的I .MX6系列处理芯片，配置主频1.2GHz 的ARM Cortex -A9架构单核处理器，其指标基本满足模块对算法计算的需求。核心处理与FPGA 之间的数据通信接口包括LocalBus 和PCI -E 2.0接口，这样就可以通过
LocalBus 总线复用进行FPGA 的位文件加载以及FPGA 的配置和数据通信等功能。由于LocalBus 是并行数据总线，FPGA 程序可提高加载速度，整个系统的启动时间将大大缩短。FPGA 芯片选择Xilinx V6LX240T 芯片，该芯片具备高性能的3.125Gbps 收发器，通过4个收发器的捆绑实现与高速万兆以太网连接端口XAUI 的对接。物理层芯片使用的Vitesse 的VSC8488芯片，通过两组XAUI 接口实现MAC 与PHY 的通信。VSC8488支持多种网络模式，对外采用SFP +接口进行数据的收发。
3 软件功能设计
为了准确获取数据中心内部东西向流量的传输特性，系统在监测模块中实现了BERT 误码率测试和基于RFC2544的指标测试功能，大大提高传统点对点心跳健康检查的不足。功能结构如图3所示。
3.1 整体测试流程
为了在系统中实现这些功能，主要采用如下策略实施：1. 调度服务器部署标准的HTTP 服务，客户端设备通过浏览器进行系统配置和指令下发；
2. 监测模块的嵌入式系统根据相应指标的标准算法完成流量的配置，并通过API 接口将测试结果反馈给调度服务器；
3. FPGA 程序设计负责对数据报文的生成和转发；
4. 通过监测模块的API 接口返回结果，由调度服务器完成结果数据的统计和报表生成。
3.2 BERT 测试方法
BERT 测试主要用于统计网络东西向间的传输误码率和乱序率，包括数据发送、数据接收和数据比对三个步骤。
对于误码率，在一个端点产生负载为伪随机码的数据流，
通过发送数据帧至对端；接收端接收数据流，通过数据比对计算得出整个数据流收发过程中的误码率。
对于乱序率，从一个端点按照一定的速率（比如每秒50个包）进行连续发送，每一个发送的数据包都有一个序号而且该序号是连续的，采样间隔为1秒，那么每1秒接收端会统计接收到的数据包，然后计算乱序的包的个数，假设为M ，
100%。
3.3 RFC2544测试方法
RFC2544测试主要统计东西向网络的数据传输质量，包
图2 硬件设计结构图
有线网络 ︳ CATV
括端到端的丢包率、往返数据传输时间延迟和抖动等性能参数。
对于丢包率，从一个端点按照一定的速率（比如每秒50个包）进行连续发送，采样间隔为1秒，那么每1秒接收端会统计接收到的数据包，假设收到的数据包的个数为M (M 应该小于等于50
)，那么在该采样间隔计算得到的丢包率为
100%。
水利水电技术对于延时和延时抖动，从一个端点按照一定的速率（比如每秒50个包）进行连续发送，采样间隔为1秒，每一个发出的包都带有时间戳，那么每秒接收端会统计接收到的数据包，当收到数据包后，会取数据包中的时间戳假设为Time1，然后取系统的时间戳，假设为Time2，那么针对这个数据包测量的延
时值为Time2〜Time1。
最后计算的平均延时值是采样周期内所有测量值的平均，最大延时是采样周期内所有数据包延时的最大值，最小延时是采样周期内所有数据包延时的最小值。而延时抖动的测量与延时值有关，其定义为采样周期内相邻两个数据包测量的延时值之差的绝对值。
4 监测流量的FPGA触发
通过相应算法完成测试模块的算法和流量的配置程序设计后，对于FPGA 的数据报文配置，则按照单流测试方式，配置给FPGA 模块是单带宽和单包长，对于万兆以太网的计算方法是：
10Gbps =8bits ×(Length +Gap ）×N
其中，Length 表示帧长度，Gap 表示帧间隙，N 表示帧数。在发送端通过设置100%满带宽发送64字节的数据帧，帧间隙20字节（包括以太网最小帧间隙12字节+数据链路层帧7字节的前导字符+帧开始标识1字节），根据公式得出FPGA 寄存器需要填写的帧数为：
N
14880952
对于FPGA 的寄存器配置，一个时钟周期传送8个字节，
配置FPGA 的Gap 值为20字节÷8字节=2.5，写入寄存器的帧数14880952。
通过在调度服务端和监测模块端部署相应的代码，完成整个监测系统的流量触发和数据统计功能。
热解焚烧炉5 结束语
随着数据中心网络架构技术的逐步成熟，数
据中心流量模型也发生了显著的变化。虚拟机的迁移和业务交换从传统的二层流量向三层转变。通过增加封装，将网络拓扑由物理二层变为逻辑二层[3]，对于一些协议层面的监控需求提出新的要求。对于东西向流量的识别，有助于管理员对流量进行精准的控制，大大提高网络带宽的利用率，并且可以构建更加智能的网络，在今后的研究工作中有待进一步地增强系统的功能。
本论文受基本科研业务费课题JBKY2017010《数据中心万兆以太网网络监测技术研究》资助。
参考文献：
[1] IETF .RFC2544, Benchmarking Methodology for Network Interconnect Devices [S ].2013.
[2] 夏杨.基于FPGA 的万兆以太网数据分发平台设计[D ].北京：北京理工大学，2016.
[3] 费钰江.浅谈数据中心网络架构的发展[J ].网络安全技术与应用, 2014 (8) :P11.
作者简介：
赵明，男，1979年生，高级工程师，主要从事数据网络传输技术，网络测试方法学等领域的研究工作，并在该领域
让子弹飞 配乐
发表多篇论文。
图3 链路特性测试功能结构夏木尼
豫公网安备41160202000603
站长QQ:729038198
关于我们
投诉建议