文章编号：0253-4339(2021)03-0100-07
doi：10.3969/j.issn.0253-4339.2021.03.100
徐鑫白雪莲金超强
(重庆大学土木工程学院重庆400000)
摘要数据中心节能和环境控制的基础是确定数据中心服务器的功耗。本文针对以CPU计算为主要任务的应用场景，搭建实验台，利用Lookbusy,Stress,SPECpower_ssj2008三种测试软件，结合服务器运行参数，对服务器功耗和硬件利用率等进行测试分析，对比三种软件的应用效果。研究结果表明：不同测试软件对于服务器硬件资源的利用程度不同，导致服务器功耗也不同，功耗最大差异超过15%，在服务器功耗模型的研究中，应当根据服务器应用场景和硬件利用率的差异选择不同的性能测试软件；其中,SPECpower_ssj2008适合对服务器进行综合测试，而Stress适合测试服务器在极端情况下的运行稳定性。 关键词数据中心；服务器功耗；性能测试软件;CPU利用率
中图分类号:TB61+1；TP31文献标识码：A
Experimental Test on Server Power Consumption Based on Performance
Testing Software
Xu Xin Bai Xuelian Jin Chaoqiang
(School of Civil Engineering,Chongqing University,Chongqing,400000,China)
Abstract Determining the power consumption of data center servers is the basis of data center energy saving and environmental control. At present,it is a common research method that uses performance testing software to fit the server power consumption model under different working conditions.An experimental platform was built with the aim of CPU computing as the main task.Three different test software (Lookbusy,Stress,and SPECpower_ssj2008)were used to conduct the test.This study compared the differences between server power consumption and hardware utilization based on server operating parameters.The results show apparent differences in server hardware calls under an identical parameter setting among different testing software,leading to a maximum deviation of more than15%on the testing outcome of the server power consumption.This indicates that it is important to select the proper performance testing software according to application scenarios and hardware utilization when it comes to the research of the server power consu
mption model.Among the software tested,SPECpower_ssj2008is most suitable for the comprehensive testing of servers,and Stress is most suitable for testing the stability of servers under extreme conditions.
Keywords data center；server power consumption；performance testing software；CPU utilization
过去的二十年，人们对于数据处理、存储和传输需求不断增加，伴随着计算机和电子信息技术的同步发展，数据中心行业爆发性增长。2018年中国数据中心市场业务总规模为1228亿元，占全球市场规模的19.64%，总机架数为271.06万架，预计2021年，中国数据中心市场规模将会达到2769.6亿元，增速超过30%，中国将成为世界数据资源大国和全球数据中心［1］。数据中心能耗也逐年增加,2019年中国数据中心总用电量为1748亿kW-h，占全社会总用电量的2.4%⑷。数据中心的高能耗带来高昂的运
基金项目：国家自然科学基金(51778080)资助项目。(The project was supported by the National Natural Science Foundation of China(No. 51778080).)营成本和环境问题，相关行业也越来越重视数据中心的节能工作。
数据中心的总能耗由IT(information technology)设备、空调系统、电源系统和附属设备等能耗组成。IT设备能耗和空调系统能耗分别占总能耗的45%和40%［4-5］，是大部分数据中心的耗能大户。其中IT
设备的能耗主要由服务器、网络设备及配电设备组成，其中服务器的能耗占IT设备总能耗的70%~ 80%⑷。服务器负责数据中心内部所有数据的计算、处理及存储工作，是数据中心能源的主要消耗者，同
收稿日期：2020-10-22；修回日期:2020-12-31
—100—
时也是数据中心空调系统负荷的主要来源。因此研究服务器功耗模型对数据中心能耗预测具有重大意义。在现有的研究中，通过性能测试软件对服务器进行测试，从而拟合得到服务器功耗模型是常用的研究方法。目前常用的性能测试软件有：Lookbusy、Stress 等Linux系统下的测试软件，以及SPEC(standard performance evaluation corporation)标准性能评估组织开发的针对高性能计算机的一系列测试套件。表1中归纳了部分功耗模型及其测试软件等信息。R. Basmadjian等［7］利用Lookbusy软件以CPU电压、频率、内存频率、硬盘读写速率以及风扇转速为变量建立了针对塔式和机架式服务器的加法功耗模型。P. Garraghan等［8］利用SPECpower_ssj2008(简称SPECpower)，以服务器的产热和散热作为分析依据，认为服务器的功耗模型包括IT组件以及散热组件两部分。R.Kavanagh等［9］利用Stress程序，仅基于CPU利用率来估算整个系统的功耗，利用线性回归建立了功耗模型并提供了应用于虚拟机的模型。Wang Yewan等［10］利用服务器能效测试工具，考虑了
环境温度的影响，分析了服务器进风温度与功率增量之间的关系。G.Dhiman等［11］根据数据中心内部服务器的工作状态，利用SPEC2000测试套件将服务器功耗表示为基准功率和有功功率之和。A.Kansal 等［12］以CPU利用率、LLC(last level cache)丢失次数以及读写字节数为变量，同时考虑CPU、硬盘等组件的利用率，建立了功耗模型。
表1服务器功耗模型
Tab.1Server power consumption models
作者功耗模型因素测试软件
R.Basmadjian等[7]^Server—^Mainboard+^Fan
i-1j—1
+P
厶1PSU
k—1
CPU电压及频率，内存频率，
硬盘读写速率，风扇转速
Lookbusy
P.Garraghan等[8]P Server
=P IT+m P pump+乞nP fan
11CPU利用率,CPU核心温度，
风扇转速
SPECpower_ssj2008
EU_P x二Host_Idle+(Host_P-Host_Idle)
R.Kavanagh等[9]EU Util’
x--------------------------
X-'EU Count
工一EU Util
1—y
CPU利用率Stress
Wang Yewan等[10]P estimated-P idle+"cPU%(P100%-P idle)+Delta(T)
Delta(T)二+a1T+T2
CPU利用率,
夹抱机
服务器进风温度
抑制贴服务器性能测试工具
G.Dhiman等[11]P—P b+P t
base active CPU利用率
SPEC2000测试套件：
mcf,gcc,mesa和gap
A.Kansal等[12]Eps=a CPU弘CPU a mem弘mem+%U disk7
CPU利用率,
LLC丢失次数和读写字节数
SPEC CPU2006套件
和IOmeter
三维网页Jin Chaoqiang等［13］对现有功耗模型进行了统计分析，结果表明CPU利用率是功耗模型中使用最广泛的指标。并且在CPU密集型工作负载中，基于CPU利用率建立的简单回归模型可以提供合理的预测精度［10］，说明在此应用场景中服务器功耗的主要消费者为CPUo如表1所示，为了准确得到服务器的功耗，研究者们利用不同测试软件，选取服务器不同工作参数为变量，建立功耗模型。但在测试软件的选择上较为随意，且目前尚无对于不同软件测试结果的对比分析。服务器作为数据中心能源管理和热管理的基本单元，其功耗直接决定数据中心的整体能耗和空调系统的冷却负荷。准确的服务器
功耗模型可以应用在服务器及其集的能源管理和冷却系统的配置管理中。基于服务器功耗模型和虚拟化技术，管理者可以将工作负载分配到指定的服务器中，其他服务器则可依据任务需求关闭电源或进入休眠模式，进而
—101—
减少服务器的总功耗［14］。数据中心冷却系统的供需匹配是节约制冷能耗的关键，依据服务器功耗模型，可以准确计算IT设备的冷却需求，保证其在所需的环境中正常工作，并避免在设计和运行阶段中造成冷却能力浪费。因此本文针对以CPU计算为主的应用场景搭建实验台，保持服务器进风温度恒定以避免IT设备热效应带来的误差，利用Lookbusy、Stress和SPECpower三款性能测试软件，分析不同测试软件造成的服务器功耗差异及其影响因素。
铝合金切削油1服务器负载及性能测试软件的分类1.1服务器负载类型
因不同行业对数据中心的业务要求不同，服务器的负载类型也不同。如表2所示，服务器负载可分为科学研究、数据分析、业务处理、云数据、可视化和音频、通信及存储等类型⑴〕。在服务器执行不同的工作任务时，对内部组件的要求和利用率也不同，这会导致服务器功耗的差异。科学研究、数据分析等业务对于CPU的利用率较高，且随着CPU多核心、超线程等技术的发展，服务器功耗必将快速增加。而通信及存储业务的硬盘及I/O利用率高，但硬盘和I/O的功耗占服务器总功耗的比例较低，功
耗增长趋势也较缓慢［15］。因此以CPU计算为主要应用场景的服务器迅速发展，造成服务器整体功耗的增加，同时对数据中心的制冷系统和供配电系统提出了严峻的挑战。
表2常见负载类型对IT设备的利用率[13]
Tab.2Common load types utilization of IT equipment[13]负载类型CPU内存I/O硬盘科学研究高中高低低数据分析高中中高中业务处理中高中高中高中高云数据中中中低可视化和音频中中低中低中低通信中低中低中低存储低低中高
1.2性能测试软件
Lookbusy和Stress为Linux系统的性能测试软件，可以通过不同命令改变CPU、内存、I/0、硬盘等组件的利用率，从而测试服务器的性能。
SPEC是一个全球性的第三方非营利性组织，致力于建立、维护和认证一套应用于计算机的标准化基准评测套件。SPEC组织开发基准测试套件，在完成测试并经过检验后会在SPEC网站上公开测试结果。
SPEC基准测试套件包含云、中央处理Java客户端/服务器、存储、功率、虚拟化等。其中SPECpower 是业界第一个用于测量单节点和多节点服务器的性能以及功耗的测试软件。由于服务器
在绝大部分时间内都处于低负载运行状态,IT从业者采取了一系列措施降低服务器处于低负载时的功耗。而SPECpower采用了一种测试方法，可以测试各种系统负载下的性能以及功耗从而衡量服务器工作的能效。SPECpower与Lookbusy、Stress等软件的不同之处是在确定服务器负载时,SPECpower会通过3次校准测试确定该服务器的最大负载，然后根据校准得到最大—102—负载计算对应的目标负载。因此,SPECpower的软件 利用率不能与Stress、Lookbusy软件一样代表CPU的实际利用率,SPECpower软件利用率表示整个服务器的目标负载与校准所得最大负载的比值。SPECpower测试同样考虑了环境温度对于IT设备功耗以及性能的影响，环境温度的测量是一份完整版测试报告的必要条件。
2实验设计
实验平台分为测试服务器和控制主机，测试服务器为一台Dell PowerEdge R740机架式服务器，其配置规格如表3所示。控制主机为1台笔记本电脑，用来向服务器发送指令并收集实验数据。测试主机和控制主机之间利用网线通过IPMI(intelligent platform management interface)智能平台管理端口连接，服务器实验数据通过Zabbix监测系统以及Dell服务器自带的iDRAC(integrated dell remote access controller)戴尔集成远程控制器进行收集。Zabbix系统每隔2s 会自动采集并存储服务器的功耗数据，其精度为2
Wo R.Kavanagh等［16］发现由于IPMI的功率传感器
分辨率较低，会导致Zabbix系统的功耗监测数据和功率计实测读数之间存在偏差。为检验IPMI读数的准确性，在服务器侧安装了功率计，其测量范围为0.5〜4400W，精度等级为1级，读取测试期间服务器的平均功率与IPMI的功耗数据进行对比分析。同时服务器进风侧也设置了3枚K型热电偶记录服务器进风温度，测温范围为-40〜1100C，误差±1.5 C，每10s采集一次数据，保持服务器进风温度恒定且处于标准推荐范围内，避免环境温度的大幅波动对实验造成误差。在Lookbusy A Stress和SPECpower测试期间，服务器进风平均温度分别为22.9C、22.1 C和23.1Co实验平台和实验流程如图1、图2所示。
表3测试服务器配置表
Tab・3Test server configuration
项目规格
CPU Intel Xeon R6130,2.1Ghz,2颗
内存32GBx2
硬盘4TB机械硬盘
电源80PLUS铂金495W
图1实验平台
Fig・1Experimental platform
分别采用SPECpower^Lookbusy和Stress软件在测试服务器上生成负载，负载范围为0%〜100%（以10%为增量）o在实验过程中，Lookbusy和Stress软件在每个负载水平下稳定运行5min后改变工况; SPECpower由软件自行完成一次测试。记录不同负载下服务器的功耗、进风量、进风温度以及服务器的
控制主机温易r功勰测A生成报告
厦流电源
'功衬
I温度g感器T
I蘿||网；各|
|内存“------------彳负载*------------*CPUs
测试主机|
图2实验流程
Fig・2Experimental flow静压实验
工作参数。
3实验结果分析
3・1软件利用率和CPU利用率的关系
图3所示为服务器CPU实际利用率与测试软件利用率的差异。可以发现Lookbusy和Stress软件CPU利用率的实测值和设置值基本一致，满足测试要求。Lookbusy可以通过命令改变CPU的利用率，其偏差在0.8%以内。由于Stress只能启动整数个线程，然后使用任务集将其映射到物理主机的CPU中。因此在确定的CPU利用率所需要的线程数目不为整数时，会存在偏差，但最大偏差在1.5%以内。SPECpower的软件利用率与CPU实际利用率之间呈二次多项式关系，其拟合多项式的相关指数R2二0.993,CPU的实际利用率的增量随SPECpower软件利用率的升高而逐步增大。
―■—Lookbusy
―•-Stress
▲SPECpower
102030405060708090100
软件利用率/%
R2=0.993
图3软件利用率与CPU利用率的差异
Fig・3The utilization difference between software and CPU 由于SPECpower软件的利用率同CPU利用率并不相同，为确定相同CPU利用率下因测试软件不同
—103
—
造成的功耗差异，利用SPECpower利用率与CPU利用率之间的关系，采用插值的方法获得某一确定CPU利用率下的服务器功耗及其他工作参数。
3・2服务器功耗与CPU利用率的关系
图4所示为测试过程中功率计的读数与IPMI监测的功耗数据的差异。可以发现，在服务器处于低负载时,IPMI数据与功率计读数偏差较大，最大可达10%。二者差异随CPU利用率的增长先降低后升高。在服务器CPU利用率为40%-80%时,IPMI和功率计的功耗数据基本吻合，偏差在5%之内，最小
仅为0.38%o随服务器CPU利用率的继续增长，二者偏差略微上升，在CPU满载时IPMI和功率计的偏差为4%o虽然IPMI功耗传感器分辨率较低，导致二者监测数据存在偏差，但IPMI监测数据的偏差对三款测试软件造成的影响基本一致，且在数据中心内部利用直连功率计确定每台服务器的功耗是不现实的,IPMI数据也更易获取和收集。因此在不同工况的对比测试中使用IPMI数据进行分析和讨论是完全可行的。
亠SPECpower(IPMI)〜SPECpower 1on--------------------------------------------------------------------------------—------------
luu0102030405060708090100
CPU利用率/%
图4IPMI与功率计读数差异塑料炼油
Fig・4The reading difference of IPMI and power meter
服务器功耗随CPU利用率的变化如图5所示。实验开始前服务器的待机功耗为156W，约占满载功耗的50%o实验过程中服务器功耗随CPU利用率的增长逐步趋于平缓。但在相同CPU利用率下服务器的功耗随负载软件的不同而存在较大差异，除待机工况外‘Stress软件的测试功耗最高，SPECpower次之, Lookbusy软件测试功耗最低。在CPU利用率为100%时,Lookbusy功耗为286W，为SPECpower软件测试满载功耗313W的91.4%,Stress软件测试满载功耗338W的84.6%o可以发现，即使负载软件的选择不同，但服务器功耗随CPU利用率变化的整体趋势是一致的。相同CPU利用率下服务器功耗的差异是由服务器工作参数的不同所导致。
为了确定不同测试软件造成的服务器功耗差异,—104—
图5服务器功耗随CPU利用率的变化
Fig.5Server power consumption changes with
CPU utilization
对负载稳定时服务器的平均进风量、CPU平均温度及服务器其他组件利用率随CPU利用率的变化进行分析。如图6所示，在进风温度稳定的状态下, SPECpower和Lookbusy的实验过程中服务器的风量约为109m3/h，且全程基本保持稳定；Stress软件在实验过程中服务器的进风量随CPU利用率和温度的变化而改变，在CPU利用率大于30%后，因CPU温度剧烈上升至80C，导致服务器的进风量和风扇功耗显著增加。
(
耒
旦
、*
垢r
即
图6服务器进风量随CPU利用率的变化Fig.6Server air intake changes with CPU utilization
图7所示为服务器CPU温度随CPU利用率的变化情况，在3组实验中服务器CPU的温度并不相同。而服务器CPU的温度越高，其能耗也越大，且CPU的温度不仅影响服务器的进风量，也会产生较大的泄漏电流，导致能源的浪费。有研究表明，当芯片温度达到85C时，无效的漏电占CPU总耗电的一半。因此CPU温度的不同也是导致测试功耗不同的原因之一。减少泄漏电流的有效方法是降低芯片温度，通过冷却降低芯片温度，可以有效减少漏电部分损失，大幅度减少泄露电流，
从而很大程度上降低芯
豫公网安备41160202000603
站长QQ:729038198
关于我们
投诉建议