计算机世界/2010年/12月/6日/第022版
张颖琪上海超级计算中心上海陈延钧黄坤振艾默生网络能源有限公司深圳朱利伟中国工程建设标准化委员会数据中心工作组北京
关键词超算中心能效PUE SCCE PPW 超级计算机数据中心制冷水冷
摘要以超算中心为代表的高性能计算机系统功率密度高，长期运行在高负荷率状态，耗能极高。在研究了上海超算中心的“5000A”和“4000A”超算系统的基础设施设计、运营和能耗结构的基础上，分析PUE构成和影响，以及主机能效PPW，提出了评价超算中心整体能效指标SCCE。上海超算中心两套不同超算系统能效对比分析，对超级计算或高性能计算中心的高功率密度运营，节能减排，降低运营成本有着非常重要的意义，为今后类似的高功率密度，高耗能数据中心的设计和运营提供了有益的经验和指导。 1 概述
上海超级计算中心是重要信息基础设施，是国内首家面向社会开放的、资源可共享的高端计算平台，于2000年年底正式建成并投入运行。在2004年8月，中心引入曙光“4000A”超级计算机系统，峰值运算速度达到每秒11万亿次浮点运算(11IFLOPS)，LINPACK运算速度超过每秒8万亿次浮点运算。2009年6月，
中心部署的曙光“5000A”(魔方)超级计算机系统，其更是以峰值速度230万亿次/每秒、LInpack性能测试值180万亿次/每秒的成绩，位列当年亚洲第一。两款超级计算机系统都在当年的全球高性能计算机TOP500排行榜中排名第十。[1]、[2]、[3] 上海超级计算中心也依靠这两套系统成为目前国内商用运营的最大超算中心，全球计算能力最强的高性能计算中心之一。本文对上海超级计算中心的曙光“4000A”超级计算机系统运行5年间和曙光“5000A”超级计算机系统运行1年多的能效数据进行了研究，分析了商用运行的超级计算机系统的运行特点和发展方向，指出了高能效、高可靠的基础设施设计、建设、运营思路。
2 两套超级计算机系统基础设施构成
由于超级计算机系统设备功率密度高，长期运行在高负荷率条件下，IT设备能耗比较稳定。为保障其可靠工作，其基础设施系统也比较复杂，耗能较高。为保证超级计算机系统的计算机主机系统可靠运行，中心采用了UPS供电系统和机房精密空调系统为主的基础设施系统，以保证主机系统稳定、可靠的用电和设备环境。 曙光“4000A”超级计算机系统共有45台机柜，包括32台计算机机柜、4台网络机柜、4台I/O机柜、5台存储机柜。主机系统最大总功耗达320KW，日常运行功耗285KW左右，计算机柜最大功耗密度近10kw/机柜。主机房和存储等外设机房占地大约280平米。基础设施系统采用2台400kV A UPS组成的“
1+1”冗余并机系统供电；5台80kw风冷型机房精密空调，4用1备运行制冷，并采用地板下送风、上回风的机房内整本送回风的形式。系统供电结构图见图1、图2。
曙光“5000A”超级计算机系统共有65台机柜，包括42台计算机机柜、10台I/O和网络机柜、13台存储机柜。主机系统的最大总功耗为1015kw，日常运行功耗800kw左右，其中计算机系统最大功耗900kw、I/O和网络系统最大功耗4 5kw、存储系统最大功耗为70kw。主机房和存储等外设机房占地大约380平米。基础设施系统采用4台400kV A UPS组成的“3+1“冗余并机系统供电；由于计算机机柜内功耗密度最大达到23kw/机柜，因而对42台高功率密度计算机机柜采用每台机柜独立制冷的水冷机柜制冷系统，总制冷容量达1000kw；I/O和网络机柜等设备所在的主机房采用3台80kw机房精密空调制冷；存储机房采用3台4 0kw机房精密空调制冷。[4]、[5]、[6]系统供电结构图见图3、图4。
血沉方程k值
3 计算机中心能效评价指标
根据绿网格(Oreen Grid)组织在2001年发表的研究成果[7]，可将计算机中心、数据中心中设备分成IT和基础设施(Infrastructure)两个部分，两个部分能效共同构成了整个数据中心的能效。
3.2计算机中心基础设施能效指标PUE和DCiE
对于基础设施部分的能效，业界目前广为接受的是Green Grid和EPA(Envlronmentel Protection Agenc
y美国环境保护局)提出的PUE(PowerUsago E ffectiveness)和DCE(DataCenter Infrastructure EffIclency)指标和评价体系[10]。且EPA和3reen Grld提出基于PUE指标，在计算机中心、数据中心引入建筑行业Energy Scar(能源之星)评估办法，来评估数据中心能效和节能效果[11]。
对计算机中心、数据中心系统分解，可以得到各个子系统能效与所有设备能效的关系：数据中
心总能耗-制冷用电能耗-供配电能耗+IT设备能耗，
因而PUE和DCIE可表述成：
上式中，CLF为在单位IT负载上消耗的制冷所用电能；PLE为在单位IT负载上其供电系统的损耗；10
为单位IT负载自身的电能损耗，为恒定值。上述数据中心的PUF模型清楚地列出了数据中心的能耗的三大主要部分，即:
A、IT设备的能量消耗
B、制冷系统的能量消耗
极品五笔2009
C、供电系统的能量损耗
通过PUE的定义公式，也可通过PUE的子指标来定量表征数据中心各子系统和IT负荷的能效关联度。GreenGrid在后期的研究中，加入了照明等其他设备能耗的指标。[11]、[12] 从PUE和DCIE定义可见，二者成倒数关系，在实际应用中通常采用PUE为数据中心基础设施的能效评价指标。目前数据中心、计算机中心运行的PUE通常在1.9到2.8之间。目前数据中心的PUE值大部分在2.0以上，设计和运营理想的数据中心PUE值可实现1.6以内。[12]根据EPA(FnvlronmentalProtection Agency美国环境保护局)的报告提出计划通过相关改进措施，在2011年实现普通数据中心PUE在1.9左右，改进型数据中心PUE低于1.1，理想型数据中心PUE低于1.5的目标。[13]
3.3 超级计算机中心整体能效指标SCCE
从前述分析可见，PPW指标可反映计算机运算性能和计算设备能耗的关系；而PUE及DCIE 指标可评
价整个计算机中心的基础设施能耗状况，和IT设备在计算机中心设备能耗中所占比例。因而结合PPW和PUE及DCIE指标、评价体系特点，针对超级计算机中心的应用特性，推荐采用超级计算机中心能耗效率SCCE(Super ComputerCenter EfflclenCy)的指标来评价超级计算机中心或高性能计算机中心的整体用能效率。
式中，Performance为计算机系统的运算性能，可采用LInpack基准测试程序时的性能Rmax，或日常运行时的运算性能；
Iota Equipmont Powor为计算机系统运行(得到Performencc运算性能)时，计算机中心总设备功耗，主要包括计算机设备、网络存储设备、制冷设备、供电设备等。
可见SCCI(Supcr ComputerCenter Efficicncy)的指标可全面评价超级计算机中心或高性能计算机中心的整体用能效率，对实际运营更具指导意义。
4 运行能效分析
由于上海超算中心计算任务饱满，运行比较稳定，曙光“4000A”和“5000A”超级计算机系统一直保持在
高负荷率的运行状态。研究小组抽取上海超算中心曙光“4000A”和“5000A”超级计算机系统的设备系统全年的运行状态，研究和对比了其能效。
4.1 曙光“4000A”超级计算机系统能效分析
上海超算中心曙光“4000A”超级计算机系统从2004年B月投入运营，运行大约5年，其稳定运行期间负荷率高且稳定，主机CPU使用率一直保持在85%左右。对整个超算系统设备稳定运行数据按季度职算术平均后，得全年运行能耗表如下:
yni
根据前文所述计算机中心能效模型和PUE计算公式，可计算上海超算中心曙光“4000A”超级计算机系统的PUE为1.19～2.02，全年平均值(春秋季加权平均)为1.81，属于传统数据中心(常见PUE为1.9～2.8)中PUE较好的应用。
并根据PUE分解定义式:
PUE=制冷能效因子(CLI)+供配电能效因子(PLF)+其它能效因子11.0
分析“4000A”超级计算机系统的各个子系统能效因子，和其在整个超算中心能效的影响:
A、IT设备能效因子，恒定为1.0。
殳“4000A”超级计算机采用了世界领先技术，如低功耗CPU、2U高密度服务器等设计，降低主机系统的功耗。其运算能力功耗指标:
PPW (81flops)/(320*1000watt) 25Mflops/watt，(最大运算能力/计算主机运行功耗)，
SCCE12.2～13.6 Mflops/w(最大运算能力・实际运行CPU占用率/超算中心系统运行功耗)。
可见“4000A”主机功耗较低，整体用能效率达到2004年国际领先水平。
B、制冷能效因子CLE为:0.48～0.67，受季节影响大。恐怖主义
十八和谐综合区
由于采用制冷效率较高的机房精密空调机组制冷，风冷型机房精密空调机组COP(Coofficlont ofPerformance)值达到2.8以上，属于风冷型机房精密空调能效较高的应用，因而制冷能效因子较低。制冷系统解决了近10kw/机柜的散热密度，接近机房整体送回风制冷方式制冷密度的上限。无论是制冷效率，还是制冷密度上，该制冷系统在系统设计应用的2003年已经达到国内先进水平。
由于夏季环境温度较高，制冷系统能耗更多，此时制冷因子0.67也较冬季的0.46高出了0.21，因而冬季制冷系统的能效较高。
C、供电能效因子PLF为:0.32～0.33，负荷稳定。
为保证系统供电的可靠性，UPS系统运行在“1+1”并联冗余状态，实际负载率比较低——大约为284/(800*0.8)*100%-44.4%。由于UPS处于低负载率状态，其工作效率较低，损耗较大，造成整个UPS供电系统效率较低(为74～75%)，因而供电能效因子PLF较高。
D、其它能效因子为0.013～0.016，比重小。
由于照明等其它设备在超算中心设备功耗占1%，比重非常小，因而其它能效因子较低，对PUE值的影响很小，因而对整个系统能效影响很小。
小结：由于制冷系统能耗在系统中所占比例较高，为30%左右，在主机负荷稳定情况下由于季节变化造成的制冷系统能效变化也影响到计算中心的整体能效、夏季的制冷因子为0.67，要比冬季的0.46高0.21相应的PUE为2.02要比1.79要高0.23。由于供电负荷稳定，供电能效因子也稳定在0.32～0.33之间。所以，从全年运行角度看，在王机负荷稳定的“4000A”系统中，能耗变化王要是随季节变化的环境温度变化而引起制冷系统能耗变化夏季的PUE最高，SCCE最低。
4.2 曙光“5000A”超级计算机系统能效分析
上海超算中心曙光“5000A”超级计算机系统自2009年6月投入运营以来，一年多的运行时间内，经过近半年的调试运行，目前负荷量稳步提高。对整个超算系统设备运行数据按季度取算术平均后，得全年运行能耗表如下:
根据前文所述计算机中心能效模型和PUE计算公式，可计算上海超算中心曙光“5000A”超级计算机系统的PUE为1.60～1.66，全年平均值(春秋季加权平均)为1.63，属于能效较高的改进型数据中心。
根据PUE分解定义式:
PUE=制冷能效因子(CLF)+供配电能效因子(PLF)+其它能效因子
可知“5000A”超级计算机系统的各个子系统能效因子，并可分析其在整个超算中心能效的影响:
A、IT设备能效因子，恒定为1.0。
“5000A”超级计算机采用了世界领先技术，如低功耗CPU、标准DDR2内存、全系统刀片等设计，降低主机系统的功耗。其运算能力功耗指标:
PPW=(180*Tflops)/(945*1000Watt)=199.7Mflops/watt，(最大运算能力/计算主机运行功耗)；
SCCE=101.69～118.46 Mflops/w，(最大运算能力*实际运行CPU占用率/超算中心系统运行功耗)。
可见“5000A”主机效率高，整体用能效率达到国际领先水平。
B、制冷能效因子CLF为:0.44～0.55，受季节影响大。
由于采用封闭式水冷机柜为高达25kw/机柜的高热密度超级计算机制冷，机柜内制冷效率高，冷冻水传热效率高，制冷机组的制冷效率高；采用机房空调为网络交换、存储等较低发热密度设备散热制冷，制冷效率较高。因而整套制冷系统效率高，能耗低。制冷系统功耗占超算中心总设备功耗的30%左右，较制冷系统功耗占总设备功耗的40～50%的传统数据中心，“5000A”系统大幅降低了制冷系统的能耗，从而降低了PUE值。
夏季由于环境温度较高，制冷系统能耗也较高，此时制冷因子0.55也较冬季的0.44高出了
0.11，冬季制冷系统的能效更高。
C、供电能效因子PUE为:0.112～0.211
为保证系统供电的可靠性，UPS系统运行在“3+1”并联冗余状态。运行初期，实际负载率比较低——大约为692.15/(600*0.8)*100%-54.1%，整个UPS供电系统效率为:692.15/837.87 *100%=82.6%。系统运行半年后，对UPS系统改造其滤波器，降低了损耗；同时，系统负荷也提高了，负荷率提高到789.2/(1600*0.8)*100%=61.1%，因而UPS系统工作效率也提高到789.2/811.76*100%=89.9%。较之冬季的效率有了大幅提高，因此供电能效因子PLF也较冬季降低了近一半。
D、其它能效因子为0.005～0.009。
由于照明等其它设备在超算中心设备功耗占1%，比重非常小，因而其它能效因子非常低，对PUE值的影响微乎其微。且这些设备受气候、主机负载变化的影响较小，因而该因子变化也很小。
豫公网安备41160202000603
站长QQ:729038198
关于我们
投诉建议