第21卷第2期
2021年2月REFRIGERATION AND AIR-CONDITIONING78-90
韩文锋1)2)陶杨1)2)陈爱民1)2)陈华峰1)2)张向阳1
1(浙江诺亚氟化工有限公司)2)(浙江工业大学-诺亚联合研发中心)摘要在当前数字经济飞速发展的大背景下，国内外的数据中心发展上了新台阶。特别是国家推进“新
基建”建设进程，为大型数据中心发展带来利好.但是，数据中心的能耗问题日益严峻。其中，冷却系统是
数据中心提高能源效率的重要环节。高效绿的冷却方案是目前数据中心节能降耗的研究开发重点之一.
本文综述国内外数据中心高效绿冷却技术，包括风冷技术、间接式液冷技术和浸没式(接触式)液冷技术,
并对相关技术进行详细介绍。通过对比分析，以期为我国数据中心冷却行业的发展提供参考。
关键词数据中心；冷却技术；风冷；液冷；浸没式液冷；冷却液
High efficient and green cooling technologies for data centers
Han Wenfeng1),2)Tao Yang1),2)Chen Aimin1),2)Chen Huafeng1),2)Zhang Xiangyang1)
1)(Zhejiang Noah Fluorochemical Co.,Ltd.)
2)(Joint R&D Center of Zhejiang University of Technology and
Zhejiang Noah Fluorochemical Co.,Ltd.)
ABSTRACT At present,the digital economy is developing very rapidly,he develpment of
data centers is up to a higher level.Especially,with the national plan of New infrastruc
ture,it brings benefits for the development of the large data centers.However,the energy
consumption of data center is getting incerasingly serious.While,the cooling system is an
important link for improving the energy efficiency of the data centers.Clearly,the
efficient and green cooling schemes is one of the key research and development on the en
ergy conservation and consumption reduction of data centers.The worldwide progress a
bout the efficient and green cooling technologies for data centers,including the air
cooling,indirect liquid cooling and immersion liquid cooling,is overviewed,and the corre
sponding technologies are introduced.Through the comparison and analysis,it hopes to
provide references for the development of data center cooling industry in China.
KEY WORDS data center；cooling technology;air cooling；liquid cooling；immersion liquid
cooling；liquid coolant
数据中心是一种拥有大量信息和通信技术设备的计算结构，通常用于处理、储存和传递信息.我们日常的活动，例如网络搜索、网络交流、通信、银行以及网络购物等均依赖于数据中心的支撑.随着物联网、人工智能和5G等计算科学技术的发展，我国数据中心正处于飞速发展的状态。与之相随的，数据中心的能耗问题日益严峻。2018年，中国数据中心总耗电量已超过1608亿千瓦时，约占全国总用电量的2.35%，总能耗每年仍以11%左右的速度增长.据预测，到2020年我国数据中心年耗电量将超过2500亿千瓦时，占全社会用电量比例将超过3%[3]，未来仍将以15%〜20%的速度增长⑷.目前，如图1所示，
数据中心的能耗大致由通信及网络设备、供配电系统、照明及辅助设备和冷却系统组成，其中用于冷却或移热的能耗占40%左右。
*科技部“科技助力经济2020”重点专项项目(2020YFF0424140)收稿日期：2020-10-28，修回日期：20201216
作者简介：韩文锋，博士，主要从事氟化工研究开发。
第2期韩文锋等：数据中心高效绿冷却技术-79-
图1数据中心能耗结构
冷却系统是数据中心提高能源效率的重要环节。有数据显示，我国数据中心的电费占数据中心运维成本的60%〜70%［］。随着服务器的加速部署，如何进一步降低能耗，实现数据中心绿发展，成为业界关注的焦点。国家推进“新基建”建设进程，为大数据中心发展带来利好。未来随着数字经济的发展、行业资源的集聚，大数据中心将在我国经济中扮演越来越重要角，对于产业链上下游的带动作用会愈发明显。近3年我国数据中心市场一直保持稳速增长，市场规模增速在30%左右,2019年中国数据中心市场规模超过1000亿元人民币［7］。由于数据中心的能耗中，冷却系统是最高的部分之一，因此高效绿的冷却方案是目前数据中心节能降耗的研究开发重点之一。
1数据中心冷却现状
服务器中产生热量的电子器件包括处理器、存储单元、电压稳压器、芯片及供电设备等。虽然处理器的面积最小，但其是产生热量的主要单元，约超过50%的服务器的能耗是由处理器消耗的。随着计算能力及容量的飞速增加，服务器的热负荷急速增加。美国供暖制冷与空调工程师学会(ASHRAE,American Society of Heating,Refrigerating and Air-Conditioning Engineers)估计到2020年末，一般性用途的单个处理器的热负荷将达到140〜190W，而高性能计算(high performance computing,HPC)的单个处理器的热负荷将达到210-300W(见表1)8］。
表1ASHRAE预测到2020年处理器/服务器的热负荷工
器件/服务器CPU数量
功率/W
2020年机架热负荷/kW 2010年2015年2020年
高功率HPC处理器1250300300—低功率HPC处理器1165210210—通用4S处理器1140175190—通用2S处理器1140140140—1U机架式服务器4/服务器10001100120050.4 2U机架式服务器4/服务器14001800200042.
4U机架式服务器4/服务器23003100330033.。
7U刀片式服务器4/刀片式55006500750045.
9U刀片式服务器4/刀片式65008000950038.
10U刀片式服务器4/刀片式800090001050042.
由于数据中心高能耗，目前通常采用电能使
用效率(power usage effectiveness,PUE)衡量其
能效。PUE是数据中心总能耗与IT设备能耗的
比值凹,
PUE P IX；
P1T
(1)
式中：P dc为数据中心的总功耗P t为IT设备能耗。其中，P dc由IT设备功耗(P it)、冷却设备功耗(P colng)、电源设备功耗(P power)及照明设备功耗(P lghng)构成。因此PUE的计算公式可表示为
PUE
_P cooling+P power+P lighling+P T
P T
(2)由计算公式可知PUE的理论极限值为1。
此时，所有的能量均由IT设备消耗。然而，这难度极大。因为电源、冷却、照明和监视设备等均是数据中心不可或缺的。由前面论述可知，冷却能耗占数据中心能耗的40%左右。因此，发展数据中心冷却技术，降低冷却能耗是降低PUE的主要途径。目前，利用空调冷却服务器的数据中心的PUE通常在1.6左右，但是通过合理设计优化可达到1.257［1-1］，但是由于大型数据中心具有高功率和高密度的特点，空气冷却技术的风冷条件已无法满足系统的高散热需求［2］。而利用自然对流的接触式液冷系统，数据中心的PUE值逼近理论值，可以达到1.04［3］。
目前，主要有3个方面的需求驱动着数据中心冷却技术的发展：
1)政府部门对于低电能使用效率的强制要求
虽然目前还没有对于数据中心PUE的全国统一规范要求，但工信部2017年在《
关于加强
第21卷-80・
“十三五”信息通信业节能减排工作的指导意见》中明确提出：到2020年，新建大型、超大型数据中心的PUE值在14以下.由于数据中心是耗电大户，因此，为了实现可持续发展、节能降耗，各地区均制定了数据中心的PUE要求.特别是新建的数据中心，普遍要求PUE在14以下(见表2).这对于传统的空调制冷(风冷)提出了挑战，也极大地推进了新型冷却技术的发展.在全国如火如荼的数据中心新基建建设中，如何尽可能降低数据中心PUE值成为最大的挑战之一.代，实践发现间接水冷是满足多芯片模块冷却需求的合适技术：14：.
14
12
表2各地区部门对于数据中心PUE的要求
地区部门
PUE要求
新建改造
相关文件
Intel
T,Prescott
Intel
Jayhawk
杭州市经信局、杭州市发改委
上海市经信委印发<14<1.6
<13<14
《关于杭州市数
据中心优化布局
建设的意见》
《互联网数据中
心建设导则
(2019)》
工业和信息化
部、国家机关事务管理局、国家能源局
高能耗老旧设备
基本淘汰
《关于加强绿
数据中心建设的
指导意见》
不支持
深圳市发改委PUE>
14PUE<125的
可享受新增能源
消费量40%以
上的支持
《深圳市发展和改
革委员会关于数
据中心节能审查
有关事项的通知》
北京市政府禁止新建和扩建PUE>
14的数据中心一次性咖啡杯
《北京市新增产
业的禁止和限制
目录(2018)》
北京、上海、深圳及杭州等是数据生产、存储、处理、应用的一线城市，数据中心需求本应十分旺盛，但是由于政策、土地、电力、网络的需求量大，而税收、就业、GDP贡献率和经济投资回报率低，导致数据中心产业在一线城市的发展瓶颈凸显.
2)服务器散热模块能量密度的飞速提升
在许多情况下，集成电路的封装密度越高，电路延时越短.当然，这也导致高的耗散功率(某一时刻电网元件或全网有功输入总功率与有功输出总功率的差值).自1970年代开始，对于高封装密度和低信号延时的需求促进了多芯片模块(multichip modules)的发展，并且至今仍在持续发展。图2所示为高性能计算机的热负荷变化趋势.双极晶体管(bipolar)集成电路的热负荷从一开始就稳步增长.到了1980年代，热负荷急剧增加.从1960年代中期开始，对于控制芯片温度要求提高，促使风冷技术和水冷技术结合.发展至1980年
10
8
6
4
2
vacuum
tubes
解子征CMOS-
双极管
IBM IBM
360370
IBM
3090S
NTT
IBM
ES9000
IBM
z990
•IBM
POWER5
309()
IBM
M4381RS6Fujitsu
i M380
Fujitsu
M780
Intel
McKinley
Fujitsu
VP2000IBM
GP
IBM/Pentium IV
CDC
Cyber IBM
IBM205s'"
3081
IBM
3035
IBM
RS64III
IBM
RY6
lc-aIntel
•Merced
^Pentium II 0
1950年1960年1970年1980年1990年2000年2010年
产品发布时间
图2高性能计算机的热负荷模块演化：14：1990年代，随着集成电路技术从双极晶体管发展至互补金属氧化物半导体(complementary metal oxide semiconductor,CMOS)，电子器件耗散功率大幅降低.这意味着电子器件的功率以及封装密度的飞速增加.CMOS的运算能力远远超过双极晶体管.高功耗和高封装密度带来了前所未有的冷却需求：14：.
3)发达国家的技术垄断
目前我国冷却技术相比欧美等发达国家还有较大差距，超高的购买价格也在极大程度上促使了我国冷却技术的自主研发.随着5G网络、数据中心等数字化基础设施建设的推进，高性能计算设备的发展是增强核心竞争力的重要组成部分.
2数据中心风冷技术
目前风冷技术是数据中心最为成熟和应用最为广泛的冷却方案之一，如图3所示，它通过冷/热空气通道的交替排列实现换热.机架产生的热空气由机房空调(CRAC)或者机房空气处理单元(CRAH)产生的冷空气进行冷却，冷空气通过地下的通风口输送至机架间的冷空气通道.其中, CRAC采用制冷剂为媒介进行冷却，而CRAH则采用水-空气换热器对水进行冷却：16：.
在典型的风冷数据中心中，所有服务器机架均呈行排列.通过CRAH或CRAC单元冷却的空气通过地下通风通道进入数据中心房间后，扩散经过服务器，吸收服务器产生的热量后进入热风通道，从而回到CRAH或CRAC单元.因此，风冷技术会同时冷却服务器机架内的所有电子器件：17：
.
第2 期韩文锋等：数据中心高效绿冷却技术-81 -
热空气排放
■=＞冷流体
热流体
图3数据中心风冷技术结构示意图［5］
压缩机
CRAC 或 C RAH 单元
然而，风冷技术存在低密度和相对较低的散热 能力的不足。这对于高性能计算(high performance
computing, HPC)应用尤为明显。在这些计算设
备单元中，散热量通常会超过100 W/cm 2 ，而风冷
技术的最大散热容量为37 W/cm 2［17］。
此外，风冷技术还有以下不足：①热点。由于 缺乏合适的空气流量控制系统，服务器设备产生
的热量和冷空气换热不均匀，容易在服务器机架 之间和内部形成局部热点。因此，为了充分消除
这些热点，需要对数据中心进行过度冷却，从而额 外增大了能耗。②机械能耗。在冷却过程中，很大 一部分电能用于驱动风机和泵，从而实现空气和 水的循环。③环境匹配性。为了维持数据中心运
行稳定，采用风冷技术的系统通常需要常年不间 断运行。因此，即使在冬季，室外温度较低，也需
要维持数据中心的冷却循环，不利于节能。④占 用空间大。要达到有效冷却，数据中心通常需要
大量的空间来放置空调和服务器机架［819］。
为了节能，数据中心风冷式系统具有不同的 模式. 在满足服务器设备正常运行需要的空气温
度、湿度和洁净度的条件下，冷热交换环节少、换 热效率高、换热距离短的方式是数据中心选择风
冷式系统、提高冷却效率的关键。如图4所示，风 冷方式通常可以分为芯片级冷却、服务器级冷却、 机柜级冷却、行间级冷却以及房间级冷却。2. 1芯片级冷却
在芯片级冷却系统中，热管理系统通过信息 通信设备端(ICT)和冷却端2个方面节能。对于
信息通信设备端，通过动态电压和频率调节，从而 达到芯片层面的节能降耗。当CPU 在电压V 和
频率f 下工作时，CPU 的动态能耗正比于Vf
由于电压V 也正比于频率f ,CPU 能耗正比于
冷却塔
7
8
SA —进口空气RA —出口空气
CRAC —计算机房空调
泵
，冷却水
筋膜仪紳装置
行间级
图4数据中心多级能效管理系统［7
］
智能热量表第21卷・82・
f的三次方。因此，控制频率对于CPU的功率具有决定性影响［0］。其次，利用高导热界面覆盖芯片有助于芯片的咼效散热。
对于冷却端的散热技术，目前可以采用冷板或液体辅助移热。这在后文中详细介绍。
2.2服务器级冷却
服务器是数据中心的重要组成部分，也是主要的耗能者。因此，这个级别的热能管理是数据中心节能的重要环节。对于网络设备，休眠模式以及自适应速率连接是比较好的选择⑵22］。服务器的性能和功耗很大程度取决于服务器的热点。热点的出现同样可以通过信息通信设备端和冷却端2个方面进行控制。对于冷却端，可以利用风机调节通过服务器的气流。减少热点的同时有助于维持服务器的可靠性。在信息通信设备端，可以通过工作负荷的分布，有效工作负荷的转移，服务器动态休眠降低能耗［3］。在运行过程中，智能地激活某些服务器，同时将其他服务器设置成休眠模式可有助于把服务器功耗降到最低。
2.3机柜级冷却
机柜级冷却技术与机柜的进气方式密切相关。在冷却过程中，服务器接触的冷空气量由空气通过服务器的压降以及风机速率决定。其他外部因素，诸如机柜前门的孔数目、机柜后门的热交换器、线缆排布方式对气流影响等也影响机柜级冷却效率［4］。
2.4行间级冷却
行间级冷却系统又称列间级空调冷却系统。空调出口和服务器并列排布。行间级冷却系统通常采用水平送风机组，主要适用于6〜10kW的中高热密度数据中心。对于高热密度的数据中心，相比于房间级冷却系统的长传输距离、风量等问题，行间级冷却系统传输距离短，冷却效率高，产生的热点少［5］。
2.5房间级冷却
房间级冷却系统面对的问题主要是热空气从热通道循环回冷空气通道的效率问题。由于房间级冷却系统送风距离长、风量大等原因，导致机房内温差较大。为了提高系统能效，服务器采用封闭式冷热通道隔离机柜进气和热风，减少冷热空气混合，控制因冷风气流和热风气流短路而导致的冷却效果降低［6］。
总的来讲，鉴于低的操作成本、方便维修以及可接受的冷却效率，风冷仍然是主要的数据中心冷却方式。最大程度发挥冷空气气流的冷却效率是风冷技术目前亟需解决的瓶颈问题。
3数据中心间接式液冷技术
相比于低导热效率的空气，液体的冷却能力是空气的1000〜3000倍［7］。因此，利用液体代替空气冷却可以提高系统的冷却效率。
数据中心间接式液冷技术是指通过非接触的方式实现液体冷却媒介和发热电子器件间的换热。如图5所示，冷却媒介分散单元(coolant distribution units,CDU)通过与外界冷源如水、水塔及冷却塔等换热冷却，然后通过内部冷却环进入电子器件区域［8］。在冷却系统中，制冷剂被输送至各个机柜或者服务器，通过强制对流实现吸热。在多数情况下，只有处理器通过液体冷却，而其他部件仍采用风冷方式，从而简化设备［9］。从原理上看，间接式液冷技术在制冷效率方面优于风冷技术的原因包括：①液体的比热容远大于空气，在占用相同空间的情况下，能够储存更多的热量；
②液体的热交换效率高于气体。
相比于风冷技术，虽然间接式液冷技术的热交换效率有所提高，但仍然存在局限性，其主要原因在于液体没有与散热元件直接接触，而是通过金属管壁进行热交换。
3.1单相间接式液体冷却
单相间接式液体冷却意味着制冷剂升温吸热，但是不允许出现汽化现象。相对于普通的绝缘液体和制冷剂，由于水的高沸点以及良好的热性能，使其成为最具现实意义的冷却媒介。然而，泄漏隐患的存在限制了以水为媒介的推广应用和需求。并且该系统热管组件须与服务器匹配，服务器选择缺乏灵活性；同时还需解决产品标准及通用性问题。此外，接头、软管的可靠性面临很大的挑战，一旦热管冷端因故障失效，热管本身不能提供任何缓存制冷量，服务器温度会急剧升高。为了改善上述问题，冷板式液冷方案在实际应用中通常与其他空调系统方案组合应用，其中液冷
豫公网安备41160202000603
站长QQ:729038198
关于我们
投诉建议