第２０卷第１２期２０２０年１２月
R E F R I G E R A T I O N A N D A I R ＧC O N D I T I O N I N G ７Ｇ１６
收稿日期:２０１９Ｇ１２Ｇ０２，修回日期:２０２０Ｇ０７Ｇ２９
作者简介：傅烈虎，硕士，主要从事数据中心的设计与建造工作. 傅烈虎
(维缔技术有限公司)
摘㊀要㊀对数据中心冷却技术的发展与演进进行阐述与分析.从数据中心的冷却对象对温湿度的环境要求出发，重点介绍A S H R A ET C ９．９«数据处理设备热指南»的技术要求演进，根据其所划分的４个等级的数据中心热环境，得到相关结论；分析不同的冷却方案与不同气流组织形式之间的对应关系；通过对比风冷与水冷的传热技术参数，发现随着数据中心的大规模扩张和单机柜功率密度的增大，水冷技术的规模效应和节能优势得以凸显；对自然冷却技术(直接或间接自然冷却)的应用进行分析，指出结合地理气象条件和建筑特点，有多种冷却技术可以联合应用. 关键词㊀数据中心；冷却技术；气流组织；自然冷却
D e v e l o p m e n t a n d e v o l u t i o no f d a t a c e n t e r c o o l i n g t e c h n o l o g y
F uL i e h u
(V e r t i vT e c hC o ．,L t d ．
)A B S T R A C T ㊀T h ed e v e l o p m e n ta n de v o l u t i o no fd a t ac e n t e rc o o l i n g t e c h n o l o g y a
r ee x Ｇp o u n d e da n da n a l y z e d ．B a s e do n t h ee n v i r o n m e n t a l r e q u i r e m e n t so n t e m p
e r a t u r e a n dh u Ｇm i d i t y
f o rt h ed a t ac e n t e rc o o l i n
g o b j e c t s ,t
h ee v o l u t
i o no ft e c h n i c a lr e q u i r e m e n t sf o r A S H R A ET C ９．９T h e r m a lG u i d e l i n e s f o rD a t aP r o c e s s i n g E
n v i r o n m e n t s a r e i n t r o d u c e d ．A c c o r d i n g t
o t h e t h e r m a l e n v i r o n m e n t o f d a t ac e n t e rw h i c ha r ed i v i d e d i n t o ４l e v e l s ,t h e r e l e v a n t c o n c l u s i o n sa r eo b t a i n e d ．T h er e l a t i o n s h i p sb e t w e e nd i f f e r e n tc o o l i n g s o l u t i o n s a n dd i f f e r e n t f o r m so f a i r f l o w d i s t r i b u t i o na r ea n a l y z e d ．T h r o u g ht h ec o m p
a r i s o no f a i r Ｇc o o l e da n dw a t e r Ｇc o o l e dh e a t t r a n s f e r t e c h n o l o g y p a r a m e t e r s ,i t s h o w s t h a t a l o n g w i t h t h e l a r g e Ｇs c a l e e x p a n s i o no f d a t ac e n t e r sa n dt h e i n c r e a s eo f p o w e rd e n s i t yp e r r a c k ,t h ea d Ｇv a n t a g e s o fw a t e r c o o l i n g t e c h n o l o g y h a v e
b e
c o m e p r o m i n e n t ．T h r o u g ha n a l y z i n g t h e a p
Ｇp l i c a t i o no f f r e e c o o l i n g t e c h n o l o g y (d i r e c t o r i n d i r e c t f r e e c o o l i n g
),i t s p o i n t e do u t t h a t c o m b i n i n gg e o g r a p h i c a l a n dm e t e o r o l o g i c a l c o n d i t i o n sw i t hb u i l d i n g c h a r a c t e r i s t i c s ,a v a r i Ｇe t y o f c o o l i n g t e c h n o l o g
i e s c a nb eu s e d i n c o m b i n a t i o n ．K E Y W O R D S ㊀d a t a c e n t e r ;c o o l i n g t e c h n o l o g y ;a i r f l o wd i s t r i b u t i o n ;f r e e c o o l i n g
㊀㊀随着中国数字化进程的加快和５G 技术的商
用，数据中心呈现蓬勃发展趋势.从云计算㊁雾计算到边缘计算，互联网技术日新月异，冷却技术随着数据中心的发展与时俱进.近几年来，关于数据中心冷却技术的研究成果开始逐渐见诸于期
刊.高彩凤等[１]以某典型数据机房为研究对象,
对其热环境进行了现场实测和C F D 模拟，认为封闭冷通道能够更有效地提高机房空调冷量利用效
率.孙大康等[２
]通过试验和数值模拟分析不同功
率㊁开放通道和封闭通道情况下，地板高度对数据中心地板下送风特性及制冷效率的影响.易伶
luciano rivarola俐[３]对比了上送风㊁地板下送风和列间空调送风的
优势和劣势，并提出了数据中心空调设计的要点.
赖柏年等[４]以数据中心空调水系统的机房空调末
端为研究对象，结合实际工程对传统下送风机房专用空调和３种新型末端进行了不同机房功耗下
㊀ ８㊀
第２０卷㊀
的C F D模拟分析，并与实测的机房热环境数据进行了对比.王振英等[５]针对我国不同气候区的气候特点，以某中等规模数据中心为例，量化给出了季节性和区域性气候差异对数据中心制冷系统能效的影响，分析了风冷式和水冷式系统在不同气候区的应用优势.王克勇等[６]认为在大型数据中心机房采用
水冷式冷冻水空调系统已经成为一种趋势，分析了３种典型的水冷式冷冻水空调系统的优缺点.张海南等[７]认为：热管式自然冷却与空气侧自然冷却相比，不影响室内空气质量和湿度；与水侧自然冷却相比，由于内部为相变传热，传热效果及自然冷源利用率更高.王飞[８]从机房空调的设备层面介绍了自然冷却技术的应用现状，对比了重力型热管系统㊁动力型热管系统以及变频型热管系统的应用场景.杨硕[９]通过构建节能模型，对比分析了冷冻水型空调㊁风冷空调加装热管模块前后的节能情况，并探讨了热管技术在数据中心应用的可行性.王泽青[１０]利用建筑能耗模拟软件，模拟了中国大陆地区数据中心３种典型气候地区的３种自然冷却模式下的空调能耗并进行了对比分析，给出了水侧自然冷却地理位置的分界线.刘海潮等[１１]针对水㊁空气㊁制冷剂等分别作为间接蒸发冷却过程的冷却介质及产出介质做了相关研究，认为将冷却介质㊁工作介质与产出介质多级组合，充分采用其他自然冷源，可使间接蒸发冷却技术得到广泛应用.耿志超等[１２]提出了间接蒸发冷却空调技术的几种形式，并对其在数据中心的应用形式进行了分析.傅烈虎等[１３]介绍了F a c e b o o k在美国俄勒冈州的数据中心的空气侧全新风自然冷却方案，并对该方案进行了气流组织仿真分析.在本文中，笔者主要介绍数据中心冷却技术的发展与演进，旨在帮助读者了解数据中心冷却技术的发展，从而对冷却技术有一个全面而深刻的认识.
１㊀数据中心的冷却对象
数据中心是进行数据计算㊁存储和交换的场所，它不仅包含大量的存储器㊁交换机㊁服务器等电子信
息设备，还包含大量的配电柜㊁不间断电源㊁蓄电池㊁精密空调㊁冷水机组㊁水泵等动力设备.数据中心的冷却对象主要是电子信息设备，这些设备以高耗电量高热量而著称，并且以显热为主要表现形式，同时这些设备要求环境的温湿度波动范围小.传统建筑行业民用空调的特点是显热比低，温湿度控制精度差，难以直接在数据中心应用，数据中心必须采用专用的精密空调.究其根本原因是空调服务的冷却对象不同，前者为人服务，提供舒适性环境；后者为电子信息设备服务，提供设备安全稳定运行的温湿度环境.两者本质都是必须结合冷却对象的特性为其提供相应的运行环境.
２㊀数据中心的环境要求
数据中心的环境要求是随着电子信息设备的技术发展而逐渐演进的.摩尔定律表明，电子信息设备内的集成电路芯片上所集成的电路的数目，每隔１８个月就翻一番.这意味着电子信息设备的集成度越来越高，单位体积内的耗电量越来越大.因此，电子信息设备对其工作的环境要求也是随着技术的发展而不断变化.
A S H R A ET C９．９委员会先后对«数据处理设备热指南»进行了４次官方发布，最初发布是２００４年版的，在２００８年发布的版本中扩大了温湿度的建议范围，如表１所示.电子信息设备内元器件主要为中央处理器㊁存储器和硬盘等，虽然这些元器件正常运行的温湿度范围各不相同，但是对于整个电子信息设备而言，其正常运行环境以所有设备的最不利工况为基本要求.从温度的角度分析，温度
过低会造成过度冷却，不仅增加了冷却设备的能耗，而且容易产生凝露，造成元器件腐蚀或短路；温度过高会造成电子设备过热而发生运行故障的概率增大.从湿度的角度分析，湿度过低容易产生静电，湿度过高会产生凝露，这些现象都会给元器件造成损坏.随着材料科学的发展和生产制造工艺的进步，电子信息设备最不利的工作环境要求逐渐得以改善.当前主流厂家的电子信息设备均能够在进风温度１８~２７ħ下良好运行.正是基于电子信息设备自身运行环境日渐宽松，其本身耐热耐燥能力逐渐增强，因此，当前主流厂家的电子信息设备均能够在进风温度１８~２７ħ下良好运行.
A S H R A ET C９．９委员会在２０１１年发布«数据处理设备热指南»第３版，相比２００８版更新了服务器进风温度的分级等级，将２００８版的数据中心表１㊀A S H R A ET C９．９数据中心温湿度的建议范围[１４]
参数２００４版２００８版
温度下限干球温度２０ħ干球温度１８ħ
温度上限干球温度２５ħ干球温度２７ħ
湿度下限相对湿度４０％露点５．５ħ
湿度相对湿度５５％相对湿度６０％且露点１５ħ
㊀第１２期
傅烈虎：数据中心冷却技术的发展与演进
９㊀ ㊀
表２㊀A S H R A ET C ９．９的２００８版和２０１１版数据中心环境分级
２００８版分级
２０１１版分级
适用场合信息通信设备环境控制要求１A １A ２２A ３A ４数据中心
企业级服务器㊁存储器
大容量服务器㊁存储器㊁个人电脑㊁工作站严格控制部分控制部分控制部分控制３B 办公区㊁住宅㊁移动环境
门窗防盗网个人电脑㊁工作站㊁笔记本电脑㊁打印机最小控制要求４
C
零售店㊁工厂
零售终端㊁控制器㊁计算机㊁掌上电脑
不作控制要求
表３㊀A S H R A ET C ９．９(２０１１版)
数据中心温湿度推荐范围和允许范围范围等级干球温度/ħ相对湿度/不结露
最高露点/ħ
推荐范围
所有A 级
１８~２７露点５．５~１５ħ且相对湿度ɤ６０％
允许范围
A １１５~３２相对湿度２０％~８０％１７A ２１０~３５相对湿度２０％~８０％
２１A ３５~４０露点ȡ１０．４ħ且相对湿度８％~８５％２４A ４５~４５露点ȡ１０．４ħ且相对湿度８％~９０％
２４B ５~３５相对湿度８％~８０％２８C
５~４０
相对湿度８％~８０％
２８
温湿度范围(分为１级和２级)调整为２０１１版的
A １,A ２,A ３和A ４四个等级，如表２所示.２０１１版分级的温湿度推荐范围与２００８年版保持一致，温湿度允许范围有些变化，如表３所示.
２０１１版«数据处理设备热指南»的温湿度建议范围在焓Ｇ湿图上的温湿度包络区域如图１所示，最里面的包络区域为A S H R A E T C ９．９委员会推荐的温湿度区域，其他包络区域由内向外逐步扩大，依次分别为A １,A ２,A ３和A ４四个等级区域.任何空气调节方式都要将温湿度区域范围外的空气状态通过空气调节手段处理到A S H R A E T C
９．９推荐的温湿度区域范围内,
如果某地区的室外空气状态本身就处于A S H R A E T C ９．９委员会建
议的温湿度区域，并且这种状态占全年的时间很长，那么在该地区就有应用自然冷却技术的可能.
A S H R A E T C ９．９委员会在２０１５年发布了«数据处理设备热指南»第４版，数据中心温湿度建
议范围[１４]如表４所示.相比２０１１版,
变化主要在于统一了A １,A ２,A ３和A ４等级的温湿度推荐范围的湿度下限，如图２所示.这意味着将来对数据中心的加湿要求有所降低，数据中心可以容忍的最低相对湿度为８％，数据中心几乎不用加湿.这个变化会直接影响今后机房精密空调的研发设计与加工生产，并且为节能提供了一定空间.
图１㊀A S H R A ET C ９．９(２０１１版)
温湿度建议范围在焓Ｇ
湿图上的表示表４㊀A S H R A ET C ９．９(２０１５版)
数据中心温湿度推荐范围和允许范围范围等级干球温度/ħ相对湿度/不结露
最高露点/ħ
推荐范围
所有A 级
１８~２７露点９~１５ħ且相对湿度ɤ６０％
允许范围
A １１５~３２露点－１２~２７ħ且相对湿度８％~８０％１７A ２１０~３５露点－１２~２７ħ且相对湿度８％~８０％２１A ３５~４０露点－１２~２７ħ且相对湿度８％~８５％２４A ４５~４５露点－１２~２７ħ且相对湿度８％~９０％２４
B ５~３５露点ɤ２９ħ且相对湿度８％~８０％２８C
５~３５
露点ɤ２９ħ且相对湿度８％~８０％
２８
㊀ １０㊀
第２０卷
高压mos管㊀图２㊀A S H R A ET C９．９的２０１１版和２０１５版数据中心温湿度推荐范围的比较
３㊀常见的气流组织形式
３ １㊀电子信息设备的气流组织
电子信息设备的气流组织形式主要３种，如图３所示[１５].FＧR形式是当前电子信息设备的主流气流组织，是服务器等设备的典型进出风方式，服务器的这种进出风方式也是目前最易对服务器进行冷却的一种气流组织，且常见于冷或热通道封闭的方案中;FＧT形式和FＧT/R形式是传输设备(比如交换器等)的典型进出风方式，特别是后者
一般常见于运营商的传输机房，并且该气流组织不易进行冷却方案的实施，容易造成冷热气流混合
.
图电子信息设备的气流组织
㊀㊀如前文所述，电子信息设备的主流气流组织
形式为前进风Ｇ后出风方式，因此，电子信息设备的
主流冷却方案是基于该方式设计的.常见的电子
信息设备冷却方案(这里不讨论芯片级液冷，因为
其还未成主流)包括机柜级主动式冷却(如图４所
示)㊁机柜级被动式冷却方案(如图５所示)㊁行级冷
却方案(如图６所示).
机柜级主动式冷却方案就是业内常说的水冷机
柜，可以近似认为是一个 冰柜 ，将I T设备直接放
在水冷机柜内进行冷却，一般常见于超级计算机中
心这类高性能计算场所，其冷却介质一般是水.
机柜级被动式冷却方案是近几年中国移动主
推的冷却方案，业内称之为水冷背板或热管背板,
其冷却介质既可以是水，也可以是制冷剂.之所
以称为被动式冷却，原因是冷却单元只有换热盘
管，没有风机，完全依赖服务器自身的风机提供
风压
.
图４㊀
机柜级主动式冷却方案
㊀第１２期
傅烈虎：数据中心冷却技术的发展与演进
１１㊀
㊀
图６㊀行级冷却方案
行级冷却方案是目前行业客户和运营商常用的方案.它采用封闭通道的方式，一般情况下是封闭冷通道形成冷池，对整列服务器机柜进行封闭式集中冷却，并且很多运营商在当前节能减排的背景下，纷纷采用这种方案对老旧机房进行节能改造，以达到降低机房P U E 的目的.
３ ２㊀数据中心机房级气流组织
数据中心机房级气流组织形式是与数据中心行业的发展密不可分的.在数据中心发展的早期，大部分是运营商的数据中心，并且电子信息设备的发热量都不大，导致每个４２U 机柜的整体功率密度都不高，一般都在２千瓦/机柜以下.因此
，图７㊀风帽送风方式
最早的气流组织形式就是如图７所示的风帽送风方式，现在很多老旧的运营商机房里还能见到这种传统的送风方式，其实还是摆脱不了民用空调气流组织方式的影子.这种风帽送风的气流组织形式提供的送风距离较短，一般在机外余压２００
P a 的情况下，送风距离为１５m .web前端性能优化
随着信息技术的发展，电子信息设备的集成度越来越高，发热量越来越大，导致单机柜功率密度达到３~５k W .如果继续采用风帽送风方式,防洪板
就会导致数据中心出现局部热点.因此，如图８所示的地板下送风方式应运而生，并且在相当长的一段时间内成为气流组织的主流形式，直到现在这种方式在数据中心依然随处可见.地板下既是送风静压箱，也是线缆布放空间.当采用地板下送风且地板下同时布防线缆时，地板下静压箱高度不宜低于５００mm ,
数据中心的层高不宜低于３０００mm [１
６]
.图８㊀地板下送风方式
当电子信息设备的功率密度进一步提高后，即使采用地板下送风也会产生局部热点.需要对数据中心局部过热的机柜进行精确送风冷却.图９所示的风管送风方式是最直接的精确送风方式
电力网桥之一.风管送风方式送风距离远，并且对过热设备定点精确冷却，很好地解决了局部热点问题.但是，风管送风要求精密空调的机外余压足够大，以保证足够的送风距离和风量.另外，这种气流组织形式对风管的设计和施工工艺要求较高
.
图９㊀风管送风方式
当前数据中心的单机柜功率密度一般设计在５~１０k W 之间.如此高的散热量除了采用封闭通道方式对机柜列进行冷却，还需要对机柜就近送风冷却.图１０所示的水平送风方式是这一方案
的典型代表.将精密空调直接部署在机柜列间,
豫公网安备41160202000603
站长QQ:729038198
关于我们
投诉建议