电力信息通信
基金项目：国家重点研发计划（2017YFB1010005）。
中图分类号：TM74 文献标志码：A 文章编号：2095-641X(2021)12-069-06 DOI ：10.16543/j.2095-641x.electric.power.ict.2021.12.010著录格式：王艳松，张琦，孙聪，等．数据中心液冷技术发展分析[J]．电力信息与通信技术，2021，19(12)：69-74． 数据中心液冷技术发展分析
王艳松1，张琦2，孙聪3，庄泽岩2，黄子轩2，翟天一4
（1.国网北京市电力公司，北京 100031；2.华为技术有限公司，北京 100080；3.中国信息通信研究院，北京 100191；
4.中国电力科学研究院有限公司，北京 100192）
摘要：随着我国信息产业的飞速发展，数据中心总体需求不断提升，单机柜功率密度不断提高，传统的散热方式已不能满足当前高密度数据中心的发展需求。液冷技术的出现，改善了传统的散热形式，并凭借高可靠、低能耗等优势，逐步被应用于数据中心。文章主要对浸没式、冷板式、喷淋式3种液冷 技术进行分析，并对3种液冷技术的特点进行对比，归纳3种技术的不同特性。分析液冷系统、应用以及行业发展，为后续建设绿高效的数据中心提供参考。关键词：液冷；浸没式；冷板式；喷淋式；数据中心
Abstract: With the rapid development of China's information industry, the overall power demand of data centers is increasing, and the power density of single cabinets is increasing. The traditional heat dissipation method can no longer meet the development needs of the current high-density data center. The emergence of liquid cooling technology has improved the traditional form of heat dissipation. Liquid cooling technology has been gradually applied to data centers with the advantages of high reliability and low energy consumption. This paper mainly analyzes three kinds of liquid cooling technology: immersion type, cold plate type and spray type. In this paper, according to the characteristics of the three liquid cooling technologies, the different characteristics of the three technologies are summarized. At the same time, this paper also analyzes the liquid cooling system, application and industry development, which provides a reference for the follow-up construction of green and efficient data center.
Key words: liquid cooling; immersion liquid cooling; cold plate liquid cooling; spray cold plate; data center
Analysis on the Development of Liquid Cooling Data Center Technology
WANG Yansong 1, ZHANG Qi 2, SUN Cong 3, ZHUANG Zeyan 2, HUANG Zixuan 2, ZHAI Tianyi 4
(1. State Grid Beijing Electric Power Company, Beijing 100031, China;
2. Huawei Technology Co., Ltd., Beijing 100080, China;
3. China Academy of Information and Communications Technology, Beijing 100191, China;
4. China Electric Power Research Institute, Beijing 100192, China)
0 引言
数据中心在信息社会和数字经济发展中扮演着重要的角，提供计算、存储、网络能力，支撑社交、视频、网购等应用的正常进行。随着云计算、大数据、人工智能等技术的发展和应用，数据中心规模不断扩大，数据中心总体耗能总量不断增加。2020年，中
国数据中心年耗电量超过2 500亿kW ·h ，占全部用电量比例的3%，预计仍将以15%~20%的速率持续增长
[1]
。如图1所示，数据中心能耗结构中冷却系
统能耗占据高达40%，成为数据中心进行能效优化的重要因素[1]。
随着国家对新基建的重视，数据中心迎来新的发展浪潮，伴随着数字化社会的发展，数据中心也将会承担越来越重要的角，推动数据处理、存储、传
电
力信息通信
输等相关设备的建设与发展。5%
10%
40%
45%
➗ 䖵 䇮 䝽⭥㌫㔏
㌫㔏IT 䇮
图1 数据中心能耗结构图
Fig.1 Energy consumption structure of data center
作为各类数据信息的关键基础设施，数据中心的规模不断提升，规模的年增长率保持在30%左右，截止到2020年底，数据中心机架总量已经超过 400万架
[2]
。数据中心利用率是数据中心算力的主
要表现形式。2019年底，我国大型、超大型、中小型的数据中心利用率均达到45%[3]以上。当前，数据中心能效水平不断攀升，加快了可再生能源的利用效率。当前，我国数据中心的电源利用效率（Power Usage Effectiveness ，PUE ）水平较低，大型、超大型数据中心平均PUE 均达到1.5以下，在绿低碳数中心建设方面取得了突出的成果[4]。同时，我国可再生能源利用率不断攀升，到2020年底，可再生能源发电量超过22 000亿kW ，增长率达8.4%[5]。蚂蚁集团、阿里巴巴等领先数据中心企业设计实施了可再生能源利用、绿技术研发等绿低碳数据中心策略。
数据中心一方面作为各类数据信息的核心基础设施，另一方面又与传统行业融合发展、紧密相连，特别是与电力系统领域更加密不可分。数据中心机房作为现代信息建设的基础工程，能够提供稳定的运行环境。而电力系统作为数据中心的重要组成部分，占据整个数据中心资产的50%以上，是数据中心的主要支撑
[6]
。近年来，随着我国电力行业信息化
程度逐步提高，能源互联网建设进程不断增加，电力行业先后提出“云大物移”、智慧能源等建设目标，深入应用大数据、人工智能、区块链等技术，加速推进能源革命与数字革命融合发展。当前，智能电网和互联网技术不断创新，以数据赋能电力系统，用价格
信号引导电力用户改变自身的用电行为，从需求侧增加电力系统运行的敏捷性，丰富电网的运行调节手段，有效促进我国电能量市场的高速发展[7]。同
时，国家电网有限公司结合供配电资源优势，提出将变电站、数据中心站等多站进行融合的建设目标，利用现有资源，实现数量多、分布广的部署特点，为社会提供多种类型的服务。我国电力行业大型数据中心以支撑自身业务为主，并不断以绿化、智能化、
定制化为方式，推动数据中心建设。
数据中心作为集中放置电子信息设备，提供运行环境的建筑场所，是电力系统领域中的重要基础设施。数据中心大多建立在环境周边清洁、水源充足、远离自然灾害隐患、环境温度利于节约能源的地区，不但能够确保数据中心建设的安全性，而且对降低数据中心在建设过程中的能源消耗、节省数据中心的建设成本有一定的优势，如张北云联数据中心通过全自动化楼宇设备自控（Building Automation System-RTU ，BA ）系统，利用周边环境温度低的优势，实现自然冷源利用率的最大化，使年均PUE 达1.23。另外，电力对于数据中心基础建设是数据中心运营的重要保障，电价成本的高低对数据中心的建设和运营均具有较大的影响。数据中心全天处于运行状态，不但需要充足的电力供给保障服务器、IT 设备的正常运行，而且还需要长期运行机房的散热设备对机房进行降温处理。因此，电费支出成为数据中心运营支出的主要部分，使华为、阿里巴巴、腾讯、今日头条、百度等科技巨头对数据中心的布局逐渐向河北、内蒙古、贵州等一线周边城市扩散。如位于乌兰察布市察哈尔经济技术开发区的乌兰察布华为云数据中心，利用电力气候等独特优势采取多种措施实现绿、高质量、低成本的运营模式，达到全年PUE 小于1.15，成为业界最佳水平。阿里巴巴公司利用贵州水电充足、电价成本偏低的优势，将数据中心设立在贵州，实现了建设高等级、低成本的数据 中心。
随着新基建战略的不断推进，数据中心逐渐成为各行各业不可或缺的纽带，同时，其自身的能耗问题也备受关注
[8]
。由于冷却系统耗能占比高、可优
化空间大，当前通过改善数据中心的制冷方式，进而降低数据中心能耗，已经成为推进我国数据中心高质量发展的必要措施之一。液冷技术是数据中心制冷革新的关键技术之一，
可以较好地提高数据中心
电力信息通信
的能效水平。
在发展方面，液冷技术在航天等领域内具有很长的应用历史，而在数据中心行业中发展较为缓慢。文
献[9]提出了液冷结合风冷技术的双通道系统，且测试实验PUE 结果达1.1到1.2之间；文献[10]基于多个城市的液冷散热样本数据进行分析，构建了不同城市数据中心制冷散热系统的能耗计算模型，有效降低了数据中心系统的能耗值。文献[11]结合数据中心节能分析基础上，采用热回收技术，在降低数据中心能耗的同时，提升热回收效益。在国外，也有大量的研究人员对降低数据中心的损耗进行大量的研究
[12]
，产生了较多的应用案例，如IBM 公司的
SuperMUC 充分应用液冷技术的制冷优势，大幅度降低了数据中心的损耗率。
针对数据中心液冷技术在不同行业的技术应用发展，本文主要从浸没式、冷板式、喷淋式3种液冷技术的发展进行分析，并将3种液冷技术的特点进行系统的对比，总结出液冷技术的不同特点以及适用应用场景类型，为数据中心液冷技术的场景应用及技术发展提供参考。
1 液冷技术分析
液冷技术是电子设备进行散热的技术，主要区别于目前常用的风冷技术。当前液冷技术包括浸没式、冷板式、喷淋式等类型，本节主要介绍上述3种液冷技术的系统组成和运行过程，并对3种液冷技术进
行对比。1.1 浸没式液冷技术
浸没式液冷技术通过浸没发热器件，使得器件与液体直接接触，进而进行热交换
[13]
。根据介质是
否存在相变化分为单相浸没和相变浸没2种类型。本文主要以相变浸没液冷技术为研究对象，分析其降低数据中心能耗工作原理。
浸没式液冷技术主要由冷却液、腔体结构、换热模块及相关的连接管道等设施构成。其中，冷却液为数据中心的换热介质，具有高绝缘、低黏度以及超强的兼容特性，是浸没式液冷技术的主要媒介。主板芯片等发热器件表面的散热性能在很大程度上影响介质沸腾的换热强度，若芯片表面光滑，则液体在换热面上的传热系数较高，从而提高热量的散发速率。市场上常采用安装散热罩的方式，增大芯片的散热面积，从而提高数据中心的散热性能，降低损耗
率。冷却模块是浸没式液冷技术的主要散热模块，包含液气换热器、循环泵等多个配件设施。冷却模块的部署方式可以影响冷却液的冷凝换热效率，改变浸没式系统的冷却极限，从而降低数据中心的散热效率，其模块大多适用于高性能、高热流的计算场景，如中科曙光E 级超算设备，完全摆脱风冷散
热的制约，去除风冷式散热器，配置512个计算节点，系统峰值功耗为249 kW ，PUE 达1.04，有效解决高密度计算产生的制冷散热问题。网速科技是最早布局液冷数据中心产品线的企业，通过浸没式液冷的散热方式，将散热能耗降低90%~95%、设备能耗降低10%~20%，有效降低数据中心的总体能耗占比。1.2 冷板式液冷分析
冷板式液冷系统主要由换热冷板、热交换单元和循环管路、冷源等部件构成
[14]
。冷板式液冷将热
量传递给循环管道中的冷却液体，通过液体本身的制冷特性将服务器产生的热量带走，提高冷板的冷却效率，大幅度降低数据中心的能耗。
换热冷板通过空气、水或其他冷却介质在通道中的强迫对流，带走服务器中的耗热能量，可有效降低数据中心的PUE 值
[14]液冷服务器
。冷板材质一般由高导热
系数的材料构成，使得冷板表面接近等温，带走大量的集中热量。并且冷板的应用减少冷却介质对电子元器件的污染，提高数据中心设施的使用寿命。冷量分配单元主要为竖直和水平2种形式，通过竖直和水平分液单元将低温冷却液均匀的分配给每一个分液单元，防止芯片热量无法有效散出，减少因节点温度升高而发生的隐患，提高系统的计算能力。循环管路是连接换热冷板、热交换单元以及其他相关器件的重要部件，一般分为直连式和环路式2种类型，大多根据数据中心建设的不同需求，选择合适的管路进行连接。冷源作为带走数据中心产生热量的最终出口，是冷却系统的主要组成部分。大多采用室外冷却设备提供的低温冷却水在热交换单元中充当冷源。冷源与升温后的冷却液进行间接接触，通过带走冷却液的热量进行降温，使冷却液以低温状态进入芯片模块，进而进入散热循环。因此，冷源的选择合理与否，将会直接影响整个系统的使用效率及运行的经济性问题，如阿里巴巴千岛湖数据中心利用周边环境的自然资源，采用湖水自然冷却系统等技术，使PUE 达1.28，有效节省数据中心的建设
成本。
电力信息通信
1.3 喷淋式液冷分析
喷淋式液冷一般不需要对数据中心的基础设施进行大幅度地改动，只需在喷淋模块调整喷淋头，实现喷淋设备与服务器的精准对应
[15]
。与传统风
冷服务器相比，其可以有效降低器件所产生的热量，从而控制数据中心运行的温度。喷淋式液冷服务器是整个喷淋系统的主要内部器件，凭借其高性能、低能耗、高可靠运行的特点，可以有效降低数据中心能耗。当前，先进的喷淋式液冷服务器大多采用芯片级喷淋液冷技术，通过冷却液带走部件产生的热量，冷却液的温度提升后，随即进入冷却系统的换热装置进行换热。 1.4 液冷技术对比
对冷板式、浸没式、喷淋式液冷技术进行比对，具体情况如表1所示。由表1可以看出，冷板式液冷技术在可维护性、空间利用率、兼容性方面具有较强的应用优势；但在成本方面，由于其单独定制冷板装置的原因，导致技术应用的成本相对较高。而喷淋式液冷技术则通过改造旧式的服务器和机柜的形式，大幅度减少了数据中心基础设施的建设成本
[16]
。浸没式技术与其他2种技术相
比，虽然器件的可维护性和兼容性较差，但空间利用率与可循环方面具有较好的表现，降低数据中心的能耗。
表1 冷板式、浸没式、喷淋式液冷技术比较
Table 1 Comparison of cold plate, immersion and spray
liquid cooling technologies
比较项目
冷板式浸没式喷淋式成本
冷板要求的规格多，
大多需要单独定制，成本较高
冷却液用量较多，与冷板式相
比成本居中通过改造旧式服务器和机柜，增加必须的装置，成本
较小可维护性优秀较差中等空间利用率
较高
中等
最高
兼容性
未与主板和芯片模块
进行直接的接触，材料兼容性较强
直接接触，材料兼容性较差直接接触，材料兼容性较差安装简捷 程度
不改变服务器主板原有的形态，保留现有服务器主板，安装便捷改变服务器主板原有结构，需重新安装
不改变服务器主
板原有的形态，安
装便捷
可循环
采用双路环状循环对
冷冻液实现二次利用，降低运营成本
通过室外冷却装置进行循环，降低运营成本
采用循环泵，实现资源的再利用，降低运营成本
2 液冷产业发展分析
2.1 行业应用现状分析
第1节中液冷技术在数据中心行业已经有一些具体的应用案例。冷板式液冷是应用最早的液冷技术，在数据中心、高性能计算等行业均有应用；浸没式液冷技术具有节能性、高性能的特点，在计算机超算领域具有广阔的应用前景；喷淋式液冷目前公开的应用较少，但近年来应用也逐步加快。本节将结合液冷技术的类型特点，通过不同的应用案例分析浸没式、冷板式、喷淋式的应用技术。
1）浸没式液冷技术。目前，高性能计算是进行科学计算、推动信息社会发展的重要方式。以中科曙光为例，其一直致力于大型超算系统的研发，而高效制冷技术是降低高密度IT 设备的主要形式，经过相关研发和测试，曙光E 级超算系统已经利用浸没式液体相变的冷却方式，有效降低液冷系统的冷却极限。同时，其采用立体扩展的多层机房模式，完成系统的高效集成。除中科曙光外，北京服务于云渲染的数据中心，通过浸没式液冷技术改变传统的风冷技术，去除制冷主机和末端空调风机，降低数据中心基本设施的电能损耗，提高数据中心的运行 效率。
2）冷板式液冷技术。当前，冷板式液冷技术的应用也具有较多的案例，如北京水冷超算中心采用常温水冷技术，解决数据中心的内存散热问题，从而降低数据中心的能耗，使该数据中心达到国内领先的节能水平，成为业界的标杆[17]；百度阳泉数据中心
也采用冷板式液冷技术，通过利用系统循环泵驱动温水技术带走升温的芯片热量，进而降低数据中心
的能耗[14]。华为研发的冷板式液冷技术也已经开始推广应用，并在PUE 方面取得较好的效果。
3）喷淋式液冷技术。喷淋式液冷技术的理论基础研究相对较少，技术的应用场景也比较有限。因此，只有少量数据中心基础设备采用喷淋式液冷技术，如上海大数据试验场，一方面其采用模块化的集装箱式技术，降低了建设数据中心的应用成本；另一方面，其结合喷淋液冷技术，实现284 kW 的IT 负载，并将IT 设备的PUE 控制在稳定的范围内，提高数据中心的能效。2.2 行业应用问题分析
液冷技术在数据中心行业的散热方面具有显著
电
力信息通信
的优势，但在数据中心行业大规模应用，仍需提高技术的创新性和适用性，需要解决以下行业发展问题。
1）液冷适用性。每一种新兴技术的应用，都需要厂商进行长期的实验，才能保证技术稳定性。并且在大批量应用之前需进行小规模的定点实验，提高液冷的实用性。当前，液冷技术应当进一步加强小规模的定点实验，并努力批量应用于数据中心行 业中。
2）液冷架构重构性。液冷方式的部署环境与传统的机房有较大的差异，而且部署架构也需要重新构建。因此，采用液冷技术不但面临高额的部署费用，而且也增加运维人员的时间成本，大幅度升高了数据中心的运维成本，因此，需要进一步在架构、运维等方面进行优化。
3）液冷设计规范性。液冷在数据中心的建设和测试过程中缺乏成熟的行业规范，大部分企业均根据自身的需求特点进行研发，未达成业界的统一标准
[18]
。若未进行标准化统一管理，会导致液冷技术
不规范发展，一旦产生破坏性故障，会彻底打击液冷技术的发展。同时，非标产品也不利于成本和应用，因此必须加快标准化进程。2.3 行业发展建议
液冷技术在数据中心行业的应用中，需要逐步成熟的发展过程，必须依托厂商、用户及行业组织的推进，才能在未来的发展中获得大幅度提升，具体建议如下。
1）完善液冷技术材料的通用性，降低建设成本。如冷板式液冷技术中，冷板的要求规格较多，导致冷板式技术的成本较高。若对液冷应用的原材料和配件进行深入研究，降低制造液冷原材料和配件的成本，将会大幅度提升液冷数据中心的发展速度[19]。
2）提高液冷技术的运维效率。液冷技术的运维与传统风冷技术的运维方式相差较大，从而加剧运维人员的工作成本。因此，需要生产配件的各个厂商及设备商提供安装、调试和运维的规范说明。通过标准化的流程，不但保障其应用的稳定性，而且大幅度提升运维人员的工作效率。
3）加强液冷技术验证力度，确保技术可靠运行。液冷技术的可靠性实施，需要依托于设备商、服务商、用户等企业。从节能性、可靠性和适用性等方面，推进液冷技术示范试点的运行，并在加强验证的基础上，在数据中心行业进行大批量的推广。
3 结语
我国数据中心飞速发展的同时，数据中心能耗也逐渐增加，对企业发展和社会能源，均带来了巨大挑战。在数据中心的基础设施建设中，液冷技术虽不是一个全新的概念，但仍存在液冷适用性、架构重
构性以及设计规范性等多方面问题。针对液冷技术，本文从技术和行业发展2个方面进行分析，并提出液冷技术的发展优势，为未来数据中心行业的发展提供理论参考。
下一阶段仍需高度关注液冷技术和数据中心行业的变革，为推动液冷技术的应用以及实现高效能数据中心建设奠定基础。
参考文献：
[1] 苏林，董凯军，孙钦，等．数据中心冷却节能研究进展[J]．新能
源进展，2019，7(1)：93-104．
SU Lin ，DONG Kaijun ，SUN Qin ，et al ．Research progress on energy saving of data center cooling system[J]．Advances in New and Renewable Enengy ，2019，7(1)：93-104(in Chinese)．[2] 中国信息通信研究院，开放数据中心标准推进委员会．数据
中心白皮书(2020)[R]．北京：开放数据中心标准推进委员会，2020．
[3] 开放数据中心标准推进委员会．全国数据中心应用发展指引
(2020)[R]．北京：开放数据中心标准推进委员会，2020．[4] 何宝宏．构建更高质量的新型数据中心产业生态[J]．中国电信
业，2021(S1)：1-4．
[5] 国家能源局．2020年度全国可再生能源电力发展监测评价报
告[R]．北京：国家能源局，2020．
[6] 吴劲松，李舒涛，赵德宁，等．第一届中国电力行业数据中心高
峰论坛会议综述[J]．南方能源建设，2018，5(S1)：267-274．
WU Jinsong ，LI Shutao ，ZHAO Dening ，et al ．Summary of the 1st China power industry data center summit forum[J]．Southern Energy Construction ，2018，5(S1)：267-274(in Chinese)．[7] 曹雨洁，丁肇豪，王鹏，等．能源互联网背景下数据中心与电
力系统协同优化(二)：机遇与挑战[J/OL]．中国电机工程学报，2021：1-16[2021-08-11]．/10.13334/j.0258-8013.pcsee.210814．
[8] 钱声攀，邱奔，李哲，等．数据中心能效优化策略研究[J]．信息
通信技术与政策，2021，47(4)：19-26．
QIAN Shengpan ，QIU Ben ，LI Zhe ，et al ．Research on energy efficiency optimization strategy of data center[J]．Information and Communications Technology and Policy ，2021，47(4)：19-26(in Chinese)
．
豫公网安备41160202000603
站长QQ:729038198
关于我们
投诉建议