文章编号：0253-4339（2021）03-0135-10
doi：10.3969/j.issn.0253-4339.2021.03.135
冯帅1王国岩2何嘉俊1张可牧1安青松1
（1天津大学中低温热能高效利用教育部重点实验室天津300350；2歌尔声学潍坊261031）
摘要交换机作为通讯传输技术的核心设备，内部芯片产生的热流密度越来越高，提高其散热效率是数据中心稳定运行的前提。本文对应用于交换机散热的新型浸没式液冷技术进行仿真与实验研究，通过高功率交换机的液冷散热仿真、浸没式液冷的散热效率实验对应用效果进行了分析和评估。结果表明：基于元件模型散热仿真分析的模型修正方法提高了温度预测的准确性，浸没式液冷条件下交换机的元件温度比相同功率风冷条件下的温度约低20C，浸没式液冷环境下单位体积的交换机极限功率约是风冷条件下极限功率的3.2倍。 关键词浸没式液冷技术；热仿真；交换机；散热效率；极限功率
中图分类号:TB61+1；TP391.9文献标识码：A
Experiment and Numerical Simulation of Immersion Liquid-cooled Switch Feng Shuai1Wang Guoyan2He Jiajun1Zhang Kemu1An Qingsong1
(1.Key Laboratory of Efficient Utilization of Low and Medium Grade Energy,Ministry of Education,Tianjin University,Tianjin,300350,China;2.Goertek,Weifang,261031,China)
Abstract As the core equipment of communication and transmission technology,switches develop rapidly,and the heat flux emitted by internal chips increases constantly.Improving heat dissipation efficiency is a prerequisite for the reliable operation of data centers.This study focuses on the simulation and experiments of immersion liquid cooling technology.The effects of this technology were analyzed and evaluated through a liquid cooling simulation of high-power switches and heat dissipation efficiency experiments of immersion liquid cooling. The results show that the model correction method based on the heat dissipation simulation analysis of components improves the accuracy of temperature prediction.The component temperature of the switch in the immersion liquid cooling condition can be reduced by approximately20C compared with the air-cooling environment under the same power.The power limit of the unit volume of the switch under immersion liquid cooling is approximately3.2times of that under air cooling environment.
Keywords immersion liquid cooling technology；thermal simulation；switch；heat dissipation efficiency；limit power
随着互联网的高速发展，大数据处理需要具有更高稳定性与可靠性的大容量、高性能交换机。如图1所示，交换机的失效约有47%是由于散热能力不足导致温度升高造成的[1]o有研究表明，主流性能的交换机温度范围在50~60C，其CPU温度每升高1 C，可靠性就下降约25%⑵。
影响交换机散热的原因主要有：1）交换机内部元件热流密度不断升高。目前交换机使用的交换芯片最高功率为363W，热流密度可达100W/cm2[3-4]，四代Tomahawk交换机芯片即将量产投入使用，最高功率将提至515W，热流密度接近130W/cm2[5]。以当前交换机传统冷却方式的散热效率来看，存在着较大的散热风险。2）交换机中部分元件支持的最高温度较低。例如交换机中的光模块，根据测试标准要求光模块允许达到的最高温度为70C[6]，风冷很难满足光模块散热要求。3）交换机内气流阻抗曲线不断升高，交换机内部元件尺寸增大、数量增多，导致交换机内部流体的局部损失和沿程损失增加[7]o唐金沙等[8]研究表明，依靠提高风速增加散热能力的方式，其综合性能很难得到提高，难以满足高性能芯片的散热需求。
浸没式液冷技术相对于风冷技术有着较好的散热表现，从最初应用于航天领域再扩展到军事领域，当前很多民用领域具有高热流密度散热需求的设备也尝试使用。对浸没式液冷技术的探究始于20世纪60
年代,IBM公司开始了氟化液与计算机在直接接触下的散热研究⑼。A.Bar-Cohen[10]将服务器、交换机浸没在盛有氟化液的水槽中工作，并对工作时的交
收稿日期:2020-08-10；修回日期：2021-01-14
—135—
图1交换机失效原因统计
Fig・1Statistical of failure reasons of
communication equipment
换机进行了热测试，测试结果显示交换机内部元器件最高温升仅约7C，而在风冷条件下温升为25C。
D.Pellicone［11］将总功率为1500W的交换机浸没在氟化液中，在温度达到稳定后最高温升为23C，而同等条件下风冷系统的温升高达55C，已接近风冷系统可靠运行的极限温度。2017年阿里巴巴公司建造了全球首个浸没式液冷服务器，能效方面的表现也极为突出［12-13］。2018年10月，中科曙光联合上海超级计算中心、国家超级计算深圳中心的E级超级计算机，采用了浸没式液冷技术，系统峰值功耗高达249 kW,PUE值仅为1.04，实现了整机系统的高效节能［14］o综上所述，浸没式液冷系统具有结构紧凑，散热效率高等优势，是当前解决高功率交换机散热问题的前沿应用方向之一［⑸。
尽管浸没式液冷技术已经在很多IT设备或系统中得到了应用［16-17］，但是仍然缺乏针对浸没式液冷技术的热仿真设计模型修正方法和浸没式液冷条件下的交换机极限功率分析数据，这使得实际散热技术应用开发过程中的可靠性降低、设计周期较长、功率控制缺乏支撑，而这些相关的研究极少。因此，本文对采用高沸点冷却液的浸没式冷却交换机进行模拟仿真与实验研究，并与风冷测试结果作对比。结合热测试结果对交换机在浸没式液冷条件下的仿真模型进行修正，对交换机进行极限功率测试。
1实验设计与系统仿真
1・1实验装置及系统
将浸没式液冷交换机与风冷交换机通过热测试进行对比，通过测定在不同工况下交换机工作时各部件的温度来对比两种方式的散热效果。
实验中热电偶分别布置在芯片、光模块、电源处。交换机的测温热偶线选用的T型线，材料为铜-铜镍。测温范围为-200〜350C，测试精度等级为n —136—级,T型热偶线测试误差为±2.5Co图2所示为交换机顶端位置截面，交换机内部的芯片、CPU、内存条等在正常工作时都是高功率发热元件，实验共布置12个测温点。
图2交换机顶端位置截面图
Fig・2Cross section of switch top position
图3所示为在交换机正视图方向可见光模块排布，前端光模块共有28个，在上、下两排槽位中各选8个光模块进行测试。其中上排测试的光模块槽位为1、3、5、7、9、11、13、15，下排测试的光模块槽位为18、20、22、24、26、28、30、32。
图3光模块排布图
Fig・3Optical module layout diagram
交换机电源内部元件紧密，发热器件较多，是交换机内部散热的难点。因此在交换机电源处共布置11个测试点，主要包括变压器、二极管、PFC电感线圈等元件。图4所示为交换机电源测温点位置图。
图4交换机电源测温点位置图
打棉机Fig・4Location of temperature measuring points for
switch power
supply
1.2仿真模型
通过3D软件对交换机进行1:1零件装配实体建模，其中外壳尺寸为445mmx440mmx43.5mm，其他元器件主要包括主板、CPU、光模块、交换芯片、
美发镜台散热器及其他芯片，如图5所示。考虑到交换机进出口端、交换芯片及CPU、散热片和电源等位置流场复杂，且热交换频繁，为了提高仿真的准确性，对重要位置的网格进行局部网格加密处理。
对模型中固体和流体的材料属性进行设置，其中交换机外壳和散热器材料使用AL-6061，芯片、电路板等材料均使用软件材料库选项中相应的材料，其他参数如表1所示。在风冷仿真中流体的属性为空气，并对风扇的P-Q曲线进行设定；液冷仿真中对流体的属性为冷却液的基本参数，并将水泵的P-Q曲线进行设定，初始温度为45C o仿真设定的环境温度为25C。
■■■■
440单位：mm
图5交换机热模型图
Fig・5Switch architecture diagram
仿真采用稳态计算，计算类型选择非耦合求解法，流体流动采用紊流-湍流模型，选择PISO算法，能量方程和动量方程选择一阶迎风差分格式，松弛因子改为0.7。
表1交换机内部器件功率统计
Tab・1Switch internal device power statistics
元器件名称功率/W数量共计/W
交换芯片2821282
BCM82756芯片 5.41316.24
BCM54195芯片 1.2325 6.16
BCM82399芯片 6.421 6.42交换机光模块114.522319
光模块216660捆扎胶带
光模块318472
CPLD 1.322 2.64
其他90.5190.5
CPU72172
固态硬盘 1.71 1.7 COM卡
内存条224
直流电损耗43143
电源电源损耗1062216
1217.66
表2冷却液物性参数
Tab・2Physical properties of coolant
参数氟化液空气比热容/(J/(kg・K))11001003导热系数/(W/(m・K))0.0650.021密度/(kg/m3)1855 1.29介电强度(kV/c m)40302结果分析
2・1热仿真结果分析
图6所示为风扇在100%和75%转速下交换机内部的温度云图。在风冷条件下交换机内部局部换热系数不均匀且易形成局部热点(例如交换芯片部分)。在风扇75%转速下交换机内部的交换芯片温
—137—
度已经超过了硬件允许的最高温度(允许最高温度如表3、表4所示)，即使在风扇100%转速的情况下交换芯片的温度也已经很接近极限温度。
30110.8830103.10
高压氮气压缩机
(a)100%转速(b)75%转速
图6风冷条件下交换机内部温度
Fig・6Internal temperature of switch under air
cooling condition
如图7所示，通过改变水泵功率对进入交换机的冷却液流速进行仿真，冷却液在交换机内最小流速范
围为0.22〜1.43m/s。图8所示为冷却液在0.22 m/s和1.43m/s下的交换机仿真结果，浸没式液冷可大幅度降低交换机内部器件的温度，同时不再出现局部热点也没有散热死区，正常情况下可以保证交换机在长期工作状态下内部各个元器件均处于相对较低温度，因此提高了交换机的可靠性。
图7冷却系统流速云图
Fig・7Flow rate cloud of cooling system
(a)0.22m/s(b)1.43m/s
图8浸没式液冷条件下交换机内部温度Fig・8Internal temperature of switch under immersion
cooling condition
2.2实验验证
为了在最严苛的条件下对交换机的换热情况进行评估，将交换机内所有芯片及发热器件都调至满载—138—状态。
实验过程中，首先将交换机内的风扇或浸没式液冷条件下的泵打开并调至满转，然后再将交换机内所
有芯片及发热器件的功率升至最高，最后对数据进行记录。在交换机运行时由于器件温度随时都在发生变化，为了保证测试数据的完整性，每隔10s读取一次数据，并对交换机功率进行实时监控，测试结束后将测试数据上传至工作站进行保存。为减小测试数据的测试误差并保证交换机内部器件温度达到稳定状态，相同状态下的工况进行三次测试，每次测试时间2h。
通过实验测试，分别得到了风冷和浸没式液冷条件下交换机内元件的温度数据。表3〜表6所示分别为风冷和浸没式液冷条件下元件温度统计。
根据上述数据绘制成柱状统计图9，由图可知浸没式液冷相对于同功率下的风冷主要器件的平均可降低20C左右，散热效率较高。但是风冷元件与实测的误差率最大为3.0%，而在浸没式液冷条件下的仿真中，交换机的光模块仿真误差已经超过了10%，电源内部的变压器的仿真误差已经超过了20%，很难作为热设计仿真结果进行参考，因此有必要对浸没式液冷仿真模型进行修正使其仿真误差满足设计要求。
图9风冷测试与液冷测试的主要器件温度数据对比
Fig・9Date comparison of air cooling test and liquid
cooling test of main components
2.3仿真模型修正
如上述分析可知，光模块和变压器在浸没式液冷环境下的实测数据与仿真数据差距较大，主要是由于光模块和变压器内部构造很复杂，交换机在仿真时多使用简化模型，而以往的简化模型主要是针对风冷仿真使用，没有考虑到浸没式液冷的环境。因此有必要对造成误差的原因进行理论分析，并对模型进行修正以保证浸没式液冷条件下的仿真模型的准确性
。
表3风冷条件下交换机元件温度统计
Tab.3Statistics of component temperature under air cooling condition of switch
序号元件名称最咼允许
温度/C
45C满载
仿真/C
45C满载
实测/C
误差/
%
45C单电源失效
仿真/C
45C单电源
失效实测/C
误差/
%
1固态硬盘18565.464.6 1.265.264.5 1.1 2固态硬盘28566.165.50.966.365.5 1.2 3固态硬盘38566.765.7 1.566.765.3 2.1 4处理器9562.160.9 2.062.660.7 3.0 5交换芯片105103.5102.2 1.3103.3101.9 1.5 6B8275611088.987.6 1.588.987.1 2.0 7B541968362.561.4 1.862.561.2 2.1 8B8239910075.374.2 1.475.574.2 1.7 9U812590.789.5 1.390.789.0 1.9 10U2912591.288.9 2.591.290.1 1.2 11U512589.387.3 2.289.387.5 2.0 12U1112588.587.3 1.475.574.2 1.7 13L12710077.175.6 1.977.276.0 1.5 14L12810079.278.2 1.279.277.8 1.8 15光模块17066.866.30.866.865.8 1.5 16光模块37066.766.0 1.166.765.2 2.3 17光模块57066.966.40.866.965.4 2.2 18光模块77067.266.60.967.265.3 2.8 19光模块97067.867.1 1.067.86
6.2 2.4 20光模块117067.567.00.867.566.6 1.4 21光模块137067.967.30.967.967.1 1.2 22光模块157068.567.8 1.068.567.7 1.2 23光模块187069.168.50.969.168.1 1.5 24光模块207068.467.7 1.068.467.6 1.1 25光模块227067.566.6 1.367.766.9 1.2 26光模块247068.467.7 1.068.467.6 1.5 27光模块267066.966.40.866.965.9 1.5
表4风冷条件下交换机电源内部元件温度统计
Tab.4Statistics of internal component temperature of power supply under air cooling condition of switch
序号元件名称允许最高
隐藏式水箱温度/C
45C满载
仿真/C
45C满载
实测/C
误差/
延时开关电路%
45C单电源
失效仿真/C
45C单电源失
效实测/C
误差/
%
1BD112085.784.5 1.4108.7106.6 1.9
2Q801A12082.281.0 1.4107.5105.1 2.2
3Q802B12082.281.0 1.5108.4106.1 2.1
4D80513584.182.3 2.1114.4111.0 3.0
5Q200A12079.377.1 2.8103.5100.9 2.5
6Q200B12078.276.9 1.6103.2101.1 2.0
7L20012080.378.9 1.8100.397.8 2.5
139—
豫公网安备41160202000603
站长QQ:729038198
关于我们
投诉建议