摘要
数据中心运营过程中会持续产生大量的热，如何让制冷系统高效、快速地带走热量是考验运营管理人员的一道难题。在长期的运营实践中，运用CFD技术（计算流体动力学），在机房设计、运营阶段对气流组织进行建模仿真，通过分析温度场、压力场、速度场、3D气流情况等因素，寻找机房气流组织的问题根源，然后剖析原因进行优化、仿真计算，得到合理的结果，为运营优化提供决策依据，进一步提升数据中心能效利用和可靠性。
本文以实际运行的某传统机房作为案例，通过运用CFD技术进行建模仿真，分析当前情况下机房气流组问题的根源所在，提出相应优化方案，依据仿真的结果，指导机房实际运维管理。
1
某机房制冷问题背景
某数据中心机房长26.4m，宽17.4m，高4.5m，面积约459㎡，其中IT机房面积为380㎡（含冷通道），机架数量为180个，单机柜负载为4kW，IT负载总共为720kW，机柜采用背靠背方式安装，形成冷热气流组织（但未封闭冷热通道）。机房配置8台额定制冷量为140kW，风量27600m³/h的冷冻水空调，机房采用静电地板下送风方式，静电地板高度为0.6m，机房的空调间与IT间有内墙进行隔离，机房热回风通过内墙上的百叶窗开孔返回空调。
加上动力设备及建筑负荷，机房最大总冷负荷约为800kW，为保证机房的安全可靠，机房空调正常开启6台，总制冷量为840kW左右，由于机房制冷量有冗余，机房空调采用6 2的主备形式运行。但通过对现场机房实际运行情况勘察，虽然空调总制冷量有较大冗余，但机房部分区域，尤其是靠近空调处的机柜，服务器进风温度偏高，在主备机切换时，甚至部分服务器进风温度大于30℃，超出服务器温度运行范围值，给日常运行带来了安全隐患。
2
CFD建模分析
依据该机房的设计图纸及现场实际情况，首先使用CFD仿真软件进行精确建模，建立模型如图1所示。模型建立完成后，依据现场实际情况进行仿真计算，通过对计算结果进行分析，我们总结得出该机房的制冷系统主要存在3方面问题，包括：空调群控方案存在缺陷，机房冷热通道气流混流严重，通风地板格栅送风量不均匀。以下做详细分析。
图1 机房2/3D模型图
3
CFD温度场分析
3.1
机房空调群控轮巡逻辑
机房空调备机都是以一定的逻辑进行轮巡的，以该案例作为示例，当在群控机组的主机上（通常逻辑地址为0的机组为主机）将【在线机组】设置为8，【群控模式】设置为0，【备机数量】设置为2，【切换频率】设置为每周二，【切换时间】设置为10：00，【切换机组数量】设置为2，则备份机组的轮巡逻辑如下表，其中黄色表示备份机组，蓝色表示运行机组。
图2 机房空调群控逻辑图
依据以上说明的机房空调群控备机轮巡逻辑，空调群控的备机在轮巡时，在逻辑地址上是连续的，若在群控方案设计时，物理地址和逻辑地址一致，在轮巡时将不可避免的出现多台备机相邻的情况。为了避免出现多台备机相邻情况，需对机组设置合理的逻辑地址。
3.2
机房空调原群控方案及问题分析
该机房空调原群控方案为6台主机 2台备机，虽然6台主机总额定制冷量为840kW，大于机房总冷负荷800kW，但群控的逻辑地址按照机房中实际的物理地址进行编号，如图3所示，导致机房空调群控备机在轮巡时，出现了2台备机相邻的情况。
图3 机房空调原逻辑地址编号
机房空调备机出现2台相邻情况时，根据CFD仿真结果，机柜进风及0.8m高处的温度分布图如图4/5所示。此时机房气流组织恶化，局部机柜最高进风温度达到35℃，出现了局部过热情况。
图4 机房2台备机相邻时机柜进风温度分布图
图5 机房2台备机相邻时0.8m处温度分布图
3.3
机房空调群控方案建议
为了避免出现不合理备机组合的情况，对该案例中的机组逻辑地址编号设置如图6所示。
图6 机组逻辑地址编号
这样设置机组逻辑地址后，机房空调备机在轮巡时，逻辑地址虽连续，但物理地址不相邻，备机的机组不相邻，能较好的避免因群控备机相邻，导致气流组织不合理问题。
机房空调逻辑地址优化后，对优化的CFD模型进行再次求解，得到的结果温度分布如图7/8所示，整个机柜最大进风温度为29.6℃，虽然仍有部分机柜进风温度大于GB50174-2017规范要求的最大进风温度27℃值，但与之前群控方案相比，气流组得到了较好优化，机柜过热风险大大降低。
图7 机房2台备机不相邻时机柜进风温度分布图
图8 机房2台备机不相邻时0.8m处温度分布图
4
CFD气流组织分析
通过优化空调群控方案，机房的气流组织得到了较好改善，但机房局部区域机柜进风温度仍然大于国标推荐的27℃。CFD仿真结果得到的机房气流组织图如图9所示，气流组织横截面图如图10所示。通过对仿真结果进行分析，可知机房局部冷热气流混合严重，冷热气流组织混合，使进风温度提高，不仅增加机柜过热风险，而且部分冷风因得不到有效利用，增加空调系统能耗。
图9 机房气流组织3D图
图10 机房横断面温度分布图
为了解决上述冷热气流混合问题，对机房冷通道进行封闭处理，冷通道封闭后，再次对CFD模型进行仿真计算，并对计算的结果进行分析。
冷通道封闭后，冷热气流得到了较好隔离，机柜进风温度得到了较好保证，温度分布如图11所示，所有机柜进风温度都在GB50174-2017推荐的18~27℃范围内。
图11 机柜进风温度分布图
同时冷热通道封闭后，冷热气流得到了良好隔离，机房温度分布图如图12/13所示，不再发生混流现象，减少了冷热气流混合造成的冷损失，冷气流得到充分利用，不仅保证了机柜的进风温度，而且提高了空调的回风温度，空调能效比也得到了一定程度的提高，有利于进一步降低机房PUE值。
图12 机房0.8m高处温度分布图
图13 机房横断面温度分布图
5
CFD压力场分析
依据CFD仿真计算结果，机房静电地板内速度场、压力场分布图如图14/15所示，对速度场、压力场进行分析得出：静电地板下不同区域风速不一样，靠近空调端风速大，导致压力场同样出现分布不均匀现象，甚至局部区域因风速太大，造成负压，如图14所示
图14 机房静电地板下静压箱风速场分布图
图15 机房静电地板下静压箱压力分布图
依据CFD仿真计算结果，得到通风地板格栅开孔率为50%时的不同冷通道中不同位置通风地板格栅3D气流风量图、截面图分别如图16/17所示。
图16 机房不同冷通道不同通风地板3D风量图
图17 机房冷通道不同通风地板风量截面图
依据CFD仿真计算结果进行统计，得到不同冷通道中不同通风地板风量曲线如图18所示，通过分析风量曲线得知，由于速度场、压力场分布不均匀，从而导致与机房空调距离不同的通风地板的送风量不一样：与空调距离较近的通风地板因气流速度大、静压压力小，从而通风量较小，甚至有部分通风地板通风量为负数，即气流出现倒流情况；与机房空调距离较远处通风地板气流风速小、静压压力大，通风量较大。
图18 冷通道格栅地板开孔率50%通风量曲线图
为了解决因压力分布不均，导致机房中靠近空调处的通风地板送风量偏小或者气流倒流问题，对机房中的通风地板的开孔率进行优化，改变冷通道中与空调距离不同的地板的开孔率，依据CFD仿真计算结果进行分析，得到较优的组合为：冷通道中最近空调侧的一组通风地板格栅开孔率设置为80%，第二组通风地板开孔率为65%，第三组通风地板开孔率为50%，最后一组通风地板开孔率为40%。
图19 通风地板分组及开孔率情况
此方案CFD仿真计算结果得到不同冷通道中不同位置通风地板通风量3D气流风量图、截面图分别如图20/21所示。
图20 机房不同冷通道通风地板开孔率为80~65%~50~40%时3D风量图
图21 机房冷通道通风地板开孔率为80~65%~50~40%时风量截面图
通过调整优化通风地板开孔率后，依据CFD仿真计算结果进行统计，得到不同冷通道中不同通风地板风量曲线图如图22所示。依据风量统计结果分析可知，不同冷通道靠近空调处的通风地板格栅通风量虽比其他地板低，通风量均已为正值，中间靠后的地板通风量比较均匀，机房气流组织得到了一定程度优化。
图22 机房冷通道通风地板开孔率为80~65%~50~40%时风量曲线图
为了评估冷通道单块通风地板风量是否与机柜负载匹配，对单机柜所需风量进行简要计算。该机房单机柜负载为4KW，取冷热通道极限温差Δt=15℃，空气比热为1.01KJ/Kg.℃，空气密ρ=1.29Kg/m³，则计算得单机柜所需风量为Q=4/(1.01*1.29*15）*3600=736m³/h。
依据以上计算分析可知，优化冷通道中与空调距离不同处通风地板开孔率后，虽靠近空调区域的通风地板通风量已得到了一定程度的优化，但靠近空调处地板通风量仍然偏小。
为了避免与空调距离较近处机柜出现过热情况，在开孔率优化的基础上，将每个冷通道靠近空调处的4块通风地板，优化为带风扇的通风地板，通风量为750m³/h。此时通过CFD再次仿真计算，得到冷通道不同通风地板通风量3D气流风量图、截面图分别如图23/24所示。
图23 机房不同冷通道靠近空调处4块地板为主动进风地板时3D风量图
图24 机房不同冷通道靠近空调处4块地板为主动进风地板时3D风量截面图
依据CFD仿真计算结果，对冷通道不同通风地板通风量进行统计，得到不同冷通道中不同通风地板通风量曲线图如图25所示。
图25 机房不同冷通道靠近空调处4块地板为主动进风地板时通风量曲线图
通过以上统计分析结果可知，此时冷通道风量分布较均匀，且所有靠近空调附近的通风地板风量均大于750 m³/h，所有机柜进风量都得到了较好保障，可以避免机房局部区域产生过热情况，同时进一步提升了冷风利用效率。
6
总结
CFD技术可以应用于解决实际运维过程中遇到的机房冷却问题，为运维优化提供决策依据。本文应用CFD技术解决了机房群控备机组合不合理，机房气流组织不合理，机房冷通道通风地板通风量不均匀等问题。除了以上所涉及的场景外，在日常运维中CFD技术还有诸多应用实践，如可以应用于机房空调控制方案对比（送风、风压等）、机房服务器扩容评估、机房冷却系统失效模拟等方面。
CFD技术的应用，一方面能够帮助数据中心在设计阶段找到最优的设备选型和空间布局方案，解决在运营阶段的能耗优化问题。另一方面，未来随着新技术、AI控制的发展，CFD也能为这些技术的探索提供有力支撑。
联系客服
