摘要: 结合运维经验和运行数据，提出了数据中心低负载工况下的整体优化思路，包括能耗综合分析、建立数字化能耗模型、重视能耗数字分析支撑体系、针对性的能耗优化。介绍了能耗优化方法,包括完善监控体系、动态修订阙值、优化运行参数、降低电费成本、热能收集利用。
关键词：数据中心；低负载；运维；节能；模型；监控体系
00
引言
在新基建的大背景下，国内数据中心行业正在高速发展中，随着投产数据中心的增加，越来越多的管理者面临着投产初期负载率较低、运行成本较高，同时还要按要求完成电源使用效率(PUE)和碳中和等各项考核指标，管理压力较大。据统计，只有部分数据中心在设计、建设阶段考虑到此情况，并专门部署了低负载情况下的过渡设备或方案，大部分数据中心运营管理者只能在后期通过运维手段调整优化系统，降低能耗。
本文重点讨论如何基于数据中心现状，从维护工作角度出发进行节能优化，并提出一些优化思路建议，不包括设计、建设阶段考虑的架构设备选型等相关内容。本文结合多年运维工作经验和生产数据，提出如图1所示的整体优化思路。先对数据中心冷、热量进行综合分析，再建立数据中心PUE和能耗分层模型，找到节能的重点方向，然后通过对动力环路、建筑自控等生产数据的二次开发和搭建数字孪生系统等方式实现对运行数据的精细化分析，最后依据能耗模型和数据分析找到数据中心能耗优化调整思路和节能方法。
图1 低负载下数据中心节能优化思路
01
优化思路
1.1 数据中心能耗理论分析
正常情况下，要先确定机房内产生多少热量，包括显热来源(太阳辐射、围护结构传热、设备、照明)和潜热来源(人体散热、渗透空气、新风换气)【1】，才能确定制冷系统容量。但热量不是静态不变的，而是动态变化的，因此统计数据越精细，分析效果将越明显，同时也要考虑到上架率、IT负载率、业务类型等的影响。以视频类业务为例，通常业务量在20:00达到高峰，04:00达到低谷，这两个时间服务器运行功率和产生热量差别会比较大，需要配套的冷量差别也较大。因此要综合分析各参数对整体能耗的影响，形成加权系数。
1.2 建立数据中心数字化能耗模型
数据中心运维管理者通常会对运行PUE值与设计PUE值进行对比，判断节能情况，也应该对运行PUE曲线与设计PUE曲线进行对比，找到运行中潜在问题。图2显示了北方某数据中心低负载时设计与运行PUE曲线。数据中心冷却系统夏季采用冷水机组模式，冬季利用自然冷源采用干冷器模式，通过对比2条曲线可以发现，正常情况下，冬季干冷器模式PUE应该比夏季低，但实际上反而比夏季高，所以能耗使用一定出了问题。通过详细分析，发现冬季存在2个高能耗问题：1）办公场所没有取暖设施，冬季只能利用电锅炉供暖，能耗过大；2）配套柴油发电机房供暖不达标，需采用电暖风和水套加热以保证柴油发电机正常启动。找到原因后，就可采取针对性的优化改造，利用IT服务器热能，通过水源热泵系统为办公和生产场所供暖以降低能耗。
图2 设计PUE与实际运行PUE全年对比
一个优秀的数据中心运行管理团队，必须要结合自身情况建立和细化能耗模型，现阶段很多厂家标准化的数据中心基础设施管理(DCIM)系统不一定适合每一个数据中心，同时也要定期对标各标准化组织给出的参考模型，找到整体优化方向。但很多组织给出的参考模型通常比较简单，并没有根据地域、气候规模及冷却系统方式进行细化，所以需要根据实际生产情况去分析调整细化，建立适合自身的模型【2】。
以图3为例，对标PUE=1.88的实际模型和PUE=1.5的参考模型。
图3 低负载下数据中心能耗模型于PUE=1.5的标准能耗模型对比
图3显示了GB/T 32910.3—2016中关于电能能效要求的标准模型，图3b显示了某数据中心投产初期的低负载电能模块。通过比对，发现末端空调(12%)和电源系统(9.7%)能耗占比远高于参考模型(4%和5%)，由于负载率低，电源系统设备处于转换率较低的工作区间，认为属于正常情况，因此可将末端空调的节能作为重点调整优化方向。
在对标整体能耗情况后，还需要对同一模块下的各子模块进行横向对比、深度分析，找到存在能耗问题的具体设备或线缆等。示例如表1所示。
表1 某数据中心各系统线损对比
通过对比表1可以发现，1G02系统线损明显比其他几个系统高，所以需要组织开展针对性的排查，找到具体原因降低线损，并排除接头接触不良等潜在安全隐患。分析结果如表2所示。
表2 某数据中心IT负载与末端空调能耗分析
通过表2不难发现，在各机房冷通道均维持在同一温度时，C数据机房空调功率与IT功率的比值明显高于A、B数据机房，在某种程度上说明C机房的冷量存在一定程度的浪费。因此可以结合业务分布，通过加强对C机房现场气流组织、通风地板开度、盲板封堵、空调运行模式等相关情况的重点检查，找到可能原因并加以解决[3]，以降低末端空调运行功率，尽量与其他机房保持平衡
1.3 重视能耗数字分析支撑体系
数据中心动环、自控系统(BA)、监控等各系统，每天产生几万条生产数据，但现有平台呈现的更多只是警告数据、性能检测和统计报表等基本功能，缺少对大量数据进行精细化统计分析和针对性开发，造成极大的数据浪费，没有让运营者更加深入地了解数据中心运行情况。建议数据中心设置专业人员，对运行数据进行针对性的二次开发并建立数据中心数字孪生系统，在孪生系统上进行能耗优化的模拟操作和演练，成熟之后再引入到现实系统中。
在数字孪生系统中，要整合能耗模型、成本模型、生产模型、运行模型和资源模型等，实现数据中心内所有设备对象的虚拟仿真，以三维模式构建数据中心环境，并将数据中心内的监控子系统，如视频、门禁、动力与环境系统、楼宇自控系统、IT系统、管路系统等，纳人到数字孪生平台。在孪生系统上辅助模拟能耗优化等操作，可行后复制到生产系统中，极大地减少误操作。
1.4 针对性的能耗优化调整
除做好参数调整、做好封堵、补齐盲板等常规操作外，重点在低能耗下如何优化设备运行，使其达到最高效率，如何实现针对性的系统联动等。
02
优化方法
2.1 完善监控体系，加强细节管控
1）完善温度场监控体系。现阶段虽然很多数据中心都有温度场模型，但在运维工作中，真正用到并且利用其优化的并不多，温度场平衡绝不是简单地调节回风温度，需要整体联动。可以利用CFD等软件掌握温度场分布，既要消除局部热点，也要消除局部过冷点，达到整体冷量平衡，实现冷量最低输送。
2）完善气流组织监控。气流组织在机房内是可感知不可见的，可以通过调整通风地板开度、调整诱导风机等方式，主动优化机房内的气流组织，实现空气的有效流通，避免对流碰撞等造成冷量浪费。针对低负载情况，还可以将末端空调温度控制调整为送风目标模式，并联动到机房温度最高值的点位，有效降低系统能耗[4]。
3）完善水系统平衡监控。每个数据中心都存在上千个手动阀和上百个自动阀门，如何优化整个水路系统，合理设置阀门开度，如何使系统和各管路达到水流量和动态压差平衡需要重点关注。
4）完善对各系统末端监控。数据中心更关注对主要系统、重要系统的监控，比如对高压、变压器、低压、不间断电源(UPS)、蓄电池等系统进行全网监控，但对门禁、消防控制、弱电等系统、地下管路等末端系统、辅助系统，缺少精确的能耗监控，导致这部分数据无法准确统计，当这部分数据占比超过5%时，对各系统能耗占比分析影响将会变得很大。
2.2 动态修订阙值，重点关注下限
温度方面：按照规范，机房温度范围应为18~27℃[5]，但并不是温度越高越节能。如图4所示，实际情况是随着机房温度升高，空调系统能耗降低，但IT系统能耗增加，总能耗呈现U形曲线，曲线的最低点就是此机房节能最佳温度值，每个机房最佳温度值会因为上架机柜分布、末端空调数量、位置的不同而不同，需要在参数变更后定期测试。
图4 能耗与室温的关系
大部分数据中心在没有和客户签订特殊服务等级协议(SLA)服务的情况下，通常会预留1~2℃的应急温差，所以实际设定值一般会比此最佳值低1~2℃。
部分数据中心在维护时更多关注温度上限，忽略对下限的控制，造成冷量浪费，特别是数据中心投产初期业务量较小时尤为明显，因此在控制上限的同时，建议将下限调整到23℃左右，确保冷却系统不会冷量溢出。同时，参数也要随着业务量的变化，进行动态修订。
湿度方面：数据中心不需要恒湿，相对湿度一般控制在 30%~65%之间为宜【6】，但各运行系统和设备通常都需要设定一个运行值，因此如何合理利用湿度的上下限也需要重点关注，可以根据季节、环境动态修订，如冬季湿度低时设置加湿机的运行值为35%，而不是要求机房达到65%的上限相对湿度[7]。
2.3 调整运行参数达到最优能效
1）优化冷水机组运行模式。数据中心投产初期通常上架率不高、上架设备IT负载率不高，机房供冷需求低，无法达到冷水机组连续运行的最低负荷，可以采用分时段开启冷水机组的办法将冷量存储在蓄冷罐中，并利用蓄冷罐对机房进行释冷，确保冷水机组始终处于高效率的运行区间。
2）优化末端空调运行模式。数据中心末端空调通常为N+1模式，在低负载时要实时关注各单台设备运行曲线，确保设备尽量处在最佳能效区间[8]。以图5为例，由于机房内IT负载率不高，只运行单台1号末端空调按照95%输出功率即可满足使用，但调整为同时运行1号和2号末端空调，各按50%左右功率输出，实际测试整体能耗大约降低6%。
图5 某机房末端空调分配图
3）全系统联动。如图6所示，以暖通系统为例，从逻辑上，整个暖通系统应能自控、可手动控制，需要冷却系统、制冷系统、末端空调、通风地板、冷通道温湿度、客户IT设备的整体联动。数据中心行业应该纳入更多检测监控节点，并联合IT设备厂家开放IT设备风扇等接口，纳人统一监控体系，通过全系统联动达到最优节能[9]。当数据中心处于低负载、系统没有实现最优自动模型时，用人工调整代替自动优化有时会更节能。如在冷水机组提供冷水，室内温度较低时，可通过人工减小通风地板开度，减少冷量的释放和浪费，联动冷水机组降低负载运行。
图6 数据中心暖通系统逻辑图
4）动态优化设备，调整流量平衡。大部分数据中心对水流组织优化重视度不足，各系统设备始终采用同一频率运行[10]。低负载时，建议冷水机组、冷水泵、冷却水泵、冷却塔风机均变频运行，同时根据末端业务量的不同，动态调整冷水阀门开度，根据现有流量调整水压，优化数据中心水路平衡，减少传输过程中冷量的损耗。
2.4 降低能耗的同时，降低电费成本
数据中心通常会把PUE当成最重要的节能考核指标，但PUE更多是为了体现数据中心基础设施能耗情况【11】，随着数据中心的发展，特别是在“双碳”目标下，PUE存在无法体现总电量、无法体现能耗分布等弊端，使其无法全面真实地评价数据中心绿色节能情况，所以在降低PUE的同时，也要引入更多的绿色节能IT设备，同步降低整体电量。
同时，也应该考虑如何利用峰谷平电价，在谷电价时做好储能和蓄冷。虽然国内很多数据中心都有电费补贴，但是考虑到垫款和补贴回款周期，谷电价时段储能和蓄冷，峰电价时段使用，可以减少企业的现金压力，降低运行成本。
2.5 热能收集利用，变相降低能耗
对数据中心来说，无论低负载还是高负载，一方面要节能，另一方面要将IT设备产生的大量热量充分利用，如北方数据中心，在冬季时通过换热设备或水源热泵设备利用IT热量，为数据中心提供辅助供暖，达到节能目的。如图7所示，利用数据中心温度较高的冷水回水进行制热，采用水源热泵机组为数据中心园区内的辅助办公场所提供冬季供暖。
图7 水源热泵系统图
03
结语
低负载下数据中心节能与系统架构、设备选型等设计建设阶段规划密切相关，同时也与后期运行维护密切相关。结合多年数据中心维护工作经验，提出从数据中心冷热量理论分析，到建立数据中心能耗分层模型，再通过对动力与环境系统、BA等生产数据精细化分析，找到并提出数据中心低负载情况下整体能耗优化调整思路和节能方法，供数据中心运营管理者和运维人员共同探讨。
参考文献：
[1] 林密,李进,胡晓鸥.数据中心制冷系统的各种节能冷却模式[J].UPS应用, 2018(2)：28-34.
[2] 赵旭.数据中心节能措施探讨[J].机房技术与管理,2015(1):27-27.
[3] 张俊琦，闫增峰.数据中心机房环境温度对能耗影响[J].建筑节能,2021(2):66.
[4] 钟景华.《数据中心工程设计与安装》要点解读[J].建筑电气,2019(1):7-8.
[5] 中国电子工程设计院. GB 50174-2017 数据中心设计规范［S］.北京：中国计划出版社，2017.
[6] 中国联合工程公司. GB 50052-2009 供配电系统设计规范［S］.北京：中国计划出版社，2010.
[7] 王立新.精密空调机组在数据中心机房的应用[J].建筑电气,2019(1):7-8.
[8] 薛怀坤,李丹,杜永鹏.数据中心环状空调水系统计算分析[J].暖通空调,2021,51(9):99-103
[9] 林楷智,宗艳艳,张雁南.基于预防性散热的服务器功耗优化方法研究[J].计算机工程与科学,2020, 42(8):8.
[10] 赵江,李仁刚,刘宇.服务器节能技术与标准要求[J]. 信息技术与标准化, 2018(10):4.
[11] 田辉,田峻超,穆钊.中小型数据中心PUE值与可用性平衡方法的研究[J]. 网络安全技术与应用, 2021(2):2.
04
作者简介
车凯
CDCC专家技术组委员、联通数字科技有限公司安全管理、高级工程师。“2021数据中心科技成果奖青年科技人才奖”获得者。
来源：车凯.低负载下数据中心节能思路[J]暖通空调2022,52(3)88-92
DOI:10.19991/i.hvac1971.2022.03.13
联系客服
