本文由具有数据中心设计管理、工程实施、运维管理经验的中国电子工程设计院南京分院院长，国家注册电气工程师，高级工程师商晓峰、依米康智能工程有限公司技术部总工，国家注册电气工程师，国家注册一级建造师巫源礼、中国移动通信集团福建有限公司厦门分公司电气工程师林小勇共同撰写。
Abstract：Based on the case of a data center in China, this paper analyzes the main reasons for the difference between the design value and the operation value of the data center PUE, and gives out the solutions . At the same time, the application scheme of digital twin technology in data center design is preliminarily discussed.
Keywords：Data Center；PUE; difference; digital twin
摘 要： 本文立足于国内一个通信用数据中心案例，分析了数据中心PUE的设计值与运行值产生了差异的主要原因，并结合实际工程给出了解决方案的建议，同时初步探讨了数字孪生技术在数据中心设计中的应用方案。
关键词：数据中心；PUE；差异；数字孪生
0. 引言
数据中心是随着多核处理器的推广应用而产生的，在大数据时代和互联网经济的背景下，数据中心作为数据的存放与应用的核心，其重要性不言而喻。如今，包括各级政府、企业等在内几乎所有大中型机构都拥有自己的数据中心。
但数据中心不仅建设成本高昂，同时与生俱来就带来着一种“原罪”，这就是高能耗。目前我国对数据中心的能耗已经开始采取较为严格的考核措施，其中最为重要和直接的一项能耗考核指标就是PUE（电能利用效率），例如上海从2022年起对新建数据中心的PUE指标要求不大于1.25，北京要求不大于1.3。但从现有数据中心运行数据来看，发现数据中心的实际运行PUE均远高于设计PUE指标，且业内目前对PUE指标的分析与研究往往主要集中在前期的设计阶段，鲜有数据中心运营数据的后评估，这实际在很大程度上制约了数据中心的前期方案设计工作。
本文通过一个处于我国东南部某发达城市的一个电信运营商所属数据中心作为案例，详细分析了运营PUE与设计PUE相差的原因，并初步探讨采用数字孪生技术对数据中心电气设计的思路，从而以期能对后期数据中心项目的电气设计起到较强的实际指导意义。
1. 案例项目概况
1.1某数据中心电气系统概况
该数据中心级别为A级，位于我国东南某发达城市，为三大国内运营商之一所属，远期规划建筑面积约10万㎡，分两期建设，其中一期已投运，一期工程建筑面积约5.63万㎡，具体包括2栋机房楼（4196台机柜，4万㎡）、1栋动力中心、1栋10kV中压配电所、1栋维护支撑用房。
一期数据中心电源由10kV城市电网提供，具体为由10kV城网引入8回电源，每路电源供电容量为8125kVA，8回电源分为两组，每组2回之间互为备用，城网电源引入高压配电所后，放射分配至各末端10/0.4kV变电所及高压冷水机组处。
本数据中心的应急电源由位于动力中心的9（8+1）台10kV中压柴油发电机组群提供，柴油发电机组群并列后引出4回10kV中压电源，其并网点位于10kV高压配电所10kV中压配电所，当城网电源失去后，柴油发电机组群发电机并列运行，应急发电机群组与城网电源之间有可靠电气联锁，应急电源系统与城网电源系统之间无法并列同时运行。
由于1#机房楼和2#机房楼相同，本文即以1#楼为研究对象对象，2#机房楼主接线方案与1#楼相同，限于篇幅，不再列举，且简图中略去了UPS处接线。
图1.1 数据中心供电系统简图
Fig 1.1 power supply system diagram of Data Center
本数据中心信息机房用电、消防设备、精密空调系统均属于一级负荷，其余负荷均为三级负荷，负荷统计如下表1.1。
设备名称
负荷（kW）
备注
通信设备（机柜）
21054
单机机柜功率3~7kW/rack
空调冷源
4443
包括精密空调（工艺）及舒适性空调
各类损耗
2021
具体包括：变压器损耗、UPS损耗开关损耗、供电线路损耗、精密配电柜损耗、油机待机损耗、电池充电损耗，数据来自设备参数及相关工程经验值
照明等其它
421
具体包括：非消防照明、各类水泵、客梯、货梯等
注：消防负荷不参与PUE计算
表1.1 数据中心系统负荷分类统计表
Tab.1.1 Load classification table of Data Center
1.2设计口径PUE和运营口径PUE情况
（1）从表1.1中可得出，该数据中心设计口径PUE=1.327，对PUE贡献大的因子主要是来自于空调冷源（冷水机组）和各类损耗。
（2）该数据中心于2021年1月正式投运，由于投运初期该数据中心业务量水平较低，其PUE指标在1.63~1.85，至2022年8月，该数据中心业务量开始接近当时通信规划设计水平，PUE指标开始明显下降，截至2023年5月，其运营口径PUE一直保持在1.4~1.5左右，详细数据见下表。
时间（年-月）
PUE
总用电量（kWh）
IT设备用电量（kWh）
当月平均气温（℃）
2022-04
1.54
2548306.54
1650137.13
21.4
2022-05
1.49
3054980.80
2056033.00
22.6
2022-06
1.50
3321739.70
2213546.35
26.9
2022-07
1.53
3612302.71
2366177.65
29.5
2022-08
1.52
3693467.22
2425815.51
29.6
2022-09
1.48
3610124.52
2431417.56
29
2022-10
1.46
3558057.67
2438958.76
24.8
2022-11
1.43
3321221.38
2327838.43
21.9
2022-12
1.41
3502946.81
2487762.67
14.6
2023-01
1.41
3485526.05
2477370.18
14.2
2023-02
1.41
3185325.67
2256720.82
15.1
2023-03
1.40
3518504.92
2506021.79
18.6
2023-04
1.39
3434686.55
2466508.09
21.3
2023-05
1.40
3650973.22
2602737.81
25.4
表1.2 数据中心PUE（运营口径）统计表
Tab.2.1 PUE statistics table of Data Center(Operational Caliber)
从上述图表中可以看出，该数据中心所处地区气候特征为夏热冬暖，从2022年8月份开始，其运营PUE指标开始下降，经调研，主要有两个原因：首先是IT设备用电量上升至通信业务量相对更为饱和，其次是该数据中心制冷系统均在低负载率下运行，运营单位调整了冷冻水的供回水温度和温差，精密空调（CRAH）运行策略的调整，提高了冷冻机组的运行效率，使得PUE整体值下降明显。
2. PUE实际运行指标偏离的原因分析
虽然通过制冷系统运行策略的调整降低了PUE，但是从设计口径来看，1.4的PUE值仍偏高，且说明当时在设计阶段存在电气负荷与暖通负荷计算过大的情况，在对现场实际运行数据进行分析后，发现运营口径PUE值偏高主要是由于IT设备运行功率取值和冷水机组选型两个原因造成的，现做如下详细阐述。
2.1 IT设备运行功率分析
根据本数据中心建设单位提资要求，该数据中心单机机柜功率分为3kW/rack、5kW/rack、7kW/rack三种规格。目前在业内，包括本项目在内几乎所有的数据中心，在计算IT机柜电气负荷时，同时系数与需要系数均取为1，应该说这种系数的选取理念仅仅是一种延续至今的习惯。本次通过对该数据中心的实际运营数据的统计和分析，发现IT机柜实际使用功率情况与机柜名义功率有较大区别。由于IT设备运行功率主要与其业务量有关，而与气候温度等其它条件无关，因此本文采用了距离撰文日最近一天（24小时）的部分机柜的调研数据，其详细见下表。
位置：B01二楼202-IDC云机房
时间（年-月）
模块编号
24h能耗（kWh）
24h功率均值（kW）
24h功率峰值（kW）
机柜名义功率（kW）
2023-06
MD1-AL-01
109.9
4.5
5.1
7
2023-06
MD1-AL-03
75.2
3.1
3.4
5
2023-06
MD1-AL-04
75
3.1
3.4
5
2023-06
MD1-AL-10
73.7
3
3.4
5
2023-06
MD2-BL-03
109.4
4.5
5
7
2023-06
MD2-BL-09
65.4
2.7
3
5
2023-06
MD3-EL-07
105.4
4.4
5
7
2023-06
MD3-FL-02
80.1
3.4
3.8
5
2023-06
MD4-FL-05
93.8
4
4.4
7
2023-06
MD4-GL-07
93.7
3.9
4.4
7
2023-06
MD4-GL-11
60.8
2.6
3.3
5
2023-06
MD5-34
65.5
2.8
3.4
5
2023-06
MD1-BL-08
55.6
2.2
2.4
3
2023-06
MD2-DL-11
27.5
1.2
1.6
3
2023-06
MD3-EL-01
31.7
1.4
1.5
3
表2.1 IT机柜电功率统计表
Tab.2.1 IT （cabinet） power statistics table
这里需要澄清的一点是，上述列出的机柜均已经按照通信要求装满服务器。从上表中可以看出，名义功率3kW的机柜实际运行功率在1.8kW左右，名义功率5kW的机柜实际运行功率在3kW左右，名义功率7kW的机柜实际运行功率仅在4.5kW左右。
笔者在查阅大量文献后，实际上数据中心IT机柜同时系数和需要系数取1至今并无理论支撑和实际依据，发现极有可能是因为国内数据中心行业发展初期由于缺乏有效规范指引，而采用参照Uptime Tier等级认证要求来指导国内数据中心设计导致，而Uptime对其认证的任何等级的IT机房，均要求IT设计负载率必须按1考虑。但客观地说，这种要求实际上是不现实的，其次Uptime的标准目前来看也并不完全适用于中国实际情况，我国目前数据中心的设计完全可以独立根据《数据中心设计规范 GB50174》进行，由于此问题不属于本文讨论重点范畴，在此不再予以赘述。
2.2 冷水机组选型分析
本项目设计阶段经计算，一期机房楼冷负荷为25500kW/2500Rt。
整体工艺空调方案上，本项目数据中心机房楼空调冷源采用大容量的10kV高压离心式冷水机组，设计冷冻水供回水温度为14/19℃，夏季冷却水供回水温度为32/37℃，冬季冷却水供回水温度为20/25℃。空调末端方面，单机柜功耗3kW的机房和传输机房空调末端均采用常规冷冻水型空调机组。冷冻水供/回水温度为14/19℃，气流组织形式为“地板下送风、机组上回风，封闭冷通道”；单机柜功耗5~7kW的机房空调末端采用列间空调，冷冻水供/回水温度为14/19℃，气流组织形式为“水平送风、机组后回风，封闭冷通道”；局部单机柜功耗7KW的机房空调末端均采用机架级热管背板模式，冷冻水供/回水温度为14/19℃，气流组织形式为“机架后出风冷却”。
主要制冷设备参数如下表：
设备名称
主要参数
数量
离心式冷水机组
冷量：8790kW，功率：1330kW，10kV，COP≥6.6；IPLV≥7.0；
蒸发器水量：1520m3/h，进出水温：19/14℃，
3.+1
开式横流低噪声冷却塔
冷却水量1900m3/h,夏季进出水温：37/32℃（湿球温度28℃）；
冬季进出水温：20/25℃，湿球温度14℃；电机功率：130kW，380V
3.+1
冷冻水循环泵
流量：1660m3/h，扬程：34m，功率200kW，380V
3.+1
冷却水循环泵
流量：1920m3/h，扬程：32m，功率250kW，380V
3.+1
表2.2 1#楼主要制冷设备参数表
Tab.2.2 Cool system main equipment parameter table（IT Building 1#）
由于本项目所在地5月份部分日最高气温已接近全年最高月平均气温值，且2023年5月份该数据中心运营已基本接近规划通信业务水平，因此采取距离本文撰写日最近的5月份运营数据是有较高可信度的，冷源运行数据如下表。
时间（月-日）
最高气温（℃）
冷水机组运行功率（kW）
冷冻水泵运行功率（kW）
冷却塔运行功率（kW）
5-1
21.0
650.43
138.18
20.58
5-2
23.5
650.28
138.31
20.46
5-3
25.0
650.80
137.66
20.13
5-4
26.5
650.44
137.69
36.63
5-5
26.5
650.42
118.71
49.08
5-6
28.0
650.98
115.52
63.29
5-7
25.0
650.47
115.70
90.25
5-8
20.0
651.98
104.64
78.33
5-9
21.0
650.79
96.29
48.83
5-10（调试日）
22.0
651.91
0.00
37.79
5-11
22.5
651.58
96.66
33.04
5-12
22.0
650.82
96.19
35.25
5-13
23.5
651.30
96.53
42.46
5-14
22.0
650.77
96.48
42.13
5-15
24.0
650.58
96.70
46.21
5-16
26.0
650.01
107.88
71.04
5-17
27.0
651.45
104.71
83.25
5-18
26.5
651.37
75.72
79.33
5-19
27.0
650.69
106.94
84.33
5-20
26.0
652.18
116.06
84.67
5-21
28.5
651.26
116.15
82.63
5-22
27.0
651.26
115.82
80.63
5-23
24.0
651.13
115.93
68.38
5-24
23.5
650.91
115.71
53.00
表2.3 1#楼主要制冷设备运行数据表
Tab.2.3 Cool system main equipment operational-caliber statics table（IT Building 1#）
从表格中可以明显看出：
冷水机组功率明显偏大，冷水机组的运行功率也仅达到其自身额定功率的一半。
另外，本数据中心运营方（建设单位）配合冷水机组供货商，对本项目的冷水机组的实际制冷指标和能效指标做了相关分析，具体结果见下图。
冷水机组负荷率（%）
制冷量（kW）
输入电功率（kW）
COP
100
8790
1244
7.067
90
7911
1082
7.315
80
7032
944.4
7.446
70
6153
825.2
7.457
60
5274
720.6
7.321
50
4395
629.4
6.983
40
3516
533.8
6.588
30
2637
474.8
5.556
20
1758
417.9
4.209
10
1319
399
3.306
表2.4 1#楼冷水机组制冷能力及能耗分析表
Tab.2.4 Chiller cooling capacity and energy consumption analysis table（IT Building 1#）
很明显可以看出，将冷水机组运行电功率调整至50%左右设备额定功率能满足本数据中心的冷负荷需求。这实际上充分说明了“本数据中心的真实冷负荷远小于设计值”，纠其根本原因，其实就是因为IT设备实际运行功率远小于其额定标称功率，而设计时选择同时系数和需要时并未考虑真实运行情况，并且上述电气负荷计算过大又造成配电变压器及UPS选型过大，再次推高了本项目冷负荷计算量，从而使得冷水机组选型出现了偏差。
3. 解决方案
3.1 电气计算系数的合理选取
合理的选取各类负荷计算系数，不仅可以有效降低数据中心一次造价，而且对提高PUE值，减小运营成本也具有非常重要的意义，本文建议对通信类数据中心各类电气负荷计算系数做如下选取，其余金融类、科教类等数据中心的相关系数也可供参照。
负荷名称
需要系数
干线处同时系数
备注
IT机柜
0.7
0.8~1.0
游戏行业类取1.0
冷水机组
0.7
0.8~1.0
一般均为放射式供电，取1.0
冷冻水泵
0.85
0.8~1.0
冷却塔
0.8
0.8~1.0
冷却水泵
0.85
0.8~1.0
列间精密空调
1.0
1.0
普通照明
1.0
0.8~1.0
普通插座
0.6
0.5~0.7
检修插座等同时率均较低
电梯
0.8
0.6~0.8
属于间歇性负荷，建议取低值
监控、自控等
0.8
1.0
其余支持性
0.8
1.0
类似变电所用电、柴油发电机辅助用电等
表3.1 数据中心负荷系数选取表
Tab.3.1 Load factor table of Data center
在计算数据中心电气负荷时，应充分考虑该数据中心的业务对象，一般来说游戏类、在线交通服务类等数据中心的负荷同时系数较高，而金融类、通信类数据中心的负荷同时系数较低，设计阶段应与建设单位充分调研和沟通之前类似项目情况，从而有效避免出现设计大、运营小的“大马拉小车”现象，造成无谓的投资浪费。
3.2 变压器、UPS对PUE的影响
当通信设备（机柜）总功率21054kW，需要系数取1，同时系数取1，按A级数据中心2N要求进行变压器及UPS配置。其配置需求如下表，IT用变压器需要2500KVA 2x10台，IT用UPS需要600KVA 2x40台；动力用变压器需要2500KVA 2x3台，动力用UPS需要600KVA 4台；假设实际运行功率为21054kWx0.7x0.8=11790kW（需要系数取0.7，同时系数取0.8），变压器及UPS的负载率约为25%左右。经测算，变压器损耗约为93.23kW，UPS损耗约为704.94kW，以IT运行功率11790kW为基数，仅含变压器和UPS损耗的供电负载系数PLF为0.068。
表3.2 数据中心低负载率下变压器及UPS损耗
Tab.3.2 Transformer and UPS losses at low load rates of Data center
注：表中变压器按GB20052-2020硅钢片变压器，能效二级，F级绝缘参数，2500KVA变压器空载损耗2450W，负载损耗15445W，2000KVA变压器空载损耗2075W，负载损耗13005W进行计算(下同)。
当通信设备（机柜）总功率21054kW，按需要系数取0.7，同时系数取0.8，按A级数据中心2N要求进行变压器及UPS配置。其配置需求如下表，IT用变压器需要2500KVA 2x6台，IT用UPS需要600KVA 2x24台；动力用变压器需要2000KVA 2x2台，动力用UPS需要500KVA 3台；假设实际运行功率为21054kWx0.7x0.8=11790kW（需要系数取0.7，同时系数取0.8），变压器及UPS的负载率约为45%左右。经测算，变压器损耗约为75.54kW，UPS损耗约为436.12kW，以IT运行功率11790kW为基数，仅含变压器和UPS损耗的供电负载系数PLF为0.043。与上表相比，PLF降低了0.025。
表3.2 数据中心正常负载率下变压器及UPS损耗
Tab.3.2 Transformer and UPS losses under normal load rate of Data center
变压器的配置容量带来的变压器损耗相对较小，变压器容量配置偏高时，其空载损耗相对更大，但由于负载率更低，其负载损耗更小，变压器总损耗相差较小。UPS的配置容量带来的UPS损耗影响相对较大，由于UPS在低负载率小的逆变效率更低，其UPS的损耗越大，且对PLF的影响相对较大。在对通信设备（机柜）实际运行功率不能准确预判的项目中，建议UPS选型时采用模块化UPS，根据实际使用需求增加UPS的功率模块，使得UPS处于高效率的负载率下工作，降低PLF值，达到降低数据中心的PUE值的目的。
3.3 空调制冷方案的合理制定
如今，随着行业内对数据中心能耗的重视，针对数据中心的空调制冷方案存在多种可能。但数据中心制冷系统的运行方式对前期设计的指导意见却甚少，在对本数据中心的运行数据调研和分析过程中，明显发现空调系统的运行策略对该数据中心的能耗影响甚大。鉴于本项目的二期设计在即，本次特意将调研后的数据反馈至设计部门，发现如果按实际情况计算IT设备负荷，且考虑到现场目前的制冷系统优化运行方式，可对冷水机组做出如下调整。
一期离心式冷水机组设置
二期离心式冷水机组设置（建议）
3+1台；冷量：8790kW，功率：1330kW，10kV，COP≥6.6；IPLV≥7.0；蒸发器水量：1520m3/h，进出水温：19/14℃
2+1台；冷量：7034kW，功率：900.5kW，10kV，COP≥6.6；IPLV≥7.0；蒸发器水量：1210m3/h，进出水温：19/14℃
二期设计调整方案中，冷冻水泵、冷却水泵和冷却塔参数保持不变，但是数量相应减少。如按此方案，暖通初期建设投资将直接节省约300万元左右，同时相应电气系统投资规模也会降低。
3.3 数字孪生技术的应用
数字孪生的本质实际上是一种仿真模拟，即采用现代化电气仿真软件，将实际系统运行数据在虚拟空间中完成映射，从而对电气系统的运行进行各种分析和计算。目前在诸多国际项目中，资方均要求设计单位提供仿真模型和计算结果，以便于资方对自己后期项目的开发建设、运营维护提供技术分析支撑。
数字孪生技术能否实现主要在于两个方面，一是现场运行数据的有效读取和存储，这主要是依靠现场各类仪表和监控系统（例如SCADA系统）支持，这一点在目前技术条件下已无任何困难；二是具有强大可靠的电气仿真分析软件，如ETAP、Ame等，本文以目前业内接受度最为高的ETAP为例，简要阐述数字孪生技术在数据中心中的应用。
利用ETAP为该数据中心建立电气系统模型，ETAP可以快捷方便地在计算各种运行方式下的潮流、短路等数据，同时也可将实际运行数据输入模型进行仿真模拟，从而为建设方的决策给出技术支持，如下给出了若干计算结果。
图3.1 ETAP 数据中心电气计算模型
Fig 3.1 Electrical calculation model of Data Center for ETAP
图3.2 ETAP 数据中心母线故障计算模型（柴油发电机组供电、三相短路、最大运行方式）
Fig 3.2 Bus fault calculation model of Data Center for ETAP
(Diesel generator set power supply, 3-phase short circuit, maximum operation mode)
从结果中看出，柴油发电机组对短路点的短路电流贡献水平并不大，因此无需刻意放大断路器分断能力，从而引起造价的无谓升高。
图3.3 ETAP 数据中心潮流计算模型（正常运行方式）
Fig 3.3 Flow calculation model of Data Center for ETAP
(Normal operation mode)
图3.4 ETAP 数据中心潮流计算模型（应急电源供电运行方式）
Fig 3.4 Flow calculation model of Data Center for ETAP
(Emergency operation mode)
ETAP可以自定义各种运行方式，从而便捷的在各种运行方式进行电气计算，将数字孪生技术用以指导电气设计成为可能。鉴于数字孪生的强大作用，本数据中心二期项目设计中，将采用ETAP予以介入包括运营在内的项目全周期过程。
图3.5 ETAP 数据中心运行方案设定示意
Fig 3.5 Operation setting model of Data Center for ETAP
4. 总结
数据中心作为互联网时代的信息处理载体，势必在很长的一段时间内会有更蓬勃的发展，但是其高能耗、高投资的缺陷也绝对不能忽视，工程设计行业目前对数据中心设计的认知和探讨依旧更多的停留在对规范的理解上，这种“形而上学”的理念虽然制约了数据中心的设计理念发展，但我们也相信：随着拥有越来越多的数据中心实际运行数据，以及各类高效可靠的仿真软件的应用于数据中心工程设计，不久的将来，业内会对数据中心运行规律有更深刻的认识，从而指导我们完成一份优质的数据中心设计。
本文旨在基于上述认知，为数据中心的工程设计起到一个“抛砖引玉”的作用，提供一个新思路。
参考文献
[1]《数据中心供配电系统技术白皮书》.中国工程建设标准化协会信息通信专业委员会数据中心工作组
[2]《数据中心机柜系统技术白皮书》.中国工程建设标准化协会信息通信专业委员会数据中心工作组
[3]《数据中心空调系统节能技术白皮书》.中国工程建设标准化协会信息通信专业委员会数据中心工作组
[4]《电力系统ETAP软件仿真技术与实验》.西安电子科技大学出版社
[5]中国航空设计规划研究总院有限公司．工业与民用供配电设计手册 第4版[S]. 北京：中国电力出版社2016．12
[6]《电力系统稳定性：建模、分析与控制》.机械工业出版社，2018
[7]《电网规划设计手册》. 国网北京经济技术研究院
[8]中华人民共和国工业和信息化部．GB 50174-2017数据中心设计规范[S]．北京：中国计划出版社，2007．
关注
资料分享传送门 点击此处
