数据中心基础设施能效模型（2）

1、数据机房节能实践体会及总结

在数据中心中暖通系统一般与电气系统(又称供配电系统、电源系统等)可谓基础设施两大关键系统。暖通系统为何在数据中心中的地位如此之高，可能有些令人不解，因为暖通系统除了直接影响PUE指标（用电费用）外，如下几点也值得我们学习领会，只有这样我们才能节能行动中“对症下药”。

数据中心有大量的IT设备，其中以各种服务器为主，除此之外还有网络设备、存储设备等。为了充分利用有限的土地空间，它们通常都密集布置于机架上，机架又密集成排布置于机房。

IT设备在每年365天、每天24小时的不间断运行过程中，会产生巨大的热量，这些热量就要靠暖通（空调）系统持续不断地带走。空调系统一旦因故障停止工作，由于数据中心电子设备的高度密集性，机房环境温度会很快升高至不可容忍的程度，造成电子设备不能正常工作，数据中心不能正常运转，其所承载的各类数据、算力、算法应用也将中断，后果严重。

图1 灾难场CFD仿真分析结果示例

因此，我们也不能为了“省电”或降低PUE值而随意停掉“多余”的空调设备，需要对机房进行现场调研（要躬身入局而不是纸上谈兵），从L2层（作为数据中心服务对象的IT设施）角度认真梳理服务器和网络设备投入年限、用途、位置等信息基础上对其进行“减法”才行。也就是说，节能首先对IT系统“下手”开始，在清除机房的“僵尸”设备的基础上，对空调设备“下刀”才能更加有效和彻底。这样虽然PUE值没怎么变，但机房电费会减少不少，如图2所示。

图2 PUE架构及节能模型探索

要从IT系统“下手”，也有一些困难。实施工程中，也许那些搞IT或玩应用的“白领”们才不理会天天忙于“打杂”的“蓝领”电工们“关闭或下电”的请求。那么怎么办呢？接下来我们从电气暖通工程师和IT工程师视角聊聊设备“下电”行动操作步骤。这一点也说明基础设施工程师也有必要学习IT技术（尤其是网络技术）的重要性。

2、宏观掌控布局微观调整优化

为了顺利执行节能数据中心节能行动，首先需要对机房老旧设备和系统进行深度梳理和下电（或下柜）处理。其次，对机房内部的IT设备进行局部调整机柜位置。最后，在确保机房用电可靠安全性的基础上跨机房（或数据中心）搬迁设备并优化设备布局，实现各数据中心的最大效能。这就要求我们具备一定的IT技术基础（尤其是网络技术基础）。接下来对每项行动步骤的具体做法进行一一讨论。

第一步：关闭老旧设备及系统并对其进行关闭下电

这个步骤最让人体会到懂点儿IT技术的重要性。因为节能行动实施过程中，有些人积极配合，坦白地告诉‍那些系统可以关闭，但并不是所有人都是一样积极配合（有些人还会将公共资产当成私有的，才不关心费不费电）。因此针对这样的“困境”，我们需要具备“数据管理思维”，即，你需要懂得作为数据中心“灵魂”的“数据”的管理及存放逻辑。比如，经过梳理我们几乎梳理出了大约50多台设备可以关闭下电，但其中还有几台小型机和存储设备不让关闭下电，理由是小型机支撑着老业务系统需要查询历史业务数据，存储上则存放着历史视音频或文件数据等。小型机配置清单如下图3所示：

图3 数据机房IT设备梳理清单

如果你是有过数据管理经历，那么以上设备清单前两行设备（RAC架构的数据库，单节点也是可以的）也是可以关闭下电的。所以电气暖通工程师也值得尝试学点儿IT技术。对存储设备的节能处理思路是，将其上的数据进行迁移到其他较新的设备。这样做的原因是一方面年限较长的存储设备老旧原因随时可能存在宕机的风险，另一方面存储设备作为专用设备耗电高还需买维保（一年的电费和维保可以轻松买台服务器）。现在市面上硬盘便宜，不如买台服务器增加几个大容量硬盘（比如8T）将数据迁移过来。因为历史数据一般不用于高并发高IO场景，一台服务器已经满足偶尔查询历史数据的需求。

经过现场多次核对和梳理后，我们能够拿出可以关闭的系统及设备列表及其对接人。在此过程中，我们会发现有些“僵尸”系统或设备被遗忘的主要原因可能是因为工作交接时没有说清楚或缺乏IT设备及系统生命周期管理。从这点可以看出，机房管理需要定期进行设备盘点并对核对接人，对于“僵尸”设备或被“遗忘”机柜设备进行及时进行断网后观察几个星期，还是没有人反馈有问题可尝试关闭等操作措施。

第二步：在机房内部局部调整IT设备机柜位置

我们经常说“水利万物而不争”，在中大型数据中心里水作为载冷（或热）介质，其重要性不言而喻。针对小型IT机房，空气作为载冷（或热）介质，其作用显得更加重要，虽然我们肉眼看不到其流向和流速，但当我们懂点儿机房气流组织形式并认真观察机房时会发现有些设备或设施“挡风”并破坏机房气流组织的现象。

就像玉工一开始只关心日常巡检、机房温湿度、空调是否有错误提示到现在的机房内气流是否顺畅、设备布局是否合理、湿度是否达标（40%至60%之间）等等细节。比如，如下图中交换机出风和吸风口跟机柜其他设备刚好相关，何止是“挡风”简直是“破坏”气流组织的元凶。

图4 进风口反过来固定的汇聚交换机“破坏”了气流组织

如果你对气流组织有些基础概念，那么你会发现漏风、挡风的“小问题”所处可见。这些问题有些因为历史原因，有些因为设备更换后导致原来尾纤和网线不够长，还有一部分是因为无知或不在乎等等。因为对看不见的气流，没学过机房工程或运维经验的人不怎么明白，因为，2年前我也是对这些细节不在乎的水平。

 

图5 “老李”进风口刚好是邻居“老王”的出热风口

一般送风温度应能满足设备制冷需求，一般为合理范围为18c℃~25℃,大部分为22℃~24℃。送回风温差由机房空调的制冷能力决定。根据主流厂家的产品设计，通常机房空调的送回风温差不超过15℃。风速过快，局部形成负压区，气流无法带走设备的热量；风速过慢，散热风量不足，设备容易过热。通常机房内散热气流合理风速为2~4m/s。

数据机房里的IT设备随着时间推移，慢慢会“乱”起来，因此，除了做好气流组织优化外，还需要对设备位置进行适当的调整，这样甚至可以关闭一部分空调。比如，最近玉工也在尝试通过调整传统机房内部IT设备重新布局的方式争取关闭60KW的一个精密空调（实施过程需要顺序渐进）。可以看出，60KW空调功率相当于5KW的12个机柜功率，因此关闭空调（来省电）会对PUE值减小贡献最大。

第三步：跨数据中心进行IT设备的合理布局

在跨机房之间进行调整之前，不仅需要了解多个数据中心暖通和电源系统优缺点，而且还需了解计算机网络技术，尤其是数据中心核心网拓扑、光缆链路（综合布线）等等。比如，一般新建中大型数据中心通过自然冷却技术，充分利用冬季的室外自然冷源，这个比传统机房相对省电，也有利于新机房蓄电池的定期充放电和寿命。

数据机房内IT设备中的数据靠网络设备流进流出，设备搬迁需要打通数据基础网络环境（好比东数西算的战略布局一样）。如果说数据是数据中心的“灵魂”，那么网络可谓数据中心“神经”。一个“神经”混乱的数据中心，不仅对运维管理和灵活调组网，而且合理规划机柜位置及调配设备也带来一些困难及挑战。因此，数据中心基础设施团队不仅要专注L1层（基础设施层），也需要学习和理解L2层（IT设施层）网络基础，才能提出来高效节能的机房合理布局。比如，如下图6所示的广域网概念的理解也是必须的。

图6 广域网络设备角色

请不要觉得网络很难学，当你理解了网络技术后，你会发现数据中心里堆积的大量IT设备复杂关系变得更加简单明了，这些大量设备关系开始收敛到核心网络拓扑。这个时候，对设备搬迁或调整，你再也不感到困惑和恐惧。我这样的感受自从搞明白MPLS VPN的原理及配置之后出现的。

从上述可以看出，作为基础设施工程师，我们不仅需要掌握数据中心电气、暖通、弱电、消防、装饰等五大系统，还需要适当关注理解L2层的IT设施技术的重要性。同时、机房气流组织形式不仅是规划设计阶段工作，也是运维阶段需要不断优化和值得关注的重点之一。玉工最近也在看一本“数据中心暖通系统运维”的书不妨大家看看，购物链接如下。

3、结束语

如果你是细心的人，会发现数据中心是个最好的学习环境，无论L1层的基础设施或L2层的IT设施，近距离就能看得到和摸得着。人类最有效的学习方式是看到实物本身开始的，因此这是一个最好的实践场景。数据中心环境中除了冷水机组、冷却塔、精密空调、蓄冷罐等庞然大物之外，也能看到各类水管、水泵、阀门、变频器、传感器等。当然还有柴油发电机、配电柜、UPS、精密空调等等应有尽有。

谈到L2层的IT设备，也能近距离接触到保时捷价格级别核心网络设备、奔驰价格级别的存储、小型机、刀片服务器等等，各类通用服务器和交换机不用多说。当你看到这些东东后再反过来看那些技术书籍，相信学习效果是事半功倍的。不要把这些设备看成冰冷冷没有生命的机器，而把他们想象成名车名模一样，对其激活你的好奇心，相信这些设备与我们产生连接并慢慢地熟悉起来。只有这样我们才能逐步识别出来那些“老友”是该“休息”下电、那些“朋友”是需要换位、那些“新友”放到哪里最合适的等等。网络作为数据中心“神经”系统，当我们明白其构成和组网原理后，那么数据中心中变得更加简单，简单到一张图就能看透其本质。因篇幅原因，关于数据中心的网络模型及其学习方法下一篇进行进一步讨论。

图7 MPLS VPN中的路由交互全过程

参考资料

《数据中心暖通系统运维》 杨迅等 清华大学出版社

HCIP-Datacom-Advanced Routing Switching Technology V1.0 培训材料

https://www.modb.pro/db/139212