一、数据中心标准和可靠性等级
随着IT技术不断的创新和发展以及人民日益提高的物质文化需求，越来越多的企业逐渐意识到数据处理、存储和交换对企业的价值影响重大，数据已经逐渐成为企业最重要的资产，数据中心也处于快速发展的时期。数据中心的业务不同，功能要求也不同，其基础设施的架构也会有所区别，投资费用也有很大差别。所以，选择合适的数据中心功能，对数据中心建设的决策者意义重大。可靠性要求过高，会造成投资和运行费用偏高。可靠性要求过低，又可能无法满足业务需求，宕机事故会对企业造成较大的经济损失。
我国现行的国家标准GB50174《数据中心设计规范》将数据中心分为A，B，C共三个级别，在国内数据中心设计中已经被广泛使用。
A级数据中心的基础设施宜按容错系统配置，在电子信息系统运行期间，基础设施应在一次意外事故后或单系统设备维护或检修时仍能保证电子信息系统正常运行。
B级数据中心的基础设施应按冗余要求配置，在电子信息系统运行期间，基础设施在冗余能力范围内，不应因设备故障而导致电子信息系统运行中断。
C级数据中心的基础设施应按基本需求配置，在基础设施正常运行情况下，应保证电子信息系统运行不中断。
国内外对数据中心级别和功能的分类有很多种方式，综合来看，全球行业内普遍认可的有UPTIME INSTITUTE和美国通信工业协会（TIA）发布的分类方法。
Uptime institute把数据中心分为Tier I、Tier II、Tier III、TierIV共四个级别，其对应的功能分别是“基本需求”、“主要设备冗余”、“在线维护”和“容错”。这种分类方法由UPTIME INSTITUTE率先提出，影响深远，数据中心的建设者和设计者对其认可程度都很高，在数据中心行业被广泛引用。在UPTIME INSTITUTE的白皮书中，对各种级别所能达到的功能和要求都做了严格的定义和描述，但没有提及各系统的设计细节，这也给数据中心从业者提供了更为广泛的空间和更宽阔的设计思路。
美国通信工业协会 (TIA) 发布的《ANSI/TIA-942，Telecommunications Infrastructure Standard for Data Centers （数据中心的通信基础设施标准）》，也是国际上较为通用的以数据中心为对象的技术规范标准，其内容从通信、土建、电气、机械制冷等角度，也将数据中心分为四个级别，并对各个级别的数据中心做了一些详细要求和推荐做法，它提出了很多的设计理念、系统构架与技术指标，对数据中心工程建设具有很高的指导意义。
此外，还有一些其他分级方法，可以参考部分区域、国家、行业团体或企业的标准。这些标准都是数据中心建设定位、功能指标、设计技术、施工工艺、验收标准等的具体技术要求与体现。
二、不同级别的数据中心应采用不同的空调和制冷系统架构
传统空调系统是没有可靠性要求的，系统中的大多数设备都会根据气象条件或人员活动情况间歇运行，一般也会存在可以用做维护及大修的非运行时段，即使偶尔发生中断也不会造成太大的损失。而数据中心承载的电子信息业务对基础设施的可靠性是有要求的，数据中心一旦投入运营，空调系统往往数年不停，只能做局部的、冗余范围内的改造和维护。空调系统必须根据可靠性要求，预先规划出不同等级的架构，采取必要防范手段，以应对市电中断、设备故障、组件维护等事件对空调系统的影响。
数据中心内拥有多种功能的房间和区域，需要依靠空调和冷源设施实现散热，冷源系统一旦出现故障，造成制冷中断或制冷量不足，就会引起数据中心内安置的电子信息设备的进风温度攀升，引发服务器性能降低或发生故障，甚至引起宕机等重大事故。冷源设备及输配管路、阀门、附件等，应按业务的重要程度，采用不同的配置架构。
C级机房的制冷与空调系统应满足最大散热需求。制冷与空调系统及其供配电、输配管路等设施发生故障或需要维护时，可以中断电子信息设备的运行。
C级机房属于运行可以中断的数据中心，不宜承载特别重要的业务。其制冷与空调系统配置应满足正常运行的需要，容易受到有计划和非计划活动的影响，存在许多单点故障。在每年履行的预防性维护和维修期间，基础设施应该全部关闭。紧急情况可能要求频繁的关闭。有计划的运行维护、操作错误和现场基础设施组件自发的故障将导致数据中心的中断。
采用风冷直膨机房空调的冷却系统，需要配置满足需求的空调设备。
设有集中冷源的空调系统，冷源、空调设备、输配路径都可不设冗余，满足需求即可。
采用冷冻水系统的C级机房，制冷与空调系统架构可参考图1和图2：（仅为举例，并未穷举所有方式。满足C级机房性能要求的制冷与空调架构也可采用其他方式）。
图1：C级机房制冷与空调系统架构示意图（一二级泵系统）
图2：C级机房制冷与空调系统架构示意图（一级泵系统）
B级机房的制冷与空调系统不得低于C级机房的配置，应设置冗余，在设备冗余能力范围内，设备故障不会影响电子信息设备的正常运行。
制冷与空调设施的供配电、输配管路等装置故障或需要维护时，可以中断电子信息设备的运行。
B级机房的制冷与空调系统配置会受到有计划和非计划活动的影响，但在冗余设备范围内，可以减少中断的可能性。B级机房的空调系统通常只有一个单线的分配路径。维护输送路径和部分无冗余的组件时会引起数据中心的中断。
采用风冷直膨机房空调或风侧自然冷却机组时，每套空调都可以独立完成制冷功能，空调之间没有必须存在的联系。不会涉及供回水管路的问题。为满足B级机房的性能要求，需要配置冗余的空调设备。
设有集中冷源的空调系统，制冷与空调设备需要设置冗余，输配冷量的管段和阀门以及为其服务的供配电、自控等设施可不设冗余。
采用冷冻水系统的B级机房，制冷与空调系统架构可参考图3和图4：（仅为举例，并未穷举所有方式。满足B级机房性能要求的制冷与空调架构也可采用其他方式）
图3：B级机房制冷与空调系统架构示意图（一二级泵系统）
图4：B级机房制冷与空调系统架构示意图（一级泵系统）
A级机房的制冷与空调系统不得低于B级机房的配置，且应符合下列规定：
数据中心制冷与空调设施应设置冗余，任一组件故障或维护时，不应影响电子信息设备的正常运行；
数据中心制冷与空调设施的供配电系统、输配管路应设置冗余，任一组件故障或维护时，不应影响电子信息设备的正常运行；
A级机房的空调系统宜设置连续供冷设施；
数据中心需要分期部署时，应有技术措施避免新增设备和管路影响已有电子信息设备的正常运行。
这类数据中心的空调系统不应有单点故障，单一事件，不应对电子信息设备的运行产生影响。支持电子信息设备运行的空调系统的任一组件（包括空调系统自身，以及为其服务的冷源、供配电等系统）都可以从服务中拆除或测试，这种维护不会造成供冷中断或供冷不足，不会对电子信息设备的运行产生影响。这一功能可通过设备和分配路径的冗余来实现。维护期间则可能会降低数据中心的性能。
采用风冷直膨机房空调或风侧自然冷却机组时，每套空调都可以独立完成制冷功能，空调之间没有必须存在的联系。不会涉及供回水管路的问题。
设有集中冷源或水冷直膨机房空调的水系统，输配冷水的管段和阀门需要设置冗余，确保任一组件维护，不会引起供冷中断或制冷不足，不会导致电子信息设备的运行中断。
采用冷冻水系统的A级机房，其制冷与空调系统架构可参考图5和图6：（仅为举例，并未穷举所有方式。满足A级机房性能要求的制冷与空调架构也可采用其他方式）
图中所示管段和阀门的设置是为了满足数据中心性能等级的需要，维持制冷与空调系统正常操控的阀门并未全部显示。
图5：A级机房制冷与空调系统架构示意图（一二级泵系统）
图6：A级机房制冷与空调系统架构示意图（一级泵系统）
某些特别重要的数据中心的冷源还会采用2N配置，实现数据中心的冷却功能，其系统架构可参考图7：
图7：设有两套冷源的A级机房制冷与空调系统架构示意图
数据中心的供电中断时，通常需要启动柴油发电机，冷机也会重新启动，逐渐恢复正常供冷。在这个过程中，如果没有连续供冷设施，就会导致制冷中断或冷量不足（不同产品，不同系统架构会影响中断时间的长短）。设置连续供冷设施，就是为了保证供电中断或其他事故发生时，制冷不会中断。
采用冷冻水系统的数据中心，实现连续制冷的措施包括：冷源系统设置蓄冷装置（通常蓄冷时间不小于不间断电源设备的供电时间），控制系统、末端冷冻水循环泵、空调末端风机由不间断电源供电。
风冷直膨机房空调采用不间断电源供电时，也可实现连续供冷。
设有蓄冷罐的A级机房的冷源系统，其系统架构可参考图8：（仅为举例，并未穷举所有方式。满足A级机房性能要求、设有蓄冷罐的冷源系统也可采用其他方式）
图8：设有蓄冷罐的A级机房制冷与空调系统架构示意图
为IT机房及辅助区服务的通风系统、新风系统、加湿系统、给排水系统、排风系统、冷冻水的补水系统、冷冻站的排风系统、加药等水处理设施、冬季可以关闭的自然冷却装置，等等。这些机械设施的故障不会马上引起服务器的宕机或中断，但长期失去，则会对数据中心的运行、管理、安全防范、节能等造成不便。此类设施属于非关键设施，其配置原则应以满足需要，安全节能为主。
三、可靠性的其他关注点
1、允许多层级共存的空调和制冷系统
一个数据中心内部可以采用多种不同的性能等级，各自承担不同性能的信息系统业务，其对应的冷却系统，也需要和性能等级相对应。为数据中心的提供冷却的系统可采用与其他系统不同的性能等级。但数据中心的整体性能应按其所有关键系统可以满足的最低性能为评价依据。
企业级数据中心的建设是为了满足该企业IT业务的需求。同一企业往往拥有多种IT业务形式，不同业务有不同的性能需求。数据中心应结合业务，采用多层级配置，避免不必要的浪费。
数据中心的关键设施包含多个子系统，如供电系统、空调系统、弱电系统等，这些系统的故障率、资金占有量、维护成本各不相同，建设者可以根据实际情况，对不同子系统配备不同的等级。如电气系统采用A级，空调系统采用B级。但数据中心的整体性能只能按B级评价。
2、必要时设置连续制冷装置
随着IT技术的不断发展，机柜的功率密度不断提高，以往，数据中心规模不大，密度不高，机柜密度只有1-2kw/机柜，即使制冷偶尔中断，对IT设备的运行也没有多大影响，因此数据中心的建设者往往忽略了制冷中断的危害，而只关注供电系统的设置。随着科技进步和时代发展，数据中心的规模越来越大，机柜密度越来越高，通常达到4-10kw/机柜，甚至高达30kw/机柜，一旦制冷中断，服务器的进风温度就会迅速攀升，可能只需要60秒，甚至更短时间（取决于热密度），就会达到破坏性水平，引发宕机或设备毁损，酿成事故。某一机构在实验室条件下，对不同负载条件下，制冷方式发生中断时，环境温度的变化过程进行了现场测试和统计，具体如图9所示：
图9：制冷中断时环境温升过程图
制冷中断引起的温升和机柜密度为正相关，机柜密度越大，制冷中断时温度上升的速度越快。短暂的制冷中断对于低密度机房可能能够容忍，但对于中高密度机房，很可能会引起故障，甚至造成业务中断。因此，为保证IT设备的正常运转，可靠性要求高或密度较高的数据中心应该具有不间断制冷的功能。
有部分业内人士认为，如果数据中心冷冻系统设有柴油发电机供电，就可以不采用不间断制冷装置，这种观点是不正确的。事实上，当电力故障引起制冷中断时，由于自控系统响应、柴油机启动、冷水机组重启、其他空调设备重新启动都需要一定时间，从制冷中断到重新恢复往往需要5-15min，有些系统自动化水平较低，部分操作需要人为判断，时间会更长，机房温度必然上升造成危害，因此仅仅配备柴油发电机并不能保证能够不间断供冷。
不同的系统，制冷中断后再恢复的过程也是不同的，恢复时间也有区别。对于大规模数据中心常用的离心式水冷供冷系统而言，制冷中断时，冷水机组重新启动到恢复事故前状态所需的时间在制冷系统恢复时间中权重最大，这也是针对数据中心项目，很多冷水机组生产商不断开发快速启动型设备的重要原因。
图10是某离心式冷水机组厂商提供的不同类型的冷水机组重启期间供水温度变化过程曲线。
图10：不同类型的冷水机组重启期间供水温度变化过程曲线
从图10中可以看到，标准配置的冷水机组重新启动到恢复正常供水温度需要13分钟左右；配备了快速启动模块的离心式冷水机组，重新启动到恢复正常供水温度仅需3-5.5分钟。尽管配备快速启动模块的冷水机组的恢复时间远远优于标准机组，但仍然无法满足中高密度数据中心对不间断制冷的要求。
总之，当制冷系统恢复时间无法满足IT设备需求时，不间断制冷装置的配备就显得至关重要。对数据中心而言，制冷恢复时间将直接影响不间断制冷装置的选择。
制冷系统的类型与不间断制冷也有一定关联。采用分体式机房空调的数据中心想要实现不间断制冷，就需要UPS 系统为DX空调提供电力，成本较高，但在中小型机房也有一定应用。
冷冻水系统需要在冷冻水管路的适当位置接入蓄冷罐实现不间断供冷。采用此系统时，CRAH 的风机和末端的冷冻水循环泵也需 UPS 供电。制冷中断时，由蓄冷罐和水泵为系统提供温度稳定的冷冻水。连续供冷时间既要满足冷冻水系统中断到重新恢复的过程，也要满足业务必须中断时，IT设备需要的安全维护过程，通常蓄冷罐供冷时间会选择和蓄电池的供电时间一致。
综上，面对高密度机房的发展趋势，配置不间断制冷设施，确保在电力中断或其它原因引起的制冷中断期间，IT设备仍可安全运行，是建设方和设计单位必须考虑的重要问题。数据中心不间断制冷装置的具体设施应根据热密度和可靠性不同的要求，选择配备。对于广泛采用的冷冻水系统，可根据现场用地情况、园区规划、造价等因素综合考虑，选择开式蓄冷或闭式蓄冷，以适应数据中心对不间断制冷的要求。
3、按极端工况选择空调设备与气象参数
一般民用建筑的空调设施需要考虑技术经济性，每年允许存在一定的不保证时间段，为电子信息设备散热的空调系统需要避免极端气象条件发生时，出现无法工作或无法提供足额冷量的情形，因此，其室外设计计算参数的选择也和传统空调系统有所不同，需要依照室外极端气象条件选型。
选型需要参照室外气象条件的冷却设施主要包括风冷直膨机房空调、风冷冷水机组、干冷器、冷却塔等，此外还有些设备虽然没有与室外环境直接接触，但也会受到室外环境因素的影响，如水冷冷水机组，鉴于冷却水温度会受湿球温度影响，水冷冷水机组的冷却水温度设计值也会受到室外气象参数的影响。
自然冷却是数据中心常用的节能手段，实现自然冷却功能的相关设备，包括干冷器、冷却塔、风侧自然冷却机组等，需要在极端最低温度到自然冷却设置温度这一区间都能提供足额冷量，不会发生冻结或供冷不足等问题。
我国的供暖通风与空调设计规范要求气象参数统计年份宜为30年，不足30年者，也可按实有年份采用，但不宜少于10年。规范附录中也有我国主要城市的极端气象参数。
国外某些认证机构要求数据中心的干球温度统计年份不低于20年；湿球温度应为有气象纪录以来的极限值为基准。需要获取认证的数据中心应满足认证机构的要求。
根据ASHRAE 2009公布的相关数据，北京市的夏季极端温度和常规设计温度对比见表1。
没有考虑极端气象条件造成数据中心宕机的案例很多。某数据中心采用风冷直膨型机房空调，采购时选择的是空调标准产品，配套的室外机设计环境温度为35℃，使用地点是北京。夏季运行时，发生了空调机组冷凝压力过高报警、停机，从而引发IT设备宕机的事故。如表1所示，北京地区夏季干球温度最高可能为41.4℃,在高温气象条件下，空调机组一旦满负荷运行，就容易出现上述现象，如果设计选型依据极端气象条件，选择高温型的空调设备，则完全可以避免此类事故的发生。
极端湿球温度对冷却塔的选择影响较大，也直接影响冷水机组的运行可靠性。以北京某工程为例，按常规温度选择的冷却塔主要参数和按极端温度选择的冷却塔对比如表2所示。
从表2可以看出，选择极端湿球温度作为设计条件，对冷却塔参数会产生较大影响，冷却塔的体积、配电量、质量、投资都会增加，应当在设计初期就予以考虑。同样，数据中心的空调机组、冷水机组、新风机组等设备也应按极端温度选择，才能避免空调系统选择不当引起IT设备宕机。
4、关注外部资源的可依赖程度
数据中心空调系统的正常运行不应完全信赖外界能源供应，必要资源应有一定的贮存和应急手段，例举如下。
采用水冷机组的系统，水源的保障是数据中心制冷系统密不可分的一部分，应该在设计之时予以考虑。为保证数据中心冷源系统的可靠性，选择水冷冷水机组的冷源系统时应考虑应急水源，以防市政供水中断时，导致供冷的中断。水源可现场储备、就近打井或采集附近湖泊的地表水。无论采用哪种水源，都应对水质、水量、用水政策作充分调研分析，确保应急水源随时都可满足使用要求。数据中心现场应设置必要的冷却水补水储存装置，一般为12h，也可根据当地应急水源可以抵达现场的时间延长。
除了冷却水的补水系统，不同冷源系统需要考虑的外部能源种类还有许多，当采用三联供分布式能源时，就需要考量天然气的供应系统，采用地表水或污水作为冷源时，就需要考量这类水源的供应情况，并结合当地的政策、能源品质、储存条件、应用时段等多角度衡量其可靠性。
总之，数据中心空调和冷源系统的可靠性是数据中心可靠运行的重要保证，选择合适的可靠性要求，对数据中心建设的决策者意义重大。从业者应该根据IT业务的重要程度、抗风险能力和资金实力选择合适的可靠性级别和架构。可靠性要求过高，会造成投资和运行费用偏高。可靠性要求过低，又可能无法满足业务需求，宕机事故会造成较大的经济损失。
除了保证可靠性，数据中心的空调和冷源架构还要同时兼顾经济性、灵活性和节能等要求，多种因素，平衡决策，结合业务发展，保持持续优化的可能。
(本文节选自《数据中心冷源技术白皮书》)
联系客服
