在本章节，笔者将会较大篇幅向读者剖析各种技术应用，抛出问题，讲解国内和国外Colo机房用的产品技术和解决方案进行横向比较，比较对象含传统机房，国内微模块方案等。笔者较为认同的原则是，首先必须技术可行，能用，这是基本点。至于在满足商业目标和价值下，技术上追求解决同样问题，大规模、高效率、低成本，可复制的4个原则。
国外UPS应用有不少市场特点，从使用量来说主要还是塔式UPS，这点跟国内一样。在塔式UPS应用层面，唯一不同点是Colo为了尽量采用低压发电机，通常会把塔式UPS并机数量刚好控制在2~4台。笔者调查过近百个国外大型数据中心，只有极少会超过5台UPS并机。国外Colo公司对并机数量通常不希望多于4台。虽然不少UPS厂商的技术宣称可以做到8台UPS，Colo公司会根据自身经验，故障数据，成本结构，运营难易度等总结出最佳模型。下面列举一些组合匹配表，包括UPS并机数量和变压器，配电系统的匹配供参考。
UPS单机容量 | UPS并机数量 | 变压器容量 | 配电系统 | |
第一种 | 600kVA 500kVA | 3台（600kVA） 4台（500kVA） | 2000kVA | 2N，单独配电给IT |
第二种-A | 600kVA 500kVA | 2台（600kVA） 3台（500kVA） | 2000KVA | 2N，独立机电 IT |
第二种-B | 800kVA | 2台 | 2500kVA | 2N，独立机电 IT |
第三种 | 400kVA | 3台 4台 | 2000kVA（3台） 2500kVA（4台） | 3N，做DR分布式冗余系统 |
第一种单独配电给IT，这种方式比较容易理解。这种设计通常被用于批发和零售。第二种，在一组变压器下，完整独立的机电系统和IT系统，这种方式尤其适合做PBB模式，如下图所示：
图21 典型PBB模式电力容量分配
当然这种设计也可以做4台400kVA的UPS并机，具体看制冷系统负荷计算。
对于中大型客户，可以考虑第三种DR分布式冗余系统，如下图所示：
图22 DR分布式冗余电力系统
这种系统对比8~10MVA的大型机电系统共享设计而言，主要有3个好处：
对于Colo公司来说，初步投资不需要一次性投入过多冷冻站等设备，整个财务模型更加灵活。
大型机电系统在初始负载率较低情况下，数据中心PUE效率往往会较低，如果按照租电分离计费模式，Colo公司成本竞争力和利润将会削弱。
大型机电系统极有可能共享制冷系统的冷冻站，租户在测试验收阶段由于有其他用户一同使用，基本上难以进行各种故障模拟。
通过上面表格以及拓扑图对比可以发现，实际上，模块化IDC设计里面对于配电系统架构，UPS容量选型，投资和成本模型，都有很多最佳匹配模型。国内动辄建设10~15MVA超大容量的IDC，笔者认为从资金成本模型，出租模式，计费模型里面并不划算。国外Colo建设IDC时候，有技术、财务、市场销售共同参与，力求做最佳权衡。在这方面，国内同行实践上仍然差距巨大。
上面匹配表格中会发现，国外Colo机房设计塔式UPS是基于这些容量匹配的最佳实践。国外使用较多的模块化UPS，基本每个模块都做得很大，例如200kVA一个模块，内部6~7个模块并机，最后对应容量匹配塔式UPS并机容量。而采用25/30/40kVA的模块，需要多套模块化UPS并机。对于Colo公司做批发和零售模式而言，租户看到这么多模块先内部并机再外部并机，很多时候并不认可其可靠性。更何况租户考察不止一个数据中心，多个数据中心横向一比较发现如果租金差不多，为什么不选一个技术设计更可靠IDC呢？另一方面，很多Colo公司都不愿意尝试这些技术设计，为此承担的宕机风险，在客户SLA罚则下，可能得不偿失。这也是全球市场里面模块化UPS在大型Colo数据中心没成大规模的主要原因。当然笔者也见过领先的模块化UPS制造商能够在欧美市场有好些大型案例，但整体而言能做到规模化销售的大型模块化UPS（MW级别）屈指可数。
按照海外大部分都是Colo机房情况，客户看重的根本是可用性，这是能否出租的基本。对租户而言，可用性是能不能的问题，一票否决，成本是好不好问题，需要综合权衡。从效率角度，国外塔式UPS可以在25%~45%的带载率普遍做到94%以上，更好的能接近97%。在这种情况下，模块化UPS的高效率，几乎没有什么优势。有人会认为，单机的模块化UPS的容量相对少，负载率提升使效率更高。这个看上去并没有错，但这个问题是出于设计，并非在于设备技术选择。在Datahall颗粒度章节中笔者也有附图说明。Colo完全可以采用更小容量的塔式UPS做独立分区，使得负载率上升从而效率计算上跟模块化UPS可以一个水平。
笔者认为使用整机小功率模块化UPS（200~400kVA），仅适合Colo公司需要针对中小型客户，要么做PBB模式的独立机电系统，或者一组2N变压器下，批发业务用大功率UPS，小功率模块化UPS做散户的零售业务。当然，从目前整体成本角度，选择塔式UPS仍有优势。模块化UPS的容量，技术独特性较高，对于大型Colo公司都不愿意被某个厂商技术和供应链捆绑，希望可以同类产品横向比较，根据服务，价格，供应链择优选择。设想一下，一台100kW的模块化UPS，最大可以250kW，如果是批发业务，有大租户需要400kW，要求8周交付电力、制冷、机架空间资源（这个是全球大部分Colo数据中心交付速度要求）。如果真要做到按需扩容，从采购到技术交付链条角度，起码分别要做以下几个工作：
采购300kW（400kW-100kW）容量UPS模块，同时多购买一套250KW模块化UPS框架，相应后备电池；
采购~400kW散热的制冷空调设备；
采购新的列头配电柜，机架，机架PDU；
安装所有制冷、电力、机架等设备，并且上电调试通过。
新增设备信息集成到BMS监控系统；
在租户下单期间，要完成至少上面5个内容工作，从采购，设备生产/调货，现场施工，调试，软件集成。Colo公司在采购流程上，通常半个月到1个月不等内部流程，然后供应商有订单后备货生产，即使有货也要调货安排，把生产，物流，安装，集成调试方方面面算起来，随需而增只是美好愿望罢了，操作层面并不现实。别忘记，如果Colo公司承诺对应时间内交付，一旦延期交付会遭受租金罚款。另一方面，潜在租户看到如果现场还没有UPS，也没有电池，也没有空调等，Colo公司还需要重新购买的，多半心里觉得不靠谱而否定了这个机房。毕竟租户自身企业内部也有交付时间压力，其技术人员也向公司内部承诺了交付时间计划。Colo机房如果连出租机会都没有，讨论按需扩容，高效率运行又有何意义？笔者见过很多用模块化UPS的Colo机房都是会多采购好些模块，模块化UPS能够运行在更高负载率在现实应用中也并非如此。在第三章笔者引用了DRT数据中心，里面就是先把整个房间的所有机电设施准备好，等着客户“拎包入住”，所谓TKF模式。所以回过头来，很多问题不能就技术而论，要把技术应用和商业价值结合一起分析。
国内的微模块形式，把UPS/高压直流放到Datahall里面，这个在国外Colo机房难以适用。首先，Colo公司面对金融类租户，或者其他对安防要求高的租户，租户不希望Datahall里面有UPS，天晓得哪天UPS故障是否有火灾，或者爆炸影响旁边IT设备。而如果要把电池放Datahall里面，会存在很大风险，可能连消防规范都不满足。微模块形式中，还有一个被称为好处的按需扩容，就是预留微模块位置，根据需求安装。实际上对于Colo机房，如果在一个Datahall里面已经有租客的设备在运行，需要在线扩容。微模块施工有空调，UPS，电池，机架，通道密闭，电缆，管道安装，这些机电施工人员经常进出机房，施工过程对现有租户都是各种未知风险。就如几个人合租房，如果房东突然要在合租期间，把客厅一侧进行装修，耗时一两周，相信房客肯定无法接受。有人说可以把房间间隔更小，以房间为单位进行微模块扩容，这是个解决办法。但既然分割小房间，传统做法不也可以跟微模块一样能做到随需扩容么？
另外，国内互联网公司习惯采用的240V高压直流，海外基本无法落地。抛开设备出口资质，电气安规认证问题，高压直流对于一个服务年限10~15年IDC，对绝大部分租户适配性非常差，凭什么要求所有潜在租客的设备都支持高压直流？要使用这类技术，就必须做PBB的模式，一旦大型租户撤租后，使用高压直流数据中心基本上无法寻找合适租户。最后变成Colo公司把高压直流系统成本全部摊到租赁托管合同期租金内，同时规定相应合同期内退租后承担罚款，弥补初始成本投入。Colo公司还承担把高压直流系统改造成交流UPS和交流配电柜，额外承担时间成本，对在线租户风险，这些都可能计算入罚款或者合同租金。最后，租户原本希望定制高压直流降租赁成本，但发现成本未必便宜，而且国外Colo公司多半不答应。反过来，选择交流UPS由于其适用性，设备折旧成本核算会更加合理。
同样的，飞轮UPS系统在欧洲、亚太地区有不少案例，通常都是大型Colo机房。除了少数地方例如俄罗斯可以多路市电进线做成飞轮UPS的DR分布式冗余系统外，其他大部分都是多台飞轮UPS并机双母线供电做法。下图为常用飞轮UPS拓扑图设计：
图23 飞轮UPS电力系统
在这种设计上，可以把冷冻站单独用发电机设计，不通过飞轮UPS集中供电，降级到Tier3的设计可以省成本。读者需要关注的是，飞轮UPS初期投入成本较高，从资金成本角度也许不划算，对要求PBB模式的独立机电系统从电力架构上较难满足。笔者也和使用飞轮UPS技术的新加坡某大型Colo公司做过简单技术沟通，他们认为如果按正常租赁托管速度和业务定位发展，飞轮UPS设计可以在10年TCO成本折算到每年后会比较便宜。笔者觉得这种说法，未必对，也未必错，难以考证，毕竟Colo公司是几乎不可能分享自身成本模型。对租户来说，只要看对应计费模式下总成本进行比较就行。
在全球范围内，房间级制冷仍然是占据绝大部分份额的主流应用。国内很多人认为房间级空调在解决高密度，能效上并没有列间空调等较小容量空调好。而事实上国外房间级空调有大量成熟应用和解决方案。通常国外Colo机房都使用精密空调高架地板下送风方式。下图是欧洲某IDC的Datahall图，图中深蓝色是精密空调，白色是列头配电柜。
图24 Datahall的下送风精密空调
为了更好保证气流均衡一致性，无论精密空调制造商，咨询设计院都建议高架地板很高，欧美通常设计都有1000mm高度（800-1200mm）。而布线桥架通常离高架地板表面2500mm高度，这样即使有48~52U机架时候，布线桥架离机架顶部仍然有100mm以上距离，最后加上精密空调回风高度粱下1500mm以上，整个楼层粱下净高起码需要1000（地板下送风） 2000（精密空调） 1500（回风和管线、桥架） 300（梁）=4800mm。为了解决高密度，Colo机房多数采用分散高密度负载或增加气流管理设备。国外使用冷通道密闭支持8~12kW的机架功率密度的案例很多，如果碰到更大的功率密度如15~20kW，Colo公司会使用地板EC风机和冷通道密闭进行强送风或者烟囱机架排风做法。
图25 烟囱机架
图26 送风地板
这类气流增强设备可以通过列头柜的UPS供电做可持续制冷，即使在断电，制冷设备故障时候，仍然满足设备风量要求，从而确保SLA协定。对于Colo公司来说，无论强送风还是强排风，这两种方案都能解决问题。而强送风的适用性更广，原因在于强排风做法在结构上需要和机架紧密配合，通常为同一供应商。如果租户自带机架，或者强排风设备和机架结构不匹配，就难以适用。相反，地板风机设备物理结构尺寸上和普通高架地板一样，不会出现结构不兼容问题。另一种是Colo机房不安装通道密闭，把高密度机架进行分散负载处理，即高密度机架附近的机架位置空出来，毕竟一个Datahall的电力制冷容量一定，空一些机架位置用于高密度机架并无问题。对于Colo公司而言，其实高密度制冷通常不是个问题，最怕反而是用户低密度，导致有Datahall电力和制冷余量不少却空间不足，无法再租给其他客户而白白浪费。这也是为什么国外开始流行密度模块化的矩阵式机电架构设计重要原因。高密度分散负载的做法如下图所示：
图27 功率密度分布案例
笔者前面提到，国外colo机房很多都不做通道密闭。从技术上似乎不合理，背后的商业逻辑其实很合理。例如上图看，蓝色方框内的机架是租户A，红色方框内机架是租户B，绿色方框内机架是租户C，三个租户的机架尺寸，品牌都不是统一，从技术上做通道密闭，就需要定制结构部件，成本和难度增加。如果租户A，B，C租期都不一样，任意租户就撤租而新租户设备上架都使得现有通道密闭难以适应。如果，现在B和C租户都已经上架且没有用通道密闭，租户A想要通道密闭，并且接受Colo公司提出一次性通道密闭成本投入。问题是，通道密闭要做多大呢？是否把B和C租户机架都包括进来，但这样一来整体成本也会变高，B和C租户又不愿意承担费用，A租户也不愿意承担额外成本，最后造成无法执行。同样的是，做通道密闭与否，Colo公司都一样确保环境温度SLA，即使通道密闭节能，但整个房间制冷环境都是共享的，节能的效果如何只让租户A受益呢？结果显而易见，通道密闭对于多种机架，机架尺寸经常变化的Colo并不合适。不要说通道密闭不适合，很多时候机架内的盲板也未必装好。因为一旦机架出租，包括机架和里面设备会定义为租户管辖范围，装不装盲板，就算Colo公司建议用户安装，租户要是不装也没办法。
当然如果是PBB的批发模式，或者零售模式下Colo公司提前购买所有机架和做好通道密闭，基本不接受租户自带机架设备，这又是另外一回事。就如模块化ups一样，很多时候不是技术问题，是商业问题。
对于有租户需要部署高密度机架，不少国外大型IDC会提供CFD的仿真模拟，租户是否需要额外的气流管理设备。特别地，为了保障温度SLA以及对精密空调节能，欧美数据中心会做EC风机压差控制，确保送风量足够，实现和负载风量的动态匹配。压差控制做法通常有两种模式：
如果不能用通道密闭时，优先使用高架地板内外压力差；
图28 高架地板内外压差控制示例
如果可以采用通道密闭时，优先使用通道密闭内外压力差；
图29 通道密闭内外压差示例
说完国外，回头看看国内情况。国内Colo机房超过800mm的高架地板高度并不多，国内Colo机房在散租客户（低密度为主）也通常不做通道密闭，批发大客户，多数会做通道密闭。对于高密度机架，坦白说除了几大互联网公司，以及个别客户高密度设备，总体来说用户群体比较少。在技术层面上，国内使用地板风机方案非常少，取而代之会使用列间空调方案。从笔者来看，列间空调和精密空调都是本质上并无区别。以大型Colo机房常用的冷冻水空调来说，都是盘管和风机，机房的SLA规定是冷通道温度范围以及其测量方法。对于空调而言只要把足够风量且温度合适的风送给冷通道到服务器就行了，高密度和低密度无非是风量需求大小差别，跟列间空调还是和精密空调抑或其他空调并没关系。抛开厂家宣传列间空调都是紧靠热源效率高问题，单从解决方案上，精密空调每kW造价成本是列间空调的一半不到。目前最大的精密空调根据设备制造商宣传彩页工况达到200kW以上，而300mm宽列间空调只有25~30kW，一台精密空调抵得上6~7台300mm宽列间空调。加上安装成本，运营成本，管路成本，监测点位成本，列间空调解决方案成本会高不少。笔者不想在此深入讨论精密空调和列间空调能耗谁高谁低问题，笔者看到的很多案例可以证明无论投资成本，电力运行成本，大型空调无论精密空调或者AHU空气处理器，大风机、大冷冻水盘管的设计从系统上会更优。
刚才提到成本问题，列间空调目前在全球范围都是小规模应用，成本是一个重要硬伤。可以设想，如果Colo机房设计都用列间空调，其建设成本跟其他公司相比都更高，成本高了自然租金就高，要么目标租户对成本不敏感，否则大部分情况下，成本不占优势，技术并不见得明显有差异，SLA也一样，作为租户为什么不选便宜的呢？
再者，列间空调对Colo机房也并不合适，刚才提到的200kW精密空调，对应6~7台300mm宽列间空调。对于一个房间1000kW热量，本来只需要6台（5 1）200kW精密空调，现在需要40多台列间空调（考虑冗余）。是安装调试40多台列间空调快，还是6台空调呢？运营管理角度这么多小空调，也意味更多人时投入，人力成本时间成本更高。当然有人说，列间空调可以不需要高架地板，省成本。这有一定道理，但同样不适合Colo机房，原因在于这种情况对于冷冻水系统，只能上走管，如下图：
图30 列间空调上走管示意图
首先通常使用的CDU，本身就是个单点故障，按照Tier3设计则需要把两个CDU管路相连成环路。而目前仍较多采用CDU设计在于取消CDU后，非常多的列间空调末端如何保证水流量平衡是个挑战。在末端管路路由上，即使把冷冻水管避开机架上空，没有高架地板的设计意味着机架上方至少有电气桥架，网络桥架，消防管，水管，很多如政府、金融等租户在选择IDC时候都对漏水风险有所顾虑。除非当地市场客户很多接受上走管，但事实上笔者看过绝大多数使用列间空调方案仍然采用下走管方式，毕竟出问题不满足SLA面临租金损失和罚款，破坏客户ICT设备还将面临整个事件恶劣性使得后续市场口碑，用户印象极难扭转。在互联网时代，这些恶性事件很容易病毒式在用户群体内传播，这风险损失和投资收益显而易见。所以大多数使用列间空调方案仍然使用下走管方式，如下图所示：
图31 列间空调下走管示例
国内的微模块应用也有使用钢结构底座架高进行下走管而不用高架地板的方案，这种方案面向Colo机房大部分租户并不合适。类似于通道密闭问题，钢结构底座本身就是一个结构件强耦合设备，租户机架设备结构不标准，底座就无法适配。即使尺寸适配，需要把设备（高端存储，高端交换机这些整套设备）抬高到底座上就有较大技术风险。大多数情况下使用列间空调制冷的Datahall里面可放置机架的数量没有精密空调方案多。对于零售模式，散租低密度，很可能就会出现有多余电力，制冷容量，就是没有多余空间出租，这些损失都是生意的机会。高架地板目前为止依然成为经典设计，有几个主要原因：
高架地板下是冷量池，颇有点IT设备资源池概念，然后通过调整通风地板位置，通风面积等应对不同密度租户；
电力线缆在高架地板下时，任何施工都在地板下，显著降低对在线租户影响和风险；网络布线在机架上方，但网络布线不像电力线缆布线时施工产生风险大。
使用精密空调方案时候，高架地板气流方式仍然具有很大优势。
列间空调宣传时候，也提及很重要一点是对楼宇层高要求低。对于自建数据中心，实在没有更好层高选址，列间空调是个合适的解决方案。但如果用户考虑到底花更大成本自建，还是使用Colo租赁托管服务时，答案就变得很简单。为什么不选择一个层高更好的Colo机房去托管而去找个层高低的自建呢？再者，层高问题，精密空调也有解决方案，笔者在亚太区，就见过一个十几兆瓦IDC，粱下层高只有2.7m，要解决大部分12kW的高密度机架，使用就是精密空调上送风方案，如下图所示：
图32 某亚太区IDC制冷气流组织方式
笔者也见过国外有些Colo机房，使用85%面积的5kW机架密度机房，预留15%可以用于专门高密度使用列间空调，当然在租金价格上差异化收费，高密度区由于成本贵租金自然更贵。同一个问题可以有多种解决方案，哪个适合，哪个更体现商业价值目标是笔者强调的。列间空调有自身市场定位和需求点，但对于大规模Colo机房建设，从技术和成本上都不是最优方案。
同样的，还有顶置空调盘管，典型方案如下图所示：
图33 顶置空调制冷方式
顶置空调方案更多适合自建应用，对于Colo机房来说，有几个问题比较麻烦，包括：
顶部漏水风险，如何让所有潜在租户都认为没有漏水？这个似乎是难以克服心理障碍；
顶置盘管在支撑结构件上强耦合，并非所有租户机架尺寸都能很好匹配；
对于没有风扇纯盘管的顶置空调，还需要考虑是否租户设备风扇压力足够克服盘管阻力；各种尺寸不一机架在机房，是难以做到良好密闭。作为Colo机房，也无法要求每一个租户都把机架封闭得严实，毕竟机架内部自主权在租户，不是Colo公司；
末端制冷技术上也有氟泵系统（使用冷冻水和氟进行热交换）以及热管系统。在笔者角度，氟泵方式也好，热管方式也好，其方案初衷是解决节能，高密度，无漏水风险问题。就如本节前面提到的，国外应用上，这些问题房间级空调都有成熟的解决方案，又不会产生行级或机柜级制冷设备漏水风险。至于节能上，欧美好些数据中心通过合理的系统设计和设备选型，系统运行在18℃/24℃冷冻水供回水或更高，冷通道也能维持SLA规定情况，大部分时间都可以运行自然冷却模式，其节能效果比氟泵和热管都能达到更大收益。如果读者感兴趣可以对类似气候条件下横向比较国内那些PUE值优秀的数据中心，大部分都是通过高水温运行在自然冷却模式而达成。
本节最后，笔者看到国外都往大末端，高水温，做更精确气流控制逻辑进行实践，但国内似乎就喜欢越来越把末端设备往小型化做，从房间级到行级到机柜级别，折腾各种气流组织方案而少讨论系统架构优化。笔者查阅了国内近几年申请的关于数据中小制冷方面专利，几乎都是各种送风末端方案。笔者和朋友曾经开过玩笑，数据中心制冷专利门槛也够低的，所谓紧靠热源制冷，对着一个机柜，上、下、前、后、左、右做6种空调方案，再做一些修改，就能凑出十几种专利出来。各种技术方案都有其合适的应用场景和实现商业价值，谷歌数据中心制冷方案放到Colo就未必合适，也未必合适其他大型互联网公司。同样地，本文讨论的是能够适用于大部分客户应用，具有规模市场普适性的Colo机房制冷方案。笔者视角并未发散到其他商业目的和因素，例如提及IDC造价成本高，租金通常会高，对于Colo公司来说，仅从成本方面讨论IDC定价，盈利问题至少是不充分的。IDC企业还可以通过资本市场操作获取其他效益和好处，所以如果有读者认为，用很贵制冷方案IDC租金也不见得贵，笔者认为都很正常。但这些盈利模式和市场操作并非本文的讨论范畴，笔者在此也点到即止。
在国外，有些对成本敏感客户，或者Colo公司想租给更多散租用户的，通常会使用多格的机架。但现在基本只有老旧机房还看到，新机房已经很少了。这个并非什么高深技术，把1个机架分开上下出租而隔开。为了提供更好的私密性，还可以对机架开门的机械锁换成HID电子门锁。进一步，还可以在机架上方加装摄像头，摄像头和开门联动，只要打开门，就可以触发摄像条件。这几个可以从下图看明白。
图34 各种机架解决方案
同样，曾经较早年算得上“创新”机架顶部上走线，在国内近几年借助微模块也有不少厂家宣传。机架顶部上走线往往分为强电和弱电两个不同的线槽，例如下图为典型微模块对应机架上走线：
图35 典型微模块的机架顶部上走线槽
笔者多次提及，Colo机房不少客户是自带机架，或者设备尺寸不统一，这种和机架结构强耦合的上走线桥架设计就难以使用。笔者在相关结构件设计有一定经验，得出一个重要结论是，结构件的TCO，除了成本外，opex就是简单和灵活改动，本身结构件是不省电的。而在简单和灵活上，只要结构强耦合的，基本上很难成为一个通用的优异设计。结构件往往被人忽视，甚至现场不容易发现问题，但一旦出问题往往后果很严重。这也是笔者并不认同微模块底座，机架自带上走线线槽等设计的原因。
在国外，笔者所见绝大多数都习惯高架地板下走电缆，而网络线缆采用上走线。为了更好理解到底为什么有高架地板，为什么有上走线，下走线，解决什么问题，笔者把机架网络线缆采用上走线桥架如下图所示：
图36 网络上走线图，电缆下走线做法
图37 网络下走线图
曾经一段时间，国外也有采用网络线缆下走线方式，但最终还是演进到上走线，我们比较上面网络上走线和下走线做法，施工方式可以看出。网络设备由于组网架构，带宽要求，所用的线缆种类都有所不同。与电力线缆不一样，在Colo机房里面，网络布线出现变更的机会更大。地板下走线做法，笔者认为最大问题在于不容易管理和变更。上面图可以看出，一旦有大量布线工作，技术人员需要长时间打开多个高架地板，在下方做布线工作。而这时机房其他租户可能因为漏风问题导致其他地方送风不均，冷量供应不均匀。SLA这个严苛大棒无时无刻在挥舞，大量地板打开导致冷量浪费和分配不均，存在违背SLA的风险，所以慢慢大部分公司把网络线缆改做上走线。而电力电缆下走线，一般都是通过固定在桥架上的工业连接器方式，如下图所示：
图38 电力线缆下走线图
对于机架的电力线缆布线，笔者认为无论高架地板下走线或者上走线都并无太大差异。上走线需要在桥架距离上注意电磁干扰和符合电气规范设计。国外Colo机房大部分电力下走线还是历史和习惯原因居多，就如房子装修到底水管和电线穿管怎么做，不同地方不同做法。
除了电缆上走线外，国外还有使用小电流母线（400A及以下），相比之下国内仍然难以成规模应用。很多人看法第一感觉是小电流母线成本太高。笔者也认同成本是很重要一方面，但还有其他方面。
图39 电流母线上走线示例
笔者以上图为典型例子，为什么母线上只有总开关，没有其他输出开关插接箱等？原因是Colo机房还没有客户时候，使用母线可以有效减少初期投资成本，而且母线插接箱安装灵活。使用传统配电柜，只有总开关，下面不配/少配微断不也一样？确实传统配电柜在配电层面并无本质区别。但母线的方式，在施工，安装，变更上会更快，尤其对零售模式客户，短租，少量机架时候，这类方案往往有很大灵活性。对于长租的，批发模式，其实配电柜方案一样满足功能，而且成本上更有优势。同时，针对不同的计费模型，母线供应商还进一步拓展自身技术竞争力，推出带有计量功能的插接箱，如下图所示：
图40 母线监测管理方案
这些功能在列头柜和BMS上也可以实现，但很重要的是，母线方案提供差异化的电能管理功能，分别满足需要租电分离计费模式和包电包租计费模式的客户。进一步地，上面右图的母线，还可以采用网页方式，云账号远程提供用户访问，查看机架实时功耗水平等。这些高度灵活和专注客户需求的方案，列头柜单产品难以满足。
母线还有一个明显好处是支持开关到线缆的热插拔。国外Colo公司通过热插拔的功能，支持不同功率密度机架上架，同时保证其他租户的SLA。而使用传统配电柜做法，一般只能使用梳状母排配热插拔开关，但是开关出线带电连接会有较大风险。国外Colo公司在SLA定义上，对供电可靠性的5个9是基于双路供电，而单路供电往往只有4个9。笔者和国外领先的母线制造厂商国外人员沟通时，总结两个关键结论：一是国内人力成本相对低，列头柜和线缆方案仍然很大成本竞争力；二是母线有优势的应用场景需要商业模式和计费模式依赖，国内和国外相比仍有较大距离。
通过上面总结几种电力和网络走线方式，大家会发现，高架地板其实并非有明显优势。如果取消高架地板，所有电力和网络线缆上走线也可以，美国有好些数据中心已经是如此设计了，例如Sabey、SuperNap等。取消高架地板的问题，更多需要整个行业的理念变化和供应链匹配，成本模型优化。理念变化，就如面试销售人员时候，应聘者穿着休闲，面试官往往第一感觉就不好。在租户角度，这种以貌取人的生活场景，在Colo数据中心也一样。例如别的数据中心都有高架地板，设计都很一致，容易横向比较，突然有个“异类”设计，有些传统观念的租赁客户就难以接受。紧接着，潜在租户会考虑，这种无高架地板的数据中心，用的客户多么？如果发现数据中心并无多少同类租户案例，心里也会没底。再看，没有高架地板，能解决高密度么，能保证SLA么？如果类似国内采用微模块等列间空调制冷用钢结构底座而不用高架地板的，初投资成本高好些。租户就会评估没有高架地板，租金应该少，如果租金还贵，有什么优势呢？一连串的疑问，在系统设计，产品选型角度都要经过Colo公司技术人员，以及潜在租户的各种技术商业权衡。高架地板取消也需要产业链相关产品协同，例如房间级精密空调还是下送风设计为主，气流设计，通道密闭的结构问题等等都需要解决。
国外Colo机房和国内一样对机架内部配电都采用rPDU配电条。国外Colo机房为了满足更多客户需求，会针对性使用不同功能的rPDU。例如面向需要租电分离计费客户，客户还需要远程可以查看自身机架实时功耗，带电流和电能监测功能的rPDU就有用武之地。同时rPDU的制造商也明白SLA等情况，在rPDU上增加了额外环境传感器的接口，用于监测该机架的温度情况。可以说，那些所谓智能rPDU，已经超越纯粹配电的概念，这个产品作为解决方案的背后是监测环境SLA，和租户机架用电计费。如下图所示：
图41 机架rPDU配电条功能
进一步地，那些可以监测每个插孔供电，还能远程关闭供电，也是租户有远程管理要求所致。国外领先的rPDU厂商已经不满足于硬件上和简单软件上的“智能”，为了吸引Colo公司，推出结合rPDU智能功能的DCIM等软件，使用自家的rPDU，就可以有一套环境和电力监测软件，可以优化容量，也可以使用DCIM进行不同用户的计费管理等，做到和租户的信息透明。有兴趣的读者可以参考Raritan力登公司产品就可以了解更多。
对于租电分离模式，计费准确性和rPDU的可用性对于Colo公司以及租户都是至关重要，毕竟一旦监测元件故障，很可能计费就中断（可以想象家里电表计费失败，多算或少算的后果）。为此rPDU厂商也对自身产品质量和可用性做了大量的工作。例如，大多数rPDU的电流互感器测量精度有2%左右误差，领先的rPDU制造商使用更优质电流互感器可以控制在1%之内确保计费准确。针对一些高密度应用，热通道温度有可能很高（超过45℃），通过更优异性能的rPDU内部元件和结构件防止高温情况下损坏等。对比国外，就拿租电分离计费模式来说，国内有多少数据中心可以从硬件到软件技术上都实现功能？可以做到与客户之间信息透明嘛？有自动化的软件可以管理这些数据吗？
业界对预制化模块的分类和相关技术，可以参考施耐德白皮书：
http://www.apcmedia.com/salestools/WTOL-97GLP9/WTOL-97GLP9_R0_CH.pdf?sdirect=true
笔者认为，IT模块并不合适Colo数据中心，而机电模块是可以考虑。IT模块的问题在于网络，服务器等设备经常需要变更，变更包括布线方式，机架尺寸，高密度配电和制冷，以及整机架设备上架，以及Cage隔笼。目前而言做成集装箱形式的IT模块，由于尺寸限制和结构设计，难以兼容上面提到的变更要求。集装箱等结构上限制，对于高密度机架（52~54U），整机架部署，高密度散热，做钢笼分离等都非常难适配。同时集装箱空间狭窄，机电设备运营也是一大难题。预制化模块从形式上的移动性，对于Colo来说并无意义。
笔者看过相对成熟的预制化模块化数据中心，做得比较好的要算是Bladeroom了。但是仔细研究其设计，会发现Bladeroom其实更多是把建筑拆散做成模块，做完后从布局和空间上和水泥建筑无太大差异，其模块尺寸也比集装箱尺寸要大不少。笔者参观过Bladeroom在南非的数据中心，从内部、外部看都看不出是模块化建设。另外这种预制化模块的数据中心，往往需要额外的建筑进行配套。因为一个Colo数据中心不仅仅只有机电设备和IT区，还有其他功能区，例如拆包测试间，机电工程师运维房间，运营商接入室，仓库，会议室，茶歇室，洗手间，淋浴室，休息室等。对于集装箱形式而言，这些功能区往往难以满足。IT区域基本上做不了标准化，除非生意是服务器主机托管，所有机架和设备配置都比较标准。否则只要做Colo生意，难免碰到各色各样用户机架。
其实做不做集装箱，预制化等对于Colo公司来说并非关键。站在商业角度，最起码做了之后，租户谈不上喜欢也至少感觉和水泥建筑工程类似。用了这些技术，除了吸引眼球而无法带来更多经济和市场效益，也不能积累多少未来技术，那又有何意义？
预制化并非去解决模块化问题，而是去解决快速交付及其质量问题，供应链管理。北美领先Colo公司DRT，就把机电系统标准化后，做成机电模块，方便在北美不同地方交付数据中心。所以笔者觉得预制化机电模块会是一个方向，这并不取决于技术好坏，取决于成本模型，交付速度，施工质量。
笔者问过很多人究竟什么原因导致国外技术在国内应用受阻。不少人还归结于国货当自强，国外产品水土不服。但笔者并不完全认同这种看法，起码不是主要原因。国外设备厂商确实有不少不了解中国国情，他们认为增值的解决方案在国内商业模式下可能并不产生商业价值。通过上面大量实例比较中外数据中心技术应用差异和市场环境可以看出，一旦运营商网络中立，互联互通，商业服务和盈利模式改变，国外设备和技术应用就会更加广泛空间。
做Colo行业的人会了解到，国际上租赁数据中心都需要获得ISO，SSAE，BSI等权威认证才具备市场竞争力。读者可以上Equinix官网看看就知道资格认证是Colo租赁机房综合能力的重要体现。在国内，掌握带宽，电力，资金渠道，土地等资源比折腾技术，运营和商业模式更为有效，毕竟中国也是商业社会。笔者觉得，在Colo数据中心流行并发展的重要阶段，国内由于市场环境因素，服务和商业模式拖了后腿，底子和积累已经难以追赶欧美，或许云计算是下一个契机。模块化设计和技术或许会围绕云计算数据中心而演进更多，这将会有新一套商业和技术规则，大家不妨拭目以待。
联系客服
