模块化机房建设实践

中国人民银行益阳市中心支行科技科 马国胜

随着IT 基础架构的转型，以数据集中为重要标志的信息化建设，虽然提高了业务处理的效率，提升了IT 架构的可靠性，降低了运维成本，但对数据中心机房的快速部署、灵活扩容、稳定运行提出了更高的要求。笔者所在的单位运用模块化机房建设方案，使用近3 年的时间，分别对市县两级机构的机房统一实施标准化更新改造，建成规范标准、安全可靠，运维便捷、绿色节能的机房，为业务运行提供了安全可靠的IT 基础设施环境。

图1 模块化机房组成

什么是模块化机房

模块化机房如图1 所示,是指将IT 机柜、配电柜、精密空调、冷通道、UPS 主机、电池柜、动环监控系统等设备和设施按功能分类，通过工厂预制的方式生产成相应的功能模块和组件，在现场以搭积木的方式组合成整体的机房。模块化机房有以下明显优点。

1.组件标准，整体具备高可靠性。组件采用模块化、标准化和高可靠性设计，核心设备可以根据需求，灵活实现N+1、N+X、2N 等冗余备份方案，整个系统稳定度高，安全可靠。

2.集成简化，建设周期有效缩短。所有的功能模块采用批量生产、预先测试、现场集成的方式供货和部署，对基础环境，供水供电等外部环境保障接口统一，甚至基础设施和IT 设备能一体化交付，机房规划设计、建设实施、联调验收等环节的工作量大幅减少。

3.分期建设，按需灵活拓展部署。模块化机房按末端制冷、末端配电、末端布线的理念,按需部署组件，通过预留外部接口的方式，与机房基础设施建设解藕，在降低初始投资的基础上，可以通过灵活扩展供配电和制冷等组件，适应未来需求。

4.绿色节能，运行成本大量节省。模块化机房采用密封通道技术，隔离冷热气流，制冷系统的容量与负载需求匹配更精准，制冷效率更高，电能转换率能高达95%，整体PUE 可≤1.5，能节省运行费用。

5.智能管理，运行风险精准防控。所有组件自带运行状况内部监控功能，能独立对组件进行可视化化管理，支持通过标准的RS485、SNMP 协议与机房整体环境监控系统集成，配合3D 虚拟展示技术，能实时集中提供设备和设施运行状态显示，故障告警等功能。

图2 市级机构模块化机房布局图

模块化机房建设实践

笔者所在单位包含1 个市级机构和4 个县级机构，5 家机构根据本单位业务需要，均设计建设了机房。随着信息技术的更新和制度规范的修订，5 家机构原来的机房暴露出安全隐患，并存在不符合新标准的情形。

市级机构原有的机房建成于2004 年，占用建筑面积约370 平米，存在设备超期服役老化造成故障频发；空间规划不合理和利用率低造成耗能偏大；各子系统独立运行造成应急能力差等问题，且整体能效偏低，PUE 值>2.2。市级机构的机房更新改造必要性、紧迫性突显。改造工作列为全系统信息化“十三五”发展规划的省级重点信息化建设项目。

4 家县级机构原有的机房分别占用建筑面积为25-50 平米，但因为建设时无统一标准、经费紧张的原因，遗留下选址不合理使基础环境无法达标，设备老旧和型号不一使运维困难，未配备安防监控设施造成机房运行和管理存在风险等问题。

1.市级机构模块化机房建设

（1）整体方案

市级机构模块化机房建设参照上级单位发布的《计算机机房规范化工作指引》（以下称“指引”）,主要性能指标按指引中的C 类计算机机房设计和国家2 星级绿色数据中心标准设计，部分关建和重要设备参照《电子信息系统机房设计规范》（GB50174-2008）中B 级机房标准配备，整体面积107 平方米，分主机房、办公网机房、监控操作室、电池室、新风室，其中电池室在办公大楼负一楼，其他分区在原机房位置改建。主机房采用双排单通道的布局部署一套模块化机房，其中1 台一体化智能配电柜，1 个综合布线柜，2 个网络机柜，2 个运营商机柜，6 个服务器机柜，2 台行间精密空调。在通道加装网孔隔断门，将模块化机房划分为运营商设备区和核心业务区，并使用门禁控制实现分区之间单向出入，如图2 所示。

（2）主要设备部署情况

市级机构模块化机房共部署供配电系统、UPS 系统、照明系统、防雷接地系统、静电防护系统、空调制冷系统、新风与排气系统、自动消防系统、门禁系统、视频监控、入侵报警系统、动力环境监控系统、机柜与冷通道系统、综合布线系统、集中远程管理系统等15 个子系统，如图3 所示。

供配电系统设计负荷100KW，分别在大楼配电间市电和发电机输出开关引入2 路供电线路，经智能配电柜中的ATS 开关，提供3 路UPS 和多路动力设备供电，并配备210KW 的应急发电机作为后备供电系统，用于应急制冷。

UPS 系统分为IT 应急配电和辅助应急配电两部分，IT 应急配电使用2 台机架式20KW 主机和80 节容量为100Ah 的电池，按2N 冗余模式运行，为服务器机柜中的设备进行双回路供电，辅助应急配电使用1 台机架式6KW 主机和16 节容量为100Ah 的电池，为门禁系统、视频监控等辅助系统供电。

照明系统由工作照明，应急照明和疏散照明组成，均采用LED 绿色光源。

防雷接地系统采用三级防雷设计，在配电柜市电总输出端设置二级防雷，在UPS输出端安装的C 类防雷产品。接地采用联合接地方式，使用铜排在地板下构成等电位联结网格，机柜、线路、金属管槽、墙面龙骨架、吊顶龙骨架、地板支架接地全部连接到网格中，铜排连接处使用熔锡工艺，进行防氧化处理，并使用螺杆加固连接。

图3 市级机构模块化机房配电柜系统图

空调制冷系统配备2 台25KW 制冷量的恒温恒湿水平送风行间精密空调，按2N 冗余模式运行，并设置成自动轮巡模式。

新风与排气系统为整个机房提供空气正压和紧急情况下的排烟功能，新风量达到2500 立方/小时，排气量达到3000 立方/小时。

自动消防系统采用无管网气体自动灭火系统及消防报警系统，配有机房专用空气呼吸器，具备与供电系统联动功能，并与大楼消防报警系统集成。

门禁系统采用双向门禁模式，分别在房间进出门、通道两端和隔离门等位置安装支持国密算法IC 卡技术的读卡器。

视频监控采用数字网络型监控设备，布放10 个高清摄像头和1 台硬盘录像机，对所有分区实无死角和全天候的监控，并与大楼安全保卫管理系统集成。

动力环境监控系统在接入全省统一机房监控平台的基础上，通过智能接口卡采集配电系统、空调系统、UPS 系统和新风与排气系统等数据，监测漏水情况，显示在监控大屏上，并通过短信和电话对非法入侵、设备运行异常等情况进行实时告警。

综合布线系统采用支持万兆传输速率的超六类双绞线和多模光纤，在所有的运营商、网络、IT 设备柜中分别布放24 口网口和光纤配线架，所有线缆采用上走线和金属线槽敷设的方式全部接入到综合布线柜中统一进行配线。

集中远程管理系统分别采用采用1 台32 口KVMover-IP 交换机和1 台16 口Serial-over-IP 交换机,对机房中所有服务器和网络设备进行集中管理。

（3）建设周期

项目于2017 年4 月立项后启动设计工作，同年7 月设计方案获得上级单位批复，10 月完成项目采购。项目建设于2017 年12 月正式开工，2018 年2 月竣工，工期62 天。2018 年6 月 项目通过初验，模块化机房投入试运行，并于同年10月通过上级单位的终验。

2.县级机构模块化机房建设

（1）整体方案

县级机构的机房更新改造按照装修标准、选址合理、配电规范、标识清晰、规范达标的原则，以实现机房建设、运行和管理标准化为主要需求，参照上级单位发布的《电子信息系统机房建设规范》（以下称“规范”），按规范中IV 级机房标准设计，部分设备参照国标C 级机房标准配备。4 家县级机构分别选用位于办公楼2、3 楼的20-30平米全封闭房间作为机房场地，对原机房进行迁址建设，采用单排单通道的布局配备1 套模块化机房，其中2 个IT 机柜、1 台列间精密空调，1 台精密配电柜，并预留1 个IT 柜的位置。

（2）主要设备部署情况

县级机构的模块化机房，部署了与市级机构机房功能相同的15 个子系统，但根据实际情况，对部分部署的子系统进行减配，消防系统改为手动灭火器结合火灾自动报警方式，综合布线系统不设专门的布线柜，改为超五类网线直接接入IT 设备柜的方式，如图4 所示。

图4 县级机构模块化机房布局图

供配电系统负荷30KW，市电和发电机供电经大楼配电间ATS 开关后，通过1 路供电线路接入一体化配电柜。柜电柜集成市配电、UPS主机和电池电源，按上下位置划分成3 个区域，上部安装配电模块，模块中包含UPS输入输出配电，空调配电及6路IT 设备配电，安装有B、C级防雷器；中部采用导轨方式安装UPS 主机，并采用电池入列的方式将电池摆放在配电柜下方。

UPS 系统使用1 台机架式6KW 主机和16 节容量为65Ah 的电池，为网络设备、服务器、监控和门禁系统等重要设备提供应急电源。

空调制冷系统配备1 台12.5KW 制冷量的恒温恒湿水平送风列间精密空调，所有机柜顶部配备4组应急制冷风扇，在紧急情况下用于机柜内冷热空气对流。

综合布线系统采用支持千兆传输速率的超五类双绞线，在2 个IT 设备柜底部分别布放48 口网口架，采用先上后下走线和金属线槽敷设的方式连接信息点。

动力环境监控系统采用统一的机房监控平台，按集中监控，分级告警的模式，将各子系统的运行状态实时显示在设在市级机构机房内的监控大屏上，统一设定阀值后，系统会根据异常情况发生位置向所在单位的管理人员实时告警。

（3）建设周期

为控制好机房建设标准，4 家县级机构机房更新改造工作整合成统一的县级机构模块化机房项目进行建设。项目在2018 年10 月立项后启动设计工作，同年12 月完成项目采购。项目采用“建成一个，验收一家”分步建设的方式实施，2019 年3 月首家县级机构模块化机房开工建设，至8 月所有县级机构的模块化机房完成验收，建设周期160 天。

实践效果

1.技术更新，提升安全可靠性能

使用模块化机房技术的完成两级机构机房更新改造后，彻底化解了原来大量关键设备和设施超期服役带来的风险隐患，建成了绿色节能环保的IT 基础平台，为业务业务连续性运行提供了安全可靠的基础平台。改造后，机房电源由一体化精密配电系统供电，消除了大楼内线路和原配电设备老化的问题，使IT 设备运行的供电保障有了数量级提升。

2.绿色节能，提升整体经济效益

统计数据表明，相比改造前，模块化机房的投运后，地市级机构机房运行消耗的电能减少了18 万度/年，PUE值达到1.2，县级机构机房运行消耗的电能减少30%，PUE值为1.1。

3.标准规范，提升运维管理质效

建设的标准统一、配置统一、监控统一和运维统一的模块化机房，使设备、设施和线缆标识规范清晰，运行状态可视化，提高了运维工作的效率，并为推广集中统一运维模式和统一监控无人值守模式提供了基础条件。