2020年12月8日-10日，第十五届中国IDC产业年度大典在北京国家会议中心正式召开。作为数据中心云计算产业内知名的盛会以及IDC企业、电信运营商、互联网、金融、政府和厂商等产业上下游的高效沟通平台，与会嘉宾包括政府领导，行业专家和企业代表数千人。
在12月10日的IDCC2020大型数据中心建设论坛上，天津江天数据科技有限公司IDC建设部总经理薛成林分享了《巨型数据中心园区规划与实践》。
天津江天数据科技有限公司IDC建设部总经理 薛成林
大家好，我是江天数据的薛成林，今天分享一下巨型数据中心园区规划与实践。今天的主题是大型数据园区，一般都是在规划阶段，我们做任何园区都要先做规划，多数情况下，咱们所有的公司都是规划、设计、建设和运维是不同团队去进行的，一般情况下往往会出现这么一个情况，最终运维会说前面给挖了坑，其实建设会说设计给建设挖坑，运维会说建设给运维挖坑，但是他们根源上还是在规划阶段有一些问题都已经体现了。
大家看一下这张图，这是一个剖面图，能看到这里是屋面上送回风井，我们俗称“狗窝”，旁边是女儿墙，在这张图上看不出设计有什么问题，但如果我们再看现场图的话，我想很多人还是能够看出一些问题的。当我们把刚才张总谈到的AHU放在这里的时候，可能这个问题会更明显，到底是什么问题呢？我们机组放在这里，可以看到进风的风口在哪里，多台机组在楼顶这样摆放的时候，相当于这台间接蒸发机组放在一个盒里，或者放在一个坑里，这样的话会出现什么状态？单台可能没有什么，但是当这样的密度的时候会成什么样的状态？先不讲周边是不是放在一个坑里，光这个密度，我们即使放普通的空调机组，这个密度也已经很高了，如果是这样的情况，这个密度从咱们暖通来讲，它的换热是由周边的空气换热，密度这么高的情况下，它的换热不能保证跟空气的绝对交换，一定会有很强的温度，这么讲吧，中间一定会温度很高，中间有新风进入，中间区域新风量会很少。这是一张效果图，就是这个规划。
这里抛一个引子，拿设计引申到规划这里，做这种规划的时候，可能园区规划很简单，我们摆几栋楼，布局一下，按照园区面积去又，还是能够提供最大的占地、出柜等等这些，但是对于后期设计这就已经是一个隐患了。
我这次分享从几个方面进行：1、数据中心巨型化趋势下选址要素。2、江天数据环京大数据产业天津基地简介。3、巨型数据中心园区总规划。4、电力系统、5、风系统规划。
数据中心巨型化趋势下选址要素。国内的数据中心的发展经历了由运用上主导的以通信机楼为主的分散、小规模化发展阶段，逐步向市场驱动的规模化、标准化、高密度、绿色节能方向发展。我最早接触这行的时候，我们做百台机柜的机房都叫大项目了，现在如果说千台都是很普遍的了。中国IDC市场最近九年增长了19倍，年增长率35%以上。预计2020年市场规模会达到4000亿，2019年数据中心数量大约为7.4万个，占全球大概23%。目前中国主流数据中心超过3000个的数据中心占比大概是57%，中国超大数据中心占全球10%，国内28个省自治区直辖市均有大型、超大型数据中心。
现在这种发展趋势下也会导致土地、能耗方面的瓶颈，审批政策逐步趋紧。以北京为例，2015年PUE值在1.5以下，2018年PUE值是1.4，2019年PUE根据新的数据中心能源效率限额规范，要降到1.3。今年也有一个要求，促进存量小规模低效率分散数据中心向集约化、高效率的转变。现在数据中心的发展趋势，我们必须提高PUE，必须要变得大型化、集约化，而数据中心的选址是在规划前的第一步，要考虑自然环境社会因素都很多，其中重点是考虑需求、电力、通讯、交通、水源、环境、节能，我这里着重列两点。第二要素，自然环境清洁，环境温度要有利于节能，由于数据中心空调系统能耗大，故将数据中心建到北方和西部温度较低的地区，建到环境清洁的地区有利于节能。根据当地气候可以充分利用自然冷却，可以显著降低PUE，对空气质量优良地区可以采用全新风空调系统，这个在国外有案例，国内我听说在中卫也有，但效果好像不是太理想。如果建在偏远地区有一个弊端，环境温度比较低，附近用户量较少，距离远信息传输时延长。所以这个要综合比较。 选址第一要素，电力供给应充足可靠，通信应快速畅通，交通应便捷。购买土地相对容易，但数据中心耗电量太大，充足电力是数据中心选址第一要素，现在环北京为例，怀来和廊坊的电已经极度紧张，自从某些大型的数据中心在当地建设后，现在很难说在廊坊和怀来那里还有足够电力去建设大型数据中心，即使今天我们在展台外面看到的据说在当地弄了多少亩地，如果电力不解决，弄多少亩地是很难把数据中心建好和用上的。
数据中心中的数据和信息传递需要网络，所以数据中心必须要有网络支持。数据中心在设备运输、故障的救援、燃油的补充、客户寻访等等，都需要数据中心所在地交通便捷。我们公司所在的一个项目作为举例。
我们环京大数据产业天津基地项目，这个项目位于几个高速公路交叉的位置，距离北京亦庄100公里，距离京津城际北辰站1公里，这个城际铁路预计2022年9月通车，到北京约40分钟，驾车或坐地铁到天津约30分钟，到机场3站地。江天数据环京大数据产业天津基地还有一个特点，200KV站，电源采用双电源入站，分别来自于北郊500KV站和东丽500KV站，是天津主干供电站，覆盖范围达到天津市50%的区域，覆盖范围包括政府、企业、银行等等重要用电客户，我相信做电力的同行都清楚，50站是国家最高级别的电站，它的安全性是非常可靠和稳定的，如果一个50站崩溃，基本上这种崩溃情况下，可能就像南方那次大的暴雪，导致区域电力垮塌。与国网联络枢纽站永定河站仅一墙之隔，永定河站是北郊500KV站和东丽500KV站的国网联络。
下面是对于我们项目的简单介绍。
我们江天数据企业渊源来自于天重江天重工，位于天津北辰区，占地1200余亩，注册资本7.66亿元，员工3000余人，是大型民营骨干企业。企业发展历程，2019年以前是以大件铸造、锻件、特钢制造的民营骨干企业。但是2019年，政府环保因素，我们做了调整，我们的重工要退出，我们的钢铁要退出，所以江天重工进行了转型，进行产业升级，结合国家政策，借鉴钢铁行业的经验，实现转型，2020年布局了数据中心产业，孵化江天数据科技有限公司，在公司原址上开发环京大数据产业天津基地项目。为什么我们只有自有的220站的原因，我们的企业渊源，因为我们是一个钢厂。远景规划，我们企业定位目标是互联网与云计算数据基础设施服务领域，为京津冀地区互联网、大数据、人工智能和5G产业提供相关支持与保障。这个是我们园区的区位图，天重公司是1200亩地，厂区北边是永定新河，附近有大片未开发土地。环京大数据产业基地选择原来天重的东南角，原来是1200多亩，现在东南角摘出260多亩的土地，现在江天数据东边和南边规划都是公园绿地，在厂区的西北两侧，现在除了北边规划永定河沿河公园以外，其他地方，其他空地地方规划还在留白，正在进行中。现在在天津市的规划中，城际北辰站的西侧已经规划公示了，东侧还在规划中，还没有公示，江天数据环京大数据产业基地目标是采用整体规划、分布实施策略，建设一个总装机容量4万个6KW机柜的数据园区。
基于这些的介绍，我们进行巨型数据中心园区规划，先讲一下我们的总规划。做任何规划之前都有一个规划原则，相当于行动纲领，有这么几点。首先是高可靠性，资源的高效性，节能环保性，前瞻性和经济性，这是我们制定的基本原则。总规划中，我们基于现在的园区场地特点，采用“一轴两翼”的规划布局，贯通东西的中心景观轴，南北两侧的数据机房楼，结构上比较清晰。按照功能分区，将园区分为四个区域，含有8栋数据中心机房楼的数据中心区，含有3栋研发办公楼的研发奔过去，含有1栋综合服务中心和1栋220变电站区。
简单介绍一下，首先是水系统，要保证供水可靠性，水系统规划中，把市政水接入点设在一轴两端，双路市政供水接入，满足可靠性要求。同时基于项目地紧靠永定新河的特点，园区远期规划河水净化系统，利用永定新河水源，经过净化处理后补充至数据中心生产补水系统，打造除两处不同市政自来水接入点以外的第三处供水点，进一步夯实园区供水的可靠性。光伏发电，包括通讯可靠性，在每栋数据中心机房楼里规划不同的接入点，两个运营商介入间，互为备份。
下面是我们做的电力系统规划，基于我们园区特点做的规划。这种巨型数据园区用电量是巨大的，普通的开关站难以满足如此大规模的电量，江天数据得天独厚的优势，拥有220KV变电站，对该变电站进行适当改造，可满足江天数据环京大数据产业天津基地的需求。我们考虑近中远期电力发展需求，规划单路用电负荷为240MVA。变压器变比，我们这个是用户站，我们会设计成220直变10KV方案，没必要中间加上110、35电压等级，我们数据中心和变电站的距离已经很近了，紧邻着的。供电路由，220KV变电站两路电源进线引自不同500KV变电站，数据中心楼的10KV电源进线采用物理隔离的电缆隧道沿园区南北两翼外延的绿化带敷设，电缆出电缆隧道口至数据中心楼采用电缆沟敷设的方式。负荷布局，考虑业务发展趋势，园区机房楼的布置特意将高密机房布置靠近220KV变电站区一侧，临近负荷中心，缩短电力线缆路径，减少电力损耗，降低电缆材料成本。数据中心楼之间配电系统相对独立，楼内各层相对锻炼。容量调配，引入“电力蓄水池”的概念，对园区电力资源进行充分的利用，每个数据中心楼的配电系统取自240MVA的电力蓄水池。
江天数据220站位于北辰江天重工厂区内，规划4台主变，每台容量为120MVA，所有设备均为室内布置，220KV进线电源为双电源进线，采用单母线分段接线。我们自有220站做成GIS站，占地面积小，设备运行更加安全、稳定、可靠。站内所有电器设备都被直接或间接封闭在金属管道和套管所组成的管道树中，从外部看不到任何开关、线路和接线端子。管道树的内部全部采用SF6气体。220站进线主要来自于两个50万伏，220站有个优势，电价上的，将电能表由220KV直接转换为10KV电压等级，不但减少了中间电能变换环节，降低了电气设备事故率，极大提高供电可靠性。
下面分享一下我们的风系统规划，我最开始分享的时候抛的一个引题就与风有关系，刚才张总讲了AHU应用，AHU在北方可以极大提高数据中心PUE，我们这里也要大规模采用AHU间接蒸发冷，天津冬季受蒙古冷高压控制，盛行西北风，夏季受西北太平洋副热带高压西侧影响，多偏南风。为了满足气流组织，机房楼采取南北向布置，间接蒸发冷却空调机组位于东西两侧，满足室外空调制冷的最佳气流组织。规划中必须要考虑的，数据中心园区所在地的主导风向，每栋机房楼间接蒸发冷却设备的相对位置，这个一会儿还会有更多介绍。还要考虑多栋建筑之间的相对位置，还有建筑布局对园区内气流的影响。
七八栋楼布局后，相互间气流是什么样子，如果简单看，很难判断出来气流怎么样，但我们这个园区，根据这个布置，我们的气流比较简单，不会太乱。 对于风系统规划，首先讲一下我们应用间接蒸发冷的布置，间接蒸发冷要布置在室外可以有这么几种方式，一种是对于侧面布置，紧邻机房外墙，接管检修比较方便。另外是放在顶楼，顶层间接蒸发冷却机组设在屋面，通过送回风竖井与机房连接，对于单层机房比较通用，但多层机房如何布置间接蒸发冷却系统还需要仔细考虑。这是一个模拟，多层机房间接蒸发冷却机组水平方向竖直方向都有多台设备，受周围机组抢风影响，底层中间区域的机组室内测的进风量很小，导致热交换效能很差，多层应用现在在国内还没有真正应用过，据我所知，华北有一个单体的，是4层的建筑，用的多层，五层。我了解的情况，那个是单体建筑，相对来说不需要考虑几栋楼和园区之间的相互影响，相对简单一些。但当多层的时候，要做一个总体的模拟分析，通过规划解决一些抢风问题的影响。
机组直接上排风，会导致上层机组热风短路，不适宜多层布置。机组水平侧排，对于两栋相邻的机房楼均采用间接蒸发冷却空调机组的情况，会导致出现跨楼间热排风与新风的短路，不适用于巨型园区大量应用。通过排风竖井排至建筑上，没有上下层设备间短路问题。间接蒸发冷却空调机组的室内送回风方式可以分三种：一种是架空地板下送风，冷通道封闭的方式，可通过调整风口地板，实现气流均匀，服务器不出现热点，所以气流组织合理，但需要架空地板，增加了成本和施工难度，对机房空间也是挑战。第二种，直接送风，热通道封闭，吊顶静压箱热回风的方式。送风口风速过高，送风口分布较分散，气流不均匀，容易导致服务器出现热电，特别是靠近送风口最近的第一排服务器。当其中一台间接蒸发冷却机组出现故障时，对应的送风口无气流，气流均匀性骤降。这都是要模拟才能知道具体问题。第三种，送风口处设置送风静压箱，风墙送风，热通道封闭，吊顶静压箱热回风，像一台机组故障的时候，其他机组通过静压箱将气流均流，通过模拟验证服务器出现热点的情况较少，不能说完全没有，我们做模拟的时候也有各种模拟状态，当不同状态的时候确实也会出现热点，但明显出现热点的情况机率会降低很大，这是推荐的室内送风方式。
规划巨型数据中心园区大量应用间接蒸发冷却空调机组时发现的一些其它问题，今天的主题是大型数据中心园区主题，我在这里主要是抛一些问题，供大家在规划中做一些思考。间接蒸发冷却机组当部分机组后安装，或者中间层机组出现问题需要更换时，需要考虑如何设置室外排风竖井，如何便于拆卸和恢复。这个和分期建设有关系，比如上到三层四层五层的时候，这个东西会不会阻碍我的后期建设，这个要考虑。即使不考虑后期建设，还有维修、更换机组，还有改造，改造也会对建筑有些要求，必须有前期的考虑。间接蒸发冷却机组与外墙接口数量多，需要考虑如何处理金属风管与土建墙体的连接，以便规避漏水。这个问题我深有体会，从2017年到2020年，我参与的项目中，到现在为止，这四年漏水一直是一个重点问题，我跟某些厂家沟通的时候，厂家在这方面也是无能为力的，这个必须由建设方设计方去考虑解决的问题。 间接增发冷却空调机组排风井和柴发机组排风井会形成热障，需考虑如何设置柴发和间接增发冷却机组的位置，减少相互间的影响。举一个例子，在华东地区一个数据中心，它的园区规划了6栋数据中心，其中有5栋数据中心做成了井字型，相当于两边各四栋，把头一栋，中间还有办公楼，柴发建在每栋楼之间，距离很短，有利于节约电缆，但是有一个问题，柴发一旦使用的时候，它的进排风问题，6栋楼把这个地方严严把死，这个缝隙只有10几米到20米的距离，在这种情况下，很难不会出问题，只是因为现在还没建成，正在建设中，大家很难预判，基于咱们今天的主题我拿这个举个例子，希望大家可以借鉴，日后在规划和设计中都要考虑一个园区整体的通风散热的关系。比如间接蒸发冷却机组与其他机组同样有问题，也会有相互的气流影响的问题。
我今天的分享主题到此结束，谢谢大家！
文章来源于互联网:【IDCC2020】天津江天数据科技有限公司IDC建设部总经理薛成林：巨型数据中心园区规划与实践
相关推荐: 购买33英亩土地 谷歌计划建设其首个英国数据中心园区？
据悉，近日谷歌（Google）收购位于英国北部的一片占地33英亩土地，折合超过133,500平方米面积，令外界猜测谷歌是否要在此地建立其首个英国数据中心园区。 香港IDC新天域互联了解到，新土地详细位置很有可能是英国赫特福德郡（Hertfordshire）。从…
