智慧数据中心中的统一物理层基础设施（UIP）策略.pdf

智慧数据中心中的统一物理层 基础设施（upi）策略 部署垂直散热系统 以获得高能效并支持可持续性目标 wp-09 2010 年 3 月 ww-cpwp-09, rev.0, 03/2010 2010 panduit corp. 保留一切权利 2 部署垂直散热系统 以获得高能效并支持可持续性目标 介绍 员工和客户同时使用的商务管理应用程序和合作软件需要日益复杂和大规模数据 库的处理能力。数据中心管理者面临着管理增长同时降低资本和运营支出的持续压 力。随着单个机柜设备密度增大以满足这些处理需求，网络的拥有者需要新的有效的 冷却策略，管理数据中心使用寿命中的增长及其带来的高热密度。 各个机构开始关注基于统一物理层基础设施（upi）数据中心解决方案，其利用无 源散热控制方案来优化能效并减小风险。垂直散热系统（ves）就是其中一个解决方 案，它可以避免在整个数据中心排出的热空气与有源设备进气口产生循环。这些系统 将服务器排出的热空气直接传输至热空气回流通道，将排出的热空气与冷空气隔开。 通过这一举措，数据中心管理者可以将数据中心运行时的供应空气设定温度提高，以 节约运营成本。 本白皮书探讨在数据中心部署垂直散热系统的相关散热管理问题，及其对数据中 心物理层基础设施的影响。这里将通过介绍案例场景，来示范在典型的数据中心环境 中部署垂直散热系统所能达到的成本节约效果。其最佳实践包括最小化机柜背部和沿 垂直管道而上的气流阻力，保持服务器的排气区域没有气流障碍物。当采取基础设施 最佳实践进行部署时，垂直散热系统控制策略可以提高冷却效率，支持可持续性目 标，并将冷却系统的运行成本降低 25或以上。 传统冷却系统的限制 在典型情况下，数据中心中气流管理的实现是通过策略性地布置机房空调 （crah）单元和物理层基础设施组件，按照 tia-942 和 ashrae 的“数据处理环境 的散热指南”中的规定，以热通道/冷通道排列的方式放置设备（参见图 1）。 图 1：传统的架空地板热通道/冷通道数据中心及吊顶回流通道 ww-cpwp-09, rev.0, 03/2010 2010 panduit corp. 保留一切权利 3 部署垂直散热系统 以获得高能效并支持可持续性目标 在采用架空地板以及吊顶回流通道的环境中，crah 单元在架空地板下方散布冷 空气，使得空气通过位于冷通道中的开孔地板进入机房。机柜中的有源设备，其风扇 从冷通道抽取冷空气，然后将热空气排入后部的热通道中。最后，设备排出的热空气 通过吊顶通风层和回流通道，离开机房，返回至 crah。 数据中心目前的趋势是面向更大的设备密度，而这些高密度将架空地板冷却系统 的能力推向极限。带吊顶回流通道的架空地板系统通常可以输送足够的空气，消除每 机柜 7-8 kw 热量，只要 crah 单元具有足够的散热能力，并采用最佳散热管理实 践。这些最佳实践包括 24-36 英寸（60-90 cm）架空地板高度，机柜按照热通道/冷通 道方式排列，适当尺寸的开孔地板砖或栅格，正确的空气回流路径，电源线和数据线 的正确路由，以及使用架空地板空气密封套件和空白面板。 数据中心的整合和虚拟化成果带来了更高的机柜密度，每个机柜容纳数个服务 器。这些高密度的服务器可以在每个机柜产生 8-12 kw 的热负载；随着设备的添加和 升级，尤其是高散热的刀片服务器配置，机柜热负载可以超过 25 kw。若无有效的散 热管理策略，风险会迅速成倍增加： 增大停机时间的风险，由于设备故障而产生损失 缩短平均故障间隔时间（mtbf） 增加维护成本 由于过度冷却而增加运行支出 创新而经济的数据中心冷却改进方案 由于预算限制和逐步升高的能源成本，数据中心的利益关系人被迫考虑所有可行 的散热方案，以提高运行效率和维持业务连续性。基于 upi 的冷却解决方案，作为应 对高热负载可靠、经济和环保的选择，在数据中心中不断得到应用。这些创新的解决 方案采用精确的冷却技术，优化气流和保护有源设备，无需添加大耗电量的冷却装 置，而这些冷却装置会推动成本上升并引入额外的运行成本（量化比较参见表 1）。 表 1：数据中心补充冷却方式的比较 方式 资金成本 运行成本 故障点 无源系统 $ 无 无 柜内风扇 $ ? ? 架空冷却装置 $ ? ? 机柜后门热交换器 $ ? ? 增大 crah 容量 $ ? ? 做为基于 upi 的整体方案中的一部分，冷却组件可以从初始建设时进行规划和部 署；或者在需要时进行模块化添加，集成于现有机柜布局中，允许冷却容量随着业务要 求的变化和增长而进行扩展，具有极大的灵活性。这种灵活性使得数据中心利益关系人 可以按照需要配置设备，无需添加 crah 单元或让架空地板冷却系统超负荷运转。 ww-cpwp-09, rev.0, 03/2010 2010 panduit corp. 保留一切权利 4 部署垂直散热系统 以获得高能效并支持可持续性目标 对于数据中心环境最有效的无源气流管理选择之一是散热控制，例如垂直散热系 统（ves），它通过垂直管道或“烟囱”单元，将服务器排出的热空气直接引向吊顶 回流通道（参见图 2）。将排出的热空气传输至 crah 回流通道可以阻止热空气的回 流，确保设备对冷空气的吸入。ves 排气控制系统可以支持例如刀片服务器的部署这 样高热负载、高密度设备的配置。1 图 2：上图：在传统的采用吊顶回流通道和架空地板环境（热通道/冷通道）中，热空气可以回流 至机柜的正面，加热机架的顶部。 下图：泛达 ves 通过垂直管道将热空气直接传输至回流通道，优化了散热效率。 1 intel 白皮书：空气冷却高性能数据中心：案例研究和最佳方式2006 年 11 月。 地板下方通风层 地板下方通风层 吊顶回流通道 吊顶回流通道 冷通道 冷 通 道 冷通道 冷 通 道 冷 通 道 冷 通 道 热通道 热通道 热通道 热通道 地板下方通风层地板下方通风层 吊顶回流通道 吊顶回流通道 冷通道冷通道 热通道热通道 热通道热通道 温度 温度 60f73f85f98f110f 没有没有 ves 时产生的高温点时产生的高温点 冷 通 道 冷 通 道 冷 通 道 冷 通 道 部署部署 ves 后后 ww-cpwp-09, rev.0, 03/2010 2010 panduit corp. 保留一切权利 5 部署垂直散热系统 以获得高能效并支持可持续性目标 冷、热空气分离后，数据中心可以以较高的设定温度工作，从而降低冷却系统的 能耗。将热空气传入回流通道还减少了能源使用，因为最大化了回流空气和空调冷却 旋管的之间的温差，使得 crah 单元以更大容量运行。部署基于 ves 的空气控制系 统，可以降低 crah 风扇速度，节约风扇能耗，同时保持机柜进气温度在所需范围内 （例如 ashrae 推荐温度限值为 80.5f）。 ves 实现数据中心显著的能源节约，可以减少所需的 crah 单元数量，优化这些 单元的工作性能，产生即刻和可观的能源与成本节约。例如，具有 68 个服务器机柜的 300 平方米架空地板数据中心，将需要 6 个 crah 单元，以管理每个机柜 8 kw 热 量。当设备增加时，数据中心的利益关系人面临着管理额外热负载的挑战。 该数据中心将需要额外的 crah 单元，用以可靠管理每个机柜 10 kw 散热量，每 个单元的资金成本$35,000。如果平均电费为每千瓦时$0.11，运行 crah 单元的成本 在最大容量时约为每年$9,0002，加上任何其它的安装和维护成本。相较而言，以低于 一个 crah 单元的成本，无源 ves 可以部署在发热机柜上，管理热负载，无需增加持 续的运行成本（参见表 2）。 所有这些因素相结合，可以降低冷却系统的运行成本至少 25，实际的成本节约 会随着布局结构、设备密度和维护费用节省而增加。基于所有这些原因，很明显 ves 是对高发热机柜进行有效冷却的经济和绿色型选择。 表2：使用无源 ves进行散热管理获得的成本节约（具有 68个服务器机柜的300平方米数据中心） 资金成本* 用电成本* 散热管理选择 crah 单位 成本 crah 数量 ves 单位 成本 ves 数量 总计 每台 crah 每年 总计 选择 1： 增加 crah $35,000 8 $700 0 $280,00 0 $9,023 $72,184 选择 2： ves 机柜 $35,000 6 $700 37 $235,90 0 $9,023 $54,138 使用 ves 节约成本总计$44,100 $18,046 使用 ves 节约成本%16% 25% 假定： * 不包括安装成本。 * 电费每千瓦时$0.11。 部署 ves 的投资回报率（roi） 偿还期：0.3 年 10 年 roi：266 roi: 266%2 2 使用 liebert 功率和冷却能源节约计算器计算的数值，采用电费为每千瓦时$0.11，电动机效率 90。 ww-cpwp-09, rev.0, 03/2010 2010 panduit corp. 保留一切权利 6 部署垂直散热系统 以获得高能效并支持可持续性目标 ves设计考虑因素 决定部署 ves 对于其它数据中心组件的布局具有多重意义。首先，数据中心的利 益关系人需要分析整个物理层基础设施（包括设施和布线系统相关的组件）的布局， 以确定如何最佳地保持机柜顶部架空空间没有障碍。其次，利益关系人应优化机柜内 的线缆管理，最大化系统的性能：服务器机柜的线缆管理不良会阻碍机柜内气流流 动，因为电源线和数据线的拥堵会阻塞服务器排气和妨碍气流通过 ves。 优化机房级布局 有效部署 ves 需要考虑多个机房因素。设计人员应将上走线通道排布在机箱的前 部，让机柜后部保持畅通，用以将垂直管道物理放置于热排气区域上方，仅使用机柜 上方的前部区域用于铜缆和光纤布线路径。在设计时应当注意确保整排机柜具有充足 的布线容量（参见图 3a）。 数据中心利益关系人的另一个挑战是将 ves 布局与照明和消防系统集成起来。基 础设施布局的决策通常是在数据中心设计阶段咨询建筑设施专家来进行的，布置照明 和消防系统以获得整个机房最大限度的覆盖率，并符合当地的法规。在改装应用中， ves 必须与现有照明和消防设计集成，以保持这些关键系统的有效性。 一旦垂直管道装置放置到位，应在过渡点（即吊顶通风通道和机柜）进行密封， 以防止排出的热空气回流到数据中心内并重新循环（参见图 3b）。机柜顶部的线缆进 入点也应密封，以防止热空气泄漏和回流。 图3a：与泛达 ves相关的上走线通道的 有效位置 图3b：封闭的后门防止热空气回流 ww-cpwp-09, rev.0, 03/2010 2010 panduit corp. 保留一切权利 7 部署垂直散热系统 以获得高能效并支持可持续性目标 图 4：不良的机柜内线缆管理在排风区域 引入混乱和堵塞点，限制了冷却系 统的有效性。 为了发挥垂直散热系统的最大潜力，并将机柜排出的空气与机房内空气有效分离， 在为使用的机柜空间应安装空白面板，正确密封所有线缆通道开口。这些最佳实务可 以避免冷空气散失、排出的热空气回流以及不必要的气流泄漏。这也确保了服务器进 风口在机柜正面均匀的吸入冷空气，无需为了获得所需的散热性能而过量供应冷空 气。 保持散热区域无阻碍 ves 通过控制和引导排出的热空气实现其功能。吊 顶回流通道中的气压比机房略低，有助于从机柜中抽吸 排出的热空气进入通道内。ves 应具有正确的尺寸、密 封，并且不含障碍物，避免阻碍排出空气的连续流动和 限制系统有效性。 烟囱尺寸对系统性能的影响是很明显的：通道越 大，障碍物越少，对服务器风扇气流的阻碍越小，通过 垂直管道的气流量就越大。对 ves 有效性更关键的限制 因素是服务器后方空间的大小，因为机柜排气侧的背压 会对 it 设备的冷却产生不利影响。为了最大限度地减小 背压对服务器风扇的影响，优化 ves 的有效性，服务器 后方的空间应没有障碍物，确定正确尺寸以避免任何背 压的存在。 服务器后方的空间也是需要控制的关键参数，因为 服务器的布线密度对热空气从机柜中排出具有重大影 响。例如，在标准 24 英寸宽的服务器机柜中，服务器后 方有效的开放空间常常由于不正确的布线和水平线缆管 理而减少（参见图 4）。 如图 5 所示，在 24 英寸宽机柜中服务器后方的数据线被迫占据宝贵的排风区域， 数据线位于机箱后部一侧，电源线在另一侧。线缆管理器也延伸了约 4 英寸于排风区 域中，线缆堵塞该区域，将排风区域的有效尺寸减小 33。（松散或管理不良的布线 系统会为该区域增加混乱，进一步降低冷却系统的有效性。） 与之相比，32 英寸宽的机柜增加 8 英寸宽的排风区域而不牺牲深度：线缆排布于 服务器侧面的垂直空间中，保持整个排风区域畅通。数据和电源布线可以在排风区域 外部管理，最大化气流通道并保持冷却系统最佳的性能。其结果是开放排风面积的有 效翻倍（参见图 5），显著增大气流容量，同时遵守最佳线缆管理实践，以确保系统性 能。 ww-cpwp-09, rev.0, 03/2010 2010 panduit corp. 保留一切权利 8 部署垂直散热系统 以获得高能效并支持可持续性目标 排风横截面积 186 平方英寸（1200 平方厘米）372 平方英寸（2400 平方厘米） 机柜宽度 24 英寸（600 mm）机柜 及线缆管理臂 32 英寸（800 mm）机柜 服务器后方的 有效空闲空间 8 英寸（200 mm） 12 英寸（300 mm） 图5：俯视图显示机柜宽度和线缆管理对于排风空间的影响 线缆管理考虑因素 泛达拥有多项明确的最佳实践需要数据中心利益关系人遵守，以最大化 ves 的有 效性，同时保持最佳的网络性能。一般来说，排风区域应尽可能避免障碍物，使机柜 中排出的热空气无阻碍地流入垂直管道。安装人员应将数据线和电源线引向机柜侧 壁，远离服务器排气区域。此外，推荐使用梳妆线缆管理器取代水平线缆管理器，因 为环状线缆管理形成了阻碍气流的障碍物。 以下最佳实践针对机柜内的特定区域，以确保最佳气流。 柜内排风区域。柜内排风区域中最关键的部分是上部 46 个机架单元空间。虽 然该点下方与布线相关的障碍物会阻碍气流，但是该点上方的障碍物会对冷却 系统的性能带来直接风险，因为它们阻塞了垂直管道，直接阻止了空气排出机 柜的能力（参见图 6）。例如，配有机架顶部（tor）交换机的服务器机柜易受 该类风险的影响，因为密集的光纤和铜缆束（以及设备）会凸出数英寸于排风 区域中。 ww-cpwp-09, rev.0, 03/2010 2010 panduit corp. 保留一切权利 9 部署垂直散热系统 以获得高能效并支持可持续性目标 因为光纤机箱可能延伸超出机柜安装轨道，推荐采用平齐安装的光纤机箱，防 止光纤托盘悬伸于排风区域中。对于跳线环境，推荐使用平齐安装垂直跳线系 统，将跳线从服务器端口直接排布至邻近的跳线区域，避免在排风区域出现大 线束从而阻塞垂直管道（参见图 6）。对于 tor 交换布置，线束可以有效地向 上排布于垂直侧面通道，最大限度地减小这些线束在排风区域中占据的空间。 电源插座单元（pou）和相关线缆。电源插座单元和相关线路应参照数据布线 系统排列，将 pou 放在于数据线缆相对的垂直空间中，使电源线远离 it 设备 （参见图 5 和图 6）。线缆应采用尽可能最小的长度（18-24 英寸），最小化线 缆松弛，增加排风区域中的可用空间。 图6：正确管理上走线通道和机柜内跳线以最大化ves有效性 正确的数据和电源线缆管理的示例，将线缆 定位于垂直空间，保持排风区域畅通 设备会减小排风 区域，产生降低 ves 有效性的 阻塞点 高架布线应避开 排风区域 ww-cpwp-09, rev.0, 03/2010 2010 panduit corp. 保留一切权利 10 部署垂直散热系统 以获得高能效并支持可持续性目标 无源空气阻挡装置。空白面板应占据闲置的机架空间，应使用空气密封圈将架 空地板的开孔位置进行密封，以保持冷、热空气的分离。 线缆路径。数据中心设计人员应将上走线通道布置在机柜前部，以确保机柜后 部具有足够的空间，让垂直管道单元直接安装于排风区域上方。此外，机柜内 理线器应提供线缆通道，使之在机柜侧面区域垂直运行；应使线缆远离排出的 热气流的通道和设备机箱。 改装案例 虽然许多数据中心设计人员将 ves 融入于初始机房设计中，这些系统也可连同已 有的冷却系统进行布置，以应对随着时间推移而出现的高散热机柜。在改装应用中部 署 ves 的机房布局条件包括：机柜上方具有足够的空间安装垂直管道单元和热空气流 动路径，例如吊顶回流通道。ves 改装以最低的运行成本提供额外的冷却效率。ves 可以集成于现有的热通道/冷通道冷却布局中，无论是架空地板还是混凝土型的数据中 心。 结论 数据中心内高热负载的最佳管理方式是部署基于 upi 的解决方案，它支持运行时 间目标，延长有源设备的使用寿命，并实现对“绿色”it 目标的持续支持。各机构无 法承受将资金浪费在无效的冷却实践上，因此数据中心的利益关系人必须有信心：他 们部署的散热管理解决方案能以最低成本达成冷却目标。 这些目标可以通过部署无源散热控制系统而实现。模块化无源垂直散热系统 （ves）将服务器排出的热量直接