运营商数据中心解决方案0928

1、H3C 运营商运营商数据中心解决方案数据中心解决方案 日期：2010 09- 28 密级：公开 杭州华三通信技术有限公司 1 目录目录 u运营商下一代数据中心发展趋势及挑战运营商下一代数据中心发展趋势及挑战 uH3C运营商数据中心解决方案运营商数据中心解决方案 u数据中心机房环境设计数据中心机房环境设计 uH3C新一代数据中心产品及应用新一代数据中心产品及应用 2 运营商下一代数据中心业务规划运营商下一代数据中心业务规划 p游戏运营 p视频分发 p社区网络 p在线交易 p移动互联网 p三网融合 pWEB2.0交互与搜索 p开放平台/应用、广告 p泛载网 p企业级私有云 p个人级公共云 p物联网

2、 pBSS pOSS pMSS MSS1 BSS2 OSS2 BSS3 DCN BSS3 OSS1 分分 散散 集集 中中 云云 计计 算算 公公 众众 服服 务务 数数 据据 中中 心心 IT IT 支支 撑撑 中中 心心 BSSBSS OSSOSS MSSMSS BSSBSS OSSOSS MSSMSS 交换 计算 存储 3 运营商下一代数据中心网络需求运营商下一代数据中心网络需求 运营商从传统通信管道供应商转型到能够提供丰富、多样、便捷和广泛的运营商从传统通信管道供应商转型到能够提供丰富、多样、便捷和广泛的 综合信息供应商，数据中心将成为运营商最核心的业务运营平台。综合信息供应商，数据中

3、心将成为运营商最核心的业务运营平台。 带宽出租/代维 增值业务 SaaS PaaS IaaS 运营商运营商 数据中心数据中心 高密度/高性能 功能区域化网络设计 复杂流量模型处理 网络虚拟化和异构网络 定制化多业务提供能力 分布式DC部署和整合 可运营的IaaS类服务 智能运营管理平台 可溯源安全防御体系 智能安全渗透性网络 三网合一 4 应用模式的变化带来的流量模型变化应用模式的变化带来的流量模型变化 数据 BlogIPTV EmailIM 游戏 新闻 现状：线状流量模型现状：线状流量模型 l多套系统多套系统 l纵向流量纵向流量80%，横向流量，横向流量20% l流量方向简单流量方向简单 l

4、突发性小突发性小 未来：网状流量模型未来：网状流量模型 l统一的云计算平台统一的云计算平台 l横向流量横向流量80%，纵向流量，纵向流量20% l流量高度不定向流量高度不定向 l突发性大突发性大 新闻视频 数据 IM 数据数据 OSSOSS OAIM Email MSS MSSOSSBSS 5 不定向突发流量的挑战不定向突发流量的挑战 业务群业务群 Server farm 业务群业务群业务群业务群业务群业务群 业务群业务群 业务群业务群 业务群业务群 业务群业务群 业务群业务群 业务群业务群 业务群业务群 业务群业务群 业务群业务群 业务群业务群 业务群业务群 业务群业务群 业务群业务群业务群

5、业务群 不定向的突发流量成为新业务数据中心的典型特征，而未来云计算的应用将使该特 征更加显著。 网络流量从微观角度观察，其形态非常复杂，对实时性、可靠性敏感的网络，对设 备缓存能力的需求十分迫切！ 6 2007200720102010 万兆服务器的部署将驱动数据中心万兆服务器的部署将驱动数据中心 骨干向超高速骨干向超高速100G100G网络发展网络发展 性能永远是数据中心最大的挑战性能永远是数据中心最大的挑战 以目前一个基本的业务云单元约2000台服务器计算，每个服务器至少需要1GE 非收敛带宽，则核心交换区总带宽高达2T，至少需要200个10GE端口，而且必须是 任意方向完全无阻塞转发。而未

6、来随着单台服务器能力的提升，带宽需求将更加强烈。 7 安全成为网络的必备基础特性安全成为网络的必备基础特性 新一代数据中心流量更大，业务各类更复杂，同时要求网络与安全能随适应业务快速变化。 传统的“网络+安全”简单叠加模式已经无法适应新一代数据中心的需要，网络与安全相 互融合成为趋势，安全来越成为网络的基础特性。 万兆性能万兆性能智能融合智能融合线速渗透线速渗透 传统传统 设备叠加，性能衰减设备叠加，性能衰减H3C H3C 应用性能线速应用性能线速 安全渗透网络安全渗透网络 计算计算 存储存储 新闻视频IM 集群1集群2集群3 路由路由 交换交换 防火墙防火墙 IPS 无线无线 路由 交换 防

7、火墙 IPS 流量清洗 负载均衡 新闻视频IM 8 计算 存储 虚拟化成为数据中心的发展趋势虚拟化成为数据中心的发展趋势 传统传统 H3C H3C 统一交换架构统一交换架构 存储池存储池 Ethernet 计算池计算池 网络资源池网络资源池 计算与存储资源虚拟化技术日趋成熟，网络虚拟化开始起步 网络虚拟化可以大大简化网络逻辑结构，提高整网可靠性，并将进一步根据业务需 求灵活调配网络资源，提高网络资源利用率。 9 目录目录 u运营商下一代数据中心发展趋势及挑战运营商下一代数据中心发展趋势及挑战 uH3C运营商数据中心解决方案运营商数据中心解决方案 u数据中心机房环境设计数据中心机房环境设计 uH

8、3C新一代数据中心产品及应用新一代数据中心产品及应用 10 1 4 1.1.可靠性设计可靠性设计 -全冗余保护 -备份与逃生 -检测与恢复 -融合与虚拟化 2.2.高性能设计高性能设计 -100G/40G线速转发 -超高端口密度 -突发、复杂流量模型的时延与抖动 3.3.安全性设计安全性设计 -安全与网络融合与联动 -多层次，多部件部署策略 -统一多业务部署中心 -智能分析与统一管理 2 3 4.4.扩展性设计扩展性设计 -基础架构的集群性能和颗粒化性能 -业务系统的容量升级和特性扩展 iSPN 智能安全渗透智能安全渗透 H3C数据中心网络设计原则数据中心网络设计原则 最精简的设备数量最精简的

9、设备数量 智能动态能耗控制智能动态能耗控制 最优化的风道设计最优化的风道设计 11 H3C 运营商数据中心解决方案模型一运营商数据中心解决方案模型一 核心交换层核心交换层 业务定业务定 制层制层 接入层接入层 Internet/ Intranet 运营商骨干运营商骨干 /城域网城域网 汇聚调度层汇聚调度层 模型一：面向业务差异化的定制化网络模型一：面向业务差异化的定制化网络 应用场景：应用场景： IDC, GDC (Game DC), VDC (Video DC) 解决方案：解决方案： 采用数据中心级交换机构筑核心+汇聚两层交 换平面 通过在原有IDC的汇聚层旁挂XBOX增值业务框， 使传统I

10、DC快速具备FW、IPS、LB、AFC等增 值业务的开展能力。 价值：价值： 增值类业务快速按需部署 100G平面性能支撑和投资保护 高端口密度带来高用户收益（单台设备最多 576 10GE/ 864GE) 低时延，低抖动，高价值业务要求（网络游戏， 在线点播） 核心路由器级别的最高可靠性设计 S12500 XBOX 12 H3C 运营商数据中心解决方案模型二运营商数据中心解决方案模型二 核心交换层核心交换层 业务定业务定 制层制层 接入层接入层 Internet/ Intranet 运营商骨干运营商骨干 /城域网城域网 汇聚调度层汇聚调度层 模型二：面向安全域的业务渗透型网络模型二：面向安全

11、域的业务渗透型网络 应用场景：应用场景： 运营商自营业务数据中心ADC，EDC、 BSS/OSS/MSS等 解决方案：解决方案： 采用数据中心级交换机构筑核心交换层 采用多业务交换机构建安全域汇聚层 价值：价值： 差异化的安全域定义 避免串联业务设备，简化网络，提高可靠性 安全管理，业务优化与网络融合联动 核心层100G平面满足高带宽需求 业务区1业务区2 S12500 13 城域网核心路由器城域网核心路由器 内外网分界平面内外网分界平面 流量清洗平台流量清洗平台 核心交换区核心交换区 后台系统管理网络后台系统管理网络 IRF2 业务汇聚平面业务汇聚平面 IDC业务区业务区 负载均衡负载均衡

12、防火墙防火墙 IPS NetStream 后台管理终端后台管理终端 IPTV播控业务区播控业务区自营业务区自营业务区 接入平面接入平面 KVM GE KVM GE IMC网管系统网管系统 广西广电广西广电IDC解决方案解决方案 14 H3C 运营商数据中心解决方案模型三运营商数据中心解决方案模型三 核心交换层核心交换层 接入层接入层 Internet/ Intranet 运营商骨干运营商骨干 /城域网城域网 汇聚调度层汇聚调度层 模型三：面向云计算的多业务虚拟化网络模型三：面向云计算的多业务虚拟化网络 应用场景：应用场景： 复杂交互式业务部署环境，云计算类业务 解决方案：解决方案： 通过IRF

13、2.0等网络虚拟化技术，实现网络能 力的平滑扩展，简化网络逻辑结构，提升网 络可靠性。 特点：特点： IRF2.0网络虚拟架构 分布式跨设备链路聚合 二层逻辑虚通道 虚拟转发表项 虚拟防火墙 业务区1业务区2业务区n 15 H3C数据中心网络虚拟化技术数据中心网络虚拟化技术-IRF2.0 IRF: Intelligent Resilient Framework:智能弹性架构智能弹性架构 IRF2.0系统物系统物 理连接示意理连接示意 多网卡 服务器 10GEIRF2.0系统逻系统逻 辑连接示意辑连接示意 802.3ad 单一设备维配置、管理 摆脱STP,VRRP等协议 双活链路，带宽利用翻倍

14、OUT_1IN_1 = OUT_1 IN_3 = OUT_4IN_3 = OUT_4 从传统调度模式来看，均存在特殊情况下的阻塞现象，均不能充分利用多级交从传统调度模式来看，均存在特殊情况下的阻塞现象，均不能充分利用多级交 换架构拓扑上完全无阻塞的特点！换架构拓扑上完全无阻塞的特点！ IN_5 = OUT_2IN_5 = OUT_2 拥塞拥塞 无拥塞无拥塞 IN_7 = OUT_3IN_7 = OUT_3 21 S12500S12500实现严格意义上的完全无阻塞实现严格意义上的完全无阻塞 1 1 2 2 3 3 4 4 5 5 6 6 7 7 8 8 9 9 1 1 2 2 3 3 4 4 5

15、 5 6 6 7 7 8 8 9 9 线卡板 线卡板 交换网 IN_1 = OUT_1IN_1 = OUT_1 IN_3 = OUT_4IN_3 = OUT_4 IN_5 = OUT_2IN_5 = OUT_2 IN_7 = OUT_3IN_7 = OUT_3 1/3 1/3 1/3 1/3 1/3 1/3 1/3 1/3 1/3 1/ 3 1/3 1/3 1/3 1/3 1/3 1/3 1/3 1/3 1/3 1/3 1/3 1/3 1/3 1/3 智能调度真正实现无阻塞智能调度真正实现无阻塞 智能调度模式，交换路径负载分担，实现了交换系统严格意义上的无阻塞！智能调度模式，交换路径负载分担，

16、实现了交换系统严格意义上的无阻塞！ 22 S12500S12500分布式缓存机制分布式缓存机制 512MB 缓存缓存 512MB 缓存缓存 512MB 缓存缓存 512MB 缓存缓存 512MB 缓存缓存 512MB 缓存缓存 512MB 缓存缓存 512MB 缓存缓存 512MB 缓存缓存 512MB 缓存缓存 512MB 缓存缓存 512MB 缓存缓存 512MB 缓存缓存 512MB 缓存缓存 512MB 缓存缓存 512MB 缓存缓存 512MB 缓存缓存 512MB 缓存缓存 Ingress Line card Egress Line card 精确调度！精确调度！ l入端口与出端口

17、均配置缓存入端口与出端口均配置缓存 l缓存空间高达平均每缓存空间高达平均每10G端口端口256MB， 每每GE端口端口21.3MB，多个入端口情况，多个入端口情况 下缓存能力均超过下缓存能力均超过200mS。 23 大容量的高密度端口数大容量的高密度端口数 100G100G端口及高密度端口及高密度10G10G端口（每槽位端口（每槽位8 8个线速个线速10GE10GE），为大规模的城域），为大规模的城域IDCIDC机房机房 互连提供了高性能，低成本的解决方案。同时可方便扩充大容量的防火墙、流量清洗、互连提供了高性能，低成本的解决方案。同时可方便扩充大容量的防火墙、流量清洗、 IPSIPS、负载均

18、衡等设备，解决了传统城域网交换机大容量端口数不足的问题。、负载均衡等设备，解决了传统城域网交换机大容量端口数不足的问题。 S12508S12508S12518S12518 交换容量交换容量3.06Tbps/6.12 Tbps6.66Tbps/13.32Tbps 包转发率包转发率960Mpps/2400Mpps2160Mpps/5400Mpps 业务板槽位业务板槽位818 线速万兆端口数线速万兆端口数6464128128 最大最大100G100G端口数端口数1636 最大万兆端口数最大万兆端口数256576 最大千兆端口数最大千兆端口数384864 每端口每端口BufferBuffer 256M

19、bytes/10G port 21.3Mbytes/GE port 256Mbytes/10G port 21.3Mbytes/GE port 24 H3C S9500E/S7600核心交换机核心交换机 高性能，高密度万兆高性能，高密度万兆/千兆接口板千兆接口板 万兆防火墙万兆防火墙/虚拟防火墙业务板虚拟防火墙业务板 万兆防火墙万兆防火墙/虚拟防火墙业务板虚拟防火墙业务板 IPS/IDS/防病毒业务板防病毒业务板 LB负载均衡业务板负载均衡业务板 ACG应用控制业务板应用控制业务板 NetStream业务板业务板 SSL VPN业务板业务板 空余槽位空余槽位 路由交换主控引擎路由交换主控引擎

20、H3C XBOX数据中心增值业务框数据中心增值业务框 n定位：定位： 一台设备提供全部定制化增值业务 n价值：价值： n丰富数据中心业务提供能力 n提升盈利水平，增加客户粘性 n网络易于部署，业务快速开通 p性能和功能按需扩容，保护投资 n优势：优势： n复杂多业务系统单机框简化部署 n统一管理界面 n业务框之间，框内业务板间冗余保护 p业务板故障逃生，转发独立 n安全事件的统一收集和处理 p多业务套餐式按需组合 n托管流量监控，溯源和安全审计 p面向用户定制化多业务组合报表 n实现：实现： H3C S9500E/S7600核心交换机 H3C SecBlade系列多业务板卡 H3C SecCe

21、nter统一安全管理平台 X-BOXX-BOX增值业务框模型增值业务框模型 数据中心汇聚交换机数据中心汇聚交换机 H3C SecCenter 安全统一管理中心安全统一管理中心 数据中心数据中心 汇聚交换机汇聚交换机 H3C H3C XBOXXBOX帮助运营商数据中心快速增帮助运营商数据中心快速增 加运营业务类型，提高盈利能力！加运营业务类型，提高盈利能力！ 25 H3C SecCenter数据中心安全统一管理中心数据中心安全统一管理中心 收集收集& &分析分析 安全管理中心安全管理中心 H3C SecCenterH3C SecCenter 主要功能主要功能 可管理近可管理近100100家家主流

22、厂家的安全与网络产品主流厂家的安全与网络产品 1000+1000+种种报表的自动或手工生成报表的自动或手工生成 流量与攻击的实时监控流量与攻击的实时监控 海量事件关联和威胁分析海量事件关联和威胁分析 安全审计分析与追踪溯源安全审计分析与追踪溯源 SyslogSyslog NetStreamNetStream 二进制日志二进制日志 WMIWMI、APIAPI 安全事件 网络事件 系统事件 应用事件 NetflowNetflow 兼容主流厂家设备，对入侵检测、防火 墙等L2L7层的网络安全设备、服务器、 Internet接入设备等等进行统一管理 从分布式系统中集中收集, 监控&分析数 据，把原始数

23、据转换为智能安全&有效信息 26 目录目录 u运营商下一代数据中心发展趋势及挑战运营商下一代数据中心发展趋势及挑战 uH3C运营商数据中心解决方案运营商数据中心解决方案 u数据中心机房环境设计数据中心机房环境设计 数据中心设计标准数据中心设计标准 数据中心基础架构设计数据中心基础架构设计 数据中心布线设计数据中心布线设计 uH3C新一代数据中心产品及应用新一代数据中心产品及应用 27 数据中心业界标准介绍 ANSI/TIA-942 Telecommunications Infrastructure Standard for Data Centers TIA/EIA 568 Copper & F

24、iberCabling TIA/EIA 569 Pathways & Spaces TIA/EIA 606 Administration TIA/EIA 607 Grounding& Bonding ASHRAE Cooling/HVAC Uptime Institute IEEE 1100 ITE Grounding 国内相关标准： u数据中心布线系统的设计与施工技术白皮书 uGB50174-2008电子信息系统机房设计规范 28 数据中心分级(TIA-942) Tier I 基本 Tier II 冗余单元 Tier III 可并行维护 Tier IV 容错 可用性99.671%99.749

25、%99.982%99.995% 每年IT 服务 中断时间 28.8小时22.0小时1.6小时0.4小时 建筑类型租用租用自建自建 线路冗余NN+11主1备双主 面积功率(w/ft)20304050100+150+ 多运营商线路否否是是 主干线缆冗余否否是是 水平配线冗余否否否可选 供电线路1路1路1主1备2路热备 UPS冗余NN+1冗余N+1冗余2N冗余 注：数据中心的定级取决于整个系统中最低等级的部件 29 数据中心电信空间与大楼其它空间关系 建筑物场地 大楼外墙 普通办公空间 数据中心外的电 信和设备空间 数据中心 机 房 维护人员 办公空间 接入室（ER） 机电设备机房 UPS / HV

26、AC等 运营监管中心 Storage Rooms & Loading Docks 数据中心内 的通信室 30 TIA-942数据中心逻辑结构图 接入室 RM 总配线区MDA 路由器、核心LAN /SAN 交换机、PBX等 接城域网接城域网 水平配线区HDA LAN/SAN/KVM交 换机 机 房 水平配线区HDA LAN/SAN/KVM交 换机 水平配线区HDA LAN/SAN/KVM交 换机 水平配线区HDA LAN/SAN/KVM交 换机 设备配线区 EDA 机架/机柜 设备配线区 EDA 机架/机柜 设备配线区 EDA 机架/机柜 设备配线区 EDA 机架/机柜 通信室TR 办公&操作中

27、心的 LAN交换机 运维办公室、办 公、操作中心 主干电缆 主干电缆 主干电缆 主干电缆 主干电缆 主干电缆 水平电缆水平电缆 水平电缆 区域配线区 ZDA 水平电缆 水平电缆 水平电缆 31 典型数据中心布局 接入室 RM 接入城域网 总配线区 MDA 水平配线区 HDA 设备配线区 EDA 主干电缆 水平电缆 通信室 TR 机柜机柜 机房 Computer Room 机柜 机柜 机柜 机柜 机柜 机柜 MDA EDA EDA 32 关于MDA/ZDA/EDA ZDA 水平电缆EDA机架 EDA的一个机柜 ZDA的电缆配线口 MDA的一个机柜 采用简化型布线结构的数据中心机房平面图 EDA

28、EDA EDA EDA EDA ZDA MDA 33 服务器 水平电缆（90M） TOR 交换机 服务器 配线板 LAN 交换机 服务器 水平电缆（90M） 服务器 EDA 通过 ZDA 同 HAD 连接 配线板 区域配线区 ZDA 水平配线区 HDA 设备配线区 EDA CP/ZO EDA 直接 同 HAD 连接 跳线 设备配线区 EDA 配线板 跳线 跳线 服务器 服务器 HAD/ZDA/EDA的连接关系 34 目录目录 u运营商下一代数据中心发展趋势及挑战运营商下一代数据中心发展趋势及挑战 uH3C运营商数据中心解决方案运营商数据中心解决方案 u数据中心机房环境设计数据中心机房环境设计

29、数据中心设计标准数据中心设计标准 数据中心基础架构设计数据中心基础架构设计 数据中心布线设计数据中心布线设计 uH3C新一代数据中心产品及应用新一代数据中心产品及应用 35 数据中心基础架构设计 数据中心的选址 数据中心的空间计算 数据中心结构设计 数据中心的供电系统设计 数据中心散热设计 其他 36 数据中心选址 需要考虑三点内容： 远离危险： 地震，冰风暴，飓风，龙卷风，洪水，滑坡，火灾，污染，电磁干扰，震动 （运输过程中），政治环境，飞机航道等； 评估数据中心地点： 易于到达；满足灾难恢复的要求（多中心间合理的距离）；已有的结构（供 电系统，空调系统，结构化布线系统，空间，承重，装卸平台

30、，货运电梯， 可能存在隐患的区域，核心区域分散布置） 确保数据中心未来发展和变化的需求 37 数据中心空间计算 决定数据中心空间大小的几个因素： 数据中心支持的人数 数据中心放置的服务器和其他设备的数量和类型 数据中心除服务器区外的区域的空间； 确定数据中心空间大小的两种方法： 基于人数的计算方法：通过数据中心需要支持的人 数来决定数据中心的大小 基于设备的计算方法：通过数据中心计划购买的网 络设备，服务器和其他必须购买的设备的尺寸来计 算数据中的大小 EmployeesApproximate Data Center Size Fewer than 100 1 square meter per

31、 employee 2002500.5 square meter per employee 4005000.4 square meter per employee 150060000.2 square meter per employee 15,0000.1 square meter per employee 参考Build the Best Data Center Facility for Your Business 38 公司主机房面积机柜每机柜平米 中石化CNPC勘探院(new)30009003.3 中石化大厦四层总部机房22003256.8 Google Dalles185809090

32、2.0 Cisco Richardson314411512.7 Oracle Austin761822803.3 北京电信兆维机房1400040003.5 uStep1: 根据业务持续发展要求，规划出未来510年的对服务器数量 的需求； uStep2: 考虑到供电及散热，单机柜功率35KW，规划时建议不超过 4KW。根据服务器的功率(PC服务器正常功耗300500W)计算出机柜的 数量，推荐每个机柜放置810台PC服务器。 uStep3: 中型数据中心机房的面积在200500平方米，服务器机柜数 量约为50200个，折合每个机柜占地面积34平方米。 附：机房面积与机柜数据参考 数据中心空间计算

33、2设备计算法 39 数据中心的机柜(设备)布局 数据中心划分：划出栅格，将数据中心 所需部件与栅格对齐； 数据中心设备放置顺序：先放置所需的 基本部件，例如：电源，空调，灭火器 瓶等； 过道空间：要充足，避免过小的过道带 来运输的问题： 服务器放置方式：按服务器类型或者功 能放置； 地板承重：满足未来不断增加的需求； 布局不合理 布局合理 设计数据中心布局需要注意的问题： 40 数据中心的走线方式1-下走线 地板下走线 数据线，电源线和冷风管道从数据中心架空的地 板下安装； 应用场景 大部分数据中心 优点 冷气从地板送入机架，热气从数据中心顶部抽走， 有利于热循环； 数据线、电源线安装在地板下

34、，避免直接接触， 更加安全； 缺点 维护麻烦，需要掀开地板和走线槽 41 数据中心机房的高架地板 地板下装电缆比架在空中的电缆便宜，也 更好安装，也更美观； 大多数直接放在地板上的主机系统/大服 务器，都是设计成地板走线的； 电缆应该被放在电缆槽中铺设，最好采用 “电缆筐”而不是电缆槽，因为电缆槽容 易影响空气流动； 光缆和铜缆要分开铺设；电源电缆和双绞 线电缆要分卡铺设；电源电缆部署在冷通 道下，通信电缆部署在热通道下； 如果没有预先的规划，地下电缆槽可能阻 塞空气的流动； 上图是高度0.91M(36英寸) 的高架地板下的景象 42 数据中心的走线方式2-上走线 应用场景 应用于中小型数据中

35、心 优点 投资低于地板走线方式，占用地板空间 少，利于小型数据中心； 缺点 电源插座可靠性降低，存在因为插座重 力作用导致脱落的可能；建议采用交叉 插座进行固定。 机柜上走线 数据线，电源线和从数据中心的吊顶安装；冷风管道也在吊顶安置； 机柜高度一般为2m，空气流动所需机柜顶面至天花板的距离一般为500-700mm， 所以机房净高不小于2.6m. 43 数据中心的走线方式3-架空走线 架空走线 弱电、强电、光纤分层架空走线，避免干扰。 火灾隐患容易及时发现 应用场景 大型数据中心 缺点 机房层高要求 扩展难度大，维护困难 44 走线方式的优势对比 项目下走线架空走线上走线 初期安装工序地板下固

36、定和敷设电源线和数据线两个走线槽，布 线。在机柜正下方的地板上打孔，方便线缆进入机 柜。 在天花水泥板上打孔固定吊线架， 布线。放线到每个机柜。 在每个机柜顶部安装数据线和电源 线槽，放线到每个机柜。两排机柜 之间架走线桥架。 工程量大中小 扩容工序在配电柜内增加开关。揭开地板，揭开走线槽盖板， 重新从配电柜放线过来，在机柜正下方固定电源插 座。恢复地板。 在配电柜内增加开关。延机柜上方 吊线架放线进入机柜。 在配电柜内增加开关。延机柜顶部 线槽放线进入机柜。 扩容对制冷的影响 揭开高架地板，造成气流布局破坏，影响机柜散热。 无影响无影响 扩容最难难简单 火灾如果在地板下的电缆发热、变软、冒烟

37、、起火，这 个过程不容易被及时发现，容易从小事故变成大灾 难。 在吊线架上的电缆冒烟起火还是比 较容易发现的。 由于天花有吊顶，色彩反差大，如 果有冒烟起火会被及时发现，人工、 摄像、监控系统多重监控。 水灾容易受水灾影响，进而带来人身和设备安全。基本不会受影响基本不会受影响 虫鼠危害比较容易受危害，不能及时发现。有可能受危害，但能及时发现咬掉 的线缆残渣。 有可能受危害，但能及时发现咬掉 的线缆残渣。 对下送风制冷的影 响 地板下的走线槽会阻碍冷空气流动，从地板下进入 机柜时要在地板上开口，造成冷热空气混合，冷空 气逃逸。 无影响无影响 对机房装修的要求 要求有高架地板，地板高度最好为大于6

38、00mm。 （根据中国的环境最好是高于300mm） 要求天花水泥板与吊线架结构紧密， 要求天花梁下到机柜顶部的高度大 于600mm 要求天花梁下到机柜顶部的高度大 于400mm 维护能力维护比较麻烦，需要掀开地板和走线槽寻找。要爬的较高维护最简单，只需要一个小梯子。 45 数据线和电源线走线方式 数据线和电源线分离-电源线产生的电磁干扰会影响数据线传输的信号。 下表给出了建议的数据线和电源之间的最小距离*： 干扰功率spaces Less than 3 kva50 mm 36 kva3 m 6 kva or more6 m 干扰功率Spaces Less than 3 kva0 mm 36 k

39、va0.6 m 6 kva or more1 m UTP STP *数据来自Build the best datacenter facility for your business. 46 主用供电系统设计 确定电源需求 通过计算数据中心的机架数量，每机架需要的电源功率，并作出适当预留 （20%），来确定整个数据中心需要的电源功率； 配电方式 方式A：直接将电源模块与服务器机架相连； 方式B：将电源通过电源分配单元与服务器机架相连； 方式A方式B 47 备用供电系统设计 设计备用供电系统的要求：冗余，简单，高性价比。 负载的计算： 保证备份系统可以提供数据中心所需最大功率的110%120%；

40、基于负载的级别进行建设，例如是采用N，N+1方式，还是2N方 式； 电池：UPS 小型数据中心：UPS是安装在机架中的单个电池；一般可运行20分 钟2小时。 大型数据中心：采用落地式的UPS，位于电气室；还需要单独提供 发电机。 发电机： 用于大型数据中心，并且数据中心处于易于断电的地区。建议断电 时，UPS可以先工作20分钟，再使用发电机供电。要求发电机最少 可以供电8个小时（再次添加燃料前）。发电机一般位于数据中心 附件的建筑，并放置于单独的区域以避免损坏。 48 机房散热风道设计冷热风道 空气流动组件冷风道/热风道 电缆布置天花板导管辅助 49 风道优化设计 u冷热风道 u烟囱设计 u空

41、气循环加速 50 中国电信对机柜散热的创新 传统的送风存在的问题： u冷气只能到达机柜过道的里，依靠机柜内设备风扇将冷气吸进机柜内，散热效率低。 （机房冷，设备热） u上送风机柜要依赖面板上的网孔来通风，给空气流动带来不小的阻力，使流动性本 来就不足的冷气量更加减少 u传统下送风机柜只简单考虑冷空气从架空地板进入机柜的入口问题，进入机柜后向 四周空间散去，只有流向机柜前面的少量冷气才能被设备吸收流空调设备中 传统上送风方式气流组织传统上送风机柜的气流组织 据理论计算和现场测试，表明上送风机柜可以较好地满足每个机柜1kW 功 率的制冷要求，勉强能解决每个机柜2kW 功率的制冷问题。 传统下送风机

42、柜的气流组织 51 2009 年7 月中国电信制定的数据用网络机柜技术规范和数据用电源列柜技术 规范精确送风原则： 1）把冷气输送到机柜里面去：因为是机柜内设备最需要冷气。 2）把冷气输送到机柜的正面去：因为冷气只能从服务器正面进入模块化服务器机箱，发挥换 热作用。 3）精确调节每个机柜的进气量：因为机柜内设备发热量不同，需要的冷量也不同。 4）不让机柜内的冷气随意流失：因为只有进入服务器的冷气才真正发挥散热作用，所以应把 冷气聚束在服务器正面空间。 中国电信对机柜散热的创新 52 数据中心机房建筑要求(TIA-942) u天花板高度 机房装修后的地面至天花板任何障碍物（雨洒、照明灯、摄像头等

43、）必须为2.6米， 雨洒至天花板至少保留0.46米。 u装修处理 地面、墙、天花板必须密封、喷漆以减少灰尘，地面应具备防静电功能。整体以浅色 装修以提高机房亮度。 u照明 水平面最小500 lux，垂直面200 lux。(在机柜中央、距地面高度1米处测量) u门 最小1m*2.13m，不能设置门槛，必须配锁，授权进入。 u地板承重 最小7.2Kpa，推荐12Kpa 悬挂负荷：最小1.2Kpa，推荐大于2.4Kpa u运行参数： 温度: 2025 相对湿度: 4055 53 目录目录 u运营商下一代数据中心发展趋势及挑战运营商下一代数据中心发展趋势及挑战 uH3C运营商数据中心解决方案运营商数据

44、中心解决方案 u数据中心机房环境设计数据中心机房环境设计 数据中心设计标准数据中心设计标准 数据中心基础架构设计数据中心基础架构设计 数据中心布线设计数据中心布线设计 uH3C新一代数据中心产品及应用新一代数据中心产品及应用 54 传统布线1直连布线设计 u网络机柜独立排列 u布线与服务器机柜直连 u适合某个功能分区(单元) u不适合某个功能分区(单元) u网络机柜集中排放 u一个网络机柜对应一排服务器机柜 u电缆重叠，容易拥塞 55 传统布线2分布式布线设计(列头柜) u网络设备列头柜汇聚 u列头柜连接到服务器机柜 u由列头柜上行连接到网络核心机柜组 u分布式列头柜设计 u没有线缆重叠 u连

45、接线缆短，传输性好 u网络层次性好，容易扩展 u成本低、管理方便 u空气流通性好，便于散热 56 POD (Point Of Delivery)方式布线NEW u区域：对应到一个服务器区域 uPod：对应到接入交换机(EOR) 大小：取决于间距与密度 服务器机柜到网络机柜线缆长度： 铜缆100m 光纤200500m u机架： 服务器：受功率限制，每个机架630个服务器 网络：取决于接入方式(TOR、EOR、Blade) 存储：专门的机柜 57 从组网逻辑图到布线系统图的对应 核心层 汇 聚 层 接 入 层 TOR接入 刀片SW模块接入 EOR接入 服务器机柜 存储机柜 网络设备机柜 Pod 冷

46、风道 热风道 58 AGG / ACC SW Patch panel Cross-connect Server Server Patch panel Cross-connect Server Server End of Row: n比较传统的布线方式. n网线直接从服务器拉到汇聚/接入交换机 n这种方式面临着服务器群接入密度的挑战： 从最远端机架到列头柜的距离比较远， 网线拉的比较长 每排机柜的数量由于列头柜上接入交 换机的端口密度限制而有限制 n特点: 比较典型的应用是在机架是交换机做接入 每个服务器机柜6-12服务器。每个服务器 机柜4-6KW。每个网络机柜10-20KW。 每台交换机上有

47、多个VLAN/子网； 数据中心的接入交换机设备数量少,管理维 护方便 不适合机架高密度服务器接入 CAT 5 CAT 5CAT 5 CAT 5 AGG / ACC SW Cords Cords 服务器接入布线 End-Of-Row EOR/MOR 汇 聚 层 接 入 层 59 AGG SWITCH AGG SWITCH Server Server Server Server 服务器接入布线 Top-Of-Rack ACC SWACC SW Fiber / CAT5Fiber / CAT5 Fiber / CAT5Fiber / CAT5 Cords Cords Top of Rack: n这种组网一般用在大量1U服务器接入的 机房 n一般是每个机架上放一台接入交换机， 但有时候根据具体情况也会放多台（还 可能堆叠） n通