构建自动化的云数据中心

1、构建自动化的云数据中心 IT 数据中心统计数据支持分布于 95 个国家的 333 个办公地点；共 601 座建筑 7万多名 正式员工； 总员工人数（正式员工和合同员工） 超过13.1万31 个思科数据中心：4 个全生产数据中心5 个生产 / 工程 / 备用数据中心304,000 平方英尺； 35.6 MW UPS 供电 新数据中心的服务器虚拟化比例为92% ，而在全部数据中心内，虚拟化比例为 90%服务器虚拟化目标比例为95%已部署 11,247 个UCS 刀片已部署50 PB 存储已部署4,000 个生产应用已部署30,000 个操作系统每年新增部署应用26%每年使用的存储量增长50% IT

2、 数据中心发展历史总结i2x 得克萨斯州BB1x 阿姆斯特丹1x APAC/TBDBAB第3层（冗余）专用建筑2x = 双数据中心，能够同步第2层（ 冗余度不高） 现有建筑产品开发图例：B全球集中运行：传统企业应用各大洲中心运行:订单处理，通信各大洲中心运行:通信部署和扩展软件即服务 (SaaS)：在每个大洲中永续、可扩展、经济高效地运行BBBB传统业务模式新业务模式2013全球数据中心部署目标延迟敏感型软件开发TBD2007: 虚拟化开始今天，虚拟化程度已达92%左右（企业生产）2009: 大型数据中心完工，在得克萨斯州建设了新 MVDC 对。思科IT部门在所有数据中心推行标准化 Nexus

3、 / UCS 。将TCO 降低33% 。2012: 所有思科企业生产应用现在都在 Nexus / UCS上运行。2012: 通过思科CIAC工具实现新自动化功能，创建了灵活的私有云 IaaS。 配置部署交付时间： 3 周 15 分钟。2013: PaaS平台即服务，ITaaS 服务目录内容持续增长。 2014: 新增 SDaaS for JVM, Oracle ERP；持续交付 / 开发运营。 2014: 开始迁移到 ACI，第一个 ACI 阵列启用，运行应用。思科业务应用自2015年上半年开始运行。2015: 完成大部分ACI迁移，开始规划云间扩展， APIC EM网络扩展。“什么是成为一个

4、快捷 IT 机构，又或者快捷IT概念的含义是什么呢 当我思考这个问题时，我觉得这可归结为如何使机构运行更快速、更简单。 这个概念的精髓在于速度和简洁。”-Steve Lucas, SAP平台解决方案总裁#FutureOfIT统一管理统一阵列统一计算统一数据中心 交付IT即服务的平台虚拟化基础 VMware, VCenter, Vsphere / OpenShift / KVM / Docker 新数据中心标准 VMWare, Nexus, FCOE, UCS, NetApp & EMC, CIACOperating 系统虚拟化平台硬件vSphere 4.xC2xxB2xxB4xx刀片机箱Nex

5、us, FCOE 减少了布线Nexus 1000v, FCOE 支持“一次布线”Nexus 70 xx布线开支节约幅度：超过 40%空间节省幅度：4倍电能降低幅度：2倍性能改进幅度：巨大（具体取决于CPU、RAM配置）统一阵列从临时、不统一的结构 发展为规整，但孤立、复杂、昂贵的结构再发展为简单、优化、自动化的结构统一阵列有什么特点？物理交换架构（棕地/绿地）阵列互联UCS机箱光纤通道接入层交换机网络核心层服务层交换机第3层第2层数据中心Pod集中器数据中心Pod网关以太网UCS 3 机架 B200 设计6120初始设计采用UCS 6120构建。能够轻松升级到 UCS 6140。3945Cis

6、co 3945 ，用于阵列互联的带外管理三机架设计，适用于中等密度数据中心棕地。设计初始设计支持每集群 5-7 个机箱，利用6140，可增加到 10 个机箱四机架ALLN01初始设计采用UCS 6296构建。6296更高 VM 比 每刀片 768 GB 。B200-M3位于得克萨斯州艾伦数据中心的部分机架当今的UCS部署 我们的全球数据中心分布ALLN: 1192RTP: 2362BXB: 232NTN: 125BGL: 944生产或生产/研发研发 / 其它IRV: 87Green Park: 96AMS: 542SJ: 2515LWR: 34MTV: 216RCDN: 2688 UCS:11

7、,247，已用： 9974，空闲： 1873 虚拟： 6033， 裸机： 5174。SNG城域数据中心对城域虚拟数据中心 (MVDC) 架构2x 第3层Texas得克萨斯州理查森得克萨斯州艾伦第2层, RTPRTP, NC非生产 +多用途灾备双活数据中心对可支持关键生产应用的服务城域虚拟数据中心(MVDC) 逻辑架构主主* 功能和工作负载轮流负担，可加速意外事件响应速度，提高自信心在城域确保“无数据丢失”（同步复制， RPO=0）在3个站点提供全面数据保护无逻辑单故障点通过虚拟化，优化使用容量无需精确依赖关系管理 Cisco GSS +站点选择思科光网交换机(ONS) + DWDM + 裸光纤

8、在密集波分与广域网上运行SnapMirror 通过Oracle Data Guard提供数据库同步复制VMware SRM(主用)VMware SRM (备用)关键业务应用(A/A)关键业务应用(A/A)传统架构到UCS ESX VM 的迁移目前100% VM位于UCS之上！09年第一季度 09年第二季度 10年第三季度 10财年第四季度 11财年第一季度 11财年第二季度在HP上部署VM（季度末）迁移到UCS在UCS上配置VM退役VM退役在UCS上配置迁移到UCS在HP上部署VM（季度末）UCS百分比数据库名称数据库规模迁移到Linux / UCS 销售 (从计划目标到实现) *4 TB 1

9、1财年第二季度已完成报价到现金*6 TB/4 TB 11财年第三季度已完成电子客户8 TB 11财年第三季度已完成生产 (EBS SJ & APAC)1 TB12财年第一季度已完成配置和订购体验3 TB12财年第一季度已完成公司财务 (iPROC 和 iExpense)2.3 TB12财年第一季度已完成商业智能 (ODS 和 CORE)24 TB/ 3 TB / 28 TB (TD) 12财年第二季度已完成佣金 (EBS)10 TB12财年第二季度已完成客户服务(EBS) *40 TB12财年第三季度三月已完成订购库 (CMRS)2.5 TB 13财年第二季度已完成生产 (SJPROD)7 T

10、B14财年第二季度退役关键 Oracle 数据库过去在 HPUX 中运行“从目标到实现”(G2C) 平台支持思科销售佣金平台作为此平台迁移的一部分，迁移了9个应用采用3层Oracle电子商务套件架构、有多重依赖关系的复杂系统无需其它认证UCS硬件已通过针对目标Oracle电子商务套件应用的认证无需为应用重新部署架构源系统（传统）目标系统(Cisco UCS B200)2 节点 Itanium SD64B, Oracle RAC 集群，带32 CPU 内核，每节点 64 GB 内存（共128 GB ）电子商务版本，采用 Oracle 奖金 (OIC) 模块Oracle 数据库版本2层数据中心4

11、节点 Cisco UCSB200-M1, Oracle RAC集群，带8 CPU 内核，每节点48 GB 内存（共192 GB ）电子商务版本，采用 Oracle 奖金 (OIC) 模块Oracle 数据库版本 3层数据中心“从目标到实现”应用工具(G2C) 迁移优势G2C - Cisco UCS B200与传统系统对比数据中心空间，耗电量，数据线Cisco UCS 数据库系统所占空间仅为传统系统的 1/10 分别为0.4块地板砖与 4 块地板砖Cisco UCS 数据库系统的能效至少是比传统系统节省 200% 分别为4 kW 与 13 kW Cisco UCS 数据库系统使用的数据线比传统系

12、统的一半还要少 分别为10 条数据线 与 24 条数据线传统源系统(2 节点)目标 Cisco UCS 服务器(4 节点)数据中心空间瓷砖数目耗电量(kW)数据线数目Cisco UCS B200 与传统系统对比 用户体验和 CPU 利用率从G2C应用(“1_Tier” and “Visibility”)的整体应用响应时间来看，位于 Cisco UCS 系统上的数据响应更快目标Cisco UCS 数据库系统的平均 CPU 利用率比传统源系统好约25% （平均CPU利用率分别为11.22% 和 16.45%）响应时间(秒 )CPU平均利用率 (%)迁移前（传统系统）迁移后（思科系统）传统系统Cis

13、co UCS 系统传统源系统 目标 (Cisco UCS)生产服务器配置4 个基于Risc 的传统系统 (2 PA-RISC SD; 2 RP8420) 4个 Cisco UCS B440 刀片服务器 (投资成本降低75%)操作系统HP-UX 11.11Red Hat Enterprise Linux 5(节省16.7万美元的软件维护费用)CPU 内核144 (80+64)128 (64+64)内存288 GB (160+48)1024 GB (512+512)性能能够支持当前工作负载能够支持两倍的当前工作负载数据库Oracle RAC 9iOracle RAC 10g空间和功率1.5 机架，

14、5.5 kW1/7 机架，3.5 kW报价到现金系统迁移优势报价到现金系统迁移成效处理加快，分配时间从 180 分钟缩短到 50 分钟 处理7.2M记录 处理29.9M记录 516.7M记录（分钟）报告传统源系统 目标 (Cisco UCS)生产服务器配置3个 HP PA-RISC Superdomes 12个 Cisco UCS B440 刀片服务器操作系统HP-UX 11.23Red Hat Enterprise Linux 5.5CPU 内核384384内存速度533 MHz1333 MHz内存1536 GB (512 GB x 3)3072 GB (256 GB x 12)性能能够支持

15、当前工作负载能够支持150%的当前工作负载数据库3节点 Oracle RAC 10g12节点 Oracle RAC 10g客户服务中心系统 (C3)迁移优势客户服务中心 (C3)服务器功能服务器数量耗能(kW)数据中心地砖数布线：存储，网络，控制台思科惠普思科惠普思科惠普思科惠普生产数据库12个 Cisco UCS B440 M13个 RISC IA Superdomes(128 内核, 2 机柜 )12.915721148120思科服务销售和滚动升级数据库（用于缩短停机时间）4个 Cisco UCS B440 M11个 HP Superdome(64 内核, 1 机柜)2.785.50.51

16、.51230备用4个 Cisco UCS C4602个 HP Integrity RX36007.1640.50.52820前端8个 Cisco UCS B200 M119个 ProLiant 3.71271总计282526.673.83.514.5100241采用Cisco UCS所获收益比例所用功率降低71%所占数据中心空间缩小76%布线减少58%客户服务中心(C3) 系统处理速度思科惠普 秒按用户 信息搜索 服务请求 按XML搜索服务 请求 按经理 搜索服务 请求 按客户 搜索服务 请求 搜索服务 请求 按用户 信息搜索 服务请求 按合同 搜索服务 请求 客户服务中心

17、系统(C3) 处理速度秒思科惠普 将安装现场添加 到一个报价中 创建 2层 SMS3 报价 生成报价 移动项目安装现场 （移动 产品） 创建 续约 报价 搜索合同号 搜索 序列号 计费到Id 搜索 -X-Track 报价 总结页 序列号 搜索 CSCC页 创建 新报价 在高级搜索 页中进行 合同号搜索 统一计算服务配置文件硬件状态抽象 Oracle 示例RAC 节点 2HTTP 服务器 ERPRAC 节点 1RAC 节点 4RAC 节点 3ERP优势支持统一设置，减少服务电话，缩短停机时间只需几分钟，而无需数小时或数天，即可添加新实例如果工作负载因CPU或内存限制，立即测试当向系统添加新服务器

18、时，自动加载配置文件无需局域网、存域网分区，也不必进行任何重新配置 NIC MACs HBA WWNs 服务器 UUID VLAN 分配 VLAN 标记 FC 阵列分配 FC 启动参数 vNIC数目 启动顺序 PXE 设置 IPMI 设置vHBA数目 QoS 呼叫到家 模板关联 机构和子机构关联 服务器池关联 统计阈值 BIOS 擦除操作 磁盘擦除操作 BIOS 固件 适配器固件 BMC 固件 RAID 设置 高级 NIC 设置 局域网串行设置 BIOS 设置服务配置文件VM 采用UCS Manager的配置时间构建ESX 刀片，基本OS- 惠普 构建和试运行需要1.5 - 2.5 小时。-

19、思科 构建和试运行仅需30 分钟。构建ESX x 16 刀片，基本 OS- 惠普 12-24 小时 / 2-4 工作日- 思科 60 分钟机箱试运行（配置 / OA & VC & ILO & 刀片固件）计算就绪。- 1 个惠普机箱 - 4 小时- 2 个思科机箱 - 30 分钟自动自助服务配置架构 设计部署位置购买安装配置安全保护是否就绪？人工按需变化容量基于策略的配置内置管理从3周到15分钟IaaS 私有云生命周期 - 自动自助服务配置第2代CITEIS 的运行(Cisco IAC)生命周期管理策略和管理租户批准和控制Standardized IT Offerings定义和发布标准选项思科

20、ITIT 管理通过Image Store Front提供客户定制产品 / 镜像合格客户 自助服务 开发人员Self-Service IT Storefront使用报告跟踪以便按使用情况付费扣款 29安全运营/灾备网络存储协调交付流程协调和交付自动化内部 CITEIS 演示 - /RequestCenter/myservices/myservice.do?resetBN=true /cloud/org/Express/#/vAppListPage ? 应用服务器数据库服务器服务器配置CITEIS (基于Cisco Intelligent Automation for Cloud)CMDBIT 服

21、务管理工具(IPAM, AD, Remedy, CM) 等 Cisco Intelligent Automation for CloudCisco Prime Service CatalogCisco Process Orchestrator适配器框架OS/软件配置Cisco Tidal Server Provisioner虚拟化管理器，如VMWare vCenter, vCloud Director云自动化管理包硬件管理器，如UCS Manager计算资源虚拟基础设施网络资源存储资源计费/扣款监控和管理ProvisioningIntegration内部数据中心即服务数据中心转型持续年度比降低

22、 TCO(1) 配置时间从数天缩短到几分钟Q2 CY12Q2 CY14Q2/Q3 CY16Circa 2009虚拟化比例(%)25%50%75%100%E2E 配置（天数）15304560E2E I+P(1) = 45 天E2E I+P(1) = 17 天E2E I+P(1) = 7 天VM = 15 分钟E2E I+P(1) 自动配置= 15分钟5%70%92%虚拟化 95% -33%-37%-26%(1) E2E I+P = 数据中心包的基础设施和平台组件的E2E 配置时间(2) 包括计算在内的典型数据中心包TCO ： 24 个服务器（裸金属或虚拟）；存储：6 TB (SAN/NAS/CE

23、PH)； DC Nw: 传统 ACI；平台：1个数据库架构，10个JVM，Weblogic，MMX （消息传送），BPIM，WSG，Apache，OBIEE传统裸机设备数据中心第2代CITEIS启用PaaS存储优化TCO (美元/季度)采用UCS 计算虚拟化ACI 网络架构 流程自动化Open Stack/ Open ShiftSAN/NAS/CEPHUpdate: June 2014TCO (美元/季度)虚拟化比例E2E 配置（天数）云服务堆叠 分类 CITEIS 思科 IT 弹性基础设施服务云服务交付模式SaaS软件即服务SalesForce, CRM，WebEx， SurveyMonke

24、y，云网络安全 PaaS平台即服务 全应用托管、开发、测试和部署环境IaaS基础设施即服务计算，存储，联网数据中心即服务数据中心设施，供电，制冷DCaaSCITEIS思科 IT 弹性基础设施服务 平台即服务 2013年初1. CCIX (Websphere App Server) 内部和外部， WAS 6.1 & 7.02. Weblogic App Server内部和外部3. Oracle Business Intelligence (OBIEE)内部和外部4. 数据库架构基于 250多个ERMO 数据库5 Web 服务网关内部和外部6. Apache Webserver内部和外部(DMZ)

25、7. Oracle 数据库独立，RAC8. MS SQL 服务器数据库独立9. 企业服务总线(CESB)Oracle 服务总线10. 应用消息传送 (MMX)Tibco JMS 队列和主题11. 业务流程管理(BPIM)Tibco BW/ADBPaaS 服务Java 虚拟机Websphere, Weblogic门户服务器容器，虚拟门户商业智能(OBIEE 10g, 11g)数据转换(BW : BPIM)数据事件传播(ADB : BPIM)被动数据复制(克隆，批处理)RT 数据复制CDB, GoldenGateOracle DB架构，数据库Oracle ERP(eBiz)高频度需求组合产品基础产

26、品OAM 消息传送WSG目录服务低频度需求产品大文件传送 (FTP)Web 内容托管项目和产品管理代码部署源代码管理IaaS 服务网络计算存储数据中心新需求服务分布式计算服务SSD 分析LAMP, NGINX, PHPPaaS 框架客户需求基础功能服务终端虚拟化状态管理（数据）SS 管理NoSQL服务保证报告配置管理成本计算轻量级App 托管 (Perl)Web 应用服务全球条码扫描Agile PLM企业事件(BE : BPIM)AtAASP 联合PSync用户/代表供应SAP ERP高频度需求组件产品App 内省DB 和 SQL 调整前端 App 调整Web 服务器重导向，代理，安全要求隧道

27、性能测试端到端性能管理数据库安全SQL 服务器架构 / 数据库Oracle 定制产品无线/VPN授权控制使用情况分析容量管理云服务堆叠 分类 CITEIS 思科 IT 弹性基础设施服务云服务交付模式SDaaS软件开发即服务持续开发和交付 - DevOpsPaaS平台即服务全应用托管、开发、测试和部署环境IaaS基础设施即服务计算，存储，联网数据中心即服务数据中心设施，供电，制冷DCaaSCIACCIAC + LAECIAC + 第三方 快捷 IT 从敏捷软件开发开始思科 IT 瀑布式 PLC思科 IT 敏捷 PLCID和评估 分析 设计 构建和部门测试 企业测试 部署 支持和维护提交执行（EC

28、）敏捷模式ID和评估 规划和演示提交概念（CC）提交加速（SC）提交概念（CC）设计评估（DR）就绪度评估（RR）项目完成后评估（PPA）敏捷完成日常工作企业测试 部署 支持和维护加速就绪度评估（RR）加速评估（SR）项目完成后评估（PPA） 提交执行（EC）规划创新环境架构框架利益相关方积极参与改变 IT 流程：持续交付一切开发和构建持续按需集成小团队云，ERP，手机App自动测试由开发人员构建-无独立 Q/A承担适当风险部署和发布可配置的控制关口，遵从法规工作原型客户端更新调节和扩展策略实施网络，自适应基础设施，工作负载移动性更快取得成效流程理念示例：持续交付Java云应用端到端工作流程

29、15分钟内交付开发人员开发本地开发源代码管理持续构建和评估自动测试发布环境开发演示生产部署和发布1. 代码更改2. 提交更改3. 检查更改4. 分析更改5. 公布产品6. 检查产品7. 部署到开发8. 应用快照9. 发布控制关口10. 部署到演示11. 部署到生产TBD客户参与可行产品ERP 应用开发优先加速静态 / 动态, 进展 / 回归单元 / 集成，功能 / 性能 / 安全产品经理项目经理规划开发源代码管理持续构建部署和发布调节和扩展自动测试群组组件；应用快照群组应用，发布控制关口Sonar, DB Profiler发布关口持续交付ERPERP应用端到端工作流程PRODDevTestFP

30、RERMO 测试DevDB2. 开发人员提交/拉取1. 开发人员路由（运行Sonar, DB Profiler）3. 演示和修补文件4. 电子商务工具AppDBDBOATS / Flow Builder发布产品部署SDaaS配置达到最佳性能的时间部署故障修复成本代码质量提高22%15分钟 降低56% 100多个项目/天缩短16% 软件开发即服务成效：更出色代码，降低投资开支和运营开支* 根据Barry Boehm 研究/实际数据* 价值流图析* 根据质量指标自动化服务 - 现在已不仅限于数据中心。 eStore = ITaaS自动化服务 - 现在已不仅限于数据中心。 eStore = ITaaSIT 基础设施和平台服务软件协作网络设备内容管理网真和视频会议实时和点播视频Web 会议WebEx Social即时消息传送电子邮件和日历Web 应用和帐户手机App桌面软件合作伙伴连接（外部网） 家庭