操作系统实施方案-v0.6

1、南网云实施项目云管理与实施子项实施方案采购电网公司信息中心运行部鼎信信息科技公司2017年1月目 录1概述21.11.21.3方案编写目的2方案适用. 2方案内容与范围2实施背景3实施目标5实施范围5组织结构6职责分工10实施内容112345677.17.27.37.47.57.67.77.87.97.107.11项目准备11现状分析12部署架构19节点设计25网络设计31设计36角色权限设计37安全设计38实施步骤39回滚方案40实施计划401概述电网公司依据经营发展需求及管理要求，以信息化为依托开展各项工作，并且随着时间推移，越来越感触到信息化建设的重要性，工作开展也越来越离不开信息系统的

2、支撑。随着信息化的深入，原有信息系统的历史局限性逐渐凸现出来电网公司希望通过新的信息化建设模式来满足业务持续发展的需求。云计算的兴起和应用极大提高了系统灵活性，了资源使用率，减轻了运维复杂度，降低了总体拥有成本。1.1方案编写目的撰写此文的主要目的是为了指导“电网公司南网云实施项目云管理采购与实施子项”（以下简称“实施项目”）的顺利实施，根据电网公司的信息化现状和业务发展需求，确定实施项目的实施方案。在实际实施工作中，将服务器、网络和的需求任务明确。1.2方案适用本文档主要面向负责实施项目的设计和实施的网络设计、管理、管理以及的实施小组成员，以便通过参考本文档资料顺利完成项目沟通和实施。1.3

3、方案内容与范围本方案主要就以下几点进行了分析和阐述：1.现状分析2.部署架构3.节点设计4.网络设计5.设计6.角色权限设计7.安全设计8.实施步骤9.实施计划2实施背景关于促进云计算创新发展培养新型产业新业态的意见（国发【2015】5 号）提出云计算是信息化发展的和必然趋势，国家“十三五”信息化规划提出“云化、智能化”，“十三五”信息基础设施建设及使用模式将发生根本性转变。国内外云计算服务已发展多年，技术较为成熟，应用广泛，包括政务、互联网、金融、公共事业、教育行业等。随着电力、能源、“互联网+”等外部环境的变化，公司信息化建设思维、管理、技术等方面的多重。随着公司信息化建设的快速发展，信息

4、系统规模的逐渐扩大，各类硬件设施也逐年增加。当前各拥有各类服务器、网络等设备数量庞大，承载各类业务应用复杂，技术日见多样化和复杂化。在此背景下，鼎信公司基于业内主流开源云计算技术，在确保其与市场中不同的产品和服务能够实现高水平的互操作性的前提下，结合公司实际，提供新一代“定义”的数据中心架构。参照“定义”的云数据中心架构，以业界云计算参考模型为蓝本，结合公司信息化发展现状和产业布局的需要，融合公司“十二五”信息化建设技术成果，分为“三横两纵”：“三横”指三种云服务模式（、PaaS、SaaS），“两纵”指两个服务保障（云安全、云管理）。图总体设计1. 云本期接入的设备包括 x86 服务器、商业等

5、。通过兼容各类虚拟化技术在底层形成分布式的计算资源池；采用以分布式架构为主，兼容商业形成分布式的资源池；以定义的虚拟网元，兼容 SDN 硬件设备，形成定义网络资源池。分布式的架构保障了资源的无限容量，可快速根据应用需求扩大资源池规模。2. 在三大资源池之上通过智能调度引擎实现基础设施资源智能调度中心，可根据业务系统按需申请、分配、计量、弹性伸缩和回收计算、和网络资源，形成云计算的层。层包含资源管理、资源生命周期管理和监警三大功能组。资源管理功能组偏向底层资源的管理与调度，实现计算资源池、资源池、网络资源池的、调度与配置；资源生命周期管理功能组偏向面向上层应用与用户的资源的服务管理；告警功能组实

6、现了对物理资源、虚拟资源、资源与应用的，并通过配置告警规则，实现实时的资源，为云的业务自动化提供告警通知。3. 基于云化基础设施之上，搭建层，如大数据、数据库、中间件、容器等服务。基于资源编排服务可实现大批量资源的一键部署、弹性伸缩,并根据的负载和容量变化弹性伸缩,形成云计算的 PaaS 层。基于容器服务，可实现对容器类微应用的运行提供高效弹性的运行环境。4. 基于常见业务需求的场景，可将应用模板进行标准化封装，以应用商店的形式提供开箱即用的服务体验，形成云计算的 SaaS 层。5. 搭建垂直运资源管理、计量、安全保障体系，实现云资源管理、权限管理、运维管理、质量管理、服务管理和信息展现的全生

7、命周期管理，完成自底向上的云服务供应、调度与管理，并满足不同业务系统 SLA 要求。3实施目标本项目通过部署实施云管理，实现 IT 资源的集中纳管；基于业务负载的资源调度，打通线上线下资源配置流程，实现资源敏捷交付；同时构建全局可视化运营运维，实现资源以及容量统计分析等。4实施范围项目范围包括通过采购及实施，构建云管理，完成现有虚拟化以及新增资源池纳管，实施对基础资源管理、资源弹性管控、分析告警、分析、业务需求资源的快速部署等功能，满足电网公司对云资源管理和调度的能力要求。具体项目范围定义为：1、完成操作系统的部署、调优，提供计算、网络和容器资源。先建设小规模集群，在机房、机架、网络、服务器等

8、外部依赖条件满足下逐步扩容资源池。2、集成粤电 18 楼容灾 VMware 虚拟化、运维竞赛 VMware 虚拟化、DMZ VMware 虚拟化、外联 VMware 虚拟化、IDC 1 VMware 虚拟化等 5 个 VMware 资源池的纳管。3、完成操作系统与其他必要系统的集成，如 4A、信息运行调度支撑系统、IT 集中运行系统等。4、完成鼎信 PaaS与操作系统的集成部署，提供 PaaS 应用组件服务。5、完成与评测资源池整合方案，评估资源池纳管的可行性，并以虚拟机迁移作为备选方案。6、完成云计算场景设计文档，各阶段项目执行阶段的项目文档。7、产品培训与运维知识转移。5组织结构为加强组织

9、，由双方共同组成的项目组。双方紧密协作确保项目目标的顺利完成。本项目组织架构及职责分工如下：图 实施项目组织结构项目小组：由甲方、乙方管理组成，负责协调项目资源，监督项目进程和组织结构对项目的影响，把握项目总体进展；在公司管理层宣传项目实施重要性同时敦促、监督对项目进行支持；组织会议对业务方案及项目进展过程中遇到的问题进行决策。角色甲方职责乙方职责项目小组项目 的角色通过提供管理方针促进问题的高效率的解决周期性的参加项目指导 对项目管理进行指导项目的角色作为最终仲裁者负责公司远景规划，设定优先级，批准实施范围，解决相关公司层面问题负责企业发展 的制定与业务流程重组的决策负责项目 、资源和配套支

10、项目管理小组下设技术经理、配置管理员、需求组、实施组、测试组、运维组，与甲方项目小组一起完成相关实施工作。角色职责技术经理代表公司方对本项目所有技术方案及实施方案采用的技术可行性负主要责任。职责如下：负责整个项目的技术方案和实施方案的设计和总体技术。角色甲方职责乙方职责持，并协调组织和业务关系在项目进展中进展，解决项目中可能发生的给项目小组能够做出决策的项目管理。项目经理负责项目的计划制定负责项目顾问的保障负责项目进度的管控和推进项目；负责项目质量的把控；负责与项目相关的各业务部门协调、沟通、以及向上汇报；负责指导项目管理流程标准的制定；负责项目进度和关键里程碑阶段的推进；负责项目的总体协调、

11、沟通、推进工作；负责业务方案的方向性决策、审核和确认相关业务组业务需求；负责合同签定、验收等环节的商务活动；签字确认相关业务组业务蓝图角色职责负责组织相关技术及实施的实验和验证，组织编写和选用项目实施所有相关技术文档、技术规范、技术手册说明等。负责对公司项目中所有参与执行相关技术任务的执行责任人的技术能力、素质的资格审定和保障，及时提出有关技术建议。及时准确向参与实施的公司方有关技术转达整体技术构想及本次技术实现任务，或技术请求任务，帮助项目经理各项技术任务的技术责任人。是本项目的主要技术参与者，在项目经理的提请下，在技术问题上直接与用户方进行技术沟通，并向项目经理反馈处理办法及结果，以便留档

12、及后续处理。其它非本人直接参与的技术任务，也应由其技术审核把关，确保技术可操作性和文档完整性。配置管理员负责制定配置管理计划，依照计划实施配置管理，进行配置标识和追踪。将整个项目中的每一变化情况纳入受控状态。使项目的各工作小组都得到项目进行的资料。项目成果体系设计、知识成果、知识成果提炼、知识成果推广。组接收用户需求，负责完成需求的整理，形成项目实施输入文档，保证实施成果符合招标方要求。为用户提供相关的技术服务，整理项目成果、编写项目交付物成果，参与技术培训等工作。实施组负责完成应用系统的安装与调试；支持系统数据初始化、试运行、推广，在系统试运行期内对系统的修改更：职责分工项目小组公司鼎信公司

13、（组长）鼎信公司（副组长）项目经理公司鼎信公司云管理架构师鼎信公司赵武清实施组鼎信公司（组长）安全管理组鼎信公司（组长）角色职责新，提交供验收的系统版本。完成对系统验收前的确认工作。协助用户方验收小组对应用系统进行验收。测试组制定测试计划，准备测试用例与数据，完成测 试，反馈实施组修复测试中发现的 Bug，形成可提交系统测试的版本。协助用户完成测试，经实施组修复验收测试中发现的 Bug 后，形成可提交用户进行试运行的版本。运维组负责系统试运行期间的运维工作，协助招标 人员理解标准运维过程，传授运维经验，顺利将运维经验知识移交给招标方。技术支持资源计划实施，最高并发 3 人运维，提供二线支持，驻

14、场以鼎信公司为主。建议在 4 月集群建设完成后，对驻厂进行培训。6职责分工里程碑任务名称甲方团队上线前召开项目负责配合环境调研和评估负责配合系统架构设计和评估负责配合编制及评审实施方案配合负责职责分工项目经理EasyStack云管理架构师EasyStack实施组鼎信公司（组长）EasyStack刘EasyStackEasyStack远运维组鼎信公司（组长）鼎信公司卜航EasyStackEasyStack测试组EasyStack鹏运维管理组鼎信公司（组长）测试组鼎信公司海（组长）7实施内容7.1项目准备7.1.1情况在开始项目实施前，实施方需成立实施项目组，项目组包括项目经理一名，主要职责是负责

15、实施项目组员具体工作项的安排、问题的排查反馈以及工作内容的汇报；项目组成员人数需满足项目实施要求，职责是高效、高质量的完成项目经理分配的任务以及所负责的具体事宜，实施前项目组需经过系统的项目实施培训，具备良好的个人素质和职业素养。服务目录及业务场景设计编制云服务目录设计配合负责编制云管理业务场景设计配合负责生产环境部署云部署配合负责云优化调整配合负责与其它系统集成配合负责系统集成联调配合负责功能测试与安全测试配合负责项目初验项目初验负责配合试运行应用迁移验证负责配合技术培训配合负责上线切换编制上线方案配合负责上线演练配合负责召开上线负责配合正式环境切换负责配合项目验收项目验收负责配合7.1.2

16、 管理制度实施项目组成立以后，项目经理需提出制定相应的管理制度以便更快、更好的完成实施工作以及项目的各项管控，具体制度主要包括汇报制度、考勤制度、沟通管理制度、问题反馈机制、变更制度、配置管理、成本质量管理等。7.1.3 环境准备作为项目实施的基础设施保障，电网公司公司应在项目组实施进驻现场前准备好基础办公环境。办公环境具体包括：出入凭证、办公地点、个人工位、基础办公设备、办公、办公网络、办公电脑。7.1.4 项目项目是将在双方项目小组确认完项目实施主计划、项目的目标、工作方式、时间安排等相关信息向客户方的公司中、以及部门的业务骨干传达，为日后项目工作开展提供便利。项目启动召开的成功与否在一定

17、程度上决定了这个项目实施的难度和效果。实施项目组任务：项目前的准备会议，主要是双方项目组项目的准备事项，主要包括会议议程、场地、参加、设备、会议资料、PPT 等；依据计划准时召开项目；整理会议纪要，提交双方项目确认。7.2现状分析7.2.1 机房现状下表统计了电网目前的各机房的供电、制冷和机柜使用情况。经分析，18 楼新机房具备满足云部署条件，其它机房不满足部署条件。建议将鼎信云的服务器集群部署于 18 楼新机房，规划的部署位置为 E10、E11、E12 三个机柜。楼宇楼层机房名称拟修改名称网络区域机柜（U）总机柜数总机柜容量可用机柜空间公司本部大楼8省公司 8楼机房本部 IDC机房省 IDC

18、/测试 IDC752775378通信机房本部通信机房51850调控中心大楼11中调 11楼机房中调外联区机房DMZ/外联/省 IDC/测试 IDC3312212011PKI机房中调 PKI机房省 IDC3122150粤电66 楼评测机房粤电评测机房测试 IDC/评测测试局域网186662001717 楼 1#机房粤电业务托管机房省 IDC/测试 IDC/信息中心 IDC/电科院 IDC2910732001818 楼机房粤电 IDC机房综合业务区2910732001717 楼 2#机房粤电 IDC机房数据集成区省 IDC/测试 IDC29107307.2.2 机柜现状操作系统使用至少三个机柜的资

19、源的。具体的设计请参考 7.3.1 节“操作系统部署架构”。18 楼新机房提供的机柜信息如下：机房名称机柜号电源供电接线架千兆口数量接线架万兆口数量18 楼新机房E1016A24 口千兆交换机4 对光纤跳线口8.30 可增加到 16 对光纤跳线口18 楼新机房E1116A24 口千兆交换机4 对纤跳线口8.30 可增加到 16 对光纤跳线口1717 楼 3#机房50185022218待建机房粤电 IDC机房数据支撑区79292317通信机房粤电通信机房中心机构局域网/无线局域网/电科院局域网楼设备间粤电信息调度机房222307.2.3 服务器与现状电网一期的服务器准备情况如下。类别名称配置数量

20、(宿主机)档次采购时间机房位置服务器RH5885CPU：E7-4850 V4，4*16核；内存：512G；硬盘： 2*240G SSD;5*900G SAS 10K 转；网络接口：16G HBA 卡；2 张千兆电口网卡，2口网卡；1022018.0318楼新浪潮 NF5280M 4CPU：E5-2650 V4,2*12 核；内存：256G；硬盘： 2*240G SSD;22*1.2T SAS 10K 转；网络接口：16G HBA 卡；2 张千兆电口网卡，2口网卡；5318楼新浪潮 NF5280M 4CPU：E5-2650V4 2*12 核；内存：128G;硬盘：2*240 SSD，3*1.2T

21、 SAS；网络接口：16G HBA 卡；2 张千兆电口网卡，2口网卡；4318楼新RH8100-212018.0618楼新18 楼新机房E1216A24 口千兆交换机4 对纤跳线口8.30 可增加到 16 对光纤跳线口7.2.4 VMware 现状操作系统对接如下 VMware 虚拟化，实现资源的管理。操作系统支持兼容 VMware vCenter Server 5.5 以上版本，对于不满足要求的 vCenter Server 需要按照升级手册进行升级。名称机房vCenter Server IP（管理网段）vSphere ESXi 版本vCenter Server版本操作系 统数量 (宿主机)

22、档次虚拟机数量主 要 承载业务计划接入时间粤电 18楼容 灾 VMware虚拟 化粤电 18楼10.56.163.166.0u3Windows 2008R2314趋 势 安全防护2018年 3月曙光 I620- G20-10318楼新二档-1522018.1218楼新三档-20318楼新OS18500-112018.0317楼3号OS18500-112018.0618楼新三档-132018.1218楼新运维 竞赛 VMware虚拟 化粤电 17楼3#10.150.74.1654.1.0Windows 2008R22212运 维 竞赛 环 境数 据 库与应用DMZVMware虚拟 化中调 11楼

23、机房172.20.10.236.0.05.1.0Windows 2008R2812154企 业 社交化、生产 环 境 DMZ 移动应用、南方 电 网移 动 应用等2018年 6月外联 VMware虚拟化 中调 11楼机房172.20.10.225.1.0Windows 2008R231263平 台、生产环联 网 移动应用、调 度 与 监控 系 统等IDC1VMware虚拟化 省 公 司 8楼机10.150.31.325.1.0Windows 2008R2102187南 网 信息 集 成、网上 营 业厅 内 网7.2.5 集成计划（待更新）7.2.5.14A1、部署信息2、接入文档7.2.5.2

24、信息运行调度支撑系统1、部署信息2、接入文档7.2.5.3IT 集中运行系统1、部署信息2、接入文档房应用、文档 加 密策略等7.3部署架构7.3.1操作系统部署架构操作系统采用分布式、微服务架构设计，将系统功能拆分为多个可以独立部署的模块，将其部署到相应的节点中，各模块之间的通信与依赖通过 API服务、消息队列、配置同步、数据库集群来完成。云操作系统的部署包括部署节点、控制节点、计算融合节点、计算节点、分布式节点。云操作系统中部署的主要服务模块如下表所示：表操作系统服务模块服务模块部署方式归属节点服务说明用户门户在物理服务器上以集群方式部署控制节点用户门户是一个用以管理、控制云操作系统服务的

25、 Web 控制面板，它可以管理实例、镜像、 卷等。除此之外，用户还可以在控制面板中使用终端或 VNC直接 虚拟主机。认证管理在物理服务器上以集群方式部署控制节点为所有的云操作系统组件提供认证和访问策略服务，它依赖自身 REST 服务进行工作，为其它服务组件提供行认证与授权。通过对动作消息来源者请求的合法性进行鉴定。计算管理在物理服务器上以集群方式部署控制节点负责管理计算资源、网络、及配额。计算服务在物理服务器上部署计算节点/计算融合节点虚拟主机的生命周期所需的各种动作都将由计算服务进行处理和支撑。管理在物理服务器上以集群方式控制节点支持商业和分布式管理。部署服务在物理服务器上部署节点/计算融合

26、节点为虚拟主机、虚拟硬盘和镜像提供空间。对象存储服务在物理服务器上部署节点/计算融合节点为对象提供空间。网络服务在物理服务器上以集群方式部署控制节点网络服务主要是指虚拟主机的网络管 理，满足虚拟主机的网络互联、数据隔离、QoS 保障等网络需求，提供交换 机、路由、业务网 IP、安全组、等功能。编排管理在物理服务器上以集群方式部署控制节点编排服务支持用户通过模板文件定义所需的云资源，描述资源间的依赖关系和配置详情，并自动完成资源的创建和配置，以达到自动化部署、运维等目的。镜像管理在物理服务器上以集群方式部署控制节点镜像服务是一套虚拟主机镜像发现、注册、检索功能。容器管理在物理服务器上以集群方式部

27、署控制节点容器管理服务是容器调度功能的集成引擎，可以调度容器集群管理框架，实现容器集群的生命周期管理和动态扩缩。容器调度管理以虚拟主机形式部署虚拟主机容器服务为应用系统提供基于容器技术的任务调度的管理。容器技术支持秒级资源创建，灵活的弹性伸缩。机管理直接管理并部署物理机系统控制节点对物理机进行，管理物理机的电源状态，通过云，使用镜像部署物理机操作系统。关系型在物理服务器控制节点，持久化云操作系统各服务的状态的部署架构的设计原则以保证控制的集中为原则，同时保证系统可扩展性，包括计算集群的可扩展、控制集群的可扩展，并且可扩展至多数据中心。在本项目中，选择 3 个控制节点作为初始控制集群节点数目，控

28、制节点支持横向扩展以支持更大规模的集群部署，计算节点负责为业务系统提供计算、等服务。云操作系统网络分为管理、私有、前端网络、后端网络、部署网络、业务网络以及公共网络等，保证网络流量分离和高可用性。数据库服务上以集群方式部署和配置数据。非关系型数据库服务在物理服务器上以集群方式部署控制节点MongoDB，持久化云操作系统的与计量服务实时产生的非结构化数据。计量服务在物理服务器上以集群方式部署控制节点对云操作系统虚拟主机的数据和操作日志和性能展示。消息队列在物理服务器上以集群方式部署控制节点采用 RabbitMQ 消息队列实现各组件间的异步调用通信。部署服务以虚拟机形式部署部署节点中虚拟机图形化的

29、云操作系统环境部署工具，一键完成所有服务的部署。服务以虚拟机形式部署部署节点中虚拟机采用 Zabbix 对各物理节点的运行状态和服务状态进行和告警。图电网一期机柜部署示意图7.3.3电网一期网络拓扑3 月份底之前，完成如下配置工作：1、在 18 楼新机房完成操作系统的部署。2、完成对容灾 VMware、运维竞赛 VMware 的纳管。3、整理对操作系统的定制化需求的整理，并启动定制研发。4、整理完集成需求，并把启动集成研发。5、启动项目试运行。6 月份底之前，完成如下配置工作：1、扩容新增的服务器，增加操作系统的资源池规模。2、完成操作系统的定制化需求的研发，并更新补丁。3、完成操作系统的集成

30、需求的研发，并更新补丁。4、启动项目验收测试。对接，或者应用迁移工作。配置：7.4.2 计算节点设计采用 10 台 x86 服务器，每台配置 4 颗 16 核 CPU，512GB 内存，5*900GSAS硬盘，2 个千兆以太网端口，2 个万兆光口，2 个双口 16G HBA 适配卡，构建计算节点，形成计算资源池。配置如下：角色配置数量1计算融合节点服务器型号：RH5885 CPU：E7-4850 V4，4*16 核；内存：512G；硬盘： 2*240G SSD;5*900G SAS 10K 转；网络接口：16G HBA 卡；2 张千兆电口网卡，2口网卡；10类型配置1操作系统Centos7.3

31、2消息队列RabbitMQ3.63数据库5.64计算管理组件云操作系统计算管理组件5管理组件云操作系统管理组件6网络管理组件云操作系统网络管理组件7镜像组件云操作系统镜像组件8容器管理组件云操作系统容器组件16G HBA 卡；2 张千兆电口网卡，2光口网卡；配置：7.4.3 计算节点设计采用 5 台 x86 服务器，每台配置 2 颗 12 核 CPU，128GB 内存，22 块 1.2T SAS10K 转，2 个千兆以太网端口，2 个万兆光口，2 个双口 16G HBA 适配卡，构建计算融合节点，形成计算资源池。配置如下：配置：类型配置1操作系统Centos7.32计算管理组件云操作系统计算管

32、理组件3管理组件云操作系统管理组件角色配置数量1计算融合节点服务器型号：浪潮 NF5280M4 CPU：E5-2650 V4,2*12 核；内存：256G；硬盘： 2*240G SSD;22*1.2TSAAS 10K 转；网络接口：16G HBA 卡；2 张千兆电口网卡，2口网卡；5类型配置1操作系统Centos7.32计算管理组件云操作系统计算管理组件3管理组件云操作系统管理组件4网络管理组件云操作系统网络管理组件5驱动组件云操作系统中分布式的驱动组件7.4.4 部署节点设计采用 1 台 x86 服务器，每台配置 2 颗 12 核 CPU，128GB 内存，2 个千兆以太网端口，2 个万兆光

33、口，2 个双口 16GHBA 适配卡，用于 PXE 部署云操作系统平台,硬件需求配置如下：配置：7.4.5 资源池容量7.4.5.1计算原则在计算/计算融合节点的 CPU 资源设计上，如下最佳实践：1、vCPU 与物理 CPU 关系：一个利用率 100的 vCPU 的处理能力等于物理CPU 一个超线程的处理能力。2、单台计算节点 Hypervisor 开销超线程总数等于 Hypervisor 开销超线程数,Hypervisor 开销超线程数 = 单台计算节点超线程数10（向上类型配置1操作系统Centos7.3角色配置数量1部署节点浪潮 NF5280M4CPU：E5-2650V4 2*12 核

34、；内存：128G;硬盘：2*240 SSD，3*1.2Tsas；网络接口：16G HBA 卡；2 张千兆电口网卡，2口网卡；14网络管理组件云操作系统网络管理组件5驱动组件云操作系统中分布式的驱动组件取偶数），最小 4 个超线程。3、单台计算/计算融合节点可供虚拟主机使用的 CPU 超线程数 = (计算/计算融合节点总超线程数Hypervisor 开销超线程总数) 计算/计算融合节点的 CPU 使用率4、计算存融合节点需要考虑分布式OSD 占用 CPU 的线程，一块硬盘对应一个 OSD 进程，每个 OSD 需要绑定 1 个 CPU。5、单台计算节点/计算融合节点的 CPU 使用率值为 70-8

35、0%。6、超配比与 vCPU 使用率为倒数关系。当超配比为 4 时，vCPU 最大平均使用率为 25%。在计算/计算融合节点的内存资源设计上，如下最佳实践：7.4.5.2计算模型1）计算节点的计算过程如下：CPU 资源总 CPU：4 * 16 * 2 = 128Hypervisor 预留的 CPU：Max(4, Ceiling(128 /10) = 18可用于创建虚拟机的 CPU：(128 - 18) * 70% *2 = 154 (资源超例为2)量。2、单台计算节点的 Hypervisor 内存开销 = MAX(单台计算节点的标准类型虚拟主机内存需求 9),1015G)3、虚拟主机所在单个计

36、算节点内存 (单台计算节点虚拟主机内存需求+ 单台计算节点 Hypervisor 内存开销) 计算节点内存利用率。4、融合节点需要考虑分布式OSD 占用的内存。当 OSD 小于 1TB 时，每个 OSD 需占用 3GB；当大于 1TB 时，每个 OSD 每 1TB 需要 2GB 且每个 OSD 至少需要 3GB。计算结果向上取整。1、虚拟主机的内存总需求 =单个虚拟主机的内存大小 虚拟主机的数内存资源系统预留内存：16GB可用于创建虚拟机的内存：（512 16）* 0.8= 396GB资源无2）计算融合节点计算过程如下。CPU 资源总 CPU：2 * 12 * 2 = 48Hypervisor

37、 预留的 CPU：Max(4, Ceiling(48 /10) = 10每个硬盘 OSD 进程绑定 1 个 CPU：22 * 1 = 22可用于创建虚拟机的 CPU：( 48 - 10 22) *70% * 2 =22(资源超例为 2)内存资源OSD 占用内存资源：Min(3G, 3G) * 22 = 66GB系统预留内存：16GB可用于创建虚拟机的内存：（256 - 12 16）* 0.8 = 182GB资源可用空间：1.2 * 85% * 22 / 3= 7.5TB7.4.5.3资源池容量综上，3 月底建设的资源池的容量：CPU：154 * 10 + 22 * 5 = 1650 vCPU内

38、存：396 * 10 + 182 * 5 = 4870 GB 内存：分布式：7.5 * 5 = 37.5 TB集中式：按需分配。7.5网络设计云操作系统提供网络管理组件，提供定义网络功能，可对云操作系统网络进行自定义，包括划分交换机、路由器、VLAN 等，通过网络服务提供网络、通信与管理。7.5.1 设计原则（1） 网络分离云操作系统中有管理网、业务网、前端网络、后端网络、私有网、部署网络、IPMI、机管理网络、机与 IPMI 网络通信共九种流量，采用逻辑分离的原则，提高性，避免网络之间相互干扰。管理网(management)用于承载控制节点与计算节点之间管理流量，如物理资源的管理，虚拟机的迁

39、移等。其中虚拟机迁移会占用大量的带宽，需要与业务网分开，以免影响业务的正常运行。此网络不需要出云。业务网络(public)用于承载业务系统的业务流量，是业务侧使用的网络。业务网需要与公司各业务系统及用户互通，以实现用户各业务系统的具体的业务。前端网络(storagepub)用于计算节点虚拟机分布式数据，和向分布式写第一个副本数据时使用。此网络不需要出云。后端网(storage)用于分布式节点之间的数据副本，此网络流量较大。此网络不需要出云。私有网络(private)用于各业务系统业务的通信，各个租户私有网络通过 VLAN 进行。此网络不需要出云。部署网络(pxe)用于部署云操作系统基础环境。除

40、部署阶段外，几乎没有流量。此网络不需要出云。带外管理网络(IPMI)此网络有以用：用于服务器管理，可以对服务器进行开关机等操作；计算节点的 HOS功能使用该网络，控制节点需要与此网络能够通信；机需要使用此网络。（2） 高可靠网卡绑定将每台主机上 2 个千兆网口做绑定(Active-Standby)，4 个万兆网口，其中每块网卡各一个端口做一组绑定(Active-Standby)，两个绑定的网口必须分布在不同的网卡上，且连接到不同交换机，以达到冗余的目的，从而避免因一块网卡出现故障而造成数据通信中断，bond 角色如下表所示：服务器角色网卡Bond角色速率部署节点eth0+eth2bond 0部

41、署网+机 IPMI千兆Eth1+eth3bond 1千兆控制节点eth0+eth3bond 0部署网+机管理+ 机 IPMI千兆eth1+eth4bond 1管理网+前端+私有网络万兆eth2+eth5bond 2后端+业务网万兆计算节点eth0+eth3bond 0部署网+机管理+ 机 IPMI千兆eth1+eth4bond 1管理网+前端+私有网络万兆网络交换机偶数对网络交换机，保障网络链路成双，提高网络吞吐的同时增加网络冗余能力，避免单链路故障问题。7.5.2 网络拓扑设计为保证云操作系统高效、安全、连续的通信，硬件上考虑链路、设备等冗余情况，防止单点故障的发生，当有端口、设备损坏时能迅

42、速切换流量。控制节点 3 台，建立 eth0+eth3、eth1+eth4、eth2+eth5 共 3 组 bond，eth0、连接接入千兆交换机 1，eth3 连接接入千兆交换机 2，对应交换机上的接口设置为 trunk（设置 native vlan 为部署网络所用），分别允许部署网+机管理+机 IPMI 的 VLAN 流量；eth1 接入万兆交换机 1，eth4 接入万兆交换机 2，对应交换机上的接口设置为 trunk，分别允许管理网络、前端网络和私有网络的VLAN 通过；eth2 接入万兆交换机 1，eth5 接入万兆交换机 2，对应交换机上的接口设置为 trunk，分别允许业务网络和后

43、端网络的 VLAN 通过。计算节点 10 台，建立 eth0+eth3、eth1+eth4、eth2+eth5 共 3 组 bond，eth0、连接接入千兆交换机 1，eth3 连接接入千兆交换机 2，对应交换机上的接口设置为 trunk（设置 native vlan 为部署网络所用），分别允许部署网+机管理+机 IPMI 的 VLAN 流量；eth1 接入万兆交换机 1，eth4 接入万兆交换机 2，对应交换机上的接口设置为 trunk，分别允许管理网络、前端网络和私有网络的 VLAN 通过；eth2 接入万兆交换机 1，eth5 接入万兆交换机 2，对应交换机上的接口设置为 trunk，分

44、别允许业务网络和后端网络的 VLAN 通过。eth2+eth5bond 2后端+业务网万兆计算融合节点eth0+eth3bond 0部署网+机管理+ 机 IPMI千兆eth1+eth4bond 1管理网+前端+私有网络万兆eth2+eth5bond 2后端+业务网万兆计算+节点 5 台，建立 eth0+eth3、eth1+eth4、eth2+eth5 共 3 组 bond，eth0、连接接入千兆交换机 1，eth3 连接接入千兆交换机 2，对应交换机上的接口设置为 trunk（设置 native vlan 为部署网络所用），分别允许部署网+ 机管理+机 IPMI 的 VLAN 流量；eth1

45、接入万兆交换机 1，eth4 接入万兆交换机 2，对应交换机上的接口设置为 trunk，分别允许管理网络、前端网络和私有网络的 VLAN 通过；eth2 接入万兆交换机 1，eth5 接入万兆交换机 2，对应交换机上的接口设置为 trunk，分别允许业务网络和后端网络的 VLAN 通过。控制节点、计算节点和部署服务器的 IPMI 接口接到带外管理交换机上或千兆交换机。控制节点、计算节点和部署服务器的接口接到带外管理交换机上。为了确保服务器网卡能够顺利接入网络，数据中心接入交换机需提供足量的千兆接口。服务器端口计算如下：7.5.3 VLAN 和 IP 设计VLAN 设计如下：网络类型网络描述VL

46、ANID网段网关IP 数量备注私有网络虚拟机数据501-520/20*254用于应用内部交互节点类型节点数量单机千兆接口数千兆接口数单机万兆接口数万兆接口数合计控制节点339412计算节点10330440计算节点5315420部署节点133合计5472备注：根据实际情况，业务网络 IP 地址由网络管理员规划分配。私有网络共 20 个 VLAN，每个 VLAN 254 个地址，日后也可按需添加，业务网络目前为 1 个 VLAN，亦可按需扩展。管理、和部署网络可支持 254 台主机。管理网络管理组件通信401172.168.1.0/24/254接入数据中心管理网前端网络连接池数据402172.16

47、8.2.0/24/254后端网络副本同步403172.168.3.0/24/254业务网络虚拟机与外部通信10010.1.1.0/24待定254用于如应用对外通信，提供用户访问等规划一个 1C的新网段，并接入数据中心业务网部署网络自动化部署各角色结点40010.20.0.0/24/254机 管理网络为机推送操作系统404172.168.4.0/24/254机IPMI网络控制节点与机IPMI 网络通信405172.168.5.0/24/254接入数据中心管理网IPMI服务器管理x/7.6设计云操作系统的采用 X86 服务器和分布式Ceph提供服务，为虚拟主机、业务系统数据和系统镜像等提供了按需扩

48、展的空间。数据管理:分布式提供数据自动打散、文件共享、云硬盘、对象和元数据管理等功能。横向扩展：分布式的规模和容量没有限制，一般采用 blocks 设计，如 20 台物理机作为一个区域形成一个集群。高可靠：分布式提供虚拟硬盘快照、分布式数据备份等来实现数据冗余。通过集群高可用管理技术，保证节点的冗余和故障恢复。7.6.1 功能设计虚拟硬盘：提供虚拟硬盘服务，在管理界面上或后端命令行实现虚拟硬盘的创建、挂载、扩展和删除等功能。为了确保云硬盘的可用性，在删除云硬盘之前必须先从云主机取消。对象：提供了 Rest API 来支持 swift 对象功能，提供文件共享等功能。数据备份：虚拟硬盘提供了多种备

49、份功能，如快照和完全备份，保证了数据的安全性和完整性。QoS 设置：对虚拟主机的系统盘和云硬盘进行带宽和 IOPS 的现在，保证业务正常运行。7.6.2 架构设计安装在三台控制节点，并做了集群，保证 Monitor 的高可用。池的南北向为 Ceph前端网络流量，为 Ceph通信流量和外部 cnt 访问 Ceph进行读写的流量。东西向为后端网络流量，副本的同步、OSD down 以及 HOST down 机时发生的 rebalance 流量。图 分布式部署框架7.7角色权限设计云操作系统提供认证、审计的安全管理功能，对于系统的用户权限进行管理，判断其是否能够使用云资源及，以及对各业务系统之间的关

50、系进行管理等等。默认配置下云操作系统支持三种角色定义：超级管理员、业务管理员、普通用户，对应不同的权限控制。7.8安全设计7.8.1 NTP 网络时间服务如果数据中心有现存 NTP 服务器，则云操作系统的三个控制节点指向该 NTP，计算节点指向三个控制节点。如果没有提供 NTP 服务器，则以部署服务器作为 NTP 服务器，所有节点指向部署服务器。7.8.2服务器云操作系统支持以下两种方式，系统环境下所有物理机的硬件资源和服务的状态，以及在故障发生时上警信息等。方式一，云操作系统中的计量组件的主要面向云操作系统的功能及虚拟主机的，同时可设定阀值触发虚拟主机资源的告警机制。方式二，云操作系统支持开源企业级解决方案 Zabbix 对云操作系统的组件服务和分布式及其整个运行环境的物理机的。功能包括：服务状态，CPU 负荷，内存使用，磁盘使用，网络状况，端口监视，日志监视等。7.8.3规则云操作系统在数据中心侧加入，保证用户安全云操作系统。此外云操作系统提供虚拟功能，虚拟是操作系统网络组件的高级功能，实现在控制节点上，保证网络流量在到达接入层交换机之前进行过滤。可以实现不同业务系统之间或业务系统有过渡功能，度保证业务安全性。业务管理员业务部门负责所属部门所有业务的资源管理，包括资源创建、资源回收、状态监控、用户管理等普通用户业务部门内的特