云化架构超算中心设计方案

云化架构超算中心

设计方案目录0

1.项目背景0

2.建设目标0

3.建设重点0

4.实施路径0

5.增值应用项目背景“在中华民族伟大复兴征程中第一个百年来临之际，某师范大学将迎来建校70周年。共建云构化超算中心标志着校园发展进入到新的阶段新的里程碑0102深化战略合作协议肩负社会责任，为科研助力用云计算帮助梦想者推动社会进步云厂商肩负科教兴国重任肩负科研创新责任整体数字化转型建设某师范大学项目背景体系标准开源社区落地&商业化云厂商与某师范大学共同成立联合实验室，各自发挥滋生优势，将技术与实践相结合，共同制定教育行业云管平台体系标准，协助完成云管体系教程编写。云厂商将此项目做成开源项目，将产品发布到开源社区，某师范大学团队将主要负责后期运营事项，共同创建生态体系。云厂商与某师范大学一起共同投入资源推进项目落地；将项目经验赋能教育领域，完成3家以上同行业项目落地。联盟成立国家标准输出产品开源生态搭建项目落地行业扩展目录0

1.项目背景0

2.建设目标0

3.建设重点0

4.实施路径0

5.增值应用AIPaaS统一管理混合云千人千面私有云资源拓展公有/教育云教研一体数据中心信息服务HPCPaaS大数据PaaS私有云+公有云形成的混合云目标·建设内容目标·能力建设01020304服务能力建设HelpDesk,服务支持。提升响应速度，最终提升全校师生使用便利运维能力建设资源管理，系统监控，告警平台。智能化运维管理平台有效提升运维能力创新能力建设基于云架构，提供更多PaaS类组件，提升师生学习、科研效率运营能力建设从分配率到实际利用率，提升利用率，降低能耗，降低成本目标·四大建设重点云化HPC具有海量算力、算成本低廉、安全可靠的特征私有云具有能够灵活扩容、运维简便的能力网络互通高效、稳定、安全的网络条件是建设混合云的关键统一管理平台将所有云端资源及本地资源纳入到统一的管理体系目录0

1.项目背景0

2.建设目标0

3.建设重点0

4.实施路径0

5.增值应用云化HPC1私有云2网络互通3统一管理平台4总体目标·四大建设重点云构化HPC11海量算力，无限灵活试想一下即开即得的海量算力（CPU、GPU、异构芯片），HPC工作不必受IT资源供应限制、不必受IT资源管理的约束，即刻开启∞超高性能，畅快计算计算、存储、网络皆为高性能打造，原本数天的计算，可缩短至数小时完成数据安全，由您掌控数据自动冗余、手动备份、回滚复原、安全访问，您可通过多种手段确保关键核心数据安全可控S超大规模，超低成本云厂商的规模化优势有效的降低成本，您节省的是IT全生命周期的费用，获得的是高效的计算结果HPC新架构GPFSNSD*2GPFSNSD*210GFC交换机*2NetAPPSASCISCOUCS互联矩阵AWS资源池c5.xlargec5.2xlarge本地现有计算池512核XeonE5-2630v22.6GHzXeonE5-2630v32.4GHzXeonE5-2650v32.3GHzXeonE5-2650v22.6GHz主管理节点云门户节点新增本地计算池XeonPlatinum82682.9GHz24C*4路*10节点认证服务器从管理节点S3从管理节点新增本地存储池BeeGFS并行文件系统存储1.3PB、带宽20GB/s万兆交换机IB网络FC网络万兆网络在不改变原有架构的基础上，新增的计算和存储节点使用IB交换机的100Gb端口；从管理节点US3从管理节点云厂商资源池EPC-4C8GEPC-8C16G本地-公有云专线NetAPPSSDBeeGFS并行文件系统Mellanox100GIB*2高性能裸金属云主机低延迟RDMA50Gb

网络定制调优的并行文件系统超算集群EPC弹性资源快速服务部署，横向扩展和热迁移运维自动化统一服务接口CPU240

核GPU8xv100内存

网络带宽480GB 50Gb网络延迟2.0μs最高配置的单一实例本地呈现云上呈现VDILocal

SiteUser

01User

02…云厂商超算平台LicenseStoStorageCloudVPCCluster

01Cluster

02Auto-ScalingCluster

03Cluster

04Cluster

05Cluster

06…Internet算力平台

:

云厂商算力运营平台OS:

Centos/Ubuntu仿真、模拟工具：ANSYSfluent/LS-DYNA/Local

Site云厂商云厂商算力编排层App

+Flow镜像管理 License

监控应用适配Flow

定制自动伸缩队列管理作业监控集群生命周期管理任务管理目标策略多云对接多调度器支持低成本算力作业调度用户管理系统监控账单管理预算控制RESTful-API消息通知资源分配多元化的接口WEBUICLI配置项规格架构数量服务器规格RackMountChassis_2URackMountChassis1处理器AMD_EPYC™_7H12_128Threads_64Cores_2.6GHz_Zen2_280W_X86X862内存DDR4_64_RDIMM_3200MHzRDIMM32系统盘480G_SSD_SATA3_N/A_512E_2.5"_6Gb/s512E2数据盘0硬盘控制器HBA_12Gb/sSATA/SASHBA12Gb/sSATA/SASHBA1网卡2ports_25Gb/s_Fiber_光口PCIE3.02PCIe设备0电源1200W_94%_Platinum_服务器电源_100V～240VAC_192V～288VDC服务器电源2显卡0HPC计算池配置HPC并行文件系统架构Clients挂载并行文件系统，实现高性能计算。MetadataServers维护和管理文件的条带信息及文件存储的具体位置。StorageServers每个文件被分割成指定块大小，条带化后部署到多个存储服务器上面ManagementHost负责整个AS13000G5-H的集群的管理工作。GraphicalAdministrationandMonitoringSystem提供GUI管理工具实现BuddyGFS的性能检测，部署维护等工作HPC并行文件系统硬件AS13000G5-H基于BeeGFS性能卓绝高性能：单个数据流可达到

9GB/s强聚合：并行文件系统聚合带宽可扩展至TB级高可用：支持内容镜像，支持1/2的节点宕机数据节点推荐配置元数据节点推荐配置磁盘柜方案集中式架构高密机型大容量场景-H36-H12/24+双控阵列G5-H60性价比均衡主做数据节点闪存盘元数据节点支持NVMe/SATASSD搞空间利用率方便运维部署差异化控标优势集中式架构scale-up提供多盘的大通量带框分级存储：高速、中速和低速存储HPC存储池配置类型规格数量数量（台）元数据节点Cache节点AS13000-H12CPUAMD_EPYC™_7542_64Threads_32Cores_2.9GHz_Zen2_225W_X8626内存DDR4_32_RDIMM_2933MHz12系统盘480G_SSD_SATA3_N/A_512E_2.5"_6Gb/s2数据盘G_SSD_3.84T_U28G_SA_2_PM983_MB8网卡2ports_25Gb/s_Fiber_光口1IB网卡G_HCA_1-EDR_MCX555A-ECAT1并行文件系统浪潮并行文件系统客户端_海量-H_multi_3Y_CNHPC存储池配置类型规格数量数量（台）普通数据节点AS13000-H36CPUAMD_EPYC™_7542_64Threads_32Cores_2.9GHz_Zen2_225W_X8626内存DDR4_32_RDIMM_2933MHz12系统盘480G_SSD_SATA3_N/A_512E_2.5"_6Gb/s2数据盘HDD_14T_SATA_6Gbps_7.2Krpm_3.5in_Enterprise36磁盘控制器RAID_9361-8i_1G_12Gbps1网卡2ports_25Gb/s_Fiber_光口10G_Fibre_光口_双口1IB网卡G_HCA_1-EDR_MCX555A-ECAT1并行文件系统浪潮并行文件系统客户端_海量-H_multi_3Y_CN从裸机到云资源，全链路自动运维远程电源控制硬件配置采集硬件日志监控KVM一键登录状态监控支持根据IPMI带外协议、SNMP等硬件协议获取硬件资产的详细信息，并进行远程运维操作（KVM登录、电源控制、日志监控采集等）裸机管理平台

新增计算、存储网络架构在不改变原有架构的基础上，新增的计算和存储节点连接到MellanoxIB交换机的100Gb端口；NetAPPSASNetAPPSSDGPFSNSD*2GPFSNSD*2BeeGFS并行文件系统10GFC交换机

10GFC交换机

Mellanox100GIBMellanox100GIB新增资源混合云超算：公+私分配原则私有云部分：有保密性需求的项目算力需求固定的项目对IO等有特殊需求的项目保持一定数量算力预留公有云部分：弹性，突发性需求算力需求巨大的项目用完即释放“云超算”为数据中心添翼24技术角度云化不只是提供无限扩容的超算资源,更重要的提供了,如大数据平台,科研工具拓展,移动协同等不断迭代的新技术,助力学校数字化转型,帮助数据中心从成本中心转变成服务中心成本角度一些抽象的、虚拟化的、可动态扩展和被管理的计算能力、存储、平台和服务汇聚成资源池，通过按需交付给外部用户运维角度云上资源的运维及安全由云厂商负责,数据都有实时的副本备份,对应安全体系前台无感的实时更新,为学校减轻运维压力云化HPC1私有云2网络互通3统一管理平台4总体目标·四大建设重点私有云产品全景产品全景：交付形式：纯软交付：灵活选择一体机、一体机柜：开箱即用托管云：订阅式服务基础架构安全容器存储产品DevOps大数据/SDP裸金属数据库安全屋云管/CMP人工智能/AI云桌面运维工具私有云简介公有云一致架构：复用公有云内核及核心组件，上层产品形态根据私有云场景重新设计全自研架构：非开源架构，信创全生态适配，自主可控灵活可扩展：单数据中心支持3-2000节点规模，可同时纳管多个数据中心多种产品套餐：标准X86、信创版、快杰版三个版本，满足通用、国产化、高性能场景。全栈云平台：提供IaaS、PaaS、SaaS全栈服务的云架构自主可控自主可控丨复用公有云核心自主可控|从芯片、OS到应用的全景适配分布式数据库apiserver（无状态，三节点）调度器（有状态，多节点）管理节点重新调度Agent监控心跳监测计算节点平台高可用架构整体高可用架构逻辑上分管理和计算节点，通信网络采用双网卡绑定，保证物理链路上高可用，底层存储采用RAID1保障高可用。管理节点高可用apiserver无状态部分采用三节点高可用架构调度器有状态部分，采用多节点部署，利用选举机制确保高可用；底层采用分布式数据库计算节点高可用主动周期性监测物理节点进行心跳检查，发现物理机宕机则触发虚拟机自动迁移服务。高可靠|平台整体高可用架构10GE外网核心外网核心LACP40GE外网接入外网接入40GE内网核心内网核心LACP40GE内网接入内网接入10GE物理网络接入计算存储超融合节点独立存储节点VMware&物理机节点40GE10GEGE高可靠|全冗余网络架构机柜1机柜2机柜3DistributedStorageServiceABCABCBlockClientObjectClientFileClientComputeDISKDISKDISKDISKDISKDISKComputeBlockStorageObjectStorageFileStorage多副本数据保护

高性能磁盘IO高可靠存储架构无限水平扩展高安全数据保护多类型存储接口UnifiedDistributedStorageServiceBCACABClientPrimaryReplicaChunkChunkChunkReplica高可靠|分布式存储在物理网络上构建虚拟分布式网络，通过先进的隧道封装技术，屏蔽底层硬件的复杂性，虚拟机可实现集群内跨设备迁移纯软件定义网络用户二层网络隔离南北向物理网络透传分布式高可用SDN控制器架构纯软件实现，不绑定特殊硬件VM3ComputeNode2VM4vNICvNICVxLanTunnelNICSwitchVTEP0SwitchVlanOpenvSwitchFlowtableVM3ComputeNode2VM4vNICvNICNICVTEP0OpenvSwitchFlowtableNIC1高可靠丨分布式网络VM1ComputeNode1负载正常ComputeNode2故障节点ComputeNode3负载正常分布式存储资源池VM2VM4VM5VM4VM4VM4VM3VM3VM3VM3同一业务打散部署VM6VM6在线迁移手动操作智能调度系统虚拟机资源调度管理的核心，用于决策虚拟机运行位置，管理虚拟机状态及迁移计划，保证虚拟机可用性和可靠性系统实时监测所有节点负载信息，作为调度和管理的数据依据反亲和部署策略，确保同一业务虚拟机打散部署至所有节点物理节点故障时，系统自动迁移虚拟资源到健康服务器节点计划内迁移零宕机宕机快速自动迁移在线迁移宕机迁移(分钟内)物理节点故障无害反亲和部署提高平台及业务的可用性和可靠性高可靠|虚拟机高可用快照3快照2快照1高可靠|快照36

快照定时自动快照与手工快照结合，满足多种场景需要无需暂停业务或停止磁盘读写，不影响线上业务按策略自动删除快照，节省空间容灾备份数据快速恢复开发测试云硬盘ABCDA1BCD1A1BCD2多数据中心管理统一纳管多个数据中心，实现对企业多套云资产环境的统一管理、运营和运维配合DNS和LB服务，构建业务高可用部署架构。基于多数据中心，实现业务级别的云资源冗余架构，满足对RTO要求高的核心业务灾备需求构建数据中心级别灾备构建中心-边缘同构的业务底座平台高可用数据中心灾备业务高可用中心-边缘业务平台数据中心地图高可靠|多数据中心VMVirtIO内核CPU队列CPU队列CPU队列…网卡VMVFDriverVFCPU队列CPU队列CPU队列…智能网卡内核网络增强1.0100wPPS1000wPPS网络增强2.0VM虚拟网卡VM虚拟网卡物理网卡物理网卡Vhost-netVtap设备OVS内核二层网卡驱动1.0方案采用VirtIO驱动做多队列方案，包处理经过宿主机内核增加延迟，且物理CPU为网络收发队列提供性能，成本高昂。2.0方案采用SRIOV，通过网卡的硬件虚拟化，绕过宿主机内核，实现虚拟机到网卡的直接数据访问。传统网络IOvs简化IO流程高性能|快杰SRIOV网络增强2.0万IOPSms延迟2.40.5万IOPSms延迟1200.1VMqemuRingbufferPrimaryChunkSecondaryChunkSecondaryChunkio读写rdmaspdk读写磁盘写复制rdma写复制rdmavhostuserclientRingbufferio读写rdma写复制rdma写复制rdmaspdk读写磁盘vhost代替Qemu，实现虚机到存储Client的数据0拷贝RoCE代替TCP，4K网络包收发10-20usSPDK代替Libaio，高并发下，依然保持较低的时延QEMUUDiskClientUDisk云盘UDiskRSSD云盘APP&FSVMVirtualDiskAPP&FSVMVirtualDiskTCPRDMARoCE传统IO流程vs简化IO流程UDiskClient-SPDK高性能|快杰RDMA+SPDK云盘GPU虚拟机虚拟机支持PCI透传GPU显卡统一管理和调度GPU资源无厂商依赖，可兼容大部分GPU设备性能无损运维简单深度学习人工智能高性能计算GPU节点1GPU节点2普通节点调度器GPUGPUGPU设备GPU设备高性能|

GPU虚拟机最少配置一块SSD盘，SSD和HDD容量配比推荐1:10每块SSD缓存分区可对应一块HDD磁盘，组合为缓存磁盘组磁盘组可以有效应对单块SSD故障影响整个节点的数据均衡存储ClientI/O请求均会先到SSD缓存盘进行读写分发，冷热数据自动流转数据写入会直接写入SSD，并根据算法动态回刷冷数据至HDD数据会直接从SSD进行读取，若未命中缓存，则会从HDD进行读取，并将热数据动态推送至SSD，缓存命中率越高性能越高。ClientSSDHDDReadsWrite-BackWritesDiskGroupHDDSSDHDDDiskGroupHDDSSDHDD高性能|存储分层所有API全开放2云原生架构1API全开放硬件兼容3避免硬件厂商锁定支持主流X_86服务器支持主流ARM服务器应用可在不同云环境迁移避免云厂商/平台锁定支持MIPS架构开放兼容服务无缝引入2平滑升级1持续升级智能运维3全面监控告警服务云服务故障自愈完整的日志分析服务服务无感知升级业务不中断升级架构迭代功能升级持续进化持续进化|在线扩容可根据业务负载的增加按需进行扩展可分别或同时增加计算力、存储空间和性能在线扩容，不影响线上教学存储自动进行数据均衡性能随容量扩展正向增长，充分利用每节点读写性能计算节点存储节点持续进化|智能监控云化HPC1私有云2网络互通3统一管理平台4总体目标·四大建设重点某师范大学混合云网络互通方案：GRE隧道此外云厂商还提供了公网VPN的备用方案，如果云端和SEMAN的专线互联在极端情况下发生网络故障，或当某师范大学的本地机房不在SEMAN的城域网中，也可以利用VPN的方式实现与云厂商云端的互联。某师范大学混合云网络互通-备选方案：VPN或专线云厂商已经与各高校机房网络互联云厂商通过与教育城域网物理网络拉通，实现与各个高校现的机房网络的互联，基于内网提供稳定，可靠安全可控的云服务，为后续“教育上云”提供更便捷的基础环境。教育城域网SEMANVPN物理防火墙IPsec专线专线物理服务器核心数据库云平台负载均衡应用服务器数据库学校自有机房云厂商公有云机房教育城域网核心网骨干与云厂商上海二区云服务网络可实现100G互通，并可确保网络冗余；云厂商可为学校提供多种本地数据中心与云厂商公有云的互联方案，为学校构建混合云的网络应用架构。云化HPC1私有云2网络互通3统一管理平台4总体目标·四大建设重点云厂商混合云多云管理平台简介云厂商混合云管理基于混合架构多云接入的环境特点，提供统一多云管理平台，支持对各类公有云、私有云数据进行整合。独有的数据模型确保客户无架构感知，对多云资源做到统一运营、统一运维、统一服务。并通过云计算的自身经验累积，提供管理解决方案。并支持基于ITSM框架下的服务管理功能（事件管理、问题管理、质量管理等）多云管理监控告警资产是重要的基础资源，通过CMDB资产系统对资产加强管理，从云下资源到云上资源统一维护。并结合裸机管理平台对基础资源进行自动化装机、脚本管理、命令下发等自动化运维操作基础运维建设高效自动化的运维平台提供实时可靠的技术保障能力保证云平台的平稳运行多云接入整合，提供运营决策对已进行纳管的资产（包括但不限于宿主机、网络设备、虚拟云主机、虚拟存储等）性能、状态、事件等运行情况进行集中监控。提供监控告警服务台功能。并可提供7*24NOC服务能力，为客户提供快速、有效的监控告警功能。某师范大学教育云统一管理门户架构图超算中心本地数据中心公有云、超算云云主机云网络云存储资源集ACPU使用83%预算使用90%某师范大学信息学部计算机科学与技术学院数据科学与工程学院软件工程学院云主机云网络云存储资源集BCPU使用50%预算使用40%使用使用某师范大学教育云统一管理门户表单自定义专线、VPN打通科

研教

学实验室信息中心流程自定义服务管理门户运营管理门户组织管理资源管理计费管理优化建议配额管理人员管理运维管理门户监控告警作业管理运维编排安全审计……学部流程驱动自动化混合云多云管理平台功能架构多层级组织管理，有效匹配业务场景实例A实例B教学任务实例C实例E实例F科研任务裸机A裸机B实验任务裸机C资源池根据业务场景对资源进行池化针对资源池进行配额设置自动生成资源拓扑组织架构校园管理师生的树状结构体搭建多层次的组织架构树用户管理基于RBAC的权限管理体系自定义操作权限、数据权限、导航权限资源隔离，有效管控资源使用XX学院课题组A运维角色管理角色小张小胡小王小李学生角色导师角色课题组B刘老师小周小吴CPU:80%CPU:50%CPU:38%多云无感知，异构资源标准化管理重资产信息云主机云网络云存储机房信息机柜信息云资源模型库基础设施模型库私有云公有云本地设施CMDB动态配置库按需接入各类云一致的用户体验对管理的云平台进行抽象，根据不同资源类型形成统一标准的数据模型用户无需考虑云平台差异性，所有资源按统一标准进行纳管不受云平台限制，可根据客户需求定制对接云API各云商封装私有云千人千面，全局动态时刻掌握千人千面根据当前登录用户的权限设置，仅展示有权限的资源信息，信息安全隔离自定义看板可根据实际使用需求，自定义首页dashboard，聚焦于关键教学任务优化建议自动计算符合优化策略的资源使用情况建议用户对资源进行合理调整，实现成本优化告警列表实时掌握资源异常情况，及时处理，规避风险使用量分析对关键资源的使用情况进行分析并排序帮助用户对不合理的使用进行辅助决策规则设置智能分析辅助决策费用可视化，轻松控成本统一管理和分析公有云和私有云费用，支持对私有云费用进行配置化管理。提供费用分析、账单明细、优化建议等，为校园提供“看得见的”支出减少。消费趋势查看一段时间内各资源类型所占费用情况&消费趋势查看一段时间内消费订单的明细数据计费配置公有云：自动同步云平台账单私有云：支持用户自定义q收费项&计价规则，自动统计成本优化针对不同资源的使用情况设置对应的规则，系统将根据扫描间隔全局扫描系统中的所有资源使用情况；结合费用数据，选取TOP费用节约资源，建议管理人员对资源进行降配（降成本）优化多云无感知，异构资源标准化管理资源自发现数据中心1交换机服务器服务器服务器交换机服务器服务器服务器交换机存储存储交换机路由器防火墙探针数据中心2交换机服务器服务器服务器交换机服务器服务器服务器交换机存储存储交换机路由器防火墙探针自动发现CMDBIPAM依凭CMDB和IPAM，自动发现在无代理模式下可以通过带外、SNMP等硬件协议快速发现资源并同步在代理模式下，通过安装agent可以深度挖掘设备的详细信息并设定扫描周期，更新信息至CMDB若客户已有CMDB可进行定制开发对接，若无，则可购买CMP中的CMDB模块故障定级故障通告故障辅助定位处理决策故障复盘故障快速恢复故障演练异常发现80%监控覆盖率耗时临时自定义统一定级15分钟3分钟零散消息30%故障看板临时决策标准方案人工收集系统记录无定时演练耗时N分钟1分钟P0（紧急）：立即电话升级P1（重要）：3min无响应则电话升级P2（预警）：无语音但必须48H内闭环邮件短信监控采集规则配置SOP案例库智能降噪故障预检查可视化图表任务编排宕机自动化场景化诊断容灾自动化问题管理事件管理演练平台：定期模拟对故障发生进行模拟实践；提前找出管理问题&流程缺陷。防范于未然。统一监控告警服务台结合云厂商管理自身40000+服务器运维经验，整理总结出一套规范化监控告警治理体系。并通过平台功能支撑，有效提升运维管理效率，减少人为判断。做到先于用户感知发现故障！裸机配置硬件配置固件配置安装模板系统模板裸机管理裸机资源运维场景运维任务裸机监控硬件监控日志告警裸机交付自动化任务发现文件中心脚本管理镜像管理网络地址子网管理地址管理从裸机到云资源，全链路自动运维裸机管理平台支持对裸机资源的统一纳管，并支持基于IPMI的带外管理：远程操作、PXE装机、配置信息采集、硬件监控告警、硬件性能监控等运维工具流程编排引擎网络操作带外操作带内操作系统安装系统重装系统清洗场景库网络地址管理硬件配置固件配置系统模板硬件模板初始化模板元数据任务管理任务发现消息推送资源管理操作用账户第三方认证用户权限用户权限从裸机到云资源，全链路自动运维自动化装机：根据编排的工作流，为已纳管的裸机进行自动装机，减少人力的同时避免人为操作错误带来的故障隐患。配置阶段启动阶段交付阶段基础数据导入IP分配端口可用性检测重启服务器装机平台网络端口操作布线检测服务器PXE启动确认装机MiniOS网卡排序上联信息采集上联信息采集日志上报&重启装机平台PING探测确认交付服务器硬盘启动自制系统初始化日志上报配置&固件检测日志上报确认初始化裸机管理平台目录0

1.项目背景0

2.建设目标0

3.建设重点0

4.实施路径0

5.增值应用联盟标准里程碑项目启动成立联合实验室2021.09基础版开源开源上线、社区运营2022.06规范标准输出国家标准，国标体系2023.062021.11联盟成立组建联盟，制定研讨机制，定期组织研讨会2022.12共营生态完善功能、输出教育行业云管标准开源商业化路线里程碑2022.062021.122022.12

2023.06辅助水杉在线，完成数据学院云管平台落地完成某师范大学校级多云管理平台建设，统一资源、信息管理门户开源社区上线复制案例，开源项目推广至其他高校完成3家高校项目落地，实现商业化赋能资源投入联合实验室云厂商方某师范大学方1～2名5年以上经验的架构师负责产品技术架构的规划和实现1个云管研发团队进行产品设计和研发1名