2023超融合平台技术方案

作者：职场人超融合平台技术方案一、总体技术要求要求超融合系统需提供计算虚拟化、网络虚拟化、存储虚拟化能力。提供虚拟交换机、分布式虚拟路由器、虚拟机容灾备份等功能模块。配置与超融合服务器对应的计算虚拟化软件授权、存储虚拟化软件授权。所有超融合节点不限制虚拟机数量，不限制虚拟路由器、虚拟交换机数量。管理平台即可实现对计算、存储、网络等资源进行统一管理，所有功能无需界面跳转即可实现全部操作，真正融合、简化管理。统一运维要求：针对超融合整体软硬件故障问题，提供统一的可视的监控管理中心，可视化实时监控中心从硬件可靠性、系统可靠性、服务可靠性三大层面进行实时监控、分层展示，运维人员可以直观查看集群的整体运行情况，可以快速诊断集群的健康状态，同时支持对无需关注的检测异常启用屏蔽功能，启用屏蔽功能的检测异常将不会上报显示，现实可视、可控、可管，简化运维。资源扩容要求：能提供同一品牌的计算、存储、网络虚拟化软件，可支持从三节点起步横向弹性扩容。集群规模要求：集群节点数≥3节点，并支持超融合节点数为3节点时，最少扩容节点数为1，扩容时要求原有集群业务不停机，以满足依不同业务分区分域部署需求，最小化配置集群规模，以降低初始投入，并满足资源无缝、按需扩展。拓扑管理要求：支持对整个平台虚拟设备实现统一的管理，虚拟化WEB管理平台可以完成网络拓扑的构建，完成各类虚拟设备的自助逻辑编排，支持在管理平台上连接、开启、关闭各类虚拟设备，拓扑呈现业务流量信息，所画即所得，方便运维管理；配备满足当地电网要求的国产主流操作系统。二、详细分项技术要求1.超融合设备技术要求通过X86架构的服务器构建可靠的计算、存储节点。基于平台对可用性的要求，本次总共配置9台计算存储节点（其中生产控制大区2区3台），2台计算存储节点（GPU），3台分布式存储设备，满足平台计算、存储、网络资源的承载。各节点设备配置要求如下：标准X86服务器设计，2U机架式安装，支持计算存储超融合架构，硬件虚拟化，在线扩容的灵活性以及支持服务器智能管理等新特征，易用易维护，模块化与热拔插部件设计，支持在线不停机系统维护。具备卓越的可靠性、可用性和可维护性（RAS）。1）9台计算存储节点具体参数要求如下：项目技术指标要求高性能服务器外观采用2U机架式服务器CPU配置2颗X86架构CPU，每颗≥16核，主频≥2.9GHz。内存配置内存≥16*32GBDDR4，单根内存条要求≥32GDDR42933，服务器专用内存，含ECC纠错功能；硬盘配置系统盘≥2*240GSSD（企业级），配置缓存盘≥2*1.92TSSD（企业级），配置数据盘容量≥4*6THDD；磁盘槽位≥12个3.5寸硬盘插槽；网口配备≥4个10GE端口（包含4个万兆多模光模块），配备≥4个GE端口。带外管理标配BMC诊断模块，可实现对CPU/内存/硬盘/网卡/风扇/温度/电源等关键部件的故障诊断；电源配置双电源冗余。服务包含3年硬件保修和3年软件升级服务。2）2台计算存储节点（GPU）具体参数要求如下：项目技术指标要求GPU服务器外观采用2U机架式服务器；CPU配置2颗X86架构CPU，每颗≥16核，主频≥2.9GHz。GPU配置≥2*NVIDIARTXa6000GPU卡内存配置内存≥16*32GBDDR4，单根内存条要求≥32GDDR42933，服务器专用内存，含ECC纠错功能；硬盘配置系统盘≥240GSSD（读写混合型），配置缓存盘≥2*1.92TSSD（读写混合型），配置数据盘容量≥4*6T；磁盘槽位≥8个2.5/3.5寸硬盘插槽；网口配备≥4个10GE端口（包含4个万兆多模光模块），配备≥2个GE端口。带外管理标配BMC诊断模块，可实现对CPU/内存/硬盘/网卡/风扇/温度/电源等关键部件的故障诊断；电源配置双电源冗余。3）3台分布式存储设备技术要求技术指标指标要求硬件配置采用通用X86架构服务器，提供12个热插拔驱动器位，配置一颗2.4GHz/10核IntelXeonSilverCPU，配置>=32GB内存，6块960GB固态硬盘，24块12TBSATA机械硬盘；配置2*1GbEthernet+2*10GbEthernet，标配1块240GB存储容量的SSD系统盘，冗余电源。基本要求国内知名厂商，非OEM产品，非联合产品。存储分为硬件和软件两个部分，硬件使用通用X86服务器，软硬件解耦。软件部分按容量进行统一授权，同时提供块、文件、对象、大数据存储服务，软件一次授权终身使用，快照、缓存加速池等高级功能全部免费开放，无需重复付费。系统架构采用全对称分布式架构，元数据和数据的融合部署到存储节点上，不需要使用独立管理节点（元数据节点或索引节点）；元数据、数据均采用集群方式部署，任何一个节点出现故障，不影响数据的正常访问在不停机情况下，既能够通过向集群中添加存储节点，也能够向节点内添加硬盘的方式，在业务不中断情况下实现灵活扩容对象存储对象存储桶提供多版本能力，开启多版本后，桶中的对象都以多版本形式存储。同时，可自定策略删除多版本数据，从而清理过期数据，释放被占用空间。对象存储支持SSL访问加密，通过购买受信任CA认证中心颁发的数字证书，然后应用在对象存储，可将HTTP访问转换成HTTPS，提供认证加密功能。在客户端和服务器端之间建立加密通道，保证数据在传输过程中不被窃取或篡改。配置对象存储Qos功能，可以设置不同用户访问某个bucket的带宽/请求数上限，从而防止边缘业务的过多资源占用。管理平台内置数据检索功能，支持通过对象名称前缀对海量数据进行秒级快速检索，在5秒内能返回检索结果。文件存储同时提供NFS、CIFS、FTP以及原生HDFS四种存储接口，无须在应用层安装插件，减少业务系统改造成本，满足不同应用系统对存储接口的要求提供一个统一的全局命名空间，系统内所有节点的存储资源被整合为一个超大容量的文件存储空间，资源完全共享，避免存储空间因为提前划分造成浪费，文件系统内任意数据可通过任意节点进行读写访问。配置目录级快照功能，可按时间点策略进行快照，支持快照数≥1024个。快照重命名，删除快照链上任意快照点，以及快照点任意文件数据回滚，以达到数据的精准恢复。块存储支持FCSCSI、iSCSI两种块存储接口支持配置Chap认证，支持单向认证、双向认证和不认证多种认证方式提供定时快照保护，支持按照时间点、时间段为LUN或一致性组设置定时快照策略，实现数据的本地定时备份提供一致性组快照，支持将多个LUN加入一致性组，并支持创建一致性组快照，对数据库进行数据保护。兼容性提供原生HDFS协议，无需使用专用客户端即可无缝对接HADOOP平台，从而确保存储性能，以及降低运维部署复杂度。应用集成插件，支持VMware等集群软件，支持虚拟存储API接口，使得虚拟机的部分操作能通过存储控制器来完成；支持VAAI；可靠性支持硬盘亚健康预测、检测和故障自动处理，静默错误检测，能够提前预判硬盘故障风险，做好硬件更换准备，并在界面上做出提示支持多副本冗余功能，支持2个或以上副本，副本互斥地保存在集群的不同节点，当1个或多个主机或者磁盘故障，确保数据依旧正常访问。性能缓存层采用通用SATASSD，文件和对象存储可实现单节点4k小文件随机读写不低于1万OPS，3节点不低于3万OPS块存储单节点混合配置（缓存层采用SATA接口SSD，容量层采用SATA接口HDD）提供至少10万IOPS。集群可实现线性增长，三节点满足30万以上IOPS处理能力（4KB随机读模型）运维管理支持块存储LUN和主机间拓扑展示功能，当前授权服务器和LUN之间的对应关系方便用户查看以及故障定位。支持查看对象存储bucket的访问性能，支持查看bucket最近一周内的性能访问趋势（带宽、OPS、时延），便于管理员掌握业务访问情况及快速定位业务访问故障。支持对硬件平台的CPU、内存、磁盘、网卡状态进行监控和页面展示，并模拟实物服务器，硬件的故障亮灯展示在监控界面上，比如硬盘故障亮灯2.超融合计算虚拟化技术要求项目技术指标要求计算虚拟化产品要求虚拟化软件非OEM或贴牌产品，禁止借用第三方软件的整合，以保证功能的可靠性和安全性。平台架构采用分布式管理架构，去中心化，管理平台不依赖于某一个虚拟机或物理机部署，采用分布式架构保障平台更可靠虚拟化软件应基于KVM开发，可维护性好，部署时无需绑定安装OpenStack相关软件基本要求虚拟机可以实现物理机的全部功能，如具有自己的资源（内存、CPU、网卡、存储），可以指定单独的IP地址、MAC地址等兼容性要求：支持现有市场上主要国内外操作系统，包括Windows、CentOS、RedHat、Ubuntu等。提供虚拟机启动、暂停、恢复、休眠、重启、关闭、克隆、迁移、删除、快照等功能的批量操作提供集群HA（高可用），DRS（动态资源调度）功能性要求支持集群动态资源调度功能DRS，可以查看集群资源调度信息，可以通过CPU和内存查看物理主机的负载情况，可以通过特定虚拟机调度配置展示物理主机负载过高时，自动将该物理主机上的虚拟机迁移到其他负载较低的主机上具有合理的内存调度机制，支持内存回收机制，实现虚拟化平台内存资源的动态复用，并支持手动设置内存超配机制，能够实现内存的过量使用，保证内存资源的充分利用支持虚拟机跨集群的虚拟机迁移，支持在不停机的状态下跨集群迁移支持设置告警类型（紧急和普通）、告警内容（集群、主机、虚拟机、CPU、内存、磁盘），针对告警信息平台可自动给出告警处理建议，同时支持将告警信息以短信和邮件方式发送给管理员创建或编辑虚拟机时，支持对磁盘IO进行限制，从而保障集群的QoS在超融合管理平台界面上提供虚拟机删除、开关机、挂起与恢复、重启、关闭、关闭电源、克隆、迁移、备份、模板导出、快照、标签管理等功能，并支持批量操作。支持在控制台和CLI提供基础的命令行功能，通过命令行可以进行基础的排障操作，简化用户运维操作平台监控告警基本资源监控功能，查看CPU、网络和磁盘已使用实时数据信息，可以点击告警设置对CPU、网络和磁盘进行占用阈值设置操作，可以以告警通知维护管理自动收集所有的相关的软件的日志，告警，提供告警合并和日志审计功能虚拟机调度策略支持互斥和亲和策略，可指定虚拟机运行到指定主机组，提供基于主机组的调度策略支持对超融合平台的硬件进行监控和大屏展示，包含CPU、内存、网卡、硬盘、存储等硬件健康检测，便于及时发现问题并提供相应异常检测项的恢复指导建议支持修改虚拟机的配置参数，包括：存储策略、运行位置、是否重要虚拟机、是否高性能虚拟机、CPU个数、内存大小、自动启动等；支持弹性伸缩，可设置一组相同角色的虚拟机，按照CPU或内存的平均使用率指标，通过预订的伸缩策略，自动的创建/删除云主机.显卡虚拟化支持在编辑虚拟机时进行显卡设置操作，可选择显卡的使用方式，包括直通和切分，查看显卡的直通使用方式详情，包括数量和显卡型号、最大分辨率和单核心vGPU数，查看显卡的切分使用方式详情，包括显卡型号、切分方式、显存容量、最大分辨率和单核心vGPU数支持修改虚拟机绑定的显卡切片类型，虚拟机重启后生效，例如：将T4-1Q更改为T4-2Q支持显卡直通和显卡虚拟化2种方案，兼容T4、V100、A40等专业显卡支持基于KVM开源虚拟化平台的显卡虚拟化切片技术，能将显卡切片后直接绑定给某个虚拟机使用，虚拟机关机后自动释放显卡资源3.超融合存储虚拟化技术要求项目技术指标要求存储虚拟化产品要求存储虚拟化软件非OEM或贴牌产品，禁止借用第三方软件的整合，以保证功能的可靠性和安全性。架构要求采用分布式的软件定义存储架构，在通用服务器部署，把所有服务器硬盘组织成一个虚拟存储资源池，提供分布式存储服务，无需独立的元数据及控制器节点，使用超融合管理平台统一管理，无需在计算虚拟化平台上部署存储控制器，同个管理平台支持≥256个节点。平台架构采用分布式的软件定义存储架构，在通用x86服务器部署，把所有服务器硬盘组织成一个虚拟存储资源池，提供分布式存储服务，无需独立的元数据及控制器节点；通过新增物理服务器可以实现存储容量和性能的横向扩展（Scale-Out架构），扩容过程保证业务零中断。支持存储虚拟化功能，无需安装额外的软件，存储虚拟化与计算虚拟化为紧耦合架构，减少底层开销，提升性能功能要求可以根据业务需求分配固定的物理存储空间、支持精简配置，可以根据应用实际写需要时才分配相应的物理存储空间。支持通过智能小文件合并技术，对海量小文件场景下的性能进行优化，有效提升数据写入效率。支持卷快照，支持可写快照、定时快照，一致性组快照；支持链接克隆、完整克隆。具有存储缓存机制提供冷热数据分层能力，将热数据存储在高速缓存层（如SATA固态硬盘、PCIe固态硬盘等），以保证访问热数据时能够快速返回成功。定期将缓存层上的冷数据回刷至底层机械硬盘（HDD），腾出空间使得业务数据写入时无需等待即可快速写入缓存层。支持通过延伸集群的方式实现跨数据中心的数据双活，每个数据中心均保存完整的数据副本，数据同时写入到两个数据中心，任何一个数据中心故障，数据零丢失，业务分钟级别恢复，实现RPO=0、RTO分钟级支持对虚拟磁盘设置不同的分层QoS能力，区分出高性能虚拟机、普通性能虚拟机和低性能虚拟机副本机制要求：支持多副本保护机制，支持依据业务数据重要性进行灵活设置副本数量机制。支持2个或以上多副本冗余功能，且多副本支持副本聚合策略，数据以性能优先为原则进行存储，将虚拟机的一份完整数据副本自动放在运行的物理机上，提高读写性能。软件支持副本散列策略，数据以分布均匀为原则，实现数据存储匀化分布。数据自动重建要求：磁盘或者节点故障之后无需人工干预，数据在集群内硬盘的剩余空间中自动重构。支持对虚拟机业务按照小时/天/周自定义设置定时快照策略，以便业务发生故障时可以快速回滚覆盖原虚拟机或者通过对快照进行克隆的方式生成全新虚拟机，进而恢复至业务健康状态。块存储支持多种存储配置；磁盘精简分配根据应用实际写需要时才分配相应的物理存储空间，磁盘动态分配机制根据业务动态需求分配存储资源，实现预分配的高性能和提高磁盘利用率支持数据重建智能保护业务性能，可以对数据重建速度进行智能限速，避免数据重建过程中IO性能占用导致对业务的性能造成影响支持数据分层，提供好的读写性能，并支持对重要虚拟机提供性能保护支持选择多种克隆方式，包括快速全量克隆、全量克隆和链接克隆，可查看通过链接克隆的虚拟机是否运行正常支持存储分卷功能，以物理主机为单位划分为不同的存储卷，可将集群内全闪存的节点组成一个高性能存储池，满足高性能应用需求，将混闪节点组成一个大容量存储池，满足低性能大容量的应用需求；所有类型不同性能磁盘均可支持分区，包含SSD、SAS、SATA、NL-SAS等为保证集群业务或者oraclerac数据库业务的快照一致性，以便故障时业务可通过快照恢复，支持对虚拟机配置一致性组，对整个一致性组进行快照

3台起步即可组建集群，支持在同一个存储池（卷）内，针对不同的虚拟机，灵活地满足用户的可靠性需求故障运维支持对虚拟机或虚拟磁盘设置数据分布策略，当采用副本散列策略时，可以保证虚拟机以分布均匀优先为原则，打散分布均匀在各物理主机上支持磁盘健康状态监测，包括CPU、内存、SSD、HDD、网卡、外置存储等健康状况，支持邮件和短信告警4.超融合网络虚拟化技术要求项目技术指标要求网络虚拟化产品要求产品完全自研，非OEM。基础功能在管理平台上可以通过拖拽虚拟设备图标和连线就能完成网络拓扑的构建，快速的实现整个业务逻辑，并且可以连接、开启、关闭虚拟网络设备，支持对整个平台虚拟设备实现统一的管理，提升运维管理的工作效率.可通过License激活的方式，实现网络虚拟化功能（分布式虚拟交换机、虚拟路由器、虚拟应用防火墙、虚拟应用负载均衡）超融合能够提供端口镜像功能，支持将超融合内部网络流量镜像到内部虚拟机实现网络虚拟化功能（分布式虚拟交换机、虚拟路由器、分布式防火墙），支持网络虚拟化网络和现有的Vlan网络对接。为满足用户使用IPv6地址的需求，支持为虚拟机配置IPv6地址，并可通过IPv6地址访问该业务5.云计算管理平台技术要求项目技术指标要求云计算管理平台产品要求产品完全自研，非OEM基础要求云计算管理平台，和底层资源池部分的（计算虚拟化、存储虚拟化、网络虚拟化）均为同一厂商品牌提供，并可以支持扩展同一品牌的网络和安全虚拟化（虚拟应用防火墙、虚拟应用负载均衡等）功能软件，以保障平台的扩展性和兼容性云管平台应具备大规模资源池的纳管能力，可支持跨地域的多集群管理，多集群的物理节点纳管规模应超过1000台大屏展示支持大屏展示便于客户直观查看虚拟化资源池的使用情况和健康状态，包括集群资源情况，各主机资源使用情况，包括内存/CPU/磁盘使用趋势，以及集群故障与告警等镜像管理支持上传或利用现有云主机创建镜像，可对镜像进行管理、关联资源池等操作，可通过镜像实现一键快速创建云主机及安全软件支持管理公共镜像（ISO、内置镜像），资源池可见范围，并通过镜像直接创建云主机，支持管理租户的私有镜像（上传、删除），支持上传admin私有镜像，并可以选择分享给指定租户。支持将私有镜像转为公共镜像。云资源支持添加、管理超融合HCI、VMware类型的集群，并