面向云化网络的容器层平台技术要求

1面向云化网络的容器层平台技术要求本文件规定了面向云化电信网络的容器层平台相关技术要求，包括功能、性能、可靠性要求等，但不限定容器层的部署形态，如虚拟层集成的容器层、NFVO集成的容器层等，本文件所描述的容器层包括独立的容器层平台及其它设备集成的容器层模块。本文件适用于容器层平台技术方案制定、产品研发、资源池建设、业务部署和运营等。2规范性引用文件本文件没有规范性引用文件。3术语和定义下列术语和定义适用于本文件。容器集群ContainerCluster一套由服务器等物理设备、物理设备上运行的容器运行时及编排软件组成的完整系统用于保存配置数据的键值对集合机密信息Secret用于保存密码、令牌、密钥等敏感数据的逻辑资源。由外部存储系统管理的通过CSI接口为容器申请的持久化卷。2为租户分配的依托于物理网络存在的逻辑网络。部署Deployment为Service对应POD提供访问入口的四层或七层负载均衡规则，由外部网络入向控制器(IngressController)管理，外部网络入向控制器包括多个外部网络入向控制器实例(IngressController自动伸缩器HorizontalPodAutoscaler基于监控特定指标以实现对Deployment或StatefulSet进行自动扩缩容的逻辑对象。3网络策略NetorkPolicy为POD提供出向或/和白名单或/和黑名单的一种网络策略。租户定义的执行特定后台任务的一种逻辑对象。租户定义的任务自动执行计划。下列缩略语适用于本文件。CCM容器集群管理器(ContainerCCIM容器基础设施管理(ContainerOCI开放容器计划(OpenCNI容器网络接口(L745容器层架构5.1容器层基础架构图1容器层架构图1.容器集群管理器(ContainerClusterManager)容器集群管理器是资源池内容器镜像/包、容器集群的管理系统，负责存储和管理容器镜像/包，负责管理用户、用户组并进行授权认证，负责配置节点、存储、网络并组建容器集群，负责对所组建的集群进行初始化配置。并负责集中运维2.容器基础设施管理器(ContainerInfrastructureManager)容器基础设施管理器是资源池内节点、存储、网络等基础设施的管理系统，负责将资源池内节点存储根据组网要求构建资源池，缓存容器镜像/包，并根据管理命令，调用CIE对容器进行编排，参与容器的生命周期管理过程。容器层以独立的平台形式部署时，其基础设施管理器模3.容器基础设施引擎(ContainerInfrastructureEn容器基础设施服务引擎是容器的直接供应者。它负责根据CDM的要求，分配和组织资源、构建和交付容器、执行容器管理命令。5容器层与周边系统的相关接口见表1:COI通过该接口为资源池管理器(比如云管平台、NFV0等)设备提源管理，包括集群管理、镜像/包管理、集群用户/用户组CIM通过该接口为资源池管理器(比如云管平台、NFY0等)设备提CIM通过该接口为业务编排器(比如VNFM)设备提供业务容器CCI通过该接口调用VIM功能，实现对集群节点(虚拟机或棵机)及CIM通过该接口调用VIM功能，实现对挂载给集群节点(虚拟机或裸机)业务管理器(如0IC)可以通过该接口直接管理业务POD,而无需7a)节点类型，可选值：物理节点或虚拟机节点b)CM版本，可选值(上传并关联VIM镜像):各运营商自行根据需求选择c)CIE版本，可选值(上传并关联VIM镜像):各运营商自行根据需求选择d)CPU逻辑核数量/内存页大小及数量，可选值：资源池统一规划e)GPU数量，可选值：资源池统一规划0系统盘容量/数据盘容量及数量，可选值：资源池统一规划9)扩展属性，可选值：资源池统一规划CCM应支持创建集群、修改集群、删除集群、扩容集群、缩容集群等管理功能。a)CCM创建集群时，可指定集群名、集群类型(托管模式或独享模式)、描述、所属VIMID、CIM节点规格/数量、按CIM租户指定的CIE节点规格及数量、后端存储容量等信息，CCM根据这些信息自动创建集群，包括创建VIM租户/配置配额和创建VIM用户/分配角色、创建虚拟机和发放裸机、配置网络、配置存储类和快照类等b)CCM修改集群时，可指定新描述、对应VIM用户新密码等信息，COM根据这些信息自动更新集群。c)CCM副除集群前，需用户自行删除集群内所有业务POD和所有卷、快照，CCM在执行删除集群操作时，需制除集群创建过程中生成的各类VIM资源。d)CCM扩容集群时，可按CIM租户指定CIE节点规格及数量或/和指定后端存储容量等信息，CCM根据这些信息自动扩容集群，包括更新VIM租户配额、创建虚拟机或发放裸机等。e)CCM缩容集群前，需用户自行删除需缩容的节点上的所有业务POD,CCM在执行缩容集群操作时，可按CIM租户指定需缩容的CIE节点或/和指定后端存储容量等信息，COM根据这些信息自动缩容集群并回收资源。98容器管理要求8.1.1系统组成鉴权系统包括账号管理、认证管理、租户管理、配额管理、权限管理五部分内容，它们之间的关系如图2所示：租户P租户图2鉴权系统逻辑示意图提供用户及用户组的管理功能，包括创建、删除、修改和查询等功能。支持在用户组中增加、删除和查询用户的功能8.1.3认证管理提供用户身份认证功能，访问系统的用户必须要先向CIM进行身份认证通过后才能登录，CM为正确登录的用户发放有效的的令牌。当用户以令牌为凭据访问CLM的功能和接口时，CIM负责对令牌进行有效性、时效性及权限验证，验证通过后功能和接口访问才被允许和执行。8.1.4租户管理提供租户的管理功能，支持创建、删除、修改和查询等功能。按租户进行配额管理，不同租户有各自独立的配额，要求默认配额为不限定各类资源的使用量，应支持默认配额、配额在线修改。8.1.6权限管理在满足调度策略的前提下，容器层应自动将容器调度到最少量CIE节点上。8.3存储管理8.3.1本地存储容器层应提供本地存储CSI插件，通过SI插件将CIE节点本地硬盘(虚拟机节点上挂载的直通硬盘、物理节点本地硬盘或RAID盘)配置为本地硬盘、本地分区类别的StorageClass和VolumeSnapshotClass,当StorageClassVoluneSnapshotClass被绑定到VolumeSnapShot时CSI插件应自动选择容量满足要求的未分配硬盘(本地硬盘类别)、自动选择剩余容量充足的硬盘创建分区(本地分区类别)后作为PersistentVolume或VolumeSnapShotContent。本地硬盘、本地分区类别的StorageClass应在POD挂载卷时分配PersistentVolume。本地硬盘、本地分区类别的VolumeSnapshotClass应支持Retain、Delete删除策略。8.3.2后端存储容器层应提供基于Cinder的CSI插件，通过调用虚拟层接口为物理节点和虚拟机节点实现后端持久卷类别的StorageClass和后端持久卷快照类别的VolumeSnapshotClass。8.4网络管理8.4.1网络管理容器层应内置主机型(POD连接到主机网络)、路由型(POD端口和节点端口应三层互通)、交换型(POD端口和节点端口可二层互通)、直通型(POD直接使用节点物理端口)CNI插件各一种，这些CNI插件应支持单播、组播(主机型、路由型)和广播(交换型、直通型),且应支持NetworkPoliey(主机型、路由型)。容器层可为POD同时分配IPv4和IPV6地址，不同租户的POD可以使用相同CIDR和重叠的地址范围(使用主机型CNI插件的网络除外)。容器层可为POD分配的动态IP、静态IP(不会因POD的重启、在本地或其它CIE节点自愈等情况而变化)。容器层应支持为POD和服务提供DNS解析服务。容器层应支持配置存根域DNS服务器列表和上游DNS服务器列表。容器层应支持各租户拥有独立的DNS系统，也即当多个租户的POD和服务使用相同IP时，能够正确将POD和服务的IP反向解析为该租户的对应域名。8.5.1配置图编排容器层应支持编排和管理ConfigMap。8.5.2机密信息编排容器层应支持编排和管理Secret。8.5.3持久卷编排容器层应支持编排和管理PersistentVoluneClaim。进行PersistentVoluneClain编排时，PersistentVolume的硬盘标识应根据容量自动配置，当容量不高于2TB时应自动配置为nsdos,容量高于2TB时应自动配置为gpt.容器层应支持编排和管理VolumeSnapshot。8.5.5Pod编排容器层应支持编排和管理Pod。容器层应支持的Pod分为动态Pod(默认)和静态Pod,动态Pod在故障自愈后其所属主机、IP地址等可能会发生变化，而静态Pod在故障自愈后其所属主机(非主机级的故障时)、IP地址等不会发生变化，静态Pod可采用CNI调用代理程序对Pod进行重启等方式实现。为了规避Pod的容器内的僵尸进程对资源的过度占用和无效损耗而导致的性能和安全问题，容器层应支持自动检测并清理这些僵尸进程，可采用软件方式或硬件方式(当服务器提8.5.6部署编排容器层应支持编排和管理Deploynent.8.5.7状态集编排容器层应支持编排和管理StatefulSet。8.5.8服务编排容器层应支持编排和管理Service、HeadlessService。当Service、HeadlessService类型为loadBalancer时，应通过IngressControllerPOD实现分布式负载均衡功能，详见第7.5.9章。9性能要求9.1系统规模容器层应达到的规模级性能如表2所示：表2容器层系统规模要求表3容器层管理性能要求9.3业务性能表4容器层业务性能要求LB(IngressCantroller)在20并发连按数、每请求响应2KB数据时的LB(IngressController)在20LB(IngressController)在20LB(IngressController)在20并发连接数、每请求响应2KB数据时的LB(IngressController)在20并发连接数、每请求响应2KB数据时的LB(IngressController)在20并发连接数、每请求响应2KB数据时的10.5业务可