vSphere 7 Kubernetes监管集群与控制平面揭秘

1、vSphere 7 Kubernetes 监管集群与控制平面揭秘vSphere with Kubernetes 和 VMware Cloud Foundation 4您可通过 VMware Cloud Foundation 4 获取 vSphere with Kubernetes。vSphere with Kubernetes 直接将 Kubernetes 集成和嵌入 vSphere 中，是用于运行 Kubernetes 的VMware Tanzu 产品家族的基础：使用 vSphere 和 Kubernetes针对所有现代应用延展 vSphere支持在开发团队和 IT 运维团队 (DevOps

2、) 之间进行协作vSphere with Kubernetes 和 VMware Tanzu关于 vSphere with KubernetesvSphere with Kubernetes 将 vSphere 转换为原生 Kubernetes 平台。在 vSphere with Kubernetes 中，监管集群是一种特殊的 Kubernetes 集群，该集群使用 ESXi 作为工作节 点，而非 Linux。在监管集群中，每台 ESXi 主机都运行 Spherelet 实例；Spherelet 是 kubelet 的一种特殊实现形式，直接在ESXi 上运行，而不是作为虚拟机运行。关于监管集群

3、 (1)监管集群中包含一组控制平面虚拟机，这些虚拟机可提供对监管集群的 API 访问权限。控制平面虚拟机可用作端点，便于 Kubernetes 用户使用熟悉的 kubectl 命令行界面对其 Namespace 进行管理。关于监管集群 (2)关于控制平面虚拟机 (1)控制平面虚拟机相当于 Kubernetes Master节点。这些控制平面虚拟机是在属于监管集群的主机上创建和运行的：ESX Agent Manager (EAM) 管理控制平面虚拟机的部署。DRS 可确定这些虚拟机的位置，并根据需要进行迁移。将为控制平面虚拟机自动创建虚拟机反关联规则。API 端点用于监管集群的基础架构服务和 P

4、od控制平面虚拟机的生命周期管理关于控制平面虚拟机 (2)控制平面虚拟机可针对监管集群运行基础架构服务和 Pod（类似于 Kubernetes 主节点）。控制平面网络连接控制平面虚拟机使用管理、企业和 集群网络：利用浮动 IP 从管理网络访问每个控制平面虚拟机之间的 etcd通信均使用管理网络。开发人员使用虚拟 IP 来访问基础架 构。控制平面使用集群网络与 Pod 进行 通信。关于 SphereletSpherelet 是以原生方式移植到 ESXi 的 kubelet。它使 ESXi 主机成为 Kubernetes 集群的一部分。Spherelet 具有以下功能：与控制平面虚拟机通信管理节点

5、配置启动 vSphere Pod监控 vSphere Pod关于 CRXContainer Runtime Executive (CRX) 内置在ESXi 中。它具有以下属性：半虚拟化 Photon Linux 内核具有与虚拟机相同的硬件虚拟化、边界和隔离关于 vSphere PodvSphere Pod 是一款占地空间很小的虚拟机，可运行一个或多个 Linux 容器。借助 vSphere Pod，工作负载具备以下功能：与基于 Photon OS 的 Linux 内核强隔离使用 DRS 进行资源管理与虚拟机相同的资源隔离级别与 Open Container Initiative (OCI) 兼

6、容相当于 Kubernetes 容器主机vSphere Pod 网络和存储vSphere Pod 会根据存储的对象使用不同类型的 存储。存储类型包括临时虚拟机磁盘 (VMDK)、持 久卷 VMDK 和容器镜像 VMDK：容器镜像和临时磁盘的存储策略是在集群级别定义的。持久卷的存储策略是在 Namespace 级别定义的。vSphere Pod 采用 NSX 提供的拓扑进行网络连接。比较 vSphere Pod 与 KubernetesvSphere with Kubernetes 体系架构与 Kubernetes 体系架构略有不同。主要区别在于 ESXi 可作 为 Kubernetes 节点。

7、vSphere Client 中的 vSphere with Kubernetes 对象在 vSphere Client 中，可以看到 vSphere with Kubernetes 对象。“Hosts and Clusters”（主机和集群）视图中显 示的对象包括：1Namespace 2vSphere Pod3Tanzu Kubernetes 集群4Harbor 镜像仓库5控制平面虚拟机您可以为 vSphere with Kubernetes 配置单独的边缘和计算集群：NSX Edge 集群在一个集群中运行。工作负载在单独的集群中运行。关于单独的边缘和计算集群关于分布式防火墙在所有为 NS

8、X 准备的 ESXi 主机集群上，分布式防火墙将作为 VIB 软件包在内核中运行。NSX 分布式防火墙是一种有状态防火墙。它将监控 活动连接的状态，并通过此信息来确定允许哪些网 络数据包流经防火墙：系统将通过安装在 ESXi 主机上的分布式防火墙 VIB来检查流量。被防火墙拦截的流量在离开 ESXi 主机前将处于封锁 状态。vSphere with Kubernetes 网络拓扑vSphere with Kubernetes 使用NSX 网路功能：通过 Tier-1 路由器和分布式防火墙隔离监管集群。通过分布式端口组和分布式防火墙 隔离 Namespace。默认情况下，所有 Namespace

9、 将 允许所有流量。NSX 网络先决条件在启用 vSphere with Kubernetes 之前，您必须满足以下要求：利用 NSX Data Center 3.0 准备 ESXi 集群。部署 NSX Edge 集群。创建 Tier-0 网关。网络连接要求 (1)启用 vSphere with Kubernetes 的NSX 网络连接时，需要满足几个网络连接要求。要求所需数量说明VLAN3VLAN A：ESXi TEP 池VLAN B：NSX Edge TEP 池VLAN C：NSX Edge 上行链路vSphere Distributed Switch1版本 7.0，MTU 1600IP

10、池2名称、CIDR、网关Edge2虚拟机名称、FQDN、IP、密码、数据存储网络连接要求 (2)配置 NSX 网络连接后，您还必须满足 vSphere with Kubernetes 的其他网络连接要求。要求所需数量说明管理端口组1关于管理 VDS。管理 IP5五个连续 IP、一个浮动 IP、三个控制平面虚拟机 IP 和一个用于滚动升级的 备用 IP。NTP IP1必须是 IP 地址。不支持 FQDN。Pod CIDR1为 vSphere Pod 提供 IP 地址的私有 CIDR 范围。这些地址还可用于 Tanzu Kubernetes 集群节点。至少 /24 个子网。服务 CIDR1将 IP 地址分配给 Kubernetes 服务的私有 CIDR 范围。至少 /16 个子网。Ingress CIDR1至少 /27 个子网。与 Edge 上行链路相同的 VLAN。不得与 Egress 流量叠 加。Egress CIDR1至少 /27 个子网。与 Edge 上行链路相同的 VLAN。不得与 Ing