HULK集群调度系统技术演进

1、技术创新，变革未来HULK集群调度系统技术演进目录HULK架构演进调度系统痛点、解法弹性伸缩痛点、解法经验总结缘起：容器实践：统一运行环境，提升交付效率。弹性调度：提升业务的资源利用率。命名由来：漫威里面的HULK在发怒的时候会 变成绿巨人，这点和我们容器的“弹性伸缩” 比较Match。HULK项目HULK的演进HULK 1.0基于OpenStack演进打通CMDB、服务治理、 发布平台、监控平台等， 验证容器的可行性HULK 2.0基于Kubernets演进打磨弹性策略、调度系统 建设容器运营平台基础系统软件加强自研内核，提升安全隔离线上9000+应用，70000+容器HULK2.0架构图服

2、务治理发布平台测试部署OPS容器弹性服务画像镜像管理DockerHULK agent容器运行时监 控 管 理 平 台安 全容器编排目录HULK架构演进调度系统痛点、解法弹性伸缩痛点、解法经验总结调度系统-业务扩缩容异常痛点：运维成本高解法：全链路监控建设可视化平台Hulk-Portal扩缩容组件策略配置中心K8s 组件Container-init进程Ip分配服务12345日 志 中 心日 志 中 心ESPortal管 理 平 台成 效 ： 1.问题排查提效：多人联合花大 半个小时到单人分钟级搞定2.系统瓶颈可视化调度系统-业务定制化需求痛点：更改核心链路代码，灵活性 不够解法：建设一体化配置平

3、台容器系统参数容器环境变量基本策略扩展策略（如指定宿主机、N+1容灾需求）分组策略实例定制化调度规则定制化基本策略扩展策略分组策略Manifest组装容器运营平台成效：迈向自动化配置，解放运维 人员。调度系统-调度器策略Predicates（预选）node1node2node3node4node5nodeNscore1score2score5scoreNPodFitsResourcesPodToleratesNodeTaintsPodFitsHostPortsHostName。Priorities（打分）node1node2node5nodeNnode1node2node5nodeNLeast

4、RequestedBalancedResourcesAllocationSelectorSpreadImageLocality。调度系统-调度器性能问题痛点：3000台集群规模，一 次Pod调度耗时5s左右（k8s1.6版本）Cond1Cond2Cond3Cond4Cond5Cond6Cond1Cond2Cond3Cond4Cond5Cond6结束预选失败中断机制成效：生产环境验证，提升 性能40%。（PR 56926，社 区1.10版本作为默认调度策 略）解法：预选失败中断机制调度系统-调度器性能问题node1node2node3node4node1000node1node3node789n

5、ode5。node100。预选出N个Node痛点：BestFit代价高解法：局部最优成效：大大减少调度时间， 同时对调度结果未产生较大 影响。（和社区合作共同完 成，PR 66733/67555，社区1.12版本作为默认调度策 略）调度系统- kubelet的自决策问题痛点：容器重启/迁移问题：容器和系统盘的信息丢 失。容器的IP也变更了。驱逐策略问题：Kubelet会自动杀死一些违 例容器，但是有可能这个业 务是非常核心的业务。解法：容器重启/迁移新增Reuse策略，保留 原生重启策略（Rebuild）。自研CNI插件，基于Pod标识申请和复用IP。限制原生的驱逐策略调度系统-调度决策难题痛

6、点：资源最大化和SLA保障解法：服务画像，供能于调度前决 策、调度后决策。成效： 40+基础标签，N+聚合标 签，其中不少标签已经成为调度决 策的重要因素。目录HULK架构演进调度系统痛点、解法弹性伸缩痛点、解法经验总结弹性伸缩平台架构图服务治理平台应用监控平台系统监控平台数据源层数据聚合服务服务画像流量预测服务数据应用层在线策略服务弹性治理服务策略层容器运营平台（管理员侧）弹性伸缩管理平台（用户侧）发布系统SOA系统展示层弹性伸缩痛点多策略 决策不一致线上代码多版本扩缩不幂等资源 保障问题端到端时效问题实例隔离弹性伸缩痛点-多策略决策不一致新缩5台新缩2台新扩10台调度系统QPS策略周期策略

7、CPU策略新缩5台新缩2台新扩10台策略结果聚合QPS策略周期策略CPU策略调度系统新扩10台解法弹性伸缩痛点-扩缩不幂等调度系统弹性伸缩平台扩容8台返回任务ID重发扩容8台调度系统弹性伸缩平台扩到20台返回任务ID扩到20台解法弹性伸缩痛点-线上代码多版本5台版本C（最新镜像）20台版本A5台版本B应用机器弹性伸缩平台调度系统弹性伸缩平台调度系统解法5台版本C20台版本A（稳定镜像）5台版本B应用机器弹性伸缩痛点-资源保障问题新扩20台新扩15台新扩30台A服务C服务 新接入B服务调度系统资源池 剩50台 无法同时满足新扩20台A服务C服务 新接入B服务调度系统资源池 剩50台无法同时满足新扩15台新扩30台存量水位检测务资源审核服审核失败、禁止接入解法弹性伸缩痛点-端到端时效调度系统弹性伸缩平台新扩10台，分钟级监控时延：70S+ 调度链路时延：30S+调度系统弹性伸缩平台新扩10台，秒级监控+预测扩容解法弹性伸缩痛点-问题实例隔离弹性伸缩平台实例A应用机器实例B实例D实例E弹性伸缩平台实例A实例B实例C实例D实例E实例F应用机器受保护实例解法实例C实例F目录HULK架构演进调度系统痛点、解法弹性伸