神龙裸金属Kubernetes集群运维实践

1、超大规模神龙裸金属Kubernetes 集群运维实践技术创新，变革未来目录阿里全站上云神龙 (what & why)规模化集群运维实践未来工作云原生全景图阿里全站上云2018年底：阿里经济体全面上云2019上云第一仗：基础设施上云双11顺利通过峰值流量考验神龙 X-Dragon全称：弹性裸金属服务器（神龙）阿里造“神龙” 神龙 X-Dragon优势：性能弹性支持再虚拟化2017/10 阿里云神龙正式商用 (AWS Nitro 2017/11)技术选型全面上云为什么要用神龙？高性能：去掉了虚拟化带来的 8% 的性能损耗支持二次虚拟化：使多样虚拟化技术 (Kata, Firecracker 等)

2、的探索和创新成为 可能ASI (k8s) + 容器 (runc / runv / kata / .) + 神龙 = 阿里云原生化 的最佳组合最大的电商平台之一，并池最佳化资源利用率大规模混部、优先级差异化提升资源使用效率Alibaba Serverless Infrastructure (ASI) 的基石上云效率提升物理机 (云下)神龙裸金属 (云上)交付周期周分钟级弹性扩缩容-支持性能独占独占 (优于普通ECS)硬件故障率硬盘1年故障率 2%0.8% (无本地盘)硬件维修周期周, 月分钟，天效率成本稳定云化架构集团机房物理机 + 本地存储 + Underlay网 络云上机房神龙/ECS +

3、远程存储 + Overlay网络基础设施IDC 系统基础运维天基系统CMDB安全审计单机监控ASI 平台kubelet/PouchCI/CDk8s extended Service Mesh安全容器运维管控额度管控在离线混部监控体系多租隔离上层业务集 团 业 务运维挑战规模大集群规模大 (数十个集群)，节点数量多 (数十万节点)业务线多、应用数量多、应用类型复杂 (有状态、无状态、多语言)基础环境复杂大规模 在线、离线 混部 (运维打通)装机模板、OS版本、内核版本多；内核补丁、参数不同；其他如网卡中断打散稳定性要求高性能、宕机、夯机、抖动系统架构基础监控秒级、分钟级监控内核性能指标采集监控大

4、盘在线率宕机率抖动率基线系统基础环境一致性故障自愈 (1-5-10)监控、故障发现 (1-5)本地检测 (walle, NPD) + 外部系统 (IDC、aliyun)SLI、SLO、SLA钉钉、邮件、电话报警、ChatOps 自助诊断节点故障自愈 (10)决策中心执行修复操作集中统一风控日常1人运维数十万节点统一风控监控决策自愈神龙运维事件接收事件 (doc)响应事件不带本地盘SystemFailure.Reboot带本地盘SystemFailure.Redeploy不带本地盘RebootInstance (doc)带本地盘RedeployInstance (doc) 本盘数据不能迁移运维实践 - 宕机率分析宕机关联度分析宕机趋势机房、单元、分组机型、硬件特征内核版本、hotfix 一致率宕机根因分析诊断硬件故障、运维事件vmcore 归类分析内核错误日志分析Machine Operator全生命周期导入下线维护组件终态安装升级回滚故障自愈运维事件业务置换Machine Operator未来工作稳定性、资源利用率、运维效率基于安全容器的新混部架构全业务上云、Serverles