阿里云虚拟化技术自研之路

1、张献涛、沈益斌阿里云虚拟化技术自研之路议程 阿里云弹性计算服务ECS介绍 ECS虚拟化架构及关键技术 ECS虚拟化架构 虚拟机热迁移技术 Hypervisor 热补丁技术 ECS实战案例分享 阿里云ECS下一代虚拟化架构设计 未来展望2议程 阿里云弹性计算服务ECS介绍 ECS虚拟化架构及关键技术 ECS虚拟化架构 虚拟机热迁移技术 Hypervisor 热补丁技术 ECS实战案例分享 阿里云ECS下一代虚拟化架构设计 未来展望3ECS产品定位应用程序的基础运行环境ECS(云服务器)是阿里云产品体系中，最基础的计算服务，通常用作应用程序的运行环境，其最重要的特点是弹性。 每个ECS实例上都运行

2、着用户选择的操作系统，一般是某个Linux或Windows的发行版。用户的应用程序运行在实例的操作系统之上。弹性的伸缩能力ECS的最重要的特点是弹性，支持垂直和水平扩展两种能力。垂直扩展，可以根据业务需要即时的升级或降级ECS实例的CPU、内存和带宽； 水平扩展，可以根据业务需要即时创建数百个ECS实例.4ECS在阿里云中的位置Linux 集群资源管理（伏羲）安全管理（钟馗）远程过程调用（夸父）分布协同服务（女娲）（大禹）集群布署（神农）集群监控分布式文件系统（盘古）任务调度（伏羲）云服务引擎 ACE弹性计算服务ECS关系型数据库服务RDS开放数据处理服务ODPS议程 阿里云弹性计算服务ECS

3、介绍 ECS虚拟化架构及关键技术 ECS虚拟化架构 虚拟机热迁移技术 Hypervisor 热补丁技术 ECS实战案例分享 阿里云ECS下一代虚拟化架构设计 未来展望6议程 阿里云弹性计算服务ECS介绍 ECS虚拟化架构及关键技术 ECS虚拟化架构 虚拟机热迁移技术 Hypervisor 热补丁技术 ECS实战案例分享 阿里云ECS下一代虚拟化架构设计 未来展望7ECS软件架构8后羿控制系统计算虚拟化存储虚拟化网络虚拟化盘古分布式存储ECS软件架构Hypervisor 虚拟层(Including Xen , Xen Tools, Xend等)基于成熟的开源软件Xen基于KVM的其它Hyperv

4、isor方案为优化性能和稳定性，Xen核心代码改动数百项Dom0 内核基于ali kernel+ pv_ops 内核分支，独立研发涉及数百个内核改动高性能前后端通讯技术（PV Driver)基于开源的PV Driver进行研发优化优化后的高性能Driver提供更稳定高性能服务，优化项达几十个ECS虚拟化关键技术硬件虚拟化技术CPU采用硬件虚拟化技术VT-x， 内存采用EPT方式热迁移技术底层基于Xen热迁移研发，改动超过20+项独立研发热迁移控制系统优化后的热迁移达到业界领先水平Hotfix技术独立研发Dom0 kernel Hotfix技术独立研发Hypervisor Hotfix技术，独具

5、创新型独立研发用户态进程Hotfix技术正在研发VM内核的Hotfix技术议程 阿里云弹性计算服务ECS介绍 ECS虚拟化架构及关键技术 ECS虚拟化架构 虚拟机热迁移技术 Hypervisor 热补丁技术 ECS实战案例分享 阿里云ECS下一代虚拟化架构设计 未来展望11议程 阿里云弹性计算服务ECS介绍 ECS虚拟化架构及关键技术 ECS虚拟化架构 虚拟机热迁移技术 Hypervisor 热补丁技术 ECS实战案例分享 阿里云ECS下一代虚拟化架构设计 未来展望12虚拟机热迁移技术13CPU Usage30%CPU Usage90%CPU UsageCPU Usage动态的热点均衡场景灾难

6、恢复虚拟机热迁移技术 热迁移定义 在不同物理机之间在线迁移虚拟机实例 做到VM内的业务基本无感知 热迁移技术应用场景 线上系统Hotfix 机器硬件故障修复 过保机器替换 集群内的负载均衡 绿色计算 主动运维14热迁移面临的挑战热迁移面临的挑战线上运维标准极高 要求VM Downtime控制在毫秒级 网络链接无中断 存储无感知线上系统的复杂性 镜像多样，机器型号复杂 无法在线升级hypervisor, dom0 历史遗留问题较多虚拟化层热迁移不成熟 虚拟化层Bug较多 Tool stack层热迁移算法和流程问题较多 Qemu问题也较多Guest内核及PV driver支持不足 Debian,

7、ubuntu等内核问题较多15议程 阿里云弹性计算服务ECS介绍 ECS虚拟化架构及关键技术 ECS虚拟化架构 虚拟机热迁移技术 Hotfix 技术 ECS实战案例分享 阿里云ECS下一代虚拟化架构设计 未来展望16ECS Hotfix 技术 系统Hotfix对业务运维的意义 软件系统存在Bug在所难免 宕机修复引起业务中断 在云环境中，物理机重启影响面更广 用户无感知修复，一切尽在不言中 无需宕机，增强系统的可用性 ECS Hotfix技术分类 Xen Dom0 内核 Hotfix技术 Xen Hypervisor Hotfix技术 用户态进程Hotfix技术 客户机内核的Hotfix技术1

8、7Hotfix技术是规模化业务运维立命之本Xen Dom0 内核Hotfix技术业界较成熟的Hotfix方案 Ksplice by Oracle Kgraft by Novell Kpatch by Redhat采用自主研发的AliHotfix技术 修复Dom0内核Bug 修复PV 驱动Bug 修复系统安全漏洞18Xen Dom0 内核Hotfix技术AliHotfix技术原理 基于函数动态替换技术 新函数会以模块内函数的形式链接入内核 旧函数的第一个指令改成强制跳转指令指向新函数 在替换过程中需要暂停所有CPU，切到一个内核线程并关闭本地中断。 刷新指令缓存，重新让CPU恢复执行Hotfix

9、过程中需要注意的点 修复NMI处理函数是不安全的 修复的函数正在内核栈上，修复过程是不安全的 新函数绝对不能调用旧函数，否则无穷递归 Inline函数不能被直接修复，需要修复调用者19Xen Hypervisor HotfixHypervisor Hotfix需求 Xen 安全漏洞: /xsa/ Xen功能性BugHypervisor hotfix挑战极大 Xen Hypervisor 逻辑复杂 Xen 是type-1 Hypervisor, 不允许Dom0访问Hypervisor内存 线上系统无法新增Hotfix接口Hypervisor hotfix

10、 是创新性工作 仅理论上可行的一种方法，无成功先例 如何解决从Dom0 访问 Hypervisor内存 如何精确定位Hypervisor function 物理地址 如何精确替换有问题的代码段和数据段20Xen Hypervisor 安全架构Dom0内存Xen内存DomU内存CPU设备Dom0iommu=offDom0无法通过CPU访问Xen hypervisor内存Dom0可通过设备DMA方式访问 Xen hypervisor 内存Xen HypervisorDom0HVM DomainKernelKernelGuest ModeHost Mode系统内存如何解决Hypervisor 内存访

11、问如何通过设备DMA访问Hypervisor内存 如何构造DMA请求 不能随意构造不存在的DMA请求 需要截获一个正常DMA请求，修改DMA的目的地址，以及要写入的数据 选取哪个硬件设备， 网卡 ？硬盘？其它？ 截获DMA请求的方法 DMA请求的内存管理来自于两个函数 swiotlb_map_sg_attrs/swiotlb_unmap_sg_attrs 利用Alihotfix 替换内核的这两个函数 在新的map_sg/unmap_sg中加入过滤逻辑 筛选出特定的DMA请求，修改DMA目的地址22利用硬盘DMA请求Hotfix Hypervisor 内存议程 阿里云弹性计算服务ECS介绍 EC

12、S虚拟化架构及关键技术 ECS虚拟化架构 虚拟机热迁移技术 Hypervisor 热补丁技术 ECS实战案例分享 阿里云ECS下一代虚拟化架构设计 未来展望23实战案例一24酷炫的热迁移热迁移面临的热迁移面临的挑战（续）挑战（续）存储层面 Pangu分布式存储系统 锁争抢 cache刷新网络层面 线上网络环境比较复杂 各种型号交换机 Mac, ARP, SLB，VPC等25热热迁移增强迁移增强修复虚拟化层面的一系列问题Centos中断风暴问题Windows双鼠标光点问题ubuntu1204 2059年时间漂移问题ubuntu1204 3500次迁移失败一次问题VNC端口绑死问题RDTSC模拟引

13、起的性能问题解除Downtime和VM 内存大小的绑定修复网络层面的多个问题解决了i350网卡问题解决了mac漂移导致的交换机封端口问题解决了某型交换机在迁移场景下的bug解决了vm迁移后fake arp网络不通问题解除网络Breaktime和VM内存大小的绑定存储层面解决了锁争抢问题: chunksweep, snapshot解决热迁移vm downtime过长的问题2627实战案例二XSA-108事件亚马逊EC2重启公告http:/ Ive received a few questions about a maintenance update were performing late th

14、is week through early next week, so I thought it would be useful to provide an update.Yesterday we started notifying some of our customers of a timely security and operational update we need to perform on a small percentage (less than 10%) of our EC2 fleet globally.AWS customers know that security a

15、nd operational excellence are our top two priorities. These updates must be completed by October 1st before the issue is made public as part of an upcoming Xen Security Announcement (XSA). Following security best practices, the details of this update are embargoed until then. The issue in that notic

16、e affects many Xen environments, and is not specific to AWS.As we explained in emails to the small percentage of our customers who are affected and on our forums, the instances that need the update require a system restart of the underlying hardware and will be unavailable for a few minutes while th

17、e patches are being applied and the host is being rebooted.While most software updates are applied without a reboot, certain limited types of updates require a restart. Instances requiring a reboot will be staggered so that no two regions or availability zones are impacted at the same time and they

18、will restart with all saved data and all automated configuration intact. Most customers should experience no significant issues with the reboots. We understand that for a small subset of customers the reboot will be more inconvenient; we wouldnt inconvenience our customers if it wasnt important and

19、time-critical to apply this update.Customers who arent sure if they are impacted should go to the “Events“ page on the EC2 console, which will list any pending instance reboots for their AWS account.As always, we are here to help walk customers through this or to answer questions after the maintenan

20、ce update completes. Just open a support case.P.S. Note that this update is not in any way associated with what is being called the “Bash Bug” in the news today. For information on that issue, see this security bulletin on the AWS security center.28XSA-108近年来最为严重的安全漏洞， 造成的损失不可估量由于漏洞存在于VMM中，比心脏滴血以及ba

21、shshock更为严重严重影响基于Xen的公有云安全导致客户机可以访问大量的Hypervisor内存页 拥有读写权限 泄露大量的内存页面，包含关键信息 最严重会导致Xen Crash一个字母引起的血案 0 x3ff -0 xff Local APIC MSR连续编址到 业内寄存器稀疏编址映射存在于Xen4.1及以后的所有版本攻击成本极低 只需要用rdmsr/wrmsr指令在客户机内核读写即可29问题根源KVM 引入了客户机x2apic 支持 增强APIC访问的效率 Patch来自KVM maintainer MSR寄存器组的边界计算错误 KVM代码进行了出错处理，因此幸免Xen 移植了KVM Patch到Xen4.1 Xen无相关的错误处理，造成安全漏洞 每个vCPU就造成4个页面泄露 黑客可以通过重复启动VM，获得几乎所有的hypervisor内存30TPR.0 xfee00000 xapic:0 xfee00080 x2apic:MSR(0 x808)PA=0 xfee00000+ (MSR_index -0 x800) *