京东Openstack实战应用(纯干货)何雨

京东Openstack实战应用京东基础服务部总监何雨heyu@中国梦，我的梦梦想开始的抉择安装&部署集群方案稳定性/可靠性易用性性能新功能、新特性中国梦，我的梦第3页—打造中国第一电商云梦想开始的抉择第4页自主研发OR基于开源项目研发？EucalyptusORCloudStackOROpenstack？CentosORUbuntu？KVM

ORXEN？最终选择：基于开源、Openstack、Centos、KVM安装&部署第5页源码搭建C版（Centos5.4且未集成KVM）D版引入Shell安装脚本（Centos5.6、半自动化）F版引入集群安装&部署工具（Centos6.0、Chef）Chef增加新功能—支持安装、部署、升级、回滚等Chef

Web

Console开发（Centos6.4）安装&部署第6页Multi-host多网络控制器br100和public分开集群方案第7页RabbitMQMySQLControllerNodeCommunicationLoadBalancer(Master/Salve)ClientBrowserPythonClientClusterNodeComputeWorkernova-computenova.virt.driverHypervisor（KVM）NetworkWorkernova-networkLinuxNetworkingnova-schedulernova-apiglance-apikeystoneDashboardglance-registrySQLConnectionRESTAPILoadBalancerRESTAPIAMQPCasts/CallHTTPDashboardLoadBalanceHTTP集群方案第8页LoadBalancerRESTAPI方案KeepaliveKeepaliveHaproxyHaproxynova-apinova-apiVIP集群方案第9页RabbitMQ集群方案—摘自RabbitMQ官网集群方案第10页MySQLDB集群方案MasterMasterSlaveClientKeepaliveVIP自动切换M/S同步M/M同步稳定性/可靠性第11页服务加入统一监控、统一日志异常补偿系统稳定性/可靠性第12页ManageAllVM/HostProcessResource（可随意Kill任何进程）WebUI稳定性/可靠性第13页ProcessResource管理范围VMHostProjectZoneRegionGlobal稳定性/可靠性第14页VM自身稳定性/可靠性提升KVM、Libvirt自身BugFixedKVM、Libvirt、QEMU——CPU、Memory、Net&DiskI/O调优KVM、Libvirt升级引入块存储、对象存储VMImageCloneS32013-10-3S22013-10-2S12013-10-1RecoveryToBackupJSSStorageBackupBackupBackup易用性第15页弹性集群易用性第16页RabbitMQ我的“兔小姐”，一匹脱缰的野马MQ加入统一日志使用QDB对MQ进行监控、报警（http://qdb.io/）使用ManagementPlugin管理MQ，将MQ操作界面化MQasaService，对外提供API调用性能第17页keystone性能改造dashboardkeystonekvs

cacheMySQLRedisnova、glanceRedis合并Table、减少表关联查询Keystone返回值过大，去掉冗余字段优化代码、并减少DB访问Keystone提供服务的性能提升10倍性能第18页glance性能改造性能改造之前，所有流量都要经过glance-api（glance-api网络带宽是瓶颈）扩展以后流量将分散到每个compute节点，得到1：n的性能提升性能第19页DB性能改造Computenova-computenova-networkComputenova-computenova-networkComputenova-computenova-networkComputenova-computenova-network……DB改造之前nova组件直接访问DBkeepalivekeepalivehaproxyhaproxyBroodBroodRedisDB封装DBAsServiceHTTPRequestTCPRequest（Yarpc—自主研发TCP+msgapck通讯框架）改造之后DB访问性能提升超过50倍新功能、新特性第20页很多新功能、新特性是Openstack目前暂不具备，但又很有必要：VMMigrate（升级内核、OS等）VMResize（可选择新的flavor进行Resize—云主机，弹性集群）DNSAsAServiceVDI（集成Spice）将物理机迁移到VM（备份物理机成Qcow2）定制C