04-CCTC2016-中国移动刘军卫-中国移动OpenStack研发和实践之路

中国移动OpenStack研发和实践之路概要部署架构测试数据分析优化方法公司和个人介绍中移(苏州)软件技术有限公司(苏州研发中心)•中国移动一级子公司，总投资31.72亿，注册资本6亿•现有正式员工550人，远期规模4500人，园区规划占地480亩•云计算、大数据、IT支撑系统以及部分应用产品等开发和应用•已经在集团一级私有云、公有云、省级资源池中广泛应用刘军卫•技术总监，负责云计算产品的研•OpenStack和Qemu社区的贡献者社区贡献OpenStack区贡献•Mitaka版本被tc-approvetag统计的patch共计25个，排名第34位•OpenStackAustinSummit入选3个Presentation(2个第一作者)•主办第一届OpenStack苏州meetup•DCOS(mesos,k8s)与OpenStack整合，提供PaaS服务•云计算开源产业联盟理事会员•数千规模物理节点OpenStack部署实践分享(OpenStack中国联盟)AustinSummit演讲主题演讲1：单Region1000个物理节点公有云环境性能分析演讲2：深入分析“有状态”应用向DCOS平台迁移实践演讲3：深入分析并定位novascheduler的性能瓶颈社区贡献og•创建并维护sheepdog-ng项目，最主要的维护者和贡献者•贡献221个patch，不停机热补丁，手动成员控制•2015年10月主办了第一届Sheepdog全球峰会Linux社区贡献•被MergedPatch81个，社区排名第211位•基于CentOS发布BC-Linux定制化发行版兼容性测试：浪潮、惠普、戴尔，宝蓝德、东方通等云计算产品线容器集群管理平台统一资源调度BC-PaaS容器集群管理平台统一资源调度BC-PaaS平台云计算门户及应用(公有云、私有云/专有云、混合云)大云企业网盘数据中心数据中心操作系统(DCOS)管理域运营管理管理域运营管理(BC-OP)资源池管理(BC-CloudMaster)云计算安全(BC-Security)定制化操作系统弹性计算(BC-弹性计算(BC-EC)弹性块存储(BC-EBS)对象存储(BC-oNest)共享文件系统(BC-NFS)网络管理(BC-vNetwork)云平台云平台操作系统(OpenStack)BCBC-Linux(Docker)Zone1(highaggregate)Zone2(lowaggregate)Zone3(windowsaggregate)Zone1(highaggregate)Zone2(lowaggregate)Zone3(windowsaggregate)BJRegion1(OpenStack)RabbitMQKeystoneNovaNeutronGlanceCeilometerSenlinIronicZone1(highaggregate)Zone2(lowaggregate)MysqlZone3(windowsaggregate)CinderHeategion(OpenStack)•南北两个数据中心统一管理(统一认证和鉴权)•数据中心内部多Region部署(异构和扩展性)Openstack和OpenNebula单数据中心超过2000个节点•根据硬件类型或者guestos类型划分AZHostaggregate作为AZ的标签•管理节点资源利用率太低部分服务容器化全面采用kollaBC-OPovaCellBC-OPBeijingDCGangzhouBeijingDCZone1(highaggregate)Zone2(lowaggregate)ZoneZone1(highaggregate)Zone2(lowaggregate)Zone3(windowsaggregate)ion(OpenStack)RabbitMQKeystoneNovaNeutronGlanceCeilometerSenlinIronicZone1(highaggregate)Zone2(lowaggregate)MysqlZone3(windowsaggregate)CinderHeat(OpenNebula)softcn并发测试softcn硬件增加SSD？APIlimits优化ApiserverrefusetocreatenewconnectionMOD_WSGI替换默认的HTTPDOlsobugsToken做前端cache994149MaxMaxTPSinConcurrencytPS02urrency1632641282565127682urrencyMaxTPSinConcurrencyTest0inConcurrencyTest0rency48163264128256512768rencyrateMySQLStatusin512Concurrency20000150001000050000QPSCommitRollbackTPS并发测试metercomputeSmetercollectorroxyBmetercomputeSmetercollectorroxyBusterMysqlter 0g0g551000010000VMs个Ceilometer-CollectorServersCPU>80%•6GnocchiServersCPU>80%TPSofMySQL>8000未来计划上线新服务：裸机服务(ironic)和分布式文件系统服务(Manila)新服务(ironic，manila)