多云管下的自动化运维架构

1、多云管下的自动化运维架构技术创新，变革未来目录 行业趋势分析 多云下运维的挑战 多云平台架构如何设计？ 困难以及挑战 资源统一管理 监控账单 未来的展望行业趋势分析2017 年主流公有云故障2018 年主流公有云故障2019 年主流公有云故障1% 的机率毁掉一家公司行业趋势分析多云下运维的挑战NginxNginxLVSLVSNginxDBDBNgxNgxLVSLVSNgxDBDBNgxNgxLVSLVSNgxDBDB业务架构不断演变多云下运维的挑战NgxNgxLVSLVSNgxDBDBRegionNgxNgxLVSLVSNgxDBDB机房NgxNgxLVSLVSNgxDBDB海外云故障时，影响

2、不及时 不可控集中式监控成本高 难统一 排查定位问题成本高 跨度大业务成本难以核算 账单难处理。多云下运维的挑战Gartner：云管理平台需要具备多云管理、自服务、计量计费、资源弹性及服务编排， 能够自动化部署和配置相关资源，可以与企业现有IT管理系统集成的服务化能力云管平台架构设计私有云公有云虚拟化接口适配多云统一编排自助服务多云管理资源优化云管平台架构设计Performance MonitoringITSMResources ManagementCMDBServiceTreeWorkFlowTicketingIntegration ConfigurationIdentity Managem

3、entIntegration MonitoringChina CloudOverseas CloudAWSAliyunTencent cloudHuawei cloudAWSAzureGoogleKsyunFusioncloudVMwareVspherePrivate CloudCloud Managed PlatformCloud foundryetcIntegration PaaS ServicesLDAPZabbixAnsibleCAFalconCAEtcPuppetOtherOrchestration & GovernanceKong Api GatewayELKAPMAutomate

4、StorageOpsnow-S3S3SecurityAnalyticsCots optimizationResources optimizationBig data platformAIOpsAIgorithmsMachine LearningOpen-falconDeployTestingCI buildingSourcecontrolVpnAvJumpserverFirewallForecast futurecostsEMRTalkingdataGrowingIOSparkNetworkotherLbsBillingotherawsOperation CenterPortal / SSOA

5、sset MgtMonitoring DashboardTicketingAsset ManageDevOpsBillingGlobal TicketingBSP AdminSecurityBigDataService PortalVXH MVMockjsGrafanaKibanaNginXEchartsElement-uiPresentation LayerServices LayerSpring FrameworkSpring BootOAuth2.0JenkinsSonarQubeGitlabInfluxdbMySQLRESTful APIAccess Layer云商接口不统一SDK异常

6、账单参数字典及转换异步任务日志统一挑战： 资源统一管理Sprint CloudSprint BootCommon挑战： 资源统一管理Rest APIAPI Gateway (Kong)EventBus SerIAMMessage QueueServiceinterceptorControllerCloud ServiceSDKSDKORM(Mybatis)Message busEvent bus clientAsync JobmanagerLog4j2OtherPrivate Cloud Public CloudMySQL ClusterRedisAuthQueryCacheMessageJo

7、b Scheduler QuartzConfig CenterRegistory Center E,云商返回数据：subnetId: subnet-03ecc249, memory: 32GB,instanceId: i-0ab3883e5a58806e7,networkInterfaces: networkInterfaceId: eni-661f745c, privateIpAddresses: association: ipOwnerId: 595042110259,publicIp: 23,publicDnsName: pute.am,privateDnsName: ernal pri

8、vateIpAddress: 2,primary: true,资源统一管理：表结构subnet_idxxxxmemoryinstance_idxxxxxxxxxxxxbuketxxxx_na meownerregionxxxxxxxxxxxxIp_address_typ exxxbalance_arnbalance_namexxxxxxxxxxxxinstance_classengineengine_vesionxxxxxxxxxxxxSDKCommon服务调用关系图Aliyun ServiceAWS ServiceHuawei ServiceOther ServiceMQQuartzAcco

9、unt ServiceRedisMySQLAliyunAWSHuaweiOther通用的参数在拦截器获取实 现，并注入到log4j的MDC使用时没有侵入，自动将通 用参数写入日志标准化：统一日志规范和记录日志方式资源统一管理：日志LoginterceptorControllerCloud ServiceInject basic infoHttpRequestLog4j2Get basic infoLog appender云商统一入库逻辑，通用字段抽取（cpu,mem,network），详细信息放子表单位不同的数据，通过base_convert 表转换（名字映射，单位转换，格式 化 ）安全组id

10、和名字在阿里和aws都不相同，通过转换后可以统一统一规则保证入库逻辑Account Service 主表与详情表拆分，统一（key,value ），兼容所有云商数据变更采用Redis缓存，数据对比逻辑统一封装，差异化自行判断后入库每个云商独立封装，Spring Cloud 将服务微服务化，统一封装：异常接口，国 际化，日志等；配置中心解决每个云商的差异以及加密。服务调用逻辑&亮点资源统一管理：展示云PaaS延迟资源监控整合报警优化业务监控信息展示挑战：监控挑战：监控架构设计CMAIaaSPaaS挑战：监控架构设计云商云商云商云商云商云商Open-FalconCMM业务业务CMDBService

11、TreeAlarm自动收敛IP 维度网段维度告警类型利用服务树节点继承快速实现报警配置Agent与云商监控关联至服务树，快速展示数据通过服务树自动生成业务关系拓扑、报警关系、可视化将原有的json rpc协议替换成GRPC，充分利用protobuf序列化的高性 能采用 tsl 协议利用证书进行加密核心功能点监控：展示跨云费用统计能力云费用与组织、业务架构联动的能力成本优化的能力挑战：账单账单数据采集处理模块挑战：账单架构云商采集云商云商提炼聚合账号设置资源关联数据存储（分层）比价优惠修改策略资源数据业务数据监控数据判定引擎执行引擎费用展示费用预测费用汇总费用分摊账单导出成本优化 新增策略预算管

12、理预算设定费用对比告警通知费用通告费用预警外部接口云商账单多云账单接口差异大、采集方式不同Aws 8小时更新一次次日账单存储桶导出API 接口费用类型差异大资源费用、服务费用、税费按需付费、包年包月抵扣、折扣、退款按小时统计数据量大技术挑战：账单的差异架构：Scheduler-Worker采集：为不同云商、不同使用模式(如AWS账单系统分DBR(Detailed Billing Reports)和 CUR(Cost and Usage Reports)存储：数据聚合：将按小时记录的原始费用聚合为按天，整体上减少数据量且不影响分析 需要分表存储：账单具有周期特性，天然适合将数据按照周期分表存储预先统计、分层存储精度：自动校验：在数据的采集、处理各阶段均加入准确性校验人工核对：加入人工核对窗口解决方案云费用与组织、业务架构联动的能力：费用数据关联到ServiceTree成本优化分两个方面：低利用率报告：