（3）IT运维管理：ITIL先锋论坛-某互联网公司多活稳定性运维架构解析和实践经验

多活架构解析多活最佳实践多活管控治理多活架构解析应用数据(主)应用数据(备)单活/灾备同城多活应用应用数据(主)应用数据(备)单活/灾备同城多活应用数据(从)数据(主)应用异地多活应用数据B...应用应用数据B...应用数据B...应用应用数据B数据B...同城多活同城多活50%流量调度50%,'50%流量调度50%,' Service、 Service读/写写读•无法抵抗城市级别故障/灾难，但极端灾难发生概率比较低；读/写写读存储(从) 存储(主)存储(从) 存储(主)•复杂业务场景下链路会出现频繁跨机房调用增加响应时间，影•业务调用单元内封闭，少量跨机房调用，保障耗时和用户体验异地多活数据分片A数据分片B双向同步数据分片B ServiceService读/写/写读数据分片A数据分片B双向同步数据分片B ServiceService读/写/写读 数据分片A双向同步•南北向流量管控•用户纬度Hash路由•SLB&GW•南北向流量管控•故障降级重试•Discovery•东西向流量管控•缓存一致性维护•纯缓存场景改造•TopicSync消息双向同步•Global/Local/None消费模式•Proxy读写路由、容灾切换•支持MySQL/TiDB/KV•主从单向同步、双向同步•高可用容灾切换•多活资源可视化•多活定义、编排•切流预检可观测上海可用区1上海可用区2SLBSLBGZSSLBSLBGZS读读Cache读读Cache删除/更新Cache删除/更新Cache删除/更新删除/更新JobJobJobJob读/写GZDB/KV读/写GZDB/KV读读/写GZDB读读/写GZDB/KVHTTPDNSHTTPDNS南北向南北向上海可用区2上海可用区1上海可用区2上海可用区1SLBSLBSLBSLB东西向东西向上海可用区1上海可用区2上海可用区1上海可用区2读读CacheCacheSidecar/ProxylessSidecar/Proxyless删除/更新删除/更新读读CacheCacheSidecar/ProxylessSidecar/Proxyless删除/更新删除/更新Sidecar/ProxylessSidecar/ProxylessJobJobSidecar/ProxylessSidecar/ProxylessJobJob读/写读/写读GZDB/KVGZDB/读/写读/写读GZDB/KVGZDB/KV可用区2LocalLocalLocalLocal可用区2Sync可用区2Sync上海可用区2上海可用区2SeqSeq读/写读读/写读读读/写读读/写读读读/写 GZDB/KV上海可用区1读/写 上海可用区1读/写上海可用区1 上海可用区1 读/写 RZDBRZDB一 上海可用区2上海可用区2读/写读/写Seq读读/写读读/写1、业务分级：业务访问量、用户体验及营收影响与产研商定多活改造的场景确定业务场景1、依赖应用、接口，强弱依赖划分、多活情况2、依赖中间件、组件梳理接口依赖梳理1、涉及的消息队列梳理3、下游处理消息方式消息场景梳理接口链路梳理1、场景涉及业务流程梳理2、涉及服务、接口梳理数据存储梳理1、数据分类、一致性要求2、数据可丢失性、可恢复性3、涉及存储、缓存使用方式改造实施上线1、业务架构、中间件改造方案2、多活管控接入、多活验证方案3、多活切量执行预案SLBSLBSLBSLBGZS SLBSLBSLBSLBGZS GZDB/KV GZDB/KVSLB上海可用区2上海可用区1上海可用区2SLBSLBSLBSLB Seq路由计算/纠偏路由计算/纠偏Job读/写JobJob读/写Job冲突处理冲突处理读/写 读/写 •增加分片字段、校验时间字段•写入DB加入分片ID，拆分多行，各可用区只写本可用区的数据•Sidecar/SDK流量代理•业务维度路由分片计算•校验时间字段冲突判断•根据需要执行投递冲突消息/覆盖/暂停•单元独立部署•全部分片数据合并计算R华南可用区1上海可用区1上海可用区2R华南可用区1SLBSLBSLBSLBSLBSLB读读读读读读CacheCache删除/更新删除/更新CacheCacheCache删除/更新删除/更新CacheJob删除/更新Job删除/更新JobJobJobJob读/写读读读/写读/写读读读/写CZDB/KVGZDB/KVCZDB/KVGZDB/KVGZDB/KV规则类型：非标的多活规则规则类型：非多活规则•容量巡检：CPU/MEM、连接池、限流等••单可用区多活流量闭环•业务强弱依赖故障演练••单可用区多活流量闭环•业务强弱依赖故障演练••隔离巡检：存储资源是否跨业务混用•编排预检可观测验证切量编排预检可观测验证切量•巡检指标观测业务多活流量观测业务/应用•巡检指标观测业务多活流量观测业务/应用SLO指标观测••定义多活类型•••接入层规则编排：DCDN•••数据层编排：KV、DB••消息层、东西流量编排：支持中切量申请、切量对象选择切量申请、切量对象选择••••