超大规模仓储系统数据库运维方案

1、京东物流超大规模仓储系统数据库运维方案技术创新 变革未来目录目录Part one京东仓储管理系统(WMS)介绍京东仓储管理系统(WMS)京东仓储理系统(WMS)是京东最核心的生产系统，拥有电商行业独有的超大规模仓储系统集群，涵盖在库入库出库等仓配环节，目前京东库房已覆盖全国并拓展至全球，帮助京 东物流超构建超强仓配体系，保障全球京东客户极速购物体验。仓储配货送货WMS版本演进早期WMS系统基于SQL Server数据库开发，后迁移至MySQL数据库。WMS系统特点高可用和高性能业务快速增长需求复杂多变本地部署集中部署本地机房优缺点较低网络延迟 客户端性能稳定搭建成本高 运维难度大小仓资源利用率

2、低 大仓服务器难扩容短时间断网 库房正常生产服务器调拨困难 备用机器使用率低单机房故障 影响范围可控仓储集中化部署全国区域机房京东云机房总部IDC机房WMS数据库架构主库从库主库从库生 产 数 据 库主 库从 库报 表 数 据 库Binlog数 据 同 步目录Part TwoWMS数据库运维挑战WMS数据库运维挑战数据备份策略维护。IDC机房和本地机房混合监控。数据库版本和数据库参数设置。频繁开仓关仓搬仓操作。全国DDLDML批量操作。生产和报表数据同步。生产和报表数据结转。DBA两大职责备份监控数据库备份策略备份节点备份方式备份路径保留周期备份频率备份结果系统监控报警报警实例？报警内容？WH

3、EN报警时间？HOW报警处理？WHATWHOWHY报警原因？Zabbix监控平台MPMSMS本地机房监控断网？断电？优化监控+警监控报警WHATWHYHOW等级划分类型整合多平台展示自动故障检查一键故障检查自动故障切换一键故障恢复监控预维护地图优化监控报警监控报警WHATWHYHOW等级划分类型整合多平台展示自动故障检查一键故障检查自动故障切换一键故障恢复监控预维护监控配置信息维护未部署监控实例预维护监控触发器预维护监控实例监控数据异常实例监控配置维护未部署监控实例预维护监控触发器普通报警信息监控数据异常实例重要报警信息预维护监控实例IDC机房监控物理机？Docker？火眼监控平台010203

4、兼容MDC实时拉取Docker性能数据，对物理机 和Docker 提供相同的访问接口。定制化需求根据京东数据库部署场景定制+开发 监控代理和报警。高性能轻松监控6万服务器性能。监控粒度对比数据库版本统一化数据库参数标准化热备恢复后 无法启动？ Index Merge 问题再现？多园区运维挑战业务复杂故障间题难排奎运营关注数据 研发关注应用业务增速快 开关仓频繁维护频繁 需要运维支持仓储配置管理系统(LAOS)数据库部署用户权限管理数据库表管理故障问题检测服务器管理主从配置管理数据库自动化运维平台自动开仓/关仓系统故障检测自动上线部署仓储配置管理系统运 营研 发运 维批量DDL/DML挑战组合执

5、行/定时执行消除网络影响流程变更控制识别群集变化全国批量处理简单易用可控批量DDL/DML处理数据结转平台(DAP)结转代理结转代理结转代理代理管理数据库源管理任务管理数据结转平台数据结y平台(DAP)生产报表数据同步数据同步01全置同步将生产数据库上指定表数据全量 抽取同步到报表数据库。02增置同步抽取和解析生产数据库Binlog,将 指定表的修改应用到报表数据库。生产报表数据同步挑战30%主从切换当生产或报表数据库发生 主从切换后，需要自动识 别和修复。60%同步效率在618和双11及其他大促 期间，生产和报表存在严 重的数据8迟。10%数据对比当生产和报表存在特定时 间段的数据差异时，需要进行数据对比和修复。京东数据蜂巢(Dcomb)动态生产报表数据对比流式宽表计算主从切换识别全量数据分段并发同步默认表级别并发复制Binlog订阅推送目录Part ThreeWMS数据库最佳实践收集运维相关数据自动异常清求处理自动存储空间清理自动复制异常处理自动故障处理自动故障检测报告数据库运维建议 敬畏生产环境，心存敬畏，放能行有所止