打造全方位的数据库自动化、自助化平台

打造全方位的数据库自动化、自助化平台目

录

CONTENTS一、背景与挑战二、流程管理与上线自动化三、数据库运维管理自动化四、总结与展望背景与挑战——背景集群规模庞大业务和流程复杂架构多样背景系统压力大背景与挑战——对应运维管理解决方案数据库流程管理性能自动优化系统监控全方位的数据库平台自动自助上线部署改造配置管理备份恢复智能分析数据安全提取数据结转安全审计故障切换故障自愈分布式数据库数据自助查询目

录

CONTENTS一、背景与挑战二、流程管理与上线自动化三、数据库运维管理自动化四、总结与展望流程管理与上线自动化——流程管理与上线概要服务器资源申请分配数据库上线统一化流程化自动化数据库流程管理数据库授权数据库版本升级…...流程管理与上线自动化——流程管理与上线基础模块简图处理模块UI展示语法分析结构化联合执行表单模板工作流引擎规则引擎Manager管理端CMDBDNSBACKUP业务模块基础资源模块流程管理与上线自动化——上线自动化要点信息核对语法检测风险评估数据备份执行检查流程管理与上线自动化——上线自动化步骤说明1上线申请2语法检测3流程审批5备份及执行4预处理填写上线基础信息，并进行基础数据核查对提交的SQL流程审批环节进行可回滚的基础备份，并执行及检查执行状态评估进行语法检测流程管理与上线自动化——上线自动化常规及BI授权基于应用的信息平台1.

准确的应用分组信息2.

精细化的部门结构树规则匹配授权审核规范的审s

核流程应用获取1.

业务部门审核授权需求2.

数据库部门审核权限执行授权申请授权信息填写

关联应用平台多级审核目

录

CONTENTS一、背景与挑战二、流程管理与上线自动化三、数据库运维管理自动化四、总结与展望数据库运维管理自动化——部署与改造功能要点定制化的安装策略支持多版本，单主从，集群部署自助化下的安全控制完整部署流程控制实现研发自助化权限，DBA权限控制资产信息关联，数据库批量安装及数据库同步校验，备份及监控添加切换系统完成数据库集群的改造数据库集群改造切换批量化资源回收应用状态查询，数据销毁，资产信息回收数据库运维管理自动化——部署与改造安装部署流程简述信息初始化主从设置安装及关联1.项目及数据库集群信息获取1.数据库集群批量化添加1.数据库集群安装及架构信息自动更新2.集群主机监控自主添加2.版本及主机信息配置批量化设置3.系统安装环境初始化2.设置集群数据源3.集群安全选项设置3.集群备份设置数据库运维管理自动化——部署与改造扩容部署•集群数据同步•数据源取数据•批量校验集群数据数据获取安全性同步及校验拆分及切换结果确认•••备份进程监控•扩容是否完成••集群读库拆分扩展从库流量切换•

CMDB信息是同一网段任务数限制压缩传输否更新成功数据库运维管理自动化——部署与改造改造中的挑战及多个机房、几千台数据库，大规模的数据部署机房、多核心系统数据库切换不容有失，切换复杂能、稳定性的要求，出现的异常情况处理挑战大量切换信息沟通，信息沟通的时效性数据库运维管理自动化——部署与改造改造环境部署基础信息1.

项目基础信息2.

数据库集群架构3.

研发erp、权限1.

基础环境部署2.

数据库从库的批量部署3.

批量部署中安全性考虑关联系统部署批量部署1.

集群架构信息批量化更新2.

监控信息自动添加3.

备份自动部署数据核验1.

定时批量的数据校验2.

异常数据的修复数据库运维管理自动化——部署与改造改造切换技术点数据库集群的批量化切换切换过程中的数据一致性问题集群切换异常情况下的回滚超大集群切换的安全管理关联应用系统的一致化调整切换数据库运维管理自动化——部署与改造改造解决方案单机切换按集群切换无缝切换多维度切换按项目切换切换系统数据库运维管理自动化——部署与改造切换中任务展示项目信息切换类型源机房目标机房任务创建数据库运维管理自动化——部署与改造切换中实例展示跨机房按项目子任务执行多集群数据库运维管理自动化——部署与改造研发自助化集群架构信息查询应用连接情况查询集群DNS查询数据库性能指标查询数据库运维管理自动化——故障切换故障切换方案自动切换（dbswitch）切换平台•

DBA自研发，运用在可自动切换的数据库集群•

数据库异常状态监测及自动切换•

实现数据的自动补齐、校验•基于故障点切换•

基于集群切换••基于项目切换基于机房的切换数据库运维管理自动化——系统监控监控架构简图数据展示自定义日志告警处理数据报表资数代理层产据网络数据库OS信库息层故障处理规则匹配接口层数据持久层监控项数据处理数据采集数据库运维管理自动化——系统监控监控自动化管理监控信息自动添加信息获取告警分级失效监控自动处理设备的自主资产信息实扩展信息的取按问题严重性划等级过期设备自动监控信息清理应用的自定及触发条件处理报警信息监控项自动汇息并上报处理间阶段进行级，持续报逐级上报业务应用分组显示应用监控阀态调整数据库运维管理自动化——系统监控监控功能优化优化系统监控项，降低监控服务压力，提高监控主机数量提高监控粒度，优化监控阈值和策略，提高可靠性及时性不同级别报警信息实现自动恢复，提高故障恢复时效性优化监控数据的展现，提供对更丰富直观的性能监测数据数据库运维管理自动化——智能分析容量管理•性能指标监控•集群数据汇总•性能瓶颈分析性能指标数据分析•数据库及OS性能指标•同比环比数据•TOP数据分析•汇总数据统计性能分析分析•延迟及响应时间监控•数据库日志监控•慢查询日志日志分析数据库运维管理自动化——智能分析慢日志订阅用户接入与权限控制Client1Client2Client3订阅日志订阅日志订阅日志用户订阅/配置慢SQL日志海支撑灾备中心慢日志的分析,慢日志管理展示与推送慢日志的采集数据库运维管理自动化——故障自愈•

一定规则下的异常SQL处理异常SQL的自动处理•

binlog、备份文件在一定条件下故障自愈调整(非日常释放)MySQL参数的自动调整•

连接数一定范围内调整•

性能参数一定条件下调整磁盘空间自动处理数据库运维管理——多中心交易管理IDC-AIDC-BMasterMasterSlave

(row)

Slave

(row)Slave

(row)Slave

(row)DataBusRelayDataBusReplicatorD

a

t

a

B

u

sDataBusSnapshotDataBusRelay(Standby)(Standby)Zookeeper

ObserverZookeeper

LeaderZookeeper

FollowerZookeeper

FollowerZ

o

o

k

e

e

p

e

r双中心同时提供读写服务，异地数据库之间通过数据总线进行同步数据数据库运维管理自动化——备份恢复下载备份文件检测上传状况云存储下载备份文件检测备份状况数据恢复服务器备份存储服务器备份存储服务器备份存储服务器数据库管理系统分发备份