中大型企业数据库PaaS平台建设实践

1、中大型企业数据库PaaS平台建设实践01企业数据库PaaS平台建设背景02ShinDataDMP平台架构和设计03ShinDataDMP平台主要功能04客户使用总结和未来计划01企业数据库PaaS平台的建设背景在传统企业业务互联网化的背景下，企业数据库运维需求急剧增长，主要表现为运维的 数据库的数量越来越多，运维的数据库种类越越来越多，数据库的运行环境和架构越来 越丰富，应用上线变更越来越频繁。数据库数量越来越多目前某银行数据库运维团队管理着数千套 生产数据库系统，随着业务发展以及越来 越多的使用分布式数据库解决方案，数据 库的数量还在急剧增长，未来可能到上万 规模数据库种类越来越多该银行过去

2、主要使用成熟商业数据库软件， 发展到现在越来越多的使用开源数据库、 国产数据库、新型分布式数据库，以及各 种针对特定场景的NoSQL数据库数据库架构越来越丰富从过去高性能物理服务器+共享存储转变为 各种虚拟化甚至容器化部署；从过去主要 基于共享存储的双机互备高可用架构，发 展为双活数据中心、两地三中心、读写分 离、分库分表等适用于不同场景、不同需 求、不同数据库产品特性的多种架构方式。运维需求爆炸式增长在业务互联网化的转型之中，应用上线变 更也越来越频繁，这也带来了大量的数据 库运维需求。企业数据库PaaS平台的建设背景业务互联网化背景下的企业数据库管理企业数据库PaaS平台的建设背景传统数据

3、库运维方式的低吞吐量和高延时面临挑战需求驱动事件驱动技能要求高运维团队被动的为产品 或开发部门提供操作服 务，例如建库，扩容， 升级，性能优化等DBA工作繁琐，对于事 件缺乏预防机制，通常 是是事件发生后( 业务 或开发部门反馈后) 才 介入对数据库运维人员技术 要求高，同时由于缺乏 有效的运维工具导致效 率低，成本高建设运维工具优化运维体系规范运维操作提升运维效率实现自动化、自助化和智能化的统一数据库管理平台成为迫切需求为应对挑战，数据库运维团队急需建立一个统一的数据库管理平台，实现自动化、 自助化和智能化的数据库运维管理。企业数据库PaaS平台的建设背景自动化、自助化和智能化的企业数据库全

4、生命周期管理平台企业数据库PaaS平台的建设背景面向所有用户、自主可控、无缝集成、可扩展面向所有用户、自主可控、无缝集成、功能可扩展的企业数据库PaaS平台 企业数据库PaaS平台与传统数据库管理工具的重要区别在于它不仅仅作为辅助运 维的工具在数据库运维团队内部使用，而是面向企业所有用户，包括应用运维团 队和应用开发团队。 其核心思想是将数据库运维团队目前为应用部门提供的数据 库运维操作通过平台实现，形成标准化和自动化的数据库运维服务。自主可控客户之前使用过一些传 统数据库管理产品， 在 开始建设数据库P a a S 平台之前， 经过多方考 察调研， 最终决定采用 借鉴整合外部成熟数据 库管理

5、平台， 结合自主 建设整合， 建设自主可 控的数据库P a a S 平台。无缝集成客户已经拥有了丰富的 I T 运维资产， 这些运维 资产运行稳定， 经融入 了运维团队的日常使用 习惯。数据库P a a S 平 台需要与现有的运维体 系无缝集成， 这样才能 融入运维体系， 降低使用门槛， 提高接纳程度。面向所有用户数据库P a a S 平台的核心思 想是将数据库运维团队目前 为应用部门提供的数据库运 维操作通过平台实现， 形成 标准化和自动化的数据库运 维服务。因此平台的功能设计需要更 多的面向应用开发人员， 实 现面向应用开发人员的数据 库自助化服务， 提供面向开 发人员的从安装部署、上线

6、审核、性能容量优化的数据 库全生命周期管理。功能可扩展平台必须具备功能可扩展 性设计， 在大部分场景下， 通过配置就可以为平台增 加新的功能， 无需修改代 码。自主可控能够保证随时调 整需求， 但如果任何新功 能的实现都需要通过修改 代码来实现， 在成本和质 量方面都难以接受。性能可扩展和高可用平台的各服务模块要求 能够横向扩展以支持未 来更多的目标数据库。数据库P a a S 平台自身就 会对可用性有很高的要 求， 因此在设计的时候 要考虑高可用设计， 平 台中的每个服务或组件 都应该有冗余配置， 不 能造成单点故障。02ShinData DMP平台架构和设计新数科技ShinData DMP

7、平台采用微服务架构，帮助企业实现分层次、可扩展的企业数据库PaaS平台，且可以与企业现有IT运维资产 无缝集成。ShinData DMP架构和设计基于微服务的分层次和模块化架构ShinDataDMP架构和设计原则数据层负责存储和管理平台所 有数据，包括CMDB数据，配 置元数据，监控数据，以及数 据库日志数据等Perfect Concept主要包括SQL执行，监控数据 采集和数据展现等，不直接面 对用户，通过接口为上层功能 或其它系统提供基础服务面向最终用户，提供各种按照主 题和维度划分的数据库管理功能， 例如资源管理，性能管理，容量 管理，问题管理，自动化运维等基于微服务的分层次和模块化架构

8、ShinDataDMP架构和设计ShinData DMP的功能可扩展性设计告警和问题规则引擎基于规则引擎的告警和问题生成机制支持基于状态、表达式及多种告警条件的组合支持自定义告警级别和阈值可扩展的自动化运维框架支持对接客户的自动化运维平台支持集成和扩展新的自动化运维操作工具箱运维人员可以为某一主题或某特定问题构建分析工具支持多种丰富展现形式，包括表格、柱状图、折线图等发挥团队优势，降低运维门槛监控引擎支持自定义监控数据采集项支持自定义监控数据采集时段和采集频率支持自定义监控数据存储及发布(Kafka等)“平台”的意义在于允许用户可以根据实际需求在上面打造自己的工具，而不是简单的监控和运维功能的

9、集合。ShinDataDMP架构和设计ShinData DMP的无缝集成设计帮助企 业打造统一的一体化IT运维PaaS平台ShinDataDMP架构和设计ShinData DMP性能扩展和高可用03ShinData DMP平台主要功能ShinData DMP平台为客户提供了全生命周期的数据库统一管理功能，包括数据库基础资源管理、监控和告警、性能容量管理、问 题管理、自动化运维操作、报表服务等ShinDataDMP平台的主要功能分层次的ShinData DMP数据库管理功能n 集中管理各种不同硬件、虚拟 化环境或云端运行的数据库系 统；n支持大部分主流数据库产品， 包括Oracle，MySQL，

10、Db2，SQLServer等；n 功能可扩展性设计，无需或少 量修改即可实现对其它关系型 数据库的支持；n内部预留针对非关系型数据库 的SDK，少量定制代码即可实现 对非关系型数据库的支持，如MongDB，Redis等ShinDataDMP平台的主要功能全局数据库资源管理ShinDataDMP平台的主要功能n 基本信息覆盖数据库运 行的基本状态和指标， 包括数据库状态，激活 时间，版本，服务器信 息以及一些关键的运行 指标；n 用户可以定制和展现最 关注的指标；数据库基本信息ShinDataDMP平台的主要功能从宏观到微观的数据库性能管理数据库性能量评分n 数据库性能量化评价体系n提供全面准确

11、的数据库系统性能量化评分 报告n提供全局的数据库性能视图，帮助掌握企 业数据库的整体性能状况和趋势n提供横向和纵向两个维度的数据库性能比 对n 从宏观到微观的性能下钻分析n以数据库整体性能评分为入口；n展现数据库性能评分的详细情况；n定位到影响性能评分的SQL语句和表，并 给出响应的建议；数据库性能评分 分布数据库性能评分 分布及变化趋势ShinDataDMP平台的主要功能SQL瓶颈分析ShinDataDMP平台的主要功能n从整体到局部的容量分析；n容量、容量历史及容量增长 趋势分析和预测；n从全局容量-单库容量- 表空间-对象的关联性分 析，实现对大表、大对象的 管控；数据库容量管理Shin

12、DataDMP平台的主要功能适用于不同场景和不同用户的报表类型、：1.2.3.深度巡检报告：深度分析数据库各项指标，提供丰富全面的数据 库指标，准确反映数据库的全方面健康情况。汇总报告：反映同类型数据库的运行情况总览，从整体上了解被 监控数据库的运行情况，对比分析同类型数据库的运行情况。 性能容量报告：定位需要调优的表或者 SQL，提供专业的调优 建议。对于 SQL 语句，提供超链接跳转功能，准确定位到 SQL 分析页面，提供SQL 详细分析信息。自动化报表生成，节省大量人力1.2.所有报表根据监控数据一键化生成，节省了大量的人力 可以根据需求定制报表，并通过邮件自动推送准确和全面1.报表内容

13、来自于监控数据，数据更准确，覆盖更全面标准化和自动化的报表系统ShinDataDMP平台的主要功能建立和完善问题知识库管理体系n覆盖问题的生成、处理、解决和关闭n n智能识别，自动生成和关闭问题数据库问题全生命周期管理n 支持对主机和数据库进行 自动化运维操作；n 内置常用的数据库运维功 能，支持Oracle、MySQL、Db2等常见的关系型数据 库；n 开放的平台，运维团队可 以根据需求自己开发运维 脚本并发布到平台上；n 记录所有运维操作历史记 录，并提供多种维度查看， 可用于对运维操作进行审 计；n数据库安装部署n数据库对象管理；n数据库启停激活操作；n表空间扩容；n数据库自动备份；nM

14、ySQL主从复制切换；n数据导入导出；n数据库参数变更n数据库用户管理；n一键降高水位n一键Hang/Down处理n一键绑包n一键统计信息ShinDataDMP平台的主要功能数据库自动化运维ShinDataDMP平台的主要功能定义和发布工具可视化分析（以TPS与CPU趋势分析为例）n自定义工具n根据采集的监控数据自定义运维工具；n支持表格、趋势图、饼图等多种展现形 式；n支持数据导出；n随需扩展n技术专家可以在平台上定义新的监控、 诊断和管理工具；n将自己的技能集成到平台之中供团队使 用；n整个过程无需修改程序或部署，用户自 己通过平台提供的配置功能即可完成；工具箱04客户使用总结和未来计划某

15、大型金融企业从年初开始启动数据库PaaS平台建设，到6月份上线运行，已经稳定运行了近三月，纳管了上千套数据库产品，覆 盖了目前使用的Oracle、Db2、MySQL等主要的数据库种类，且具备分库分报表架构下的分布式数据库管理能力。1000套100000次87%解决率客户使用总结和未来规划客户使用总结29客户使用总结和未来规划产生的价值客户使用总结和未来规划特别是开源数据库和自主可控 的国产数据库种类，例如 Postgre SQL，Guass DB等Perfect Concept特别是针对应用开发人员使用的功能， 例如：应用上线变更支持SQL执行计划管控SQL自动优化 数据库对象管控对于系统发生过的数据库问题，将 问题现象、分析过程、解决办法， 进行归纳和总结，形成确实可行的 指导手册，并纳入知识库，后续运 维过程中如发生类似问题，可快速 定位和响应未来规划北京新数科技有限公司(ShinData)，成立于2014年，国 家高新技术企业，中关村高新技术企业，营业范围包含软 件咨询 、服务