云数据库自治服务最佳实践

1、腾讯云数据库自治服务最佳实践技术创新，变革未来数据库自治的演进人工智能工程化在数据库自治领域的实践123数据库自治在行业中的应用目录CONTENTS数据库自治演进常用运维操作脚本化， 通过脚本+预案的方 式辅助DBA进行管理人工完成数据库的部 署、监控、SQL上线、 故障处理等操作人工参与数据库自治数据库运维平台具备 基础管控能力的自动 化主要包括自动化部署、 监控、故障切换、灾 备、上线等能力数据库运维平台具备 高级管控能力的自动 化主要包括容量管理、 异常诊断、数据审计、 优化分析、流量管控 等能力服务完全由数据库系 统接管，几乎不需要 人工处理主要包括自适应、自 修复、自优化、自决 策等

2、高度自治的管理 能力Level 0Level 1Level 2Level 3Level 4运维人工化运维工具化基础平台化高级自动化服务智能化数据库自治演进主要挑战：业务不出问题主要手段：人主要阶段：知识积累，无序化运维业务 ADB业务 BDB业务 CDB+DBADBADBADBA运维工具化人流程工具职责权限 技能变更止损实施监控告警文档主要挑战：运维效率问题主要手段：人 + 工具+流程主要阶段：知识沉淀，规范化，流程化，解放劳动力基础/高级平台化数据库自动化运维管理日志 服务监控 服务审计 服务SQL自助.主要挑战：运维效率，流程管理，资源成本主要手段：人 + 脚本工具 +平台主要阶段：专家经

3、验化为生产力服务智能化超级自动化（Hyperautomation）人工智能工程化（AI Engineering）云融合（Cloud Integration）多源协同（PAAS+SAAS）主要挑战目录CONTENTS数据库自治的演进人工智能工程化在数据库自治领域的实践123数据库自治在行业中的应用腾讯在数据库自治中的探索与实践工具和简单的运维系统将DBA操作自动化腾讯视频、腾讯新闻、腾讯体育、微信红包、 财付通、QQ等孵化云服务腾讯内部自研上云业务线数据库步入自治时代雏形诞生支撑内部业务孵化云服务品牌升级数据库自治DBbrain实时诊断优化安全合规效果可预见掌上运维AI 助力混合云管理DBbra

4、in 可为用户提供数据库性能、安全、管理等功能的数据库自治服务性能优化：利用机器学习、大数据手段快速复制资深数据库管理员的成熟经验，将大量数据库问题的诊断优化工作自动化，服务 于云上和云下企业。安全防护：提供从用户行为安全、SQL安全到数据存储加密安全等多项数据安全服务，公安部认证的等保合规性安全产品。数据库管理：提供免安装、免运维、即开即用、多种数据库类型与多种环境统一的web数据库管理终端。诊断优化“自治”闭环信息分析难信息获取难性能优化难异常诊断策略假说生成证据评分决策计算关联模型A关联模型B关联模型N关联模型.证据模型a证据模型b证据模型n证据模型.决策计算 模块专家经验库历史决策信息

5、采集信息最优决策辅助信息最优决 策判断特征信息决策候选集决策支持度向量SQL优化SQL优化会对实例中 SQL 的记录和执行信息，进行统计、抽样、聚合。针对 聚合后的 SQL 语句、执行计划、综合资源消耗、扫描和返回集合大小、索引 使用合理性等，对慢 SQL 的性能进行分析，并给出优化建议。遵循编译优化器规则计算代价和成本 遵循各类引擎规则索引+重写 相结合融合各种优化经验SQL自身不够优质，相同逻辑重写时间序列模型Porphet在资源预测上的应用累加回归模型：y(t) = g(t)+s(t)+h(t)+et长期趋势（ g ) 用于拟合时间序列中的分段线性增长或逻辑增长等非周期变化季节变动（ S

6、 ）现象在一年内随着季节的变化而发生的有规律的周期性变动循环变动（ h ）为周期所呈现象以若干年现出的波浪起伏形态的有规律的变动不规则变动（e）是一种无规律可循的变动资源管理：知道在什么时间点进行资源扩容挖掘大客户：发 现未来需求量巨大的潜在客户初始数据对使用的资源量进行分析，提前预测扩容时间方便预算和资 源配置预测趋势云厂商价值客户价值自动参数调优 CDBTuneAn End-to-End Automatic Cloud Database Tuning System Using Deep Reinforcement Learning- SIGMOD 2019用户很难发现导致数据库系统性能下降

7、的原因并有效地解决对于拥有数十万计用户实例的云服务提供商来说，完全依赖数据库专家进行数据库参数调优并不现实利用 AI 技术解决数据库系统性能问题，为用户及时地调整数据库系 统参数，以保证数据库的性能维持在一个较优的状态性能调优结果首次全面超越数据库专家在线性能调优需要的时间0最短，比otterTune快一倍降低学习门槛和提升调参效率ClientCloudIxnterfaceCDBTuning RequestRecommenderWorkload GeneraorDeep Reinforcement LearmingAgentControll erState RewardEnvironmentA

8、ctionMetics CollectorWorkloa dConfigurationsMetricsMemory Pool基于全局workload的动态伸缩Workload IntelligenceDBbrain + ServerlessAnalyze and model the workloadDiscover significant patterns and trends within the workloadDynamic Workload AdjustmentsAutopilot ButtonInternet开发、测试、培训区使用真实数据运维区越权连接数据库误操作/恶意操作：拖库、

9、删库、清表数据库服务器数据库平台漏洞数据明文存储数据备份服务器明文备份数据库平台漏洞部门办公2部门办公1内部运维区外包运维区业务办公区任意导出数据发起攻击:如SQL注入发起攻击:如SQL注入/拖库客户区姓名银行账号李明11999488881张三55555599900姓名银行账号李明11999488881张三55555599900数据库安全风险频发业务服务器系统漏洞开发者后门SQL注入漏洞AI双引擎保障数据安全正常样本攻击样本基于大数据安全治理姓名年龄单位职位病症XX91A大学教授癌症XX88A大学教授新冠XX89A大学教授健康传统脱敏技术将姓名变形外部信息姓名年龄所患病症张某91癌症单位年龄段

10、人数姓名A大学90-1001张xxA大学80-909赵x、李xA大学70-8056钱x、白x姓名年龄单位职位病症XX90A大学教授癌症XX90A大学教授新冠XX90A大学教授健康DBbrain脱敏算法ETL数据抽取、转换、装载工具语句解析库表解析内容解析内容脱敏引擎任务管理引擎可视化展示脱 敏 算 法 集外 部 信 息 无 法 还 原 被 变 形 数 据敏感数据自适应脱敏目录CONTENTS数据库自治的演进人工智能工程化在数据库自治领域的实践123数据库自治在行业中的应用数据库健康评估策略服务不可用或即将导致不可用的事件影响数据可靠性问题，比如大事务、复制 延迟等慢SQL或存在需要优化的SQL

11、、高并发导 致CPU打高等比如配置不合理，超大表，表数量太多等 未暴露出的问题对象、权限、空间、业务走势等变化磁盘打高DDL等待 MDL锁等待行锁内存打高主从延迟IUD慢慢SQL资源不足锁等待活跃会话 打高事务未 提交连接数高IUD等待MDL锁大事务.100+诊断项可用性可靠性性能隐患变化业务场景的故障自愈数据库负载飚高，性能急剧下降传统的解决方案数据库自治DBbrain7*24小时异常诊断与优化高并发场景解决方案自动持续Kill阻塞的SQLKill会话重启、HA切换业务侧回滚应用或降级缓存穿透，数据库压力过大？紧急变更发布后，出现异常的SQL？出现流量高峰，数据库响应变慢？V S挑战挑战挑战

12、挑战：应用发布带来的异常SQL和会话，导致负载飙升，影响业务稳定缓存穿透，数据库压力过大？挑战：低质量SQL在数据压力、数据量等激增情况下出现性能滑坡挑战：人工运维加剧业务压力高并发场景解决方案SQLs：update the same hot rowResponse & DoneRow Cache queueGroup Commit when commit(Existing) done or timeout热点更新保护针对语句的排队机制，尽可能把具有相同 冲突的语句放在内存队列排队，通过开启 热点更新保护减少锁冲突的开销，提高高 并发场景的数据库性能SQL限流设置 SQL 类型、最大并发数、限流时间、 SQL 关键词，控制数据库的请求访问量和 SQL 并发量，进而达到服务的可用性，不 同的任务之间不会发生冲突。数据库自治的客户收益增强数据库稳定7*24小时无人