腾讯云CDB内核架构功能解密

1、庖丁解牛：腾讯云CDB内核架构功能解密目 录CDB内核简介01CDB内核架构及特性02CDB内核质量保障03CDB内核最佳实践04CDB内核简介TXSQL 腾讯自研数据库内核Access ClustersInstance ClusterStorage ClusterRouteSafetyHADatabase EnginesReplicationStorage什么是TXSQLTXSQL = Tencent MySQL腾讯-CDB (Cloud DataBase)团队自研MySQL分支腾讯云及腾讯内部云DBaaS平台官方唯一MySQL版本为什么有TXSQLMySQL- The most popul

2、ar database海量运营的挑战：超大规模、海量用户、多种业务场景促进开源数据库技术发展TXSQL的演进之路TXSQL 5.1TXSQL 5.5TXSQL 5.6Bugfix for5.1Bugfix for 5.5Featuresneeded by OSSBugfix for 5.6Features needed by OSSFeatures from DBA & businessRead and WriteOptimization.TXSQL 8.0(coming soon)Bugfix for 5.7Features needed by OSSEncryptionAuditThrea

3、d pool.TXSQL 5.7CStoreAEP perf boostMore featureMore optimization.CynosDBCloud native databaseSeparating compute and storage现网客户电商平台金融支付科技教育影音娱乐CDB内核架构及亮点功能CDB内核架构腾讯云高效能云硬盘CBS线程池半 同 步 复 制 插 件审 计 插 件透 明 数 据 加 密 插 件Server层（优化器，执行器）存储引擎层InnoDBCStoreMyISAM客户端从 实 例审 计 系 统K M S亮点功能：列存引擎CSTORE列式存储数据按列存储而不是

4、按行存储查询时无需访问无关列，减少大量 IO高压缩比压缩比平均在10比1，可以大大减少存储空间快速加载支持 MySQL 标准的 LOAD 语句多核并行处理，加载速度可达 INNODB 的 10 倍执行引擎支持查询任意多列的组合单节点可支持百亿行记录的秒级查询支持多种JOIN算法，包括HASH JOIN查询优化查询时利用多种形式的稀疏索引过滤数据维护数据的统计信息，聚合类查询预计算MySQL兼容SQL 语法全面兼容 MySQL 8.0兼容 MySQL 工具和应用，例如phpMyADmin等支持XtraBackup 物理备份和恢复亮点功能：秒加字段只修改数据字典信息，避免数据拷贝即时完成，无需等待

5、亮点功能：异步删除大表目标:避免在删除大表时产生IO峰值实现方法:将.ibd文件名改为临时文件名在后台线程中逐步truncate .ibd文件（每次128M）最终将.ibd文件删除安全性：审计安全性：加密KMS : Key Management Service by Tencent CloudCAM : Cloud Access ManagementService by Tencent CloudKeyring_kms集成 KMS & CAM with MySQL TDE实现 Keyring 接口KMS PluginCAMKMS性能优化：面向非易失性存储的优化单机场景，有redolog，性能提

6、升15%主备场景，有redolog&binlog，性能提升50+%同步场景，主机有redolog&binlog，备机redolog&relaylog，性能提升60+%近，在sync_relay_log为=1，强同步场景，性能提升2221%性能优化：热点更新内核级解决秒杀场景下的热点数据更新问题一键开启，用户无需修改任何应用层SQLCDB内核质量保障自主可控的内核质量保障建立内核产品自主可控的全流程质量保障体系1：开发流程：从需求搜集，评审到设计开发，到测试和灰度上线全流程验证产品质量2：测试体系：研发自测 自动化测试 版本测试 灰度上线测试3：质量反馈：针对测试和客户使用中发现的问题，快速响应

7、，即刻解决需求搜集开发需求主要来源于客户 反馈，市场调研，内部分 析等需求评审对于所有需求，进行 内部评审，落实开发 计划设计开发根据需求进行架构设 计和开发测试评审对开发完成的功能进 行严格的测试，包括： 功能测试,稳定性测试,压力及性能测试等灰度上线定期发布版本，并灰 度上线。让客户进行 测试试用，之后正式上线自主可控的内核质量保障现网问题响应体系1：7*24小时在线值班：对现网客户碰到的内核问题快速响应，及时解决2：实例监控系统：crash实例监控系统，慢查询告警系统，秒级监控系统等3：问题归纳总结：记录所有现网问题并做好分类，形成知识库，定期分享CDB内核最佳实践涅槃重生：微盟上云纪实

8、源：腾讯云黑石自建服务器 目标：腾讯云CDB测试方法：mysqlslap -iterations=100 -create-schema=test -query=query.sql -number-of- queries=20000 -delimiter=; -concurrency=100时间线：4月8日发现性能问题1 4月9日微盟腾讯成立专项组分析并验证问题 4月10日21时确认 问题原因，进行第一版优化 4月13日抽检29套CDB实例并应用第一排优化配置 4月14日基准+业 务压测 4月14日23时全面分析生成压测报告发现性能问题2 4月23日第二版优化 4月24日第 三版优化 4月25日

9、30个实例DTS迁移任务 4月26日发现性能问题3 4月26日第四版优化，CDB 上云建立长期基准压测任务工具集：perf 工具：用于分析特殊 SQL 语句在 MySQL 内部的资源消耗情况 pt-pmp 工具：用于排查大并发环境下的性能瓶颈，提升实例性能 数据库性能秒级监控工具（orzdba）腾讯云 CDB 团队内核层的源码分析与修改涅槃重生：微盟上云纪实问题1： NUMA绑核问题原因：腾讯云CDB cgroup隔离策略和微盟cgroup隔离策略不一致造成办法：调整cpu quota设置，修改测试CDB机器CPU隔离策略，按核进行绑定 并将核绑定到同一个Node上。问题2：网络问题原因：1：并发增加时，mysqlslap退化为短连接。2：TGW导致的网络延迟。办法：1：调整参数tcp_rmem， tcp_wmem