PostgreSQL与腾讯云国产数据库技术实践

1、PostgreSQL与腾讯云国产数据库技术实践运维智能监控订阅商业分析智能管家DBBrain数据管理服务迁移上云服务服务模块审计订阅告警迁移备份HA管理平台后台运维 管理平台数据库PaaS产品MySQLSQL ServerPostGreSQLMariaDBRedisMemcachedMongoDBCTSDBCynosDBTDSQLTBASETcaplusDBSnovaGreenplum物理设备操作系统（加强定制版Linux）调度系统故障迁移业务调配腾讯云数据库产品矩阵用户行业电商模块金融模块零售模块安防模块工业模块教育模块数据库SaaS产品自有业务打磨产研结合产用结合TCETencent Cl

2、oud Enterprise月活用户达10.82亿交易笔数超过4600亿笔7000万微粒预授信3800万开通用户6000亿累计放款额200亿账户（含合作伙伴）500亿+日均请求 平均5毫秒响应微信支付图webank微 粒 贷微 车 贷从自有业务到产用结合技术普及生态完善社区影响社会分工技术优化场景完善资源整合增强影响推动协作调配资源突破技术从开源不断回馈开源内部应用技术创新内部开源 协同外部代码 开放回馈开源萨师煊黑板报数据库正式登场中国数据库 商业格局形成分布式数据库快速发展MySQL与互联网的碰撞1978 - 1990诞生于恢复高考之后1989 - 1998Oracle一统江湖1999 -

3、 2011互联网传奇-MySQL传奇2013 至今互联网传奇-百花齐放Oracle正式进军中国 互联网兴起，Oracle“太 贵”，技术社区兴起 业务多元化，高速发展DB2infomix金融行业Oracle电信行业Oracle国防、军工核心领域MySQL 在互联网公司 一统江湖数据库发展史2007年团队成立腾讯充值2010年TDSQL 1.0发布应用于 财付通2012年TBase 1.0发布腾讯广告业务2014年内部云发布WeBank/WeChat2015年公有云发布2017年专有云发布2018年云原生CynosDB2019年TBase开源2019.11.06正式开源腾讯云自研数据库发展历史p

4、ostgre云原生的分布式数据库C y n o s D BMPP分布式数据库T B a s e采用Shared-Storage&shared-Nothing双架构，双引擎的双核出击方案，覆盖主流应用场景。加强版主备社区版T e n c e n t D B f o r P o s t g r e S Q L加强版分布式数仓T e n c e n t D B f o r G r e e n p l u m腾讯云PG数据库系列主要产品线Local DataDatanode1Local catalogCoordinatorGlobal catalogGTM-MTransation InfoGlobal

5、 objectGTM-STransation InfoGlobal objectCoordinatorGlobal catalogCoordinatorGlobal catalogDatanode2Local catalogDatanode3Local catalogLocal DataDatanode4Local catalogLocal DataLocal DataDatanode(数据节点DN)GTM(事务管理器)Coordinator(协调节点CN)网络分布式数据库架构-性能可扩展的联邦架构兼容开源数据库MySQLPostgreSQL计算与存储分离日志即数据库可计算智能存储面向云服务的

6、体系结构腾讯云存储服务腾讯云网络服务软件优化与新硬件相结合SPDKRDMA分布式数据库架构-计算存储分离的云原生架构大量内核优化；全球同服等超高性能 场景。金融级高可用确保99.999%以上高可用；跨区容 灾；同城双活；故障自动恢复。数据强一致确保主从架构下数据强一致，分布 式事务特性。高安全性减少用户误操作/黑客入侵带来的安 全风险。良好的扩展无论是资源，还是功能，均需提供良 好的扩展性。便捷的运维解决90%以上的日常管理运维，让DBA抽出时间去优化业务。互联网高性能腾讯云数据库设计理念主从节点默认采用强同步（实时同步）当从节点同步日志后，主节点才给业务应主从从MAR零误差无错乱数据强一致基

7、于主从架构的“并行多线程强同步复制方案”PREPARED状态COMMIT状态R O L L B A C K 状态异常阶段及原因动作有有无commit阶段异常参与节点故障COMMIT剩余事务有无有prepare阶段异常参与节点宕机ROLLBACK剩余事务有无无prepare阶段异常发起 节点宕机ROLLBACK剩余事务第一阶段：事务管理器要求每个涉及到事务的数据库预提交(precommit)此操作，并反映是否可以提交.第二阶段：事务协调器要求每个数据库提交数据，或者回滚数据。需要解决的问题:资源阻塞问题：残留的存在prepare状态的两阶段事务仍然持有 一些资源锁，这将会阻塞之后对部分数据的访问

8、和更新操作。数据不一致问题：数据不一致问题集中体现在第二阶段的故障场 景中。当两阶段提交事务出现了部分commit部分prepare，那么 更新数据在部分commit的节点可见；当两阶段提交事务出现了 部分commit部分rollback，那么数据在所有节点出现了不可恢复 的不一致状态。协调节点宕机问题：当事务将一直残留下来。出现协调节点宕机 的情况，即便是有做了主备倒换，产生了新的协调节点，参与节 点中的异常两阶段数据强一致-分布式事务384项指标ms级切换进程保护自动免切一旦确认异常，系统最快可以在200ms内切换可自动或预制，免切策略，减少数据 库“假死”故障带来的业务损失。内置保护进程

9、，软件故障自动恢复， 预防人物误操作。整套集群有384项不同维度的监控指标，并根据业务自定义完善的监控规 则。02010403金融级高可用金融级高可用-多中心多活数据中心（AZ）数据中心（AZ）DNGTMCN CNDNCN CNGTMGTMCN CNDNDNDNDNDNCN CNGTMDNCN CNGTMGTMCN CNDNDNDNDNregion数据流DDL控制流复制集群内通信业务请求读写混合负载均衡regionDDL控制DDL控制业务系统data_syncdata_sync数据中心（AZ）业务系统业务系统数据中心（AZ）业务系统读写混合负载均衡ERRMQERRMQ事前传输加密数据加密细粒度

10、鉴权事中内核级的安全策略内置SQL防火墙防误操作机制事后运维操作审计数据库审计服务器审计超级权限控制符合国家标准通过国际认证高安全性数据库DBA安全管理员审计管理员数据管理员传统数据库立法权：制定强制安全访问策略。强制安全访问策略由安全员独立完成。系统所有用户都要遵守强制安全访问策略。分解分解分解司法权：系统所有操作都被记录，包括安全员，管理员 的操作。审计策略由审计管理员单独制定。审计员本身的操作也会强制记录，不可修改。行政权：具备自主访问控制权。不可干预审计员和安全员的动作。Tbase数据库安全性-三权分立同一个数据库集群分配相互隔离的两类实例基于相同数据源OLTP GROUPOLAP G

11、ROUPOLAP&OLTP GROUPOLTP CNOLAP CNOLTP CNOLAP CNDNDNDNDNDNDN流复制流复制流复制流复制流复制流复制DN_SDN_SDN_SDN_SDN_S1DN_S2DN_S1DN_S2资源专用隔离，两个实例互不影响，适用于计算公用数据源，用性能换资源；量特别大，且无需实时得到分析数据的场景适用于实时分析且性能要求不高的场景。良好的扩展性-HTAP数据分区+分片数据防倾斜方案冷热数据分离良好的扩展性-冷热分离02业务方-云数据库管理系统从租户视角，提供实例的运维功能，可管理数据库实例，包括实 例申请与退还、系统监控与告警、备份与恢复、性能优化等。运维方-

12、运营平台从管理员视角，提供数据库的全部运维功能，可管理 集群的物理资源、调度决策系统、备份与恢复系统、 可用区管理、实例管理等。便捷运维-多重管理系统成熟的监控链路自动化异常识别多维度故障诊断智能的性能优化01便捷运维-智能管家DBBrain网上 政务金融 支付互联 核心物联 网数据 仓库应用案例-迄今效果成本下降75%以上传统商用数据库，仅硬件投入在2500万，而采用 基于腾讯TDSQL的分布式数据库架构建设， 硬件投入约600万元，仅硬件成本下降75% 以上。性能提升20%以上高频账户类交易耗时在300毫秒之内，查询类交 易耗时在100毫秒之内，20秒内可以完成1万笔批量代发代扣业务，日终跑批耗时14分钟， 存款结息耗时11分钟，贷款结息耗时3分钟， 此类批量业务进行时，该行数据库负载均保 持在10%以下，极限处理能力可达到 6200TPS，优于老架构。单点故障故障40s恢复数据库分片“一主三备”的模式，保证主节点故 障时可以在40s以内自动切换到备节点并恢 复业务；应用案例-第一个传统银行核心系统跑在国产数据库上监控能力自动化运维能力高可用高可靠多副本强一致分布