如何省心、省力、省钱搭建MySQL数据库-中小企业优雅之选

叮咚买菜的上云历程2023.08.10叮咚买菜的上云历程2023.08.10千明杰千明杰自动化运维与数据库性能调优方面。致力于食品健康、美味与创新致力于食品健康、美味与创新•怎么选？选型过程中叮咚买菜主要考虑的因素•怎么上？将叮咚买菜现有的数据库迁移至云MySQL？•怎么用？叮咚买菜的云MySQL数据库架构部署选型过程•选型过程•即时业务需求•非即时业务需求•使用需求自建成本高物理资源不足版本引发的性能问题周边生态工具不完善为什么上云？为什么选择云MySQL？业务层MasteraveaveMasteraveaveaveMaster业务层MasteraveaveMasteraveaveaveMasterave迁移过程业务层A2区A2区只读实例只读实例主实例只读实例本地备份链路备份中心备实例备实例备实例强同步复制A1区强同步复制架构部署客户端/用户地域AVIPA2区A2区只读实例只读实例主实例只读实例本地备份链路备份中心备实例备实例备实例强同步复制A1区强同步复制架构部署客户端/用户地域AVIP访问地址Ø业务需求；Ø热点/爆款问题：流量、数据量无法预估，业务高峰需停服扩容，资源弹性扩展能力高；Ø运维难题：运维上百套数据库，DBA人力紧缺；解决方案Ø读写分离：数据库读写分离，动态添加只读，实现弹性扩展；Ø高性能：通过云数据库MySQL的高性能满足件支持)；Ø运维：采用DBbrain进行数据库全生命周期管理，降低数据库管理和运维门槛；最新功能理最新功能理过添加只读就可实现水平扩展能力；Ø事务拆分：将一个事务中的读、写拆分到不同的实例上去执行；Ø防闪断：提供无损的应用连续性，运维中的调整不会导致连接和事务的中断；Ø连接池：有效解决连接数过多或短连接业务频繁建立新连接导致实例负载过高的问题；高峰Ø快速响应和变更：基于云环境通过动态分配和弹性扩展；Ø弹性控制成本：在高峰期时为用户提供更加稳定的服务，同时在业务需求下降时又可以自动感谢观看！Thank感谢观看！Thankyou潘怡飞•云数据库MySQL核心能力•自建迁移上云方案•云数据库运维最佳实践VIP5#VIP0#读写VIP3#只读(离线)VIP2#(全局读写分离)TGW(R)TGW(W/R)TGW(R)proxyMaster灾备实例masterSlave0#灾备实例slaveROVIP5#VIP0#读写VIP3#只读(离线)VIP2#(全局读写分离)TGW(R)TGW(W/R)TGW(R)proxyMaster灾备实例masterSlave0#灾备实例slaveRO0#RO1#RO2#RO3#RO3#上海五区SlaveRO4#RO5#RO6#RO0#RO1#RO2#云数据库MySQL架构VIPVIP1#只读(在线)TGWTGW(R)异步、半同步、强同步广州四异步、半同步、强同步广州四区异步、半同步、强同步二区replicationreplicationreplicationreplication基础能力基础能力：同步；•跨可用区透明切换、两地三中心灾•1830天任意时间回档数据；增强能力：•proxy自动读写分离；•全链路审计日志；•参数自调优；•内核能力：instantDDL、异步删除性能能力说明高性能参数模版高性能参数模版优化提供了高性能/高稳定性两套模版，以满足用户不同业务的需求；提供公式设置参数，以使得变配后依然能够提供良好的性能；开放innodb_buffer_pool_size相关参数，减少OOM高性能参数模版能力说明参数智能调优云数据库MySQL配置参数多达几百个，参数智能调优范围从几十到几万，甚至几十万不等。对于DBA而言仅能够通过经验进行配置。而通过高效的机器学习手段，负载进行迭代学习，TPS提升有15%-55%recyclebin_recyclebin_me安全回回档恢复能力数数据库实例部部分库表SQLSQL误操作MMySQLMMySQLMMySQLdroptablerecycletabletime2部分库表极速回档•弥补目前采用物理备份之后，部分库表回档效率较低的场景回收站•支持表被误删后随时恢复•Droptable不删除物理文件，只移入回收站•降低droptable对IO和BP造成冲击FlashbackDMLFlashback，误操作回滚效率大幅度提升me安全me能力说明MMySQLtime2数据库使用过程中的误操作可能会给业务带来严重的影响，常见的恢复手段如回档、克隆等方式操作较为繁琐且耗时较长，而通过备份集恢复则需要额外的系统资源，在数据量较大时恢复时间不可控。TXSQL在InnoDB引擎上设计和实现了闪回的功能，无需复杂的恢复操作，通过简单的SQL语句即可查询或恢复误操作前的历史数据，节省了大量宝贵的时间，保证业务平稳运行。92.设置迁移方式和对象1.设置源和目标库3.数据一致性校验数2.设置迁移方式和对象1.设置源和目标库3.数据一致性校验迁移能力：•厂家支持：支持自建和友商(阿里•源数据库：支持9种(mysql、sqlserver、tdsql以及PG)•数据迁移：通常支持结构迁移、全•断点续传：支持断点续传•数据一致性检查束限制：持函数、触发器、存储过程等对象•相互关联的数据对象需要同时迁数据库割接方案常见迁移方案停写时长数据一致性回滚风险业务情况客户案例占比读写一刀切低低中数据库停写，业务无需改造80%先切读再切写低低低数据库停写，业务需读写分离20%：S2.业务停写：当DTS显示源目标端数据差距和延时均为0，业务3.数据备份：源库做数据备份。4.源目标端数据一致性检查。5.业务切换：业务读写流量指向目标数据库。6.数据同步：建立数据同步任务。7.流量切换及试运行。：全量割接割接方案割接前准备：1.确认增量数据同步数据量以及延时为02.确认目标端应用环境版本和源端一致3.目标端应用功能，业务流程和压测符合4.割接演练停服时间符合预期5.割接回滚的决策标准割接步骤：1.源端应用A停服且可观测。(各层均没有应用A业务流量以及数据库读写业务)3.业务功能测试上的新系统MySQL智能化运维平台感谢观看！ThankyouSQL程昌明程昌明灾难恢复与信息系统整合方面拥有丰富的实践整体解决方案以及数据库设计。MYSQLMYSQL产品线负责人行"。•根据业务特征识别可用性需求•如何构建不同可用性架构•如何兼顾可用性及性能根据业务特征识别可用性需求单可用区故障单可用区故障主数据处理系统与备用数据处理系统需要部署在不同可用区主数据处理系统与备用数据处理系统使用同一网络域主、备用数据处理系统数据实时同步主、备用数据处理系统具备自动资源、网络切换能力02数据一致性04单机故障单机故障需要存在主数据处理系统以及备用数据处理系统在必要的情况下备用数据处理系统可切换为主数据处理系统主、备用数据处理系统不可部署在同一个物理资源上01地地域级故障•主数据处理系统与备用数据处理系统部署在不同地域•主、备用数据处理系统资源配置独立的运行管理资源•主、备用数据处理系统数据实时同步•具备跨地域的备份恢复能力03如何构建不同可用性架构1234512345单点故障：通过多节点架构，防止数据库出现淡三节点架构下，还提供RPO=0的强同步模式多AZ部署：依托于腾讯云内部稳定且高速网络环时能够自动切换至可用AZ灾备实例：通过灾备实例构建跨地域的数据同步链路，在必要时可以将灾备实例提升为主实例，通过外网、云联网等方案进行网络打通连接数据库代理：数据库代理可以实现就近访问以及计划内连接保持能力，防止切换后因垮可用区导致性能出现明显下降地域容灾，实现跨地域实例恢复等能力9故障影响大客户流失经济损失产品口故障影响大客户流失经济损失产品口碑稳定性建设业务业务类型SaaS游戏汽车交通文旅教育金融零售医疗传媒电商单单点、AZ级故障数据一致性错误突发请求量过大地域级故障单单点、AZ级故障灾备提升为主功能模块金牌网络链路异地恢复突发性能请求地域级故障跨地域RO组多AZ只读组多节点架构数据库代理分布式组件多AZ部署SQL限流热点更新参数调优异地备份灾备实例内核优化并行查询CPU弹性强同步••演练基本信息•动作执行日志•可视化演练资源分布图•实时指标监控•演练数据统计•故障问题复盘混沌演练平台混混沌演练报告演练模版成演练报告安全护栏标监控演练全生命周期管理新建演练过载情况时，业务会卡住混沌演练平台CLB自建服务、CDB、Redis等服务对于过载、冗余场景故障时，是否能够正常提供服务23452345实验假设：分别对业务不同层次应用进行故障注入，能够实现业务稳态