NEWSQL的技术应用与实践

1、NEWSQL的技术应用与实践技术创新，变革未来简 介 01概 述 02大 生 态 03云 平 台 042PART概述TiDBNew SQL分布式，高可用，完整的ACID事物支持，兼容MySQL 协议核心业务介绍360网盾360网盾，每日海量入库，有过百 亿级表的加索引创新点上云，定制化提高用户的体验和降低施工门槛， 自动化，工单化定制化告警备份未来推到S3核心业务场景场景简介02040103一个月一张表 每日一亿URL8亿多资源链接数据897亿条数据表 每个场景100+查询5秒内返回大规模恶意网址关联分 析黄赌毒网站关联分析 涉爆、涉恐、谣言类分 析每天每个人不断反复查 询统计、分析存储内容网

2、址信息内容信息资源链相关信息ID相关信息HTTPS站点证书相关信息TiDBGreenPlum场景简介场景简介url分类标签目前监测分类标间大致100多个1001亿2000万新增每天新增风险30万url数量每天接入1亿条url风险监测每天检测出有风险的url数量TiDB在360的历程WhatTiDB是一个HTAP数据库Who执行者-负责者-布道师Why技术要为业务服务，解决业务需 求WhereMySQL完整的ACID事物要求When2019.07 first cluster 10TB2020.02 complete hulk admin 200T 2020.09 complete hulk us

3、er 300T futureTiDB在360的历程HowBCA管 理 端 - 用 户 端执 行 - 推 动 - 布 道 T i D B 在 3 6 0 的 落 地wiki到hulk，邮件到工单化，命令行到可视化小白用户-MVA -TiDB DevCon嘉宾MOA4套集群，对接HULK,自动化，可视化，工单化3PART大生态HTAP大生态老同步架构DMv1.0架构DM新特性v1.0.5 Online-DDL的支持dbportal图形化版本迭代调参、lvs、replace into业务配合1062大批量导入参数调优官方支持及时调优skip event 因为不在白名单中被跳过skip event,

4、need handled ddls is empty ，中间表因为被过滤掉在下游不存 在， 所以提示is empty，也被跳过RENAME TABLE h_2.helei5 TO h_2._helei5_old, RENAME TABLEh_2._helei5_new TO h_2.helei5rename操作在上游为了保证原子性是一条SQL实现表名互换的， 我们可以看到， 好在拆分后也依旧是被跳过的，这是因为中间表不存在 rename的ddl里的表例如_helei5_new是空的，所以整个SQL不会被执行RENAME TABLE h_2.helei5 TO h_2._helei5_old的话

5、被执行了是我们 不希望看到的Online DDLDM限制上游的版本限制binlog格式的限制版本分区表drop含索引的列不支持的类型配置的优化全库勾选时依旧丢新表dm-portal限制遗留全库备份binlog过期清理的配置混部注意事项版本限制：数据库版本5.5 MySQL 版本= 10.1.2仅支持 TiDB parser 支持的DDL 语法上下游 sql_model 检查上游开启 binlog，且 binlog_format=ROWDM不支持的类型：1）一次删除多个分区的操作则会报错：alter table dsp_group_media_report drop partition p202

6、006 ,p202007 ; 2）drop含有索引的列操作会报错Alter table dsp_group drop column test_column;DM-portal限制:在早期还没有dm-portal自动化生成task时，我们都是自行编写DM的task同步文件后来有了dm-portal自动化生成工具，只要图形页面点点点就可以了4PART云平台TiDB HULK云平台多项功能设计TiDB用户端TiDB用户端TiDB用户端TiDB用户端TiDB用户端TiDB困难点AB C Dinsert引起的集群OPS骤降写写冲突导致scheduler latch等待，并且集中在 某几个key 和reg

7、ion ，出现 server is timeout 的报 错gc失效引起的空间不回收gc的过程中有底层的一个region的 region cache TTL 出现了超时导致大规模删除引发的流控根据监控，日志，最终定位到是超出 流控阈值引起的balance期间大规模下线如何快速迁移机器出场后通知需重启来bond网卡，5台密集重 启的话会让集群健康度受损，对各类参数进行调 优，以及调研掌握更优流程分布式事物乐观锁乐观事物的原理gcregion/清理gc的原理分布式事物GC机制简介主要阶段Resolve Locks扫描和清理safe point之前的锁DeleteRanges删除由于 DROP 等操作 产生的整区间的废弃数 据当新写入的数据覆盖旧 的数据时，旧的数据不 会被替换掉MVCCDo GCTiKV 并发扫描，并对每 一个key 删除其不再需 要的旧版本持续优