陈现麟-伴鱼数据库架构选型及平台化建设的思考与实践

伴鱼数据库架构选型及平台化建设的思考与实践演讲人:陈现麟伴鱼技术中台&数据中台负责人2016年加入伴鱼,从0到1搭建伴鱼技术中台,对分布式架构、服务治理、稳定性建设、高并发高PpS系统和中台化的组织架构搭建有—定的经验,崇尚简单优雅的设计,关注大数据、云原生和分布 数据库选型的演进与思考数据库平台化的实践与思考未来计划与展望C0NTENTs一次选型期•2015年,伴鱼刚刚成立•当时伴鱼的情况需求多:公司处于探索期,产品迭代快工程师少:只有1-2个后端工程师对事务要求场景少:只有计费和交易相关功能•对数据库的要求强烈当时数据库的情况力MysQL(sQL)低低持(NosQL)高高持事务(3.x版本)•当时的选择效率是最关键的考虑因素,所以选择了MongoDB(NosQL)•对需要事务的场景(计费和交易)单行事务:强一致性＋原子操作跨行事务:强一致性＋原子操作＋MVCC•实际的结果在2015年至2017年间,高效地支撑了业务的探索期发展期期•事务场景需求急增从计费、交易到虚拟货币,用户量增加导致竞争的情况越来越多应用层通过MVCC机制实现简单事务重复且低效,也难保证正确性•与大数据生态对接困难MongoDB的生态比较一般,特别是在和大数据对接的时候,需要重新造轮子•缺乏数据约束性MongoDB是读模式(schema-on-Read),相当于数据没有准入规范MysQL是写模式(schema-on-Write),定义schema,写入校验数据模式事情都值得重新思考据库•高可用•高吞吐•支持ACID事务•大数据生态友好•有水平扩展能力,并且不侵入业务从历史,到未来:理解数据库的发展史生BAsE理论诞生回合ID22000年代NosQL诞生2006年BigTabIe论文Cassandra回合成熟水平扩展CIDNewsQL诞生2012年spanner论文怎么解决数据库的水平扩展问题MysQL(sQL)表sQL语言底解决(NewsQL)层锁增加的思考成熟技术OR新技术失效serviceMesh失效serviceMesh架构是趋势NewsQL(?)统库度LysMD性好雅解决海量题TiBB架构性不确定•更成熟的技术Vs更新的技术伴鱼的选择:选择更新的方案(TiDB)相信团队对新技术的掌控能力,选择和时间做朋友的理解•技术的先发优势累更好更扎实但是如果出现技术变革的时候,以前的沉淀和积累将变成技术包袱•技术的后发优势在技术发生变革的时候,可以直接选择最新的技术包袱•伴鱼的理解预判技术趋势,选择最新的技术,弯道超车,避免技术债务率的权衡•MysQL机器成本低′工程师的效率低•TiDB工程师的效率高′机器成本高长期来说′如果上云后′成本也会得到很好的优化•伴鱼的权衡关注工程师的效率′更关注工程师的心情′更关注隐性成本′而不仅仅是账面明显可以比较的资源数字′特别是在机器越来越便宜′人才越来越值钱的趋势下利的思考•技术生态选择一个技术y就是选择一个生态生态越完善y开发和运维效率就会越高SiBB通过兼容LγQMD协议y享受了LγQMD成熟的技术生态•当前技术红利SiBB通过完备的理论基础y优雅地解决了数据库水平扩展问题y提高了开发运维效率•长期技术红利SiBB是云原生数据库y云是技术大趋势y长远对成本和稳定性都很有优势SiBB还在快速发展中y会持续释放出技术红利:性能持续提高、新特性支持等伴鱼的选择:TiDB未来的技术•优化器选择索引的问题次由于优化器选择索引导致的故障优化器选择索引问题解决方案:TiDB的优化:TiDB从1.Ⅹ到3.Ⅹ的过程中x优化器表现越来越好伴鱼的优化:对大表采用强制索引避免隐患•大数据同步问题在TiDB数据同步的过程中x遇到数据不一致、数据同步慢和编码不一致导致同步失败数据量数据量据量4T求量量本数6集群duration16-30ms•对业务的承诺个高可用、库表容量无限制、支持AClD事务的数据库对业务来说,这个一个非常高级的抽象2个DBA,200＋研发•实际的结果维效率 数据库选型的演进与思考数据库平台化的实践与思考未来计划与展望C0NTENTs性能监控大盘慢日志平台控性能监控大盘慢日志平台控监控报警平台Weir级SQL审核平台数据查询平台sQL审核平台写在纸上的规范只是建议,自动化执行的规范才是规范SQL审核平台SQL审核平台Weir:提供数据库治理能力的Proxy不论业务侧出现什么样的sQL,确保数据库不会被打挂•Auto)DetectRatelimiting←CircuitbreakerMulti)tenancy•servicediscoverywithsmartclient•Connectionpool•WebApplicationFirewall(WAF(forsql 数据库选型的演进与思考数据库平台化的实践与思考未来计划与展望C0NTENTs开源计划投之以桃,报之以李•SQL审核平台PingCAP与伴鱼战略合作框架下的孵化项目公司内部已经使用0年多,正在进行开源整理预计1/1/年Q2内开源•WeirPingCAP与伴鱼战略合作框架下的孵化项目提案地址:https:..munity.issues.174开源地址:https:..github-com.pingcapincubator.weir预计1/1/年Q2内开发完成•欢迎大家参与进来,一起共建考关于数据长期的规划与思考•数据的价值在于高效流通在线平台:产生数据,应用数据产生的知识与智能数据平台:据从数据到知识,反馈到业务决策和业务系统Al平台:从数据到智能,反馈到业务决策和业务系统•打通平台间的壁垒,让数据高效流通起来,在伴鱼这件事我们可以做成THAN