mysql视频10.集群数据库运维讲师

MySQL数据库运维讲师王恒DATAGURU专业数据分析社区MySQL数据库运维第10周法律声明◆【声明】本视频和幻灯片为炼数成金网络课程的教学资料，所有资料只能在课程内使用，不得在课程以外范围散播，违者将可能被追究法律和经济责任。◆课程详情访问炼数成金培训网站◆炼数成金逆向收费式网络课程

Dataguru（炼数成金）是专业数据分析网站，提供教育，媒体，内容，社区，出版，数据分析业务等服务。我们的课程采用新兴的互联网教育形式，独创地发展了逆向收费式网络培训课程模式。既继承传统教育重学习氛围，重竞争压力的特点，同时又发挥互联网的威力打破时空限制，把天南地北志同道合的朋友组织在一起交流学习，使到原先孤立的学习个体组合成有组织的探索力量。并且把原先动辄成千上万的学习成本，直线下降至百元范围，造福大众。我们的目标是：低成本传播高价值知识，构架中国第一的网上知识流转阵地。关于逆向收费式网络的详情，请看我们的培训网站第8周作业点评脚本三种类型：diff、pt-config-diff、parser问题：DIFF：对于跨版本；输出无序等情况下，会出现问题；并且对于批量规模化运维时，不太适用pt-config-diff：理解一下内部实现原理，更深入的理解一下parser：实现上可以考虑扩展一下，更加完善一下。点评：基本符合预期，但是缺少规模化运维的思路，还停留的单个任务处理阶段测试测试比较简单，同样存在copy。点评：整体没有将思路定位在生产适用的方法和工具，需要转变思考方式第9周问题回复MVCC：DATA_TRX_ID字段记录事务ID，通过事务ID的比较，建立READ_VIEW。根据

DB_ROLL_PTR字段记录回滚段地址，用于重建记录。DTrace：需要再编译的时候指定：-DENABLE_DTRACE=1，大纲MySQL架构设计业务类型常见架构架构部署MySQL

sharding垂直拆分水平拆分集群运维管理MySQL架构设计--业务类型读写比读多写少读少写多平分秋色读一致性权衡统计业务历史数据迁移MySQL架构设计--常见架构读多写少M1(WR)M2(R)S1(R)S2(R).......S11(R)读少写多M1(WR)M2(S)平分秋色M1(WR)M2(R)S12(R)MySQL架构设计--常见架构读一致性权衡强一致性M1(WR)M2(S)M1(WR)M2(S)弱一致性M(WR)M(R)S1(R)中间一致性MySQL架构设计--常见架构统计业务M1(WR)M2(S)Binlog1Binlog2Data

WarehouseReflux

Rulereal-timeofflineBinlog

ParserMySQL架构设计--常见架构M1(WR)M2(S)History

Databasefilter历史数据迁移QueryMySQL

ShardingSharding分类：垂直拆分横向拆分纵向拆分横向纵向拆分业务拆分水平拆分历史数据与实时数据拆分单库多表拆分多库多表拆分MySQL

Sharding垂直拆分–

横向拆分DB1DB2ABABADB1ADB2BDB3BDB4MySQL

Sharding垂直拆分–

纵向拆分DB1DB2ABABDB1ABDB2ABMySQL

Sharding垂直拆分–

横向纵向拆分DB1DB2ABABADB1BDB3ADB2BDB4MySQL

Sharding垂直拆分–

业务拆分DB_USER1ABC......DB_USER2ABC

......ADB_USER1BC......DB_USER2ABC......MySQL

Sharding水平拆分–

历史数据与实时数据拆分Online

DBHistory

DBMigrationAPP读

写读MySQL

Sharding水平拆分–

单库多表：解决性能问题tableDBtable_0DBtable_1APPAPP读

写读

写MySQL

Sharding水平拆分–

多库多表：解决空间和性能问题tableDBtable_0table_1DB_1DB_2APP读

写APP读

写Logic

DBMySQL

Sharding水平拆分原则：1.尽量均匀的拆分维度。2.尽量避免跨库事务。3.尽量避免跨库查询。设计：根据拆分维度，做mod进行数据表拆分根据数据容量，划分数据库拆分数据操作跨事务操作：分布式事务跨库查询：数据汇总or消息服务MySQL

Sharding案例：按照用户维度进行拆分成64个分库，1024个分表user_id%1024拆分到1024张分表中每个分库中存放1024/64张分表t_0001.....d_00t_0000t_0017.....d_01t_0016t_0049.....d_02t_0048t_0065.....d_03t_0064......INSTANCEINSTANCEMySQL

Sharding数据操作–

Configure

DBAPPConfigureDB......t_0001.....d_00t_0000t_0017.....d_01t_0016INSTANCEt_0049.....d_02t_0048t_0065.....d_03t_0064INSTANCEMySQL

Sharding数据操作–

ProxyAPP......t_0001.....d_00t_0000t_0017.....d_01t_0016INSTANCEt_0049.....d_02t_0048t_0065.....d_03t_0064INSTANCEProxyMySQL

Sharding数据操作–

Data

EngineAPP......t_0001.....d_00t_0000t_0017.....d_01t_0016INSTANCEt_0049.....d_02t_0048t_0065.....d_03t_0064INSTANCEData

Engine

ServerAgentPullPush集群运维管理实例扩容–

纵向扩容t_0001.....d_00t_0000t_0017.....d_01t_0016INSTANCEt_0001.....d_00t_0000INSTANCEt_0017.....d_01t_0016INSTANCEData

Engine

ServerConfigureDB集群运维管理实例扩容–

横向扩容t_0001.....d_00t_0000t_0016.....d_01t_0015INSTANCEt_0001.....d_00t_0000INSTANCEt_0009.....d_01t_0008INSTANCEData

Engine

ServerConfigureDBt_0017.....d_02t_0016INSTANCEt_0025.....d_03t_0024INSTANCE参考资料《InnoDB

Multi-Versioning》《InnoDB多版本(MVCC)实现简要分析》《DTrace

User

Guide》《mysqld

DTrace

Probe

Reference》《MySQL

DTrace》《MySQL

Query

Latency

with

the

DTrace

pid

Provider》《开源数据库Sharding技术(Share

Nothing)》《What

is

sharding》《MySQL

sharding

approaches?》《MySQL

Fabric》《SHARDING

AND

SCALE-OUT

USING

MYSQL

FABRIC》《Spock

Proxy》《diamond》《alibaba/tb_tddl》