版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
MySQL数据库运维讲师王恒DATAGURU专业数据分析社区MySQL数据库运维第10周法律声明◆【声明】本视频和幻灯片为炼数成金网络课程的教学资料,所有资料只能在课程内使用,不得在课程以外范围散播,违者将可能被追究法律和经济责任。◆课程详情访问炼数成金培训网站◆炼数成金逆向收费式网络课程
Dataguru(炼数成金)是专业数据分析网站,提供教育,媒体,内容,社区,出版,数据分析业务等服务。我们的课程采用新兴的互联网教育形式,独创地发展了逆向收费式网络培训课程模式。既继承传统教育重学习氛围,重竞争压力的特点,同时又发挥互联网的威力打破时空限制,把天南地北志同道合的朋友组织在一起交流学习,使到原先孤立的学习个体组合成有组织的探索力量。并且把原先动辄成千上万的学习成本,直线下降至百元范围,造福大众。我们的目标是:低成本传播高价值知识,构架中国第一的网上知识流转阵地。关于逆向收费式网络的详情,请看我们的培训网站第8周作业点评脚本三种类型:diff、pt-config-diff、parser问题:DIFF:对于跨版本;输出无序等情况下,会出现问题;并且对于批量规模化运维时,不太适用pt-config-diff:理解一下内部实现原理,更深入的理解一下parser:实现上可以考虑扩展一下,更加完善一下。点评:基本符合预期,但是缺少规模化运维的思路,还停留的单个任务处理阶段测试测试比较简单,同样存在copy。点评:整体没有将思路定位在生产适用的方法和工具,需要转变思考方式第9周问题回复MVCC:DATA_TRX_ID字段记录事务ID,通过事务ID的比较,建立READ_VIEW。根据
DB_ROLL_PTR字段记录回滚段地址,用于重建记录。DTrace:需要再编译的时候指定:-DENABLE_DTRACE=1,大纲MySQL架构设计业务类型常见架构架构部署MySQL
sharding垂直拆分水平拆分集群运维管理MySQL架构设计--业务类型读写比读多写少读少写多平分秋色读一致性权衡统计业务历史数据迁移MySQL架构设计--常见架构读多写少M1(WR)M2(R)S1(R)S2(R).......S11(R)读少写多M1(WR)M2(S)平分秋色M1(WR)M2(R)S12(R)MySQL架构设计--常见架构读一致性权衡强一致性M1(WR)M2(S)M1(WR)M2(S)弱一致性M(WR)M(R)S1(R)中间一致性MySQL架构设计--常见架构统计业务M1(WR)M2(S)Binlog1Binlog2Data
WarehouseReflux
Rulereal-timeofflineBinlog
ParserMySQL架构设计--常见架构M1(WR)M2(S)History
Databasefilter历史数据迁移QueryMySQL
ShardingSharding分类:垂直拆分横向拆分纵向拆分横向纵向拆分业务拆分水平拆分历史数据与实时数据拆分单库多表拆分多库多表拆分MySQL
Sharding垂直拆分–
横向拆分DB1DB2ABABADB1ADB2BDB3BDB4MySQL
Sharding垂直拆分–
纵向拆分DB1DB2ABABDB1ABDB2ABMySQL
Sharding垂直拆分–
横向纵向拆分DB1DB2ABABADB1BDB3ADB2BDB4MySQL
Sharding垂直拆分–
业务拆分DB_USER1ABC......DB_USER2ABC
......ADB_USER1BC......DB_USER2ABC......MySQL
Sharding水平拆分–
历史数据与实时数据拆分Online
DBHistory
DBMigrationAPP读
写读MySQL
Sharding水平拆分–
单库多表:解决性能问题tableDBtable_0DBtable_1APPAPP读
写读
写MySQL
Sharding水平拆分–
多库多表:解决空间和性能问题tableDBtable_0table_1DB_1DB_2APP读
写APP读
写Logic
DBMySQL
Sharding水平拆分原则:1.尽量均匀的拆分维度。2.尽量避免跨库事务。3.尽量避免跨库查询。设计:根据拆分维度,做mod进行数据表拆分根据数据容量,划分数据库拆分数据操作跨事务操作:分布式事务跨库查询:数据汇总or消息服务MySQL
Sharding案例:按照用户维度进行拆分成64个分库,1024个分表user_id%1024拆分到1024张分表中每个分库中存放1024/64张分表t_0001.....d_00t_0000t_0017.....d_01t_0016t_0049.....d_02t_0048t_0065.....d_03t_0064......INSTANCEINSTANCEMySQL
Sharding数据操作–
Configure
DBAPPConfigureDB......t_0001.....d_00t_0000t_0017.....d_01t_0016INSTANCEt_0049.....d_02t_0048t_0065.....d_03t_0064INSTANCEMySQL
Sharding数据操作–
ProxyAPP......t_0001.....d_00t_0000t_0017.....d_01t_0016INSTANCEt_0049.....d_02t_0048t_0065.....d_03t_0064INSTANCEProxyMySQL
Sharding数据操作–
Data
EngineAPP......t_0001.....d_00t_0000t_0017.....d_01t_0016INSTANCEt_0049.....d_02t_0048t_0065.....d_03t_0064INSTANCEData
Engine
ServerAgentPullPush集群运维管理实例扩容–
纵向扩容t_0001.....d_00t_0000t_0017.....d_01t_0016INSTANCEt_0001.....d_00t_0000INSTANCEt_0017.....d_01t_0016INSTANCEData
Engine
ServerConfigureDB集群运维管理实例扩容–
横向扩容t_0001.....d_00t_0000t_0016.....d_01t_0015INSTANCEt_0001.....d_00t_0000INSTANCEt_0009.....d_01t_0008INSTANCEData
Engine
ServerConfigureDBt_0017.....d_02t_0016INSTANCEt_0025.....d_03t_0024INSTANCE参考资料《InnoDB
Multi-Versioning》《InnoDB多版本(MVCC)实现简要分析》《DTrace
User
Guide》《mysqld
DTrace
Probe
Reference》《MySQL
DTrace》《MySQL
Query
Latency
with
the
DTrace
pid
Provider》《开源数据库Sharding技术(Share
Nothing)》《What
is
sharding》《MySQL
sharding
approaches?》《MySQL
Fabric》《SHARDING
AND
SCALE-OUT
USING
MYSQL
FABRIC》《Spock
Proxy》《diamond》《alibaba/tb_tddl》
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 农产品营销学第三版(教学课件)第十七章 烟草营销
- 2024年英语培训市场规模分析:在线英语培训市场规模达到206亿元
- 3年级家长会学生代表发言稿
- 2024-2025学年小学数学六年级下册人教版(2024)教学设计合集
- 2024-2025学年高中生物学第一册沪科版教学设计合集
- 2024-2025学年初中数学九年级下册沪教版(五四学制)(2024)教学设计合集
- 浆砌块石护坡专项施工方案三篇
- 健康知识:如何保持健康的饮食习惯
- Unit 4 What's the best movie theater?单元知识点过关(课件)八年级英语上册单元语法精练(人教版)
- 小小社工传递爱与关怀
- 新概念英语第2册课文(完整版)
- 分级护理质量对护患纠纷的影响与护理干预
- 完美事业价值与远景新方案课件
- 历代行政区划变迁
- 仙家送钱表文-文字打印版
- 清洁能源推广与应用
- 心理知识竞赛
- 公司风险管理制度正规范本(通用版)
- 畜牧业相关法律法规概述
- 大学英语汉译英专题练习
- 2016年陕西省专升本(大学语文)真题试卷(题后含答案及解析)
评论
0/150
提交评论