美丽说数据库架构变迁.ppt

美丽说数据库架构变迁 Web研发王伟 第21期： 高性能数据库应用之“美丽说”技术专场 www.LAMPER.cn /lampercn 目录 一.武功秘籍 - 向上扩展&向外扩展 二.很久很久以前 - mysql主从架构 三.祸起萧墙 - 按功能分配机器 四.泾渭分明 - 读写分离 五.双剑合璧 - mysql主从+memcache 六.三足鼎立 - mysql主从+memcech+redis 七.分身有术 - 按业务分库 八.杀手锏 - 水平分表 九.未雨绸缪 - 异地机房 十.他山之石 - 工具总结 十一.真相大白 - 总结 武功秘籍 向上扩展&向外扩展 1 向上扩展&向外扩 展 向上扩展 (Scale Up) 单机硬件升级 (扩展极限) 增加(或升级) CPU ,存储设备升级,增加内存 . 更换更高端硬件 使用小型机和高端存储 (上贼船) . 向外扩展 (Scale Out) 数据切分 (Sharding) - 分库、分表 Hash 水平切分,Table垂直切分. 数据拷贝复制多份 同 步、异步 读写分离,多点服务 利用 Cache 和 Search 等扩展数据层 通过与Cache 和 Search 的协作,增加数据层的扩展性 很久很久以前 mysql主从架构 2.1 mysql主从架构 app1 M LB 1 App cluster layer Load balancer S S S MYSQL protocol wr DB source layer repl 简单负载 均衡器，实现 了 按权重，随机等基本负载 均 衡算法 数据库主从架构，主库(M)写 ，所有的数据库（M&S）读 LB 2 LB n app2appn 祸起萧墙 按功能分配机器 3.1 问题 出现 3.1 问题 出现 Sql太慢了！ 前后台数据库混用 3.2 问题 解决 解决方案 表结结构 优优化 索引优优 化 查询优查询优 化 架构优 化 优优化 3.3 架构变化 MYSQL protocol DB source layer repl 按功能分配机器 后台&脚本app servers Load balancers 前端app servers Load balancers w r r M S S S S 3.4 总结 问题总结： 从库io 问题 从库 cpu问 题 优化表结构，索引，查询。不要着急加机器， 低碳生活从我做起 按功能将数据库分开，提高内存使用率，变相 增加内存 泾渭分明 读写分离 4.1 问题 出现 主库写入慢 4.2 架构变化 MYSQL protocol DB source layer repl 数据库读写分离 后台&脚本app servers Load balancers 前端app servers Load balancers w r r M S S S S 4.3 总结 问题总结： 主库 cpu问 题 主库io 问题 读写分离 双剑合璧 mysql主从+memcache 5.1 问题 出现 从库读读压力大！ 5.2 问题 解决 解决方案 加内存（ 96G） 加缓缓存（ memcac he） Mysql 配置优优 化 减少从库库io操作 5.3 架构变化 MYSQL protocol DB source layer read_1/write_3 Insert&delete&update read_2一致性hash 前端app servers Memcached layer Load balancers M S S 给应用添加读cache 5.3 总结 问题总结： 增加cache 从库io 问题 加 内 存 三足鼎立 mysql主从+memcache+redis 6.1 问题 出现 6.1 问题 出现 主库写入慢 从库延迟迟 6.2 问题 解决 解决方案 Memery 引擎到 cache 加写缓缓 存(redis) 减少主库库io操作 6.3 架构变化 MYSQL protocol DB source layer read_1/write_3/writes read_2 前端app servers Memcached + redis Load balancers M S S memcache一致性hash redis 取模hash writes write 给应用添加写cache 6.4 总结 问题总结： 主库io 问题 加cache，合并写操作 分身有术 按业务分库 7.1 问题 出现 问题 杂志社上线 写双倍 读1.3倍 数据库大小600G 6.2 问题 解决 解决方案 按业务业务 分库库 减少主库库io操作 7.3 架构变化 MYSQL protocol DB source layer read_1/write_3/writes Insert&delete&update read_2 一致性hash & 按模hash writes 业务1业务2 前端app servers Memcached + redis Load balancers M S S M S S 按功能分库 7.3 架构变化 前台业务1 后台应用 B 黑洞数据库 transformer 前台业务2 M S S M S S S S S 使用黑洞同步数据 6.4 总结 问题总结： 主库io 问题 按业务拆分数据库,将写压力分散 杀手锏 水平分表 8.1 问题 出现 单表4亿亿行数据 200G空间占用 8.2 问题 解决 解决方案 sharding 减少从库库io操作 8.3 架构变化 MYSQL protocol DB source layer业务1 pk：050000 pk：50000100000pk：最新的 Query paser Query router Resust sort Result merge connection management HA management r 美丽说内部代号:storageload blancer 自增id全局生成 器 write_1 write_2 M ss M ss M ss 水平分表-扩展读操作 8.3 架构变化 MYSQL protocolDB source layer业务1 Storage r write_2 自增id全局生成 器 write_1 取模分配 pk：050000 pk：50000100000pk：最新的 M ss M ss M ss 水平分表-扩展写操作 8.3 架构变化 MYSQL protocolDB source layer业务1 Storage read_2 write_3 自增id全局生成 器 write_1 read_1/write_2 Meta表：中心字典 pk：050000 pk：50000100000pk：最新的 M ss M ss M ss M ss 增加meta表，方便运维，数据重平衡 8.4 总结 问题总结： Sharding（水平分表），将数据尽量装入内存 从库io 问题 未雨绸缪 异地机房 9.1 问题 出现 问题 改善用户体验 降低风险 9.2 异地机房 A地前台业务1B地前台业务1 repl 双主 主键奇数递增 1,3,5 主键偶数递增 2,4,6 同步 代理 选择性同步 Memcached + redis Memcached + redis M S S M S S 双主结构（对称） 9.2 异地机房 A地B地 repl 主键1,4,7 主键2,5,8 M S S M S S M S S C地主键3,6,9 环形结构 他山之石 工具总结 10.1 工具总结 Mysql相关 Mysqlslap