百度分布式Redis平台架构介绍

1、百度分布式Redis平台架构介绍Baidu Districted Redis Platform大纲BDRP在百度的应用架构介绍挑战与解决方案总结BDRP在百度的应用Redis 实例 5w+，服务数2k+，物理机5k台+典型业务凤巢（商户物料信息）诚信（首页加V信息）糯米（促销信息）度秘（用户聊天信息）百度钱包（红包库存信息）大纲BDRP在百度的应用架构介绍挑战与解决方案总结系统框架基础组件虚拟化集群管理Container上线部署权限管理名字服务客户端ProxyRedisContainerContainerDash Board元数据管理容量管理集群信息管理 版本管理/升级对外接口数据流图客户端客

2、户端 客户端名字服务（路由层均衡）proxyproxyProxy主Redis从Redis主Redis从Redis同步同步MetaServer更新分片信息主从切换获取路由信息服务部署数据流元数据流大纲BDRP在百度的应用架构介绍挑战与解决方案总结挑战-以糯米为例登陆、注册浏览下单支付发券验券全交易闭环重度依赖，如登录90%以上流量由Redis承担可用性（机器、机房）访问量巨大，大促时促销服务一天访问量数千亿性能（时延、吞吐）扩展性存储（MySQL、Redis）资源使用巨大，数千台物理机存储使用配比挑战-性能近地域多机房（十几ms网络时延）一次业务访问几十次读取Redis（读时延放大）读写比高（

3、100：1）读吞吐高（单集群数百万QPS）机房三业务端机房一业务端机房二业务端近地域多机房方案Proxy读写分离MetaServer传播地域路由 信息ProxyProxyMSSRWRW机房一机房二ReplicateReplicateMetaServer地域路由信息挑战-可用性社区版切主时从库向新主全量同步主库网卡压力陡增 服务不可写从库同步时间几十分钟-服务不可读MSSSM全量同步SS全量同步新主机器故障秒级切主同源增量同步网卡压力突增-平稳10G内存同步时间10min-5sMSSSM增量同步SS增量同步新主1分钟整机房切换Cluster1并行切主MetaServerRedis1.RedisN

4、Redis1Cluste.rNRedisN挑战-扩展性year1 year2 year3 year4 year5 year6服务容量 峰值压力周一周二周三周四周五周六周日业务压力产品线1产品线2大促压力高于服务容量，频繁扩缩容- 弹性扩缩容不同业务不同时间段压力不同-服务混部扩展性-redis V2.x 方案MMMMMMM 成倍扩容（2-4） 服务迁移（2-3）MMMMSS新旧集群数据迁移Slave变更为master弹性扩缩容-Redis Cluster方案核心：数据迁移方案迁移效率：单个key迁移效率低下（V3.2 keys）迁移方式：同步迁移，迁移过程中影响服务读写slotslotShar

5、d1slotShard2（new）Migrate key/keysSYNCredis1redis2弹性扩缩容-BDRP方案迁移效率：数据块整体聚合迁移，效率高迁移方式：子线程异步dump和迁移数据，不影响读服务slotslotShard1slotShard2（new）async dumpMigrate slotslotPthread基于服务混部的Auto Scaling产品线1资源产品线2资源ContainerContainerContainerContainerContainerContainerPaaS产品服务1产品服务2伸缩平台探测/触发伸缩挑战-DB&CACHE使用Redis作为CAC

6、HE的场景下，业务无法判断MySQL和Redis的最佳配比资源性能同时使用MySQL协议和Redis协议维护MySQL和Redis数据一致性MySQLRedisDB&CACHE-已有方案InnoDB with MemcachedMySQL Memcached UDFs协议未统一受限单机内存协议未统一需要用户处理数据一致性MySQL&Redis融合DTS:完成MySQL-redis数据同步访问协议为MySQL协议clientproxyMysqlDTSRedisRW抓取binlog增量Proxy：分发不同存储R转换更新MySQL&Redis融合-数据转化库名:DB表名：TABLE表主键：PRIMA

7、RY_KEYkey:DB.TABLE_11_PRIMARY_KEYvalue:PRIMARY_KEY对应的组合内容Mysql&Redis融合-查询逻辑Proxy自带SQL Parser写入进入主库非KV类查询进入从库KV类查询进入Redis结果集为MySQL协议ProxyMySQL&Redis融合-一致性保证填充方案全量CACHE：DTS热点填充：Proxy+ DTS同步监控Redis延时过大摘除RedisProxyMySQLDTSMonitorAgentRedis监控监控CACHE开关Mysql&Redis融合-指标和收益Redis更新时延ms级可靠性(99.99%)对比纯MySQL集群收益（Redis命中率90%）集群吞吐提升10倍长尾降低70%，平响降低20%业务无需任何改动大纲BDRP在百度的应用架构介绍挑战与解决方案总