微博Cache架构设计实践

1、微博Cache架构设计实践技术创新 变革未来大纲数据挑战Feed系统架构Cache架构及演进总结及展望数据挑战平台接口 日访问百亿级Cache 内存百T级核心记录千亿级Cache日访问万亿级单个核心数据 Cache QPS百万级日活用户 1.6亿Feed平台系统架构Feed timeline构建流程Feed Cache 架构Cache架构Cache架构及演进简单KV数据类型单层HashMain-HACache架构及演进简单KV数据类型Main-HA-LlCache架构及演进简单KV数据类型Key PointMemcached 为主层内HASH节点不漂移，miss则穿透多组L1 读取性能升 峰值

2、流量成本降读写策略Write:多写Read:逐层穿透，miss 回写Json/xml Protocol BufferQuickLZ 压缩Cache架构及演进 集合类数据业务特点部分修改分页获取资源计算 联动计算类型 关注，粉丝，分组，共同关注，xx也关注方案 RedisHash 分布，MS，cache/storage30+T 内存，2-3万亿rw/dayCache架构及演进集合类数据Redis扩展(Longset)Long型开放数组，Double Hash 寻址Client 构建数据结构，elements 单次写入Lsput 填充率过高，由client重建Lsgetall Lsdump少量而超

3、热数据 mc抗读Cache架构及演进集合类数据Redis其他扩展热升级 10+分钟毫秒级AOF:RotateROB:Pos of AOF全增量复制落地同步速控Cache架构及演进其他数据类型计数业务特点单key有多计数（微博用户多种计数）Value size较小（2-8个字节）每日新增记录近十亿级，总记录千亿级单次请求多条kvCache架构及演进其他数据类型计数选型1: MemcachedMC 剔除，重启数据丢失大量计数为0，如何存选型2: Redis内存有效负荷低方问性能最终方案：自研CounterServiceShema 支持多列，按bit分配Tables 预分配，double-hash寻

4、址内存降为1/5-1/15以下冷热分离，SSD 存放老数据，老热数据入LRU落地 RDB + AOF全增量复制单机：热数据百亿级，冷数据千亿级Cache架构及演进计数器 CounterService存储架构Cache架构及演进其他数据类型存在性判断业务类型需求检查是否存在（阅读 赞）单条记录量小，value 1bit (0/1)总数据量巨大，大量value为0每日新增数量大 千亿级Cache架构及演进其他数据类型存在性判断选型1: Redis单条kv:65 bytes每日新增内存 6T (不考虑HA)选型2 CounterService单条kv:9 bytes每日新增内存 900G (不考虑H

5、A)Cache架构及演进其他数据类型存在性判断录终方案：自研PhantomTable 分段预分配，段内 bloomfilter每条kv：1.2 bytes (1%误判）每日新增内存：12OG SOOG 6TCache架构及演进其他数据类型存在性判断Phantom系统架构数据存放共享内存，重启不丢数据落地 RDB + AOF兼容Redis 协议Cache架构及演进小结关注点集群内高可用集群内扩展性组件高性能存储成本Cache架构及演进进步优化业务关联资源太多 如何简化开发？常规峰值、突发流量如何快捷、低成本应对？面向资源组件管理 如何简化运维？本地配置模式 如何快速变更？业务数据分类多如何独立管

6、控SLA？Cache架构及演进服务化本地Confs 配置服务化configServer 管理配置服务，避免频繁重启资源服务管理 API 化变更方式 script 修改， smart client 异步更新Cache架构及演进服务化Cache 访问Proxy 化IDC数据致性Collecting/replicationCache架构及演进服务化ClusterManager脚本化Web 界面化服务校验 业务SLA面向服务管控资源服务治理扩容、缩容SLA 呆障监控报警故障处理简化开发屏蔽Cache资源细节单行配置访问总结与展望Feed Cache 架构数据 架构性能 扩展 可用性存储 成本服务化Ll-M-HA分布策略开源扩展优化自研组件简单KV集合类数据计数存在性判断配