腾讯CMEM平台介绍V13课件

概述CMEM简介全称为CloudMemcache，是腾讯云平台提供的极高性能、内存级、持久化、分布式的Key-Value存储服务。CMEM是作为最终落地存储来设计的，拥有数据库级别的访问保障和持续服务能力。CMEM兼容memcached协议，能力比memcached强（能落地），适用memcached、ttserver的地方都适用CMEM。CMEM解决了内存数据可靠性、分布式及一致性上的问题，让海量访问业务的开发变得简单快捷。概述使用CMEM的好处便捷，即时申请即时使用，无需自行安装。易用，可以直接使用memcached的API来访问CMEM。安全可靠，重启机器不丢数据、双机热备，主备切换对业务透明，跨机架跨交换机部署，具备灾难时的回档能力。省心，具备自动扩容能力，扩容对用户访问透明，且扩容后不影响服务，拥有全面监控及运营团队，用户不需要去半夜去处理故障。性能极高，热点数据全部都在内存，且解决了内存数据的可靠性问题。成熟稳定，容灾机制健全，服务成熟，服务于海量第三方用户且久经考验，开发者完全可以放心使用，运营数据已超过40T，接入业务包括胡莱三国，幻想之城，蜀山传奇等。系统模型接入集群管理中心搬迁中心存储集群备份中心CMEM模型统计中心策略执行中心架构模型1:1镜像数据流向服务可靠性接入机镜像，相互容灾存储机双机热备，读自动切换，写半自动切换备份中心，每日全量备份+5分钟粒度流水备份-存储机配有磁盘镜像和操作流水，掉电重启后自行重建内存接入机主机备机服务无损性人工/自动触发扩容，扩容瞬间完成，解决数据瞬间暴涨问题数据搬迁时用户可读写，影响万分之一的删除，每个用户受影响时间正常情况下持续在1分钟之内单台备机死机服务无影响，主机死机后只读，人工/自动切换到备机则恢复到可读写状态接入机源机目标机无损服务内部搬迁极端灾难的应对机架掉电：主备Cache部署在不同机架。交换机故障：主备Cache部署在不同交换机下。机房掉电：服务受损，但数据可恢复。掉电+多点磁盘故障：生产系统无法恢复，由备份中心负责回档。备份能力镜像文件备份流水旁路恢复中心++1.每天具备一次全量Dump，且Dump期间不影响现网运营质量。2.业务流水以每5分钟为粒度进行合并备份。3.具备极端灾难时的数据恢复能力。4.备份数据后续将为业务提供离线数据分析的能力。系统性能1/2技术点：充分运用zero-copy思想，在消息传递时，基本达到理论上的最少copy次数。快速hash技术内存快速分配技术多核充分利用技术无锁技术结论:接入模块的小包处理能力可达到35w/s(req+rsp)，最大限度挖掘了硬件能力，使性能达到极致。CMEM后续性能挖掘点主要在硬件适配方面，包括超线程CPU，多队列网卡等。系统性能2/2TTServer与CMEM两者get速度基本持平，但CMEM的set要更快多协议支持私有协议：广泛用于腾讯内部自研业务，支持接入鉴权，容灾，负载均衡，支持批量，多列，偏移访问。在不久的将来也会提供事务的特性，提供锁，回滚等操作。Memcached开源协议:广泛用于第三方开放平台APP。包括胡莱三国，守卫家园，阳光小镇等。不可用于phpsession等报文顺序相关的场景，使用前必须阅读限制条件。/wiki/CMEM

Redis接口：实现中。Mangodb接口：实现中。限制条件与应用场景限制:Key不超过10KValue不超过10M（memcached开源协议限制为1M)应用场景：数据总量适合于存储在内存中任何Key-Value形式的，写量很大的数据。对延时要求很高的业务。CMEM的用户价值接入即可使用，无需自行搭建，简单方便。性能极好，几乎没有延时毛刺。小包2ms之内的服务质量保证。通过云化复用，节约用户成本。双机热备，磁盘流水，掉电不丢失，保障数据安全。无需用户运维，用户不用关注容灾、机器故障、扩容、分布等问题。专注于应用开发即可。依托腾讯的技术能力，使用户获得海量服务的能力，为应用的发展壮大奠定基础。CMEM未来开发计划SSD介质支持，热冷调度，冷热调度，大幅降低用户成本。自动热点发现，自动负载调平，自动扩容，自动缩容，降低运维成本。面向最终用户的运营系统，为用户分析数据提供便利。事务支持，让用户回滚数据更加容易。接入通道扩容对用户透明。接入CMEM与自建memcached成本对比资源配置说明操作系统单位单价（人民币，元）VA22核CPU，15G内存，350G硬盘linux台/天45.00VA34核CPU，30G内存，750G硬盘（暂不提供）linux台/天90.00VB34核CPU，30G内存，100G硬盘linux台/天45.00VB64核CPU，60G内存，300G硬盘（暂不提供）linux台/天90.00VC24核CPU，3.5G内存，200G硬盘linux台/天13.00VC38核CPU，7G内存，300G硬盘

（仅广州机房提供该类机型，汕头机房不提供）linux/windows台/天26.00

（windows操作系统需另外计费）以其中的VB3为例，实现双机容灾需要2台，也就是90元/天。扣除操作系统内存消耗2G，实际可用内存28G。折合成本3.21元/G。目前CMEM成本3.2元/G,自建节省0.01元，后续SSD介质支持之后，成本优势将进一步体现出来。其他成本优势条目自建存储CMEM云存储研发成本有（需要解决数据安全的技术问题）无运维成本有（需要解决扩容部署问题）无服务能力小规模服务海量服务资源成本3.21元/G3.2元/G容灾风险主备双机跨交换机，跨机架的主备双机技术支持开源产品没有售后服务企业QQ服务，上门回访等可用性保障自行监控，自行解决腾讯的监控系统+7x24小时的运维服务推荐的应用使用云存储方式Gameserver或WebserverCMEM云存储VC虚拟机VC虚拟机Gameserver或WebserverCDB云存储用户资料：昵称、等级、金钱、经验背包数据:农场游戏的田地、果实等Feeds：”小明摘了我的菜”成果归档:某用户升级到30级好友排名、用户排名购买物品留言消息或C