云原生多模数据库GeminiDB架构与应用实践

云原生多模数据库GeminiDB架构与应用实践温云博｜华为 03业务场景实践 04现网案例分享GeminiDB引领NoSQL存算分离架构，持续战略投入，打造世界级数据库GaussDBNoSQL正式亮相文档引擎正式发布宽表引擎GaussDBNoSQL正式亮相文档引擎正式发布宽表引擎正式发布时序引擎正式发布KV引擎正式发布DynamoDB引擎正式发布GaussDBNoSQL品牌升级GeminiDB启动云原生分布式NoSQL数据库研发201715Cassandra，0GeminiDB云原生架构存算分离&多模扩展核心优势超高性能海量存储存算分离&多模扩展核心优势超高性能海量存储极致弹性稳定可靠核心设计协议层计算层存储层Redis接口InfluxDB接口MongoRedis接口InfluxDB接口Mongo接口DynamoDB接口DBNodeDBNodeDBNodeDBNodeStoragePoolGeminiDB弹性实践：扩容量，对业务“0”影响一键扩容扩容扩容1TB扩容扩容1TB页面缓存业务为例：数据量增长场景GeminiDB扩容设计：不影响在线业务GeminiDB弹性实践：扩计算，对业务仅秒级影响传统NoSQL扩容：需搬迁数据特点：数据量越大，耗时越久，对业务影响越久Latency跨片搬迁数据 Time(5分钟统计粒度)0GeminiDB扩容：仅修改路由映射特点：不论数据量多大，对业务影响仅秒级分布式共享存储引擎修改路由映射节点1节点1节点2GeminiDB游戏实践-1：两库合一，简化架构业务场景典型场景：排行榜31312700Abelrank:20240512NoahJay 游戏服 游戏服 游戏服•异步加载•免手动归档GeminiDB游戏实践-2：原地回档，速度不受数据量影响方案1：编写openAPI编写脚本，每2小时手工备份。8:0010:0012:00 openAPIopenAPI一键回o restore新实例新实例方案2：开启PITR，5分钟粒度锚点，紧急情况原地恢复。记录点记录点记录点记录点11:5011:5512:00一键回Warning记录点记录点原地恢复，且支持“反悔”原理：•分布式文件系统，1秒快照•原地数据目录替换，10分钟恢复GeminiDB广告实践：广告RTA业务面临的痛点媒体平台媒体平台l-----特征数据库l-----特征数据库GeminiDB广告实践：广告/推荐/风控，批量导数提速10倍一个真实案例：广告RTA业务，10TB模型分数据，使用N个Redis集群。大数据离线每月生成一次全量，灌数到Redis要花一周。业务k8sSpark逐条数据写入1大数据平台（特征/画像/模型分）自建idididid业务k8sSpark逐条数据写入1大数据平台（特征/画像/模型分）自建ididididididsetsetsetsetsetsetxxxxxxxxxxxxxxxxxxRedis集群让人头疼的难题：•导数引起qps尖峰，影响读时延•把TB级数据导进在线，要折腾1周方案升级华为云华为云GeminiDB业务k8s2批量导入Spark大数据平台（特征/画像/模型分）GeminiDB疗效：•业务k8s2批量导入Spark大数据平台（特征/画像/模型分）GeminiDB疗效：•导数qps尖峰消失了，读时延平稳•7天变为1天，特征数据“新鲜在线”GeminiDB国内案例1.3亿全球月活用户全球23区域，支持资源快速下发7000万UCG开发者生态6000万新媒体矩阵粉丝全球23区域，支持资源快速下发2亿+用户创作场景量全球部署数据平台高性能登录优化消息推送应用内支付广告高可靠数据强一致，数据平台高性能登录优化消息推送应用内支付广告高可靠数据强一致，TB级地图数据实时快速安全扩容数据激