2022腾讯大数据技术架构

⑩业务需求⑩基础平台架构··千万->10亿并发请求用户响应·秒->毫秒机器规模·千->万->10万级机器规模·千->万->10万级基础平台架构维分析/…实时计算离线计算资源调度资源管理Ⅲ89并行计算框架资源调度管理资源调度管理●支持多种并行计算框架在规模为1万节点，1万作业，1200队列时，Gaia-资源调度器优化-sfair调度器ContainerContainerContainerContainerContainerNodeManager经过优化，在大规模环境下，调度器的平均吞吐率从20提高到1000,提高50倍。√√√√网络入带宽管理bakhung·资源超发：提高资源使用率·高优先级作业的服务质量得以保证内存管理●多维度资源管理：新增NetworkIO、DiskIO等资源管理维度，提升了隔离性●丰富的用户api:为业务提供更便捷的容灾、扩容、缩容和升级等方式⑩计费在线业务能力要求计费平台在线业务能力要求·7*24不间断服务(99.999%)安户嘗销结算交易稽核全账淘宝分布式数据层datasource实现，主要解决分库分表对应用透明和异构DB间的数据复制●集中式数据源信息管理和动态变更●读写次数、并发度流程控制，动态变更②●从库负载均衡●自动摘除宕机的DB●为第三方开发人员提供的DB存储解决方案●DBaas,即申请即使用●通过Mysql客户端和API直接访问和管理Mysql实例，无需改造代码的IP/Port不变，应用层无需修项目用户接口分库分表单表单表功能不严格保障不严格保障不严格保障主备；自动切换主备；自动切换主备；自动切换容灾跨IDC跨IDC跨IDC半手工/—键扩容半手工半手工预分表/手工预分表/手工预分表/手工分钟分钟分钟手工手工手工不支持不支持不支持●数据存储&访问●故障隔离&恢复●用户接入用户接入业务逻辑TDF:配置/日志/协议/路由/权限/容错/容灾分布式存储Ⅲ主应用主GW(逻辑表)Mysql(物理表)GW(逻辑表)Mysql(物理表)2—2—n初始态：逻辑表=物理表扩容后：逻辑表=N个物理表容量：自动伸缩●整表迁移●子表分裂●在一个集群中，每次表分裂，会导致集群表数量的增加；集群中表的数量就是路由的条数，表数量越多，路由的效率就会越低●一个实例上面的表越多，对该实例运行环境的判断就越复杂：同一实例上的子表，表现各异，交叉影响的评估难度增大，可能导致连锁反应整表迁移>子表分裂子表合并>整表搬迁●scheduler:检测到主故障，通知主降级●scheduler:通知备升级为主●gw:路由切换至新的主机●切换完成图4-3主备切换流程示章图数据安全●存储安全●热备：至少双份●冷备：快照+binlog●访问安全●兼容MySQL权限控制●用户级别的数据隔离、访问控制命令行MySQL一样全兼容报表一切还像原来，只是更加简单用户接入行注册账户表空间查看状态查看状态令行什么备置机器、配置部署、扩容切换等等，通通不需要了—让一切回归简单项目用户接口分库分表单表单表功能不严格保障不严格保障不严格保障主备；自动切换主备；自动切换主备；自动切换容灾跨IDC跨IDC跨IDC手工/一键扩容半手工半手工自动手工手工手工分钟分钟分钟自动手工手工手工不支持不支持不支持●建设一个统一的业务开发框架，用以●降低开发、测试、运维的复杂度，提升服务质量具备快速、灵活的业务支持能力，提升服务效率器器器器器配置…3+1结构：资源管理、服务管理、开发框架+集群控制台TAM应用管理-流量调度业务请求调度规则正式●跨集群的业务访问：如一笔交易，批价在深圳，发货在上海；这种跨集群的访问需要跨集群的路由●每个集群保存一个全局元数据(主要包括调用关系和iplist)群的元数据变更同步到所有集群的全局元数据中zk授权策略路由上上报日志配置日志路由业务逻辑1业务逻辑1业务逻辑n业务逻辑n概况概况机器数量应用数量资源使用率资源使用情况⑩大数据平台之基础架构⑩大数据应用之实时精准推荐月活跃用户8.3亿，最高同时在线2.1亿；月活跃用户8.3亿，最高同时在线2.1亿；在线人际关系链超X000亿；月活跃4.4亿；月活跃用户数6.5亿；腾讯游戏月活跃用户超X亿；手机游戏月活跃用户超X亿；日均uv超X千万，手机侧超X千万；42实时精准推荐平台1000亿21亿实时精准