腾讯云大数据云平台TBDS 产品白皮书

修订记录 ii目录 iii前言 11产品简介 2 2 3 3 32产品优势 53产品架构 7 7 8 8 4应用场景 13 5客户案例 18 6信创能力 21 7产品接口人 238部署资源说明 24 附录A更多资源 26前言文档目的本文档用于帮助读者快速了解产品的基本信息，包目标读者符号约定腾讯大数据云平台TBDS产品白皮书1.1产品发展背景融合分析，打造实时数据湖架构对任意来源、任意规模、任意类型数据进行实时接入、存储、治理与分析，以此对集团内外用户在企业数字化转型1.2产品概述腾讯云大数据平台套件TBDS（TencentBigDataSuite)是基于开源体系，融入腾讯内部要，全面支持信创，安全可信的大数据存储、查询、分析统一平台，为据处理平台/数据中台解决方案提供完善的平台和工具支撑。通过对聚、实时和非实时的分析和挖掘，帮助企业从海量数据中获取真正1.3产品定位于腾讯内部多年海量数据处理经验，通过整合腾讯内部大数据技1.4产品价值3)数据融合价值：打破数据行业壁垒，对多源数据进行融合，依靠大数据平台的存算、分析4)数据计算价值：计算资源弹性伸缩，提高资源利用率，降低计计算方式，快速根据业务计算内容选择最优计算引擎，提升业务5)数据应用价值：可选择内置的自研数据开发治理平台WeData、行分析挖掘，同时引擎已适配百余种腾讯自研应用产品和丰富的生测、全局维度指标告警等功能保障数据与资源7)技术先进性：针对业务场景，不断对开源组件进行调优，结合腾讯数十款产品优势腾讯大数据云平台TBDS产品白皮书产品优势面向政府/企业级的大数据云平台：TBDS提供支持On-Premise（本地部署)、On-C上全托管)、On-Hybrid（混合云部署)三种部署模式极致的性能与可扩展性：TBDS拥有经过深度优化的高性能计算存储引擎，支撑腾讯内部日性之上，自研增强了包括“用户-组件”级的生态开放融合：TBDS对开源大数据生态提供良好的融合能力，可大幅度降低用户的使用和学习成本，并且在引擎层和工具层开放了全平台接产品全景图腾讯大数据云平台TBDS产品白皮书产品全景图3产品架构3.1产品全景图接入、存储、计算、服务、分析、管理等多个组件，支持用户本地部进行了部分优化，主要提供各类应用程序的资源管理和调度，同时根据升平台的统一数据安全能力；除此之外，平台管理还包含租户管理、3.2功能架构3.2.1组件概览数据接入Postgresql)间进行数据的传递。腾讯大数据云平台TBDS产品白皮书产品全景图数据存储统数据计算分析腾讯大数据云平台TBDS产品白皮书产品全景图析资源管理产品全景图腾讯大数据云平台TBDS产品白皮书产品全景图3.2.2平台管理登录功能、项目快捷管理功能、资源/任务审批包含租户和子租户的创建与运维功能，以及包含租户包含项目的创建和运维功能，包含项目的成员管理、3.2.3运维中心包含对集群的创建、集群资源配置和集群纳管等能服务健康度是为运维人员提供完整的发现问题、定题（而不仅仅是看告警列表)包含日志采集大盘和日志诊断大盘等全局日志分析页包含对已启用的产品管理、产品中心设置和自定义产理核心产品介绍腾讯大数据云平台TBDS产品白皮书核心产品介绍‘应用场景4.1数据汇聚与共享客户群体：面向政府和中小型企业，数据规模有限，主要离线场景，使用场景相对简单对数据进行处理和加工，然后数据统一存储在大数据引擎中，同时大数务，当数据规模或业务场景需要时在增加企业级大数据4.2数仓集市与分析客户群体：主要面向政府、大中小型企业数仓分层设计和指标模型的构建，然后通过WeData对数据任务进行开发和编排，在引擎层4.3内容搜索与分析客户群体：所有结合TBDS-ES/Hermes提供的搜索分析引4.4政企数据中台建设客户群体：主要面向政府、中小企业的三种大数据引擎方案，为数据资产和数据应用提供统一的数据4.5实时数据处理分析客户群体：主要面向大中小型企业4.6企业CDH迁移客户群体：大中小型企业解决方案：1)数据集成：通过统一集成工具、统一任务调度、统一数据管理等能力对数据集5)大数据应用开发：可选择内置大数据开发套件WeData和DataInsight增加数据开发、开附录A更多资源腾讯大数据云平台T附录A更多资源5.1某农商行数据中台项目5.2中国银行大数据平台及数据湖项目大数据可视化分析探索，最大程度地释放数据的流动性和挖掘数据的腾讯大数据云平台TBDS产品白皮书附录A更多资源统一数据分析层、展现层、数据沙箱等探索提供平台支撑，也为沉淀和附录A更多资源腾讯大数据云平台T附录A更多资源6.1产品能力全面支持信创国产化生态，已涵盖国产化芯片、操作系统6.2信创资质荣获信息中心技术创新应用协作组和工业和信息化6.3兼容认证6.4客户案例6.4.1案例背景6.4.2解决方案项目全面整合行内外数据同时对系统和业务进行优化，实现全行数据互联互通、统一数7产品接口人harryhuo（东西区)norrishuang（南区)rogerlv（北区)产品运营（行业合作)产品运营（渠道被集成)8部署资源说明8.1企业级大数据底座/实时数据湖1、节点个数=用户数据量（TB)*1.3（预留空间/数据膨胀)*0.5（压缩比)*3（副本数)/（压缩比)*3(副本数)/30TB（假设机器裸磁盘空间)≈7个工作节点。2、企业级大数据底座生产环境建议≥6个节点3、实时数据湖生产环境建议≥10个节点1、节点个