腾讯云大数据方案交流课件

1、腾讯云大数据方案交流议程腾讯大数据历程腾讯大数据方案和产品案例介绍腾讯数据资产QQ月度活跃超过8亿QQ空间月活超过5亿微信及Wechat月活超过6亿拥有用户最多的视频门户行业用户最大的浏览器腾讯大数据现状资源调度Gaia业务在线系统存储HDFS/PG/HBase/离线计算MR实时计算TRC数据产品精准推荐/秒级监控/多维分析/用户画像/数据接入数据分发5万亿条20000台400P15P3.5万亿条500万次任务调度&工作流Lhotse100亿次TBDS大数据套件发布腾讯云大数据平台的发展历史数智：一站式数据分析与挖掘平台方略：提供开放通用的数据应用及分析服务一站式、全流程大数据服务平台数据分析

2、引擎机器学习引擎数据接入引擎大规模任务调度离线计算多维分析引擎资源调度管理（CPU、GPU）搜索MPP底层存储（结构化、非结构化存储）高性能并行计算深度学习框架（支持Caffe/Tensorflow）机器学习图计算开发、调度及运营一体化平台实时计算数据可视化文智NLP开放推荐用户洞察分析区域人流分析语音识别AAI优图识别FR小云客服ICS公众趋势分析iData游戏大数据平台MTA移动分析平台灯塔移动运营平台信鸽Push地图位置大数据更多数智方略行业产品产品家族图谱30+深度优化组件社区+自研首批通过大数据基础能力和性能认证云化+私有行业合规功能认证性能认证大数据平台咨询/实施运维生态链价值链数

3、据治理$ 数据价值数据洞察 呈现 | 分析 | 挖掘处理存储集成公共运维数据运营 精准 | 开放主题/模型数据源/格式元数据/计算逻辑指标体系特征库/挖掘模型业务规则/语料库日常运维数据质量稽核应急预案数据接入流程监控告警体系我们的服务数据分析引擎机器学习引擎消息中间件大规模任务调度离线计算多维分析引擎资源调度管理（CPU、GPU）搜索MPP底层存储（结构化、非结构化存储）高性能并行计算深度学习框架（支持Caffe、Tensorflow）机器学习图计算开发、调度及运营一体化平台实时计算腾讯大数据方法论 数据分析+机器学习双引擎数智大数据处理平台产品架构 YARN资源调度管理控制台服务器大数据套

4、件组件层MapReduceLhotse任务调度全链路数据开发部署/监控/告警HDFSKafka/TubeSparkHIVEPIGTStormHBaseTPG腾讯自研社区改造版社区版本离线实时数据接入黄金眼报表展示TRE广告推荐公有云私有云非云化环境大数据套件服务层统一日志中心数据连接器组件协调器Rest APIHermesMPP数据治理多租户管理Spark StreamingKylin数智大数据处理平台组件架构2022/7/29核心优势稳定易用安全一站式大数据分析处理平台技术开放性数智一站式大数据处理平台核心优势2022/7/29一站式企业级大数据平台TB到百PB级数仓建设流式数据处理离线数据

5、处理结构化、半结构化、非结构化 数据分析与探索挖掘数智一站式大数据平台: 应用场景调度层输出层计算层接入层内部数据接入外部数据接入离线计算MapReduce/Spark实时计算StormTstorm/Sparkstreaming任务调度消息中间件Tube/Kafka数据分发存储层分布式文件结果存储展示层自助报表API支持多数据源接入RDBMS: Mysql、PostgreSQL、Oracle、SQL ServerNoSQL: MongoDB、Redis流数据：Kafka、Flume丰富的数据类型结构化半结构化非结构化 套件使用方只需要接入数据 展现层只需要从数据存储层取出数据用于展现块存储对象

6、存储SQLNoSQL大数据套件典型数据处理流程图 快速易用的数据接入方式： 离线接入： 用户直接PUT数据至HDFS存储； FTP、各种数据库数据导入以及磁盘邮寄等； 腾讯云数据对接，COS和CDB的数据均可接入； 跟随系统部署的任务调度会默认支持以上数据接入方式，降低用户使用门槛； 实时接入： 提供实时接入服务，以消息的形式接入用户数据； 提供安全可靠的存储： 离线数据直接写入HDFS； 实时数据写入Tube(腾讯自研的万亿级消息中间件)/Kafka，支持TCP、UDP、HTTP以及 HTTPS方式接入；大数据套件应用数据接入 计算形式： 离线： MR：支持原生MapReduce； HIVE

7、：支持原生oracle语义，也支持社区hive语义； 实时： Spark：支持大数据实时查询； Storm/Tstorm：流式计算更方便；工具： IDE：windows环境下的hive在线调试工具，提升工作效率；大数据套件应用数据计算 基本特性： 千万级作业调度能力，例行化调度大数据任务； 图形化配置依赖关系，保证任务流的时序性； 自动重调失败任务，并根据配置发送告警； 可扩展性强，允许用户插件化扩充新的任务类型； 默认任务类型： 数据导入：FTP-HDFS，RDBMS-HDFS，消息-HDFS； 计算任务： MR计算、Hive计算、Shell脚本任务； 数据导出： HDFS-FTP，HDFS

8、-RDBMS ，HDFS-K/V存储；大数据套件应用任务调度接入类Processor调度类Processor计算类Processor处理器层Processor控制器数据流控制任务流调度器控制层典型应用模板自定义模板工作流管理应用层Hive数仓消息中间件组件层任务调度输出类Processor会话管理即席查询数据报告挖掘算法数据分析层数据展现层大数据套件工作流架构 提供丰富的输出数据存储方案： 分布式数据库集群：PGXZ，TB级查询秒级返回； 全内存高速KV存储方案：TDE； 数据可输出至各种RDBMS； 提供统一的数据分发服务： 提供完整的权限控制方案，保证数据的安全性； 单机调用量60000次

9、/秒，满足用户性能需求；大数据套件应用数据输出大数据套件-用户界面腾讯大数据技术优势Hermes是腾讯针对交互式海量数据分析需求而自主研发的秒级分析平台。在单表亿万级数据、万级维度的量级下，用户可以在该平台上进行任意维度组合、任意层级下钻等分析作业，但结果响应只需要在数秒以内。目前日接入3000亿，数据持有量3.5W亿。 存储特性：嵌套列存储，计算过程不加载多余数据 强扩展性：支持横向纵向任意扩展 数据时效性：实时+离线数据 超低时延：分析结果一触即发 分析特性：任意维度组合分析、实时下钻分析、外部数据关联腾讯自研组件实时多维分析平台：Hermes腾讯自研组件实时多维分析平台：Hermes功能

10、扩充基于角色的权限管理兼容Oracle的分区功能窗口函数多维分析功能公用表表达式-CTEDML-update/delete入库数据校验易用性命令行工具DB存储引擎SQL语法细节TDW集成开发环境性能优化Hash Join按行splitOrder by limit优化查询计划并行优化元数据重构 已覆盖Oracle等商业数据库的常用功能；低门槛开发界面，公司内部开发者超过2000人；性能提升明显，稳定性高；腾讯社区组件优化HIVE优化 自研高性能任务调度器： 提升可扩展性，答复提升调度吞吐，支持毫秒级任务下发； 优化作业优先级和抢占策略，让任务调度更加公平； 更高要求的高可用： NodeManag

11、er HA； ResourceManager HA； ApplicationMaster HA； 资源管理： 引入弹性内存管理机制，避免container内存超限被杀情形； 引入网络IO控制，磁盘IO和空间管理； 提供更丰富的API方便用户调用；腾讯社区组件优化gaia优化DBAgent日志Agent消息Client消息接入中心TRC在线应用公网内网（分布式缓存）消息存储中心消息分拣中心TBDS离线存储业务数据源自动对接自动入库腾讯社区组件消息中间件Tube And Kafka高可靠：消息传输过程失败重发和滤重机制，保障一致性低成本：支持公网传输，数据压缩灵活：支持DB、LOG日志、实时消息等

12、多种接入方式低时延：流式数据处理，毫秒级消息分发可复用： 7天数据缓存，消息可被多次订阅应用现状：35000+亿，日接入数据量700+TB 高可靠：任务生命周期监控，调度核心和执行代理分布式异地部署 灵活：插件式扩展任务类型，支持Hadoop、RDBMS等计算平台 柔性调度策略：控制计算平台资源负载，资源分配按任务重要度柔性分配腾讯自研组件任务调度Lhost YARN管理Storm集群资源，解决资源分配、资源隔离、容灾及权限管理问题 支持多集群配合YARN完善Storm的容灾机制 基于负载的自动扩缩容腾讯自研组件TStormTStorm，Storm On Yarn，使用Yarn做Storm的资

13、源管理，使用java语言重写Storm系统：平台运维方案选型规划配置部署规划部署机器学习大数据套件提供了一站式的数据挖掘平台，支持各种主流的开源机器学习框架，包括：Spark，Python，R，XGBoost。在覆盖 特征工程，分类，聚类，回归，关联规则，时间序列等传统机器学习算法的同时，也支持图算法，深度学习等更加丰富的算法库。机器学习BI展现及应用数据分析效率不高提升数据分析效率，让用户轻松玩转数据，助力企业数据化运营打造一站式大数据数据分析平台，帮助产品经理、业务用户轻松实现数据化运营.以人性化的、高性能的、探索式的、敏捷的商业智能服务帮助客户成功现象1.数据分析过度依赖开发投入与排期；

14、2.产品人员技术理解程度不高；3.缺少交互式、自服务报表工具问题目标数据分析、可视化展现面向业务决策者等数据使用者，提供敏捷、自服务、交互式的可视化报表分析服务。敏捷流程与特性：三分钟轻松制作报表一分钟分析demo一分钟数据建模编辑报告连接数据查看报告数据可视化展现数据交互式分析交互式自服务产品定位数据可视化流程-Powered By 永洪连接数据编辑报告查看报告数据展现-Powered By 永洪数据可视化产品演示-Powered By 永洪实景模型腾讯成都展厅，数据来源四川电子政务网数据可视化产品演示 政务展厅/大屏专用 实景模型腾讯成都展厅，数据来源四川电子政务网数据可视化产品演示 政务

15、展厅/大屏专用 实景模型腾讯成都展厅，数据来源四川电子政务网数据可视化产品演示 政务展厅/大屏专用 案例介绍结构化数据交易系统信用卡系统电子银行系统行内其他系统半/非结构化数据网银用户行为日志离线接入实时流式接入核心数据非核心数据大数据存储层结构化存储半结构化存储分布式文件存储对象存储存储大数据存储/加速层离线计算引擎实时计算引擎第三方数据冷数据挖掘分析后的数据腾讯大数据平台计算引擎机器学习平台大数据分析挖掘数据可视化(敏捷BI)多维建模引擎/实时多维分析接入层Lhost离线接入消息中间件实时接入其他数据ETL大数据应用用户画像精准推荐实时风控/交易欺诈网站点击流分析大数据能力支撑网银/电商用

16、户行为分析运营分析金融 微众银行行内数据仓库平台业务背景：全国性的专业化信贷工厂产品：50W无抵押个人贷款多数据源，涵盖个人消费记录、征信检索、贷款还款记录等信息实时报表方案：基于腾讯云数智，建立综合评定数据化风险管理体系优化客户信用行为分析过程，完善模型精确度，降低服务风险金融 大数金融客户授权数据移动应用商户刷卡社交应用交易记录大数据存储腾讯大数据平台离线接入实时接入结构化/非结构化存储用户基础属性数据存储层特征抽取与模型加工层用户标签数据机器学习建模多维分析引擎单体特征画像实时群体画像特征抽取统计模型建模交互式查询数据仓库金融用户画像典型架构数据仓库平台客户消费行为手机支付网购物大数据存

17、储层腾讯大数据平台实时接入用户基础属性数据(资产状况/消费偏好)推荐模型应用内推荐微信渠道推荐商家、地理位置、时间信息推荐引擎机器学习大数据存储系统实时推荐模型训练理财产品推荐实时推荐金融微信支付精准推荐用户基本信息库腾讯大数据客服热点分析关键词分析客服绩效评估金融呼叫中心智能客服客户客服大数据存储引擎语音识别您好:谢谢您的反馈NLP自然语义处理提供基于数智大数据平台、NLP系统进行客服语音分析，关键字识别帮助进行客户反馈分析和客服绩效评估工业物联网IoT 三一重工收集数十万工业设备上所安装的传感器实时数据使用数据库、数智大数据平台，完成实时报表、离线分析等业务安全防护（大禹网络安全、天御业务

18、安全防护）负载均衡云主机云主机专用宿主机专用宿主机云主机专用宿主机基因应用服务基因数据库CDBHBaseRedisMongo基因数据对象存储CDNCOS基因大数据计算平台云主机云主机云主机云主机Lhotse任务调度平台/ GAIA资源管理云主机HIVESPARKPYTHONR数据存储数据存储数据计算数据导入/导出生命科学 碳云国内领先基因大数据计算使用数据库、对象存储、大数据平台、安全防护等整套方案政务服务 深圳南山公安分局分钟级实时监控实时人流拥挤告警社交网络舆情分析用户画像分钟级实时客流监控提供基于方略大数据应用进行人流分析、人群画像的服务政务服务广东省旅游局覆盖全国的热力图服务-区域人流分析基于腾讯全量用户画像-用户洞察分析400亿+10亿+提供基于方略大数据应用进行人流分析、人群画像的服务政务服务上海同济城市规划设计院将人口数据和LBS信息纳入城市规划城市基础设施和配套资源优化设计提供基于方略大数据应用进行人流分析、人群画像的服务腾讯云大数据 整体优势云计算和互联网+ 的实践先行者互联网+ 概念的倡导和实践者云计算解决方案供应商个体/群体的立体数据积累和覆盖覆盖社交、征信、出行、消费等等完善的立体数据维度经过验证的对海量数据分析展示实际能力提供从基础平台搭建、数据套件分析、BI和各种应用展示的层次化技术能力丰富的实践经验和案例深入理解