（一文读懂大数据行业）-面向百度商业数据产品的全流程 DataOps 实践_第1页
（一文读懂大数据行业）-面向百度商业数据产品的全流程 DataOps 实践_第2页
（一文读懂大数据行业）-面向百度商业数据产品的全流程 DataOps 实践_第3页
（一文读懂大数据行业）-面向百度商业数据产品的全流程 DataOps 实践_第4页
（一文读懂大数据行业）-面向百度商业数据产品的全流程 DataOps 实践_第5页
已阅读5页，还剩24页未读， 继续免费阅读

下载本文档

版权说明：本文档由用户提供并上传，收益归属内容提供方，若内容存在侵权，请进行举报或认领

文档简介

导读目前整个大数据行业有很多宏大的思路和先进的架构，在百度商业数据产品是如何实现和落地的呢？本文将为您揭秘面向百度商业数据产品的全流程DataOps实践。今天的介绍会围绕下面四点展开：1.大规模数据报表生产的挑战与诉求2.全流程DataOps的设计思考3.全流程DataOps平台化实践4.总结与展望分享嘉宾｜叶玮彬百度资深研发工程师编辑整理|内容校对｜李瑶出品社区｜DataFun大规模数据报表生产的挑战与诉求首先和大家分享百度商业数据产品及其对数据平台的诉求。1.百度商业数据产品矩阵介绍是C端用户访问、搜索及消费相关的行为日志。两端数据经过用商一2.百度商业数据产品背后的大数据体系演进历史3.大规模报表生产背后的数据挑战海量数据：百度具有数万份的数据集、数十万条数据血缘关系、每数百名数据开发工程师：开发丰富的数据产品需要大量的高成本数据开数万个核心报表指标和数十个商业产品出口：大量的指标和出口产品一旦4.大规模报表生产对数据平台的诉求提升研发效率：通过统一流程、统一技术栈、统一研发套件形成生产级优化产出稳定性：通过建设监控能力、运维能力、治理能力等一系列开全流程DataOps的设计思考1.面向大规模数据报表生产的分层架构2.如何选型3.面向大规模数据报表生产的DataOps平台设计思考4.面向大规模数据报表生产的DataOps流水5.商业数据产品DataOps平台-DataBoot整体介绍维、全链路可观测性、全局监控分析等进阶全流程DataOps平台化实践1.开发环节-大数据任务开发一站式WebIDE套件2.部署环节.弹性可扩展Serverless部署架构从上到下分为控制层、服务层、计算层三层。控制层采用微服务应用部署数据集成加工能力的各行。最后计算层通过独立集群分池部署实现不同场景不同策略的优化和弹性扩缩容资.服务层Serverless部署设计产的潮汐特点和突发流量资源风险需要依赖弹性扩缩容机制以快速完成资源准备和故.计算层Serverless部署设计.数据血缘探针织入式部署3.发布环节-数据进退场风险管控通常在数据发布到生产环境的过程中主要存在两种类型的问题造成严重生产事故。一是发布的节点及下游节点数据产出延迟的连锁效应引发全链路于历史数据的Mock测试发现是否存在数据的最新版本。最后结合平台化的管理功能如组件管理、版本管理数据任务一旦发布用户无需自研监控设施即可开箱即用的达成数据报表的全链路可观测。线上化的4.运维环节-全链路数据回溯能力现时序控制、基于计算资源的并发控制、容错机制和监控报警等功能自动生成回溯的执行计划并5.优化环节最后，分享一些关于大数据计算在优化过程中遇到的问题和解决方案。问题分析与技术思考百度时效性优化系统负责将该系统设计目标和优化思路落地。主要通过设新建优化目标并基.单点声明式动态调优 总结与展望当前企业内部逐渐重视数据价值，大家发现基于数据的视角DataOps的理念能符合大家的预期，但是随着大模型的普及，AIOp

人人文库> 全部分类> 行业资料 > 管理策划

温馨提示

  • 1. 本站所有资源如无特殊说明，都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等，如果需要附件，请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸，网页内容里面会有图纸预览，若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对用户上传分享的文档内容本身不做任何修改或编辑，并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容，请与我们联系，我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

最新文档

评论

0/150

提交评论