大数据调度平台助力数据运营降本增效_第1页
大数据调度平台助力数据运营降本增效_第2页
大数据调度平台助力数据运营降本增效_第3页
全文预览已结束

下载本文档

版权说明：本文档由用户提供并上传，收益归属内容提供方，若内容存在侵权，请进行举报或认领

文档简介

1、3大数据调度平台助力数据运营降本增效/朝闻通-新闻稿发布机构/随着移动互联网技术的高速发展，运营商的数据量呈指数级增长。如何利用海量数据资源进行价值和商业变现，成为运营商提高核心竞争力、抢占市场先机的关键。ETL（数据仓库技术）作为数据信息转换的一种主要技术手段，是将业务系统的数据经过抽取、清洗转换之后加载到数据中心的重要工具。随着数据量的增长及业务场景的变化，取数和计算范围不断扩充，整个ETL过程的调度也日益复杂，这不仅带来运维成本的增加，也让数据生产质量难于保障。为此，运营商迫切需要寻求新的技术手段。中兴软创结合多年的项目运营服务支撑经验，提出构建全程调度平台解决方案。方案包含进度自动预测

2、、异常监控告警、数据血缘分析等功能，实现从数据汇聚、数据处理到数据服务的全流程调度能力，有效协助运营商提升数据处理效率，满足其处理海量数据和复杂业务场景的需求。全流程调度执行多样化数据条理化复杂够血缘化可视化节点管理全局拓扑图进度预测调度监控、一数据采集溺呈应用计算流程提1交任务接口机_集群任务前置机集群f数据发布擁任蠻机数据中心数据BSS数据OSS数据MSS数据业务平台数据互联网数据技术OracleMySQLSparkStormFlink流程调度任务调度iWi数据中心图1全程调度平台架构图监控界面开放作业阪&息安全管控调度yp#基础进度监控影响分析接入管理开放生命周期数据节点上线启动日志信息

3、图2全程调度平台功能图告警开关-W停止键融异常全程调度平台解决方案构建了三层立体式调度体系：第一层端到端调度，从业务角度出发，提供松耦合、端到端的调度和监控功能。以数据为中心，通过数据节点组织数据、数据依赖关系、生产流程任务，实现调度信息一点化管理。通过构建360度调度运行视图，洞悉整个数据中心的调度运行情况，提供可视化实时监控。第二层流程级调度，通过流程引擎控制任务之间的依赖关系，允许任务并行或串行执行。支持任务同步或异步执行，缩短整个流程执行时间，提升运行效率。第三层任务调度，通过正式发布的任务，进行任务执行策略和调度策略，实现任务程序的周期性、临时性或实时不间断运行。任务调度实现数据中心多计算集群任务的统一配置和协同运行，优化系统资源调配。2017年，中兴软创全程调度平台在湖南电信率先上线。目前已承接了湖南电信数据中心的10000+数据加工处理任务，问题查证率提高50%。同时数据质量覆盖度提升至98%，人员培训周期由1个月缩短到7天，节省了60%的

人人文库> 全部分类> 图纸下载 > 毕业设计

温馨提示

  • 1. 本站所有资源如无特殊说明，都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等，如果需要附件，请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸，网页内容里面会有图纸预览，若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对用户上传分享的文档内容本身不做任何修改或编辑，并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容，请与我们联系，我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

最新文档

评论

0/150

提交评论