基于大数据的能力开放平台解决方案

1、基于大数据的水平 开放平台解决方案基于大数据的水平开放平台解决方案1摘要关键字：大数据经分统一调度水平开放运营商经过多年的系统建设和演进,内部系统间存在一些壁垒,经过在运营商的各个内部系统 ,如经分、VGOP大数据平台、 集团集市等中构建基于ESB的水平开放平台,解决了系统间调度、 封闭式开发、数据孤岛等系统问题,使得运营商营销水平和效率 大大提局.2问题分析2.1 背景分析随着市场开展,传统的开发模式已经无法满足业务开发敏捷性的要求.年以来,某省运营商经营分析需求量激增,开发时限要求缩短,业务迭代优化需求频繁,原有的“工单-开发模式平均开发周期为4.5天,支撑负荷已到达极限.水平开放使业务人

2、员能够更便捷的接触和使用到数据,释放业务部门的开发水平.由于历史原因,业务支撑系统存在经分、VGOP大数据平台、集团集市等多套独立的运维系统,缺乏统一的运维治理,造成系统与系统之间的数据交付复杂,无法最大化的利用系统资源.统一调度的出现能够充分整合现有调度系统,减少运维工作量,提升维护质量.驱动力一：程序调度治理混乱,系统资源使用不充分经分、大数据平台、VGOP集团集市平台各自拥有独立的调度 治理,平台内程序根本是串行执行,以经分日处理为例,每日运 行时间为20个小时,已经严重影响到了指标的汇总展示.驱动力二：传统开发模式响应慢,不能满足敏捷开发需求大数据平台已成为一个数据宝库,已有趋势说明,

3、只依赖集成商与业务支撑人员的传统开发模式已经无法快速响应业务部门需 求,提升数据价值.驱动力三：大数据平台丰富了经分的数据源,业务部门急待数 据开放某省运营商建立了面向企业内部所有部门的大数据平台,大数据平台整合了接入 瞅、O域、互联网域数据,近100余个数据接 口,共计820T的数据逐步投入生产.大数据平台增强了传统经分 的数据处理的水平,成为公司重要的资产,可是传统经分数据仓 库的用户主要面向业支内部人员,限制了数据的使用人员范围和 数据的使用频度,已经无法满足公司日益开展的业务需求,数据 的开放迫在眉睫.2.2 问题详解基于背景情况分析,我们认为主要问题有三个：1、缺乏统一的调度治理,维

4、护效率低下当前经分系统的日处理一般是使用 SHELL脚本开发的,根据串 行调度的思路执行.进行水平开放后,当前的系统架构无法满足开发者提交的大量程序执行调度的运维需求.如果采用统一调度 的设计思路那么基于任务的数据表依赖进行任务解耦及调度,将大 大简化调度配置工作和提升系统的并发度；2、需求周期长,导致开发周期长现行的开发模式是由业务部门提出需求,业务支撑中央进行需 求分析,然后再转派给开发厂商.厂商除了需要与业支沟通需求 以外,有时候还需要与业务部门进行二次沟通,最终才能明确需 求,开发周期比拟长；3、数据治理分散,存在数据冗余,营销效果欠佳经分系统对外提供数据,当前采用的是传统的文件接口形

5、式,这样会造成经分和外围系统存在至少 2份的数据,随着经分的按 天支撑模式,造成传统的营销效果欠佳,外围系统的存储浪费.3解决方案介绍3.1 业务目标将大数据平台及经分数据仓库平台的数据和系统处理水平进行 标准化封装,按需进行开放,满足各业务部门数据使用的需求, 并在经验成熟的情况下逐渐开放给外部众多的合作伙伴使用.统一调度：作为大数据开放根底平台,经过消息总线将大数据 平台、经分、集市、VGOP业务部门的应用进行统一的系统调度 管控,提供跨平台调度、分发、解析等根底功能,实现大数据平 台、经分数据仓库等多类型底层平台的水平互补,形成融合平台 的协作效应；经过多租户技术,解决生产任务与数据开放

6、水平争用的问题,实现系统资源对生产任务与临时任务的合理分配及高效调度.统一开发：集成图形化的开发界面,经过统一封装的函数库提 供类SQL的开发语言,以屏蔽底层平台差异,降低业务人员的开 发门槛,实现快速的业务开发及数据测试.经过元数据的数据模 型抽象,逐步将Hadoop DB2的后台数据资源高效、平安并可控 可管的开放给前端进行访问.数据共享：大数据平台将用户标签、营销目标、用户套餐剩余 量等信息经过统一的数据效劳方式开放给其它系统或者在线使 用,保证数据的唯一性和数据响应的及时性.3.2 方案内容及亮点坐期里韦河将二翼有vgop图为基于大数据的水平开放体系架 构,我们在原有大数据平台上进行整合, 使得大数据的成果能够有效的被外部系 统调用,并具备标准的效劳水平供后续 的系统对接.水平开