![实时关键业务场景快速增长我们需要什么样的数据平台来支持_第1页](http://file4.renrendoc.com/view4/M02/28/15/wKhkGGZ4D-eAa-o6AANxDq6LQBE843.jpg)
![实时关键业务场景快速增长我们需要什么样的数据平台来支持_第2页](http://file4.renrendoc.com/view4/M02/28/15/wKhkGGZ4D-eAa-o6AANxDq6LQBE8432.jpg)
![实时关键业务场景快速增长我们需要什么样的数据平台来支持_第3页](http://file4.renrendoc.com/view4/M02/28/15/wKhkGGZ4D-eAa-o6AANxDq6LQBE8433.jpg)
![实时关键业务场景快速增长我们需要什么样的数据平台来支持_第4页](http://file4.renrendoc.com/view4/M02/28/15/wKhkGGZ4D-eAa-o6AANxDq6LQBE8434.jpg)
![实时关键业务场景快速增长我们需要什么样的数据平台来支持_第5页](http://file4.renrendoc.com/view4/M02/28/15/wKhkGGZ4D-eAa-o6AANxDq6LQBE8435.jpg)
版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
经过多年的数据基础设施建设,企业已经完成从"有数"到"用数"的过渡,数据驱动成为常态。进一步,面对激烈的市场竞争和快速变化的客户需求,如何提高"用数"效率,以实时或准实时的数据处理速度进行决策、开展服务以及优化运营,正成为企业获取竞争优势的关键,催生实时数据业务场景快速增长。面对日益增长的实时数据业务场景,传统的实时数据集成解决方案如点到点实时同步、ESB企业总线、kafka消息队列等均存在各种局限性,促使新一代实时数据集成解决方案应运而生。本文将重点阐述实时数据业务场景的定义、增长驱动因素,并通过多种实时数据集成解决方案的对比,阐释新一代实时数据集成解决方案为什么代表着未来发展趋势。01实时数据业务场景的定义实时数据业务场景指企业在经营过程中,对新数据进行实时传输、处理、分析、查询和响应的业务场景,支持实时决策和实时操作。其中实时指的是从数据产生端到消费端跨系统传输或处理过程实现毫秒或秒级延迟。图1:实时数据业务场景分类示意图按照消费端的数据处理模式,实时数据业务场景包含TP场景下的实时交互型业务场景和AP场景下的实时运营分析场景。TP场景下的实时交互型业务场景实时交互型业务场景指消费端的应用程序需要跨系统实时查询生产端系统信息的场景,如统一订单中心、实时风控、CDP平台等。这些场景是企业的关键任务,对于保障企业正常经营有决定性影响,一旦出现延迟或数据错误将导致严重的经营事故,因此对数据时效性和数据准确需要强调的是,与传统基于oracle数据库实现的TP场景不同,实时交互型业务场景往往涉及异构的数据源,需要解决源系统和目标系统之间跨系统的数据一致性,数据传输处理和集成等问题。而传统的OLTP场景虽然也强调实时响应,但在单一oracle数据库中实现数据集成、完成业务的事务性操作以及保障数据一致性,其技术实现的路径和复杂度与实时交互型业务场景截然不同。AP场景下的实时运营分析场景实时运营分析场景需指融合业务最新数据和历史数据进行实时复杂分析的场景,如实时BIl、实时数据分析、实时决策等,在客户体验改善、生产效率提升、个性化产品和服务推荐等方面表1:实时相关概念对比02内外部环境因素驱动实时数据业务场景快速增加历史It建设遗留的数据孤岛使跨系统数据集成成为数据利用常态,面向未来竞争的数据能力建设需求驱动跨系统的实时数据业务场景快速增加。2.1历史It建设形成数据孤岛,数据集成成企业用数必要步骤企业在历史的It建设过程中,为满足各业务管理需求,搭建起诸如CRMERP、财务、人力、供应链等多种系统。由于建设的时期较早,这些系统多为应用程序和数据库紧密耦合的单体式架构,系统相互之间各自独立、无法联通,形成企业数据孤岛。据不完全统计,大型企业的业务系统平均数量为315套,中小型企业的业务系统数量为52套。数据孤岛使得跨系统的数据消费成为常态,数据集成成为企业用数首先要解决的问题。外部市场和客户变化,以及内部企业对经营效率、客户体验的提升诉求,共同驱动企业实时数据业务场景快速增加。一方面,企业业务模式创新以及运营秩序的维系驱动实时交互型业务场景快速增加。如高速发展中的企业往往通过创新业务形态增加营收。企业在拓展新业务形态时型事务操作场景。某知识付费平台在核心课程基础上增加读书、听书等新业态,由于用户的会员界面中需要实时呈现课程、读书、听书等业态权益,该平台需要为新业态开发实时交互数据对于存量竞争下开展精益管理的企业,整合企业多系统内的商品、客户、库存等核心信息,持续开发交互式业务应用,对于维持业务正常运转非常重要。如对于多品牌大型零售企业,统一库存查询能实时展示商品数量,满足企业内外部用户即时商品查询需求,保障一线员工正常开展销售和服务活动,避免因商品信息错误丢失商机。另一方面,对整体运营效率的持续提升和客户体验的持续改善推动企业实时运营分析场景快速以金融行业信用卡交易的反欺诈场景为例,在信用卡发生交易的第一时间,银行会融合近期的交易时间、地理位置、交易金额等多维信息,实时监控交易行为,一旦识别出异常模式立即触发警报,在秒级内中止交易,保证交易安全性。又如制造业生产线中的实时监控能对产品质量进行实时监测,对于生产中的异常状态进行及时提醒甚至停止产线,能提升生产效率、降低潜在损失。03传统数据集成解决方案弊端渐显,TapData定义新一代实时数据集成平台3.1实时数据业务解决方案的技术难点图2:实时数据业务解决方案的技术难点面对以上快速增长的TP、AP实时数据业务场景,爱分析认为一个完善的实时数据解决方案应实现跨系统的实时数据集成,并解决两个技术难点和一个开发运维难点:标系统都可能涉及数据库表数据和消息队列流数据,因此解决方案应同时具备表到流以及流到表的转换技术。效率的优化方式,对实时数据进行预计算才能保证实时运营分析场景的高时效性。实时运营分析的预计算的困难在于如何在实时数据采集、在数据每秒数百数千次更新的情况下,基于原始数据构建新的业务模型,完成实时预计算过程。3.2传统数据集成解决方案的局限性目前市场中实现数据集成的方式包括批量集成和实时集成。典型的批量集成解决方案如大数据平台、数据中台,虽然解决了数据孤岛问题,但时效性难以满足实时数据业务场景需求,不赘当前主流的实时数据集成方案包括点到点数据同步、ESB企业总线和kafka消息队列,这三种方案代表了实时数据集成方案的迭代历程,但在解决实时业务场景技术难点、控制运维成本方面均存在不同程度的局限性。相较主流实时数据集成方案,爱分析观察到,市场中已经出现更为前沿的实时数据集成解决方题,其低代码简单易用、中央化数据资产复用的特征更是受到市场广泛认可,代表着新一代实时数据平台演进方向。点到点实时数据同步点到点实时数据同步是最简单、直接的实时数据集成方式,可实现数据一对一的从源系统到目标系统的数据同步。但扩展性弱,开发运维成本高,每增加一个系统需要配置新的连接,系统之间强依赖紧耦合。随着系统数量的增加,数据链路的数量和复杂性呈指数增长,且缺乏系统管理中心,导致系统维护和运维非常困难。在多源数据输入时,点到点数据同步存在处理数据冲突和一致性问题,无预计算能力。ESB企业服务总线ESB企业服务总线提供了一种中心化的、松耦合的软件架构模式,支持不同应用程序之间的实时数据集成和交换,具备高度的灵活性和可扩展性。ESB支持复杂的事务管理和协调,虽然提供了集中化管理工具对流程和服务健康进行实时监测,但整体的学习成本高昂,要求开发人员具备极强的专业性,对消息路由、转换、事务管理、安全性、以及不同系统之间的兼容、性能调优等多方面进行配置和管理。ESB中心化的处理架构在大规模的并发请求时性能受限,延迟较高,且商业化成本高昂,在互kafka消息队列kafka是一个开源免费的分布式消息队列系统,能够提供高吞吐量和低延迟的实时数据传输和集成,并且其本身具有高可用性、可扩展性、高效查询、高并发写入、支持事件驱动架构等特征,是企业构建实时数据管道的最常用的工具。kafka引进成本低,但对开发人员专业能力要求非常高,后续的开发运维的复杂性和成本将随企业实时应用数量的增加而显著增长。一方面,kafka不支持分布式事务,分布式架构下,企一方面,从实时数据全链路来看,kafka仅是一个中间件,除kafka外,上游业务系统对kafka的事件推送,下游数据消费者对kafka的事件提取等工作,仍需要企业承担。此外,游业务系统中数据属性变化、下游数据应用的差异化数据需求,都将带来从业务系统到消费应用建法创建,其核心团队对各类数据库内存、事务实现、日志格式等底层技术实现具备丰富经年研发,2022年,TapData率先在业内推出可解决数据孤岛的、同时支持TP和AP实时数平台,具有多架构支持、低代码开发、全链路实时等特点。图3:TapDataLDP平台架构和场景示意图数据采集层:LDP支持丰富的数据源类型,包括主流的开源数据库、国产信创、离线文件、业务应用API、湖仓等。通过CDC实时采集源系统数据变化,进入流处理框架。的数据模型,建立统一的数据标准,支持下游按需取用。服务层:服务层支持pull和push两种服务模式,支持低代码发布API。也支持REVERSEETL反向把经过整理的数据推送给下游。低开发运维成本。场景一:实时采集CDC机制实现点对点的实时数据同步这是最简单的实时数据同步场景。CDC机制能对数据库日志文件进行解析,将数据变化标准化成事件流后进入流处理框架加工,加工后的数据通过目标连接器写入目标数据库或应用。整持将源系统的表数据变成流以push模式推送给kafka或是对接应用业务流程,适应时效性要求高的TP型场景,也支持将流数据转化成表,推送给各种数据库供AP场景使用。场景二:实时数据处理+中央化存储支撑实现实时运营分析场景针对企业用户更高级、更复杂的实时运营分析场景,在采集源系统数据进入流处理模块后,享挖掘等高级数据处理操作,可无代码完成实时数据的预处理。计算后的结果存储在数据仓库中,供实时Bl、实时驾驶舱、实时决策等场景以pull数据服务模式使用。场景三:实时数据处理+中央化存储+数据服务支撑实现实时交互型业务场景为下游交互型应用提供实时数据服务,实现数据查询的实时更新。周为单位缩短到分钟级。对于实时数据的采集,在LDPCDC机制下,用户只需提供源库账LDP提供零代码界面,用户可通过拖拽完成任务编排,极大降低了同步任务流定义的复杂度。在数据服务环节,LDP支持无代码快速发布APII.04某银行通过TapData升级实时数据交换平台汽、中芯国际、周生生、富邦银行等数十家行业标杆企业,实时数据交换平台的变革性价值广受企业认同。某银行针对业务数据库种类多、数据量级大的特点,基于开源的云原生的kafka解决方案自主研发了实时数据同步系统,业务侧的实时数据应用均采用容器技术封装、运行,并自研了kafka管控平台,对集群进行指标监控和运维。目前该银行主要面临三个挑战:实现实时数据集中缓存,支持实时运营分析场景:该银行实时运营监控、客户360视图等场景对实时数据查询需求增加,原系统在业务进行实时数据查询时以点到点的形式实现,数据链路需重复开发,数据资产难以复用。为提高数据利用效率,该银行希望实现实时数据集中缓存,为下游提供表查询服务。开发维护成本高:由于云原生实时数据同步系统完全基于自主开发,所有实时数据同步链路的开发、维护、监控、运维都需要IT团队完成,随着下游业务侧实时数据应用数量的快速增长,开发运维的难度和成本均快速增长,且开发周期长难以满足业务需求,该银行需要寻求更需符合信创要求:信创背景下,银行业数据库国产化替换进度加快,已经进入核心业务数据库替换阶段。该银行在对传统和互联网核心业务数据库替换时,由于开源的实时数据同步方案对国产化数据库不支持,影响该银行核心系统国产化改造进程。在以上背景下,考虑到对云原生架构的支持、对国产数据库的支持以及易用性等多方面因素,该银行最终与TapData达成合作,采用本地部署"TapDataLiveDataplatform"方案对数据采集、消息同步到kafka两部分架构进行替换,下游消费侧保持不动。替换后的实时数据同步系统具有以下特点:统一的实时数据资产,以实时表的形式支持下游业务系统查询。大幅度减少了实时数据管道建设的数量建实时链路,以及通过可视化运维界面,实时监控数据任务状态,以及进行实时数据同步验等,无论是业务端用户还是开发运维人员均能在既有系统中通过调用Apl完成实时数据同步,可复用性:一套基础实时数据平台,支持多个实时数据业务模式:实时同步与复制,实时分析数仓,实时数据服务等该银行更新后的实时数据同步系统,其简易的使用体验使得实时数据链路的开发运维不再依赖专业开发人员,释放人力,开发人员能专注于业务赋能。更新后的实时数据链路开发效率也得到大幅提升,开发周期从1-2周
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 《走遍中国湛江之旅》课件
- 《不锈钢生产流程展》课件
- 《幼小衔接》课件
- 公共卫生信息学的国家议程
- 养老机构感染控制
- 成都师范学院美术学院教师作品选登
- 七夕情感营销实践模板
- 游戏行业年度报告模板
- 银行业务半年报告模板
- 住房贫困申请书
- 病理科科科内会诊记录
- 小学生主题班会 弘扬航天精神 课件 (27张PPT)
- 电力服务收费标准附表
- 小学主题班会教学设计-《给你点个“赞”》通用版
- 【教学创新大赛】《系统解剖学》教学创新成果报告
- 赛意EAM设备管理IOT解决方案
- 初中语文-《桃花源记》教学课件设计
- 氢氰酸安全技术说明书MSDS
- 房屋鉴定检测方案(投标)
- HCCDP 云迁移认证理论题库
- 煤矿提升机作业理论考试参考题库(200题)
评论
0/150
提交评论