2024年【数据中台】企业一站式数据开发与治理平台（数据中台）解决方案

2024-01-07企业一站式数据开发与治理平台解决方案01背景与挑战数据治理存在的背景以及挑战企业普遍存在数据现状问题随着数据时代的到来，以Google、Facebook、Amazon为代表的企业已经完成了从IT巨头到DT巨头的转变。这些公司借助其在大数据、云计算、人工智能的技术发展优势，快速实现业务数据化、数据资产化和企业经营数据化，加速商业价值的转化，在引领技术风向的同时获取了巨大的商业成功。数据统一化数据集中处理统一的元数据统一的计算平台数据资产化数据整合数据质量管理资产化与计量数据业务化数据化运营智能应用在线数据数据生态化数据域业务闭环运营数据服务和应用共享数据服务体系的数据驱动模式依托大数据技术，以数据服务、数据产品的体系化建设为枢纽，推进多元化数据应用建设，健全数据治理体系，加速数据资产化管理，激发数据动能。产品化管理资产化运营组件构建数据治理全栈平台级数据技术能力体系能力开放服务共享产品应用资产管理交易数据行为数据实时数据批量数据外部数据内部数据非结构化数据流式数据结构化数据图数据存储算力监控环境开放数据应用能力共享数据服务模式数据资产经营生态数据即服务DaaS-DataasaService精准营销风险防控运营优化管理决策企业在实行数据战略时需要关注什么专注与数据，将数据视为战略资产你有什么数据？这些数据在哪里?如何治理和保护它们？如何访问它们？如何发挥他们的价值?完善的数据应用能力对企业未来至关重要数据在不断的增长但还未被充分利用未来两年企业数据将以42.2%

的速速保持高速增长，但与此同时，调研结果显示，企业运营中的数据只有56%

能够及时捕获，而这其中，仅有57%

的数据得到了利用，43%

的采集数据并有被激活。

也就是说，仅有32%的企业数据价值能够被激活。

数据来源：Statista,2020年11月数据来源：IDC和希捷科技，2020年企业在数据应用能力的建设路径数据查询即服务分析报表即服务工具即服务数据即服务业务系统独立建设存储少量结果性数据，主要用于OLTP多业务系统的数据融合分析和报表处理整合内部各业务系统数据，主要用于OLAP利用大数据技术洞察业务，支撑运营决策整合企业数据+社会数据，用于大数据分析经过业务沉淀，形成有业务价值的数据服务通过数据服务快速适应业务发展和赋能创新业务未来的企业数据中台需要什么支持数据的一站式开发治理和服务，提供智能化的数据任务调度与监控弹性的，可插拔的计算、查询引擎及数据治理工具组件开源兼容，能够支持各种开源大数据组件集成，满足客户不同场景需求支持混合云，与云原生技术深度融合，优化底层存储和计算引擎架构支持流批一体、湖仓一体的现代化数据架构设计02数据中台方案数据中台方案及内容数据中台解决方案数据应用第三方插件行业中台解决方案数据服务数据资产管理数据质量数据安全数据开发监控运维实时分析数据集成统一元数据系统统一调度系统大数据运维平台租户权限监控告警基础设施HadoopSparkFlinkClickHouse图计算AI组件管理数据开发与治理平台从数据汇聚到数据服务的一站式大数据智能研发与治理平台，支持实时/离线计算引擎，集成了数据集成、数据开发、生产运维、实时分析、资产管理、数据质量、数据安全、数据共享等核心数据工艺，承上启下，让数据从采集到展现、从分析到驱动应用实现一站式平台服务大数据引擎套件提供可插拔的数据引擎服务，可根据业务需求在数据处理时编排引擎处理模式。并依托云原生化的特性进一步提升引擎的调度和运行效率。数据应用与专家服务提供在数据中台建设中企业所有需要的各类专家服务和数据应用定制化服务。帮助企业打通数据业务闭环，实现数据价值赋能数据运营。大数据运维管控平台提供跨大数据生态的智能化大数据集群运维管理能力，提升企业对大数据平台的运维效率，降低运维成本。大数据引擎套件提供覆盖全业务场景的计算引擎包含了离线计算、流式计算、数据查询、数据分析、机器学习等各个领域。引擎模块以容器化封装杜绝与平台层的依赖，可根据业务场景需求提供热插拔式的调用为业务场景提供最佳的服务。基于容器的租户隔离能力，大幅提升资源隔离和管控能力提供弹性调度能力有效提高集群的利用率，并可实现多集群多云的调度编排能力大数据运维管控平台向导式自动化平台安装、部署过程，支持集群中节点的自动化配置，覆盖Hadoop生态及第三方各类大数据组件(Greenplum、Doris等)安装、升级、维护支持对各类组件管理和集群各节点的可视化、图形化、指标化监控支持统一的告警服务，提供消息、邮件及界面可视化等多种方式展示支持基于整体平台或独立组件的版本升级，并保障数据的持续可用大数据运维平台计算引擎服务场景数据存储数据计算服务依赖关系自动化组件参数智能化运维监控可视化根据当前的硬件条件自动设置组件的配置内存、CPU、硬盘IO参数产品优势一个配置能够自动的分发到所有的关联组件节点上快速找出性能瓶颈、错误日志等，给出优化建议产品功能简化大数据组件安装、维护、监控预警、日志管理等服务，提升运维人员对大数据集群各服务的管理和维护的效率50%以上客户价值一站式数据开发与治理平台提供全链路的数据管理功能，从产生、流转、加工、使用、到销毁多种粒度的元数据可视化管理分析功能，实现数据全生命周期的查看与溯源提供基于组织架构的多层级资源配额配置的项目空间管理支持各种主流关系型数据库和大数据平台，支持各种类型数据文件产品功能核心模块数据集成元数据系统统一调度系统数据服务数据治理套件流批一体可视化智能调度使用门槛无代码化产品优势可视化的流批一体开发模式，统一离线和实时数据处理屏蔽底层数据源细节，丰富的开发组件，拖、拉、拽式的开发模式，降低使用门槛数据服务异构数据源访问Api生成可弹性扩展一站式数据开发治理数据识别敏感数据发现数据分类分级数据血缘可视化开发流批统一Api访问调度引擎实时获取服务器资源信息，通过智能调度算法动态分配任务至资源充分的服务器服务应用支撑拉通数据孤岛数据中台数据分层ApplicationDataStore,数据仓库应用数据集市层。完全贴合前端业务应用面向应用提供数据服务关键词：高度汇总，应用指标DataWarehouseSubject,数据仓库主题数据层。按分析对象对实体进行数据整合，轻度汇总面向应用提供数据服务关键词：

轻度汇总，公共汇聚指标DataWarehouseDetail，数据仓库明细层数据，面向数据进行数据域分类，整合、清洗、形成一套标准化数据模型关键词：数据模型标准化OperationalDataStore，操作性型数据，指结构与源系统保持一致的全量数据对STG层数据进行数据全/增量合并以及数据清洗和标准化动作关键词：溯源、标准STAGE，结构与源系统保持一致的增量数据。汇聚业务系统源头数据是ETL加工过程的缓冲区关键词：汇聚、缓冲ADS层DWS层STG层DWD层ODS层面向数据面向业务数据中台整体架构API分组API注册API授权控制台MySQL、Oracle、SQLServer…数据服务数据治理数据开发计算引擎数据源多租户管理子用户管理项目管理权限认证API创建API调试API调用数据标准自定义规则FTP、OSS、Minio…Hive、Hbase、Elasticsearch…API授权API调用数据质量质量监控健康检查数据资产地图元数据管理资产目录数据检索数据血缘资产盘点数据热度分析数据分级数据脱敏行列权限权限申请权限审批权限审计数据安全全量同步增量同步数据集成实时同步数据转换智能SQL编辑在线调试离线开发自动识别依赖调度配置FlinkSQL自定义参数实时开发JarFlink支持多流合并任务运维一键重跑补录监控运维运行监控断点自动恢复FlinkSpark平台优势一体化、全栈式01多源、异构02混合云、容器化03开源底座、OS04组件式、插件化05提供数据采集，数据处理、发布运维、自动化元数据管理、数据共享等一站式数据服务，覆盖整个数据生命周期基于分布式架构设计，提供可视化配置及高性能的数据同步服务，支持多种数据源任意方向的数据读写支持混合云、多云、混合容器化等各种部署方案，大大节省部署时间整合高性能、稳定版本的开源存储及计算大数据组件，全国首个开源完整的数据平台OS组件式、插件化产品架构，开放的集成生态，支持平台能力与大数据组件分离，实现轻量化部署，与客户原有大数据组件无缝衔接，大大节省资源数据中台：数据集成NormalizationPre-builtConnectorsDestinationSQLTransformsAnalysisReadySchemasManagedbyCyber​​MetaFullyManagedbyCyber​​Meta半结构化存储HDFSNoSQLmongoDB关系型数据库PostgreSQL大数据存储Hive消息队列kafka多数据源支持：支持各种主流关系型数据库和大数据平台，支持各种类型数据文件目前支持数据源：MySQL、Oracle、SQLServer、Hive、FTP、Minio、Hbase、HDFS…集成引擎采取异步并行处理的技术，实现流程中的每个组件多线程并行高效处理单点容错机制，保证整体作业的高可用基于日志的FlinkCDC实时数据采集方案数据中台：数据开发数据开发可视化工作流程设计支持用户组合SQL、Shell、Python实现分级调节逻辑控制上下游传参实时计算各类任务混编工作流支持通过脚本、Java程序、API、SQL等多种方式进行数据查询分析支持数据的多源、多类型的导入与导出提供可视化的SQL执行IDE，支持不同类型的数据查询及结果输出流批一体开发模式，统一离线和实时数据处理调度引擎实时获取服务器的资源信息，基于智能调度算法动态分配任务至资源充分的服务器数据中台：统一调度中心用户接口负载均衡CoordinatorCoordinatorCoordinatorCoordinator协调器组协调器组协调器组租户数据中心租户数据中心租户数据中心用户内核…元数据存储Worker工作组工作组工作组WorkerWorkerWorker支持完备的企业级实战功能，任务类型覆盖全面，支持跨周期依赖，自依赖，补数据，断点续跑等。无单点调度Worker集群化，可故障转移智能调度，基于历史运行数据优化智能监控告警支持多元异构集群统一调度，支持跨云，跨中心，跨集群，跨系统调度最小调度周期：分钟级。任务准实时转实例：延迟一分钟配套服务元数据存储元数据存储数据中台：数据资产管理数据治理数据安全数据访问监控统一的数据标准敏感数据发现全流程数据质量监控数据分级风险发现预警数据脱敏数据资产数据检索数据血缘数据目录元数据管理完善的元数据管理工具，支持数据的血缘分析，实现数据全生命周期的查看与溯源支持按照企业业务分类划分数据，形成企业专属的数据目录支持企业数据量、敏感数据变化、数据质量等全面的企业数据资产监控数据中台：数据服务API网关数据应用数据应用数据应用屏蔽底层数据源细节，通过向导模式/脚本模式/注册API模式构建取数API，提高数据中台的整体效率完善数据安全：服务层提供数据加密、隔离存储及完善的安全技术方案，为数据安全保驾护航提供应用、表和API的关系链路，降低运维成本，解耦应用与底层表，提供统一的认证、权限和监控，确保数据应用质量主题化，让数据以业务主题对象进行组织提供服务现有API多种异构数据源数据服务组合编排应用注册API调试API认证注册API生成API03案例分析典型项目案例某地市电力公司数据中台客户痛点园区专网采集数据未做数据治理与分析，数据价值不高。数据中台数据、企业级量测中心等数据来源数据融合度不高。缺少高效的数据资产管理和使用。解决方案提供离线开发平台，通过Hadoop+hive技术实现数据采集和数据处理能力。提供实时开发平台，通过Flink+Kafka技术实现实时的数据采集和数据处理能力，支持异构数据源读写，自动构建血缘关系。提供统一的数据资产管理平台，通过元数据采集对资产进行统一的管理，形成资产目录，提供全域数据检索能力，对数据热度分析并出具报告，对资产进行盘点，监控元数据变化。集成了省侧数据中台、企业级量测中心、电网资源业务中台、园区用户侧数据等多源数据内容，丰富了数据资源目录。构建地市供电公司标准数据治理服务体系，提升了整体的数据价值。为新型电力系统提供支撑了园区IMES和智慧中枢两大应用，实现了国网低碳、经济的目的平台价值电网储能数据主网量测数据配网量测数据配电变压器......算法开发实时开发智能调度环境隔离离线开发运维监控数据质量元数据数据标准数据生命周期主题层主网量测主题库配网量测主题库贴源层共享层API网关服务创建服务授权调用管理......园区IEMS智慧中枢数据安全管理电网拓扑图电网数据资产管理电网数据服务体系电网数据仓库数据集成数据开发数据中台企业级量测中心电网资源业务中台省能大中心园区采集数据某工业制造企业数据中台面向产业生态建设的客户数据平台，以数据为主要驱动力，加强企业的设计研发、生产制造、市场服务等数据的动态采集、汇聚、分析、展示等，建立覆盖项目研制过程中的数据集成以及数据消费体系，同时对企业数据资产进行全面工具化管理，针对合同、制造、适航、绩效等七大业务场景提供数据服务支撑，大大提升企业生产、管理、运营效率。各系统采集适配器物料数据数据管控平台适航工程数据构型管理数据台份状态数据供应商数据服务工程数据……数据源集中采集适配模块转换提取处理加密关联过滤数据采集数据队列流处理主数据库实时处理框架整体调度数据交换表缓存元数据模型库mpp数据库KV数据库搜索引擎分布式文件系统内存计算分布式计算分布式列存运算框架批处理统一数据服务网关数据API服务标签服务查询/分析服务数据服务大屏展示统一门户网络运维监管数字孪生数据监管系统统一流程管理大数据分析数据应用大数据AI预测调度管理数据治理权限管理监控预警数据API服务标签服务某能源企业数据中台该项目在支持半结构化、非结构化各种复杂类型及数据的实时处理能力上大大提升，提升数据资产管理能力，对数据家当进行全面盘点，形成数据地图，为业务应用和数据获取夯实基础，满足快速发展的业务，提供更加高效有力的数据支撑。数据资源管控平台物理数据模型业务&数仓分层模型查询模型在线创建、入库操作日志数据标准标准目录标准维护标准版本管理数据一致性检查预警日志标准发布数据库资源数据库信息数据库连接数据库对象数据库资源统计数据库监控异常报警数据服务应用管理服务定义注册APIAPI版本管理API版本对比服务编排API共享集市API告警服务授权运行监控日志管理统计分析数据血缘数据同步血缘数据服务血缘血缘关系分析异常告警审批中心数据质量规则配置质量问题任务管理及调度监控报警数据同步同步对象运行监控、报警租户体系项目管理数据集成数据可视化开发调度系统任务发布运维监控元数据管理数据地图用户中心一站式开发数据资产04应用场景03这样做可以让他们更好地了解全局数据情况，发现并解决问题，同时也可以为后续的数据分析和挖掘提供有利条件。01企业通常拥有多个数据源，如不同的数据库、数据仓库、第三方系统等。02一站式数据开发与治理平台可以提供数据集成和同步功能，将不同数据源的数据整合在一起，形成一致性的数据视图。数据集成和同步数据可视化和报表企业需要将数据转化为可视化的图表和报表，以便更直观地了解业务状况和趋势。一站式数据开发与治理平台提供了丰富的数据可视化和报表功能，可以根据用户需求自定义报表，并支持自动化生成和定期更新。通过将数据转换为图表和报表的形式，企业可以更好地了解数据的分布和变化，发现异常