《工业互联网微证书-大数据能力 》 课件-05工业大数据技术-数据中台的系统架构

05数据中台的系统架构工业互联网微证书-大数据能力

数据中台架构是现代企业数据管理的重要组成部分，旨在统一数据资源，提供数据服务，以支持前端业务的快速迭代和创新。数据中台通过集中管理数据的采集、存储、处理、分析和应用，确保数据的一致性、准确性和可访问性，从而提升数据的价值和利用率内容导入5.1数据中台的功能定位5.2数据中台建设思路目录5.3数据中台架构设计考虑因素5.4数据中台架构了解数据中台的功能定位熟悉数据中台建设思路了解数据中台架构设计考虑因素掌握数据中台架构课程目标5.1数据中台的功能定位

数据中台的功能定位是完成公司内部数据能力的抽象、共享和复用，因此，数据中台的架构必须围绕这三个功能来设计。

数据中台搭建于大数据平台及数据仓库之上，将大数据平台和数据仓库所实现的功能以通用数据能力的形式提供给企业的所有部门。数据中台需要把大数据平台、数据仓库的数据和接口组织起来，通过打通数据提升数据能力，通过共享提高全局使用效率。因此数据中台的架构设计应该考虑如何有效地完成抽象、共享和复用的功能。5.2数据中台建设思路5.3数据中台架构设计考虑因素数据中台的建设应该贯穿数据处理的全生命周期，即从原始数据到最后产生数据价值的整个流程，且整个流程都处于数据中台的管理之下。数据中台建设需要考虑环节有：数据发现/探索，数据采集/导入，数据建模/治理，数据转换/分析，数据发现/探索，数据采集/导入，数据建模/治理，数据转换/分析。数据中台要做的就是把上述流程在全局标准化、规范化，让这个流程产生的结果和能力能够在全局共享和复用。原始数据到实现数据价值的完整流程图。5.3数据中台架构设计考虑因素数据中台的架构设计，其核心在于用全局统一的标准和规范来实现数据赋能在数据中台的设计中，需要考虑：(1)支持数据能力的抽象，管理各种数据复用，确保符合统一的数据规范和安全规则(2)各个部门能够独立演变属于自己的数据(3)各个部门在一个统一平台上完成上述流程中的所需功能(4)能将特定的数据能力共享给全公司，并且在后续的演变中不会因为协调的原因而拉长数据能力的演进过程。5.4数据中台架构5.4数据中台架构要搭建一个企业级的数据中台，是一个及其庞大的一个工程，涉及到很多的方面，数据中台的架构在每个企业都是不一样的，要结合自己公司的业务场景才是符合公司的数据中台架构。

数据中台架构示例1：5.4数据中台架构分析数据中台架构示例1，主要构成：为数据中台提供计算和存储，存储可以存储结构化，半结构化，非结构化数据，计算有实时计算、离线计算，交互式计算，图计算等。计算存储平台数据集成开发平台

数据集成开发平台能最高效地使用底层的组件和数据，提供从源数据到数据能力的转换。数据集成平台是数据中台数据接入的入口,数据来自于业务系统、日志、文件、网络等,数据集成方式一般有数据库同步、埋点、网络爬虫、消息队列等；从汇聚的时效性来分，有离线批量汇聚和实时采集，也有增量同步和全量同步。在数据集成的过程中一般会用到datax，flume，sqoop，canal等工具。5.4数据中台架构分析数据中台架构示例1，主要构成：

常用的大数据平台组件、数据仓库、数据湖的工具、ETL工具、数据可视化工具等。通过数据集成模块汇聚到中台的数据没有经过处理，数据开发是一整套数据加工以及加工过程管控的工具，有经验的数据开发、算法建模人员利用数据加工模块提供的功能，可以快速把数据加工成对业务有价值的形式，提供给业务使用。数据基础能力平台数据体系数据要统一建设，建议数据按照贴源数据、统一数仓、标签数据、应用数据的标准统一建设，数据体系建设最终呈现的结果是一套完整、规范、标准、准确的数据体系，可以方便支撑数据应用。5.4数据中台架构分析数据中台架构示例1，主要构成：资产管理是以企业全员更好理解的方式，把企业的数据资产展现给企业全员，数据资产管理包括对数据资产目录、元数据、数据质量、数据血缘、数据生命周期等进行管理和展示，以一种更直观的方式展现企业的数据资产，提升企业的数据意识。数据资产管理数据服务体系数据服务体系就是把数据变为一种服务能力，通过数据服务让数据参与到业务，激活整个数据中台，数据服务体系是数据中台存在的价值所在。5.4数据中台架构分析数据中台架构示例1，主要构成：数据安全管理是指对数据设定安全等级，按照相应国家/组织相关法案及监督要求，通过评估数据安全风险、制定数据安全管理制度规范、进行数据安全分级分类，完善数据安全管理相关技术规范，保证数据被合法合规、安全地采集、传输、存储和使用。企业通过数据安全管理，规划、开发和执行安全政策与措施，提供适当的身份以确认、授权、访问与审计等功能。数据的安全治理应贯穿于数据的整个生命周期。运营体系和安全体系5.4数据中