数字化智能工厂数据中台顶层设计解决方案

数字化智能工厂数据中台顶层设计解决方案整理制作：郎丰利1519制作时间：2023年睿利而行整理制作：郎丰利1519制作时间：2023年睿利而行整理制作：郎丰利1519制作时间：2023年睿利而行数据中台背景第一章数据中台顶层设计第二章数据中台解决方案第三章目录Contents1数据中台背景数据中台的概念由阿里巴巴首次提出，它是一个承接技术，引领业务，构建规范定义的、全域可连接萃取的、智慧的数据处理平台，建设目标是为了高效满足前台数据分析和应用的需求。数据中台是涵盖了数据资产、数据治理、数据模型、垂直数据中心、全域数据中心、萃取数据中心、数据服务等多个层次的体系化建设方法。数据中台概念数据服务化数据中台是培育业务创新的土壤，是利用数据促进业务创新的保障数据标准化“书同文，车同轨”，避免了“重复数据抽取和维护带来的成本浪费”数据智能化通过大量智慧算法训练数据细胞，形成数据大脑，产生智慧的力量，预先洞察未来数据资产化数据不断的在补充，数据模型不断的进化，只有在滋养中才能从最初的字段单一到逐渐成长为企业最为宝贵的模型资产数据中台的内核包括两方面：一个是应用数据的技术能力，另一个是数据资产的管理。数据中台概念业务场景：智慧工厂全球运营指挥中心智慧工厂智能供应链管理第三方风控

|

全球供应量可视化

|

质量控制前置

|

智能供应链（订单、仓储、物流）质量管控质量大数据（事后）

|质量预测模型（事前）C2M动态供应链

|

柔性生产线智能物流智能仓储

|

智能装箱

|

物流可视化追踪|

智能清关智能制造资产管理

|AGV厂区物流

|

产线预防性维护

|

智能安全监控

|

工厂能耗管理

|

设备虚拟化

|

设计生产一体化生产运营可视化，业务模块数字化应用数字化运营数字化指标运营系统质量管控工序数据质量实时监控预警E2E融合质量数据预警系统数据可靠性分析物联网数据应用数据资产管理物流数据采集系统IT产线数字化生产安全数字化制造能耗数据管理云制造数据分析测试，仪表，诊断，维修数据/智能诊断装备维护，大数据云调度制造数据可视化订单全流程可视制造测试网络监控可视质量管控数据可视网络资源规划作业能力规划工厂DC

卡车运输---防盗感应器客户三级运输运输–

连接承运商和货主预测性运输按需送达基于Geocode的智能地址获取和校验感知式存储AS/RSWMS&TMS拣料叉车with

RFIDSensors智能眼镜验收捡料RFID

Scanner拣料国家仓基于先进技术与工具，物流信息自动感知与采集，实物流全程可视数字化承运商执行过程与结果可视，绩效自动生成智能化基于云端的与内外部高度集成的物流IT系统实时的物流信息驱动精准的资源计划管理智能化大数据分析车辆追踪与LSP管理实时的路径规划二次运输自动线体带感应器的装车垛口卸货by

TrailerSkate

Dock国际运输数字化的运输跟踪客户需求、风险、外部运力等信息及时感知，自动给出预测性方案智能化连接 连接连接连接连接连接业务场景：智慧物流与智能仓储数字化运营整理制作郎丰利1519企业越来越重视数字化运营，核心重点是数据管理、可视以及数据治理超过60%计划或已经建立数据管理委员会基础大数据产品逐步成熟，数据安全、数据开放以及主数据管理需求旺盛。大数据能力框架，数字资产管理作用将被关注From

信通院、艾瑞咨询：预计到2020年，大数据软件市场规模将达到268.2亿元，年复合增长率38.6%；大数据服务市场规模将达到165.9亿元，年复合增长率41.4%。初步估算数据管理市场约43亿，核心发展方向：数据资产管理、

数据可视化以及机器学习From

中国信通院《中国大数据发展调查报告2018》目标：•••从烟囱式多个平台向融合大数据平台，建立统一的数据采集与整合大数据处理、计算及数据服务能力，降低大数据使用成本通过集中各领域数据，方便创新，让数据产生更大价值大中台、小前台，前台特种兵敏捷作战单元+中台航母舰群精确制导炮火统一数据平台(基础设施复用)运营生产数据中台统一数据资产中心离线统近一线数据建实模时、分析内与存挖掘……分析分析分析分析统一数据服务统一数据采集销售预测客户分析建模分析客服现网烟囱数据IT系统生产 销售辅助运营系统应用系统客服应用新业务挑战：1、独：烟囱系统，数据孤岛严重。重复开发、成本浪费；2、断：数据理解与数据价值链条的断层；3、缺：缺标准、缺治理、缺数据；4、难：知数据难、要数据难、懂数据难；数字化运营，需要由传统的烟囱式IT系统向数据中台转型生产数仓销售数仓客服数仓2数据中台顶层设计数据中台定义与愿景定义：全域级可复用的数据资产中心与数据能力中心，提供清洁、透明、智慧的数据资产与高效、易用的数据能力，使能业务数字化运营；愿景：让数据成为如水和电一般的资源，随需获取，敏捷自助；让数据极大发挥价值，推动业务创新与变革；数据领域由企业扩展到生态伙伴数据敏捷自助安全共享（隐私、授权、权限等）数据合规算法模型（AI）实现特性业务对象、规则、过程数字化数据联接数据实时可视数据透明数据清洁数字业务化数据采集/处理自动化、智能化数据中台建设框架：1）以业务数字化为前提，数据入湖为基础，建设数据资产中心；2）打造能高效承载数据中台建设的数据运营平台能力中心……数据服务数据消费数据源业务报告实时可视自助分析智能决策 运营监控批量/实时采集数据能力中心主数据客户基本信息云服务信息…基础数据国家Region…非结构化数据业务日志 视频流媒体 文件…外部数据客户财报 国家风险行业信息 财经信息…主题联接（数据模型、标签、图销售站点主题合同主题数据计算（规则、算法、模型等）分摊 智能运维模型 智能搜索文本挖掘题识项目主题 员工主题云服务主题 客户主题产品维度区域……收入预测模型……………完整、清洁的逻辑数据湖统筹推动、以用促建，急用先行为数据中台提供一站式“原材料”汇聚各业务源系统数据，清洗/注册数据资产业务对象、规则、过程数字化对准需求，驱动业务数字化数据采集/处理自动化持续数据治理，提升数据质量数字化运营数字化运维业务流效率提升满足自助、智能的数据消费识别多场景数据消费需求构建数据消费快速响应机制数据业务化，数据反哺业务，促进数字化运营中台消费场景3业务平台数据资产中心中台核心资产数据湖数据质量元数据管理数据采集数据服务数据开发数据可视化数据地图数据共享与安全数字化研发CBC运营系统cloudscope运维系统内部数据HRMS人员Esee机房建设CM客服外部数据社交媒体数据服务数据清洗资谱）存货主领域知图谱客服投支付CMDB产配置数据事务数据

建云服务发布 故障信息 诉记录 设售卖记录 营销活动…平台建设12主题连接层，数据中台核心资产建立“面向对象、面向主体、面向业务流”的数据联接和标签持续沉淀业务规则、算法、模型建设公共数据服务，减少重复开发数据中台建设两条主线：数据建设数据产生数据提供数据整合、标识、联接、建模数据消费业务数字化消费场景数据湖中台核心资产数据湖指标数据运营数据数据服务数据实时可视诊断预警故障数据源数据CBCcloudscopeFUXISCM项目数据销售数据收入触发财务数据主题联接发票信息合同基本信息开票计划业务主题回款核销 收入触发开票触发计划云服务运营大屏技术保障全景销售毛利成本中心数据服务-云服务建设全流程明细数据服务-交付项目收入明细研发效率大盘数据可视与分析运营指标运维指标平台建设安全态势感知故障智能预警智能决策中心智能扩容推荐数据调优诊断大数据服务数据接入服务MRSDLICcloudTable数据呈现与决策数据智能服务OBSDWSES云服务运营大屏技术保障全景销售毛利成本中心研发效率大盘安全态势感知故障智能预警智能决策中心智能扩容推荐数据调优诊断实时数据接入DIS批量数据迁移CDM数据库实时同步Dsync日志数据采集log数据开发数据开发/处理/调度／运维数据治理元数据管理/数据地图/数据质量/业务指标／数据标准数据可视大屏开发/发布／预览数据运营平台DAYU智能分析自助BI/报表／OLAP数据服务服务创建/发布／服务市场分析 决策 行动数据消费描述发生了什么

?诊断为什么会发生

?预测将会发生什么

?指导要采取什么措施

?自愈系统自我控制解决问题。人工判断和采取措施人工判断和采取措施人工判断和采取措施人工判断和采取措施数字化运营的不同层次数字化运营的不同阶段阶段一：数据实时可视数据展示实时可信报告上线在线开会支持数据层层下钻阶段二：诊断预警阶段三：智能决策提前感知业务问题自动预警潜在风险智能分析问题根因洞察趋势推荐方案支持客观精准决策中台数据消费解码：包含不同层次和阶段的数字化运营数据消费的不同用户类型业务人员 管理者 数据科学家 IT开发人员3数据中台解决方案数据运营平台，产品定位与价值定位：提供给数据工作者（数据管理者、数据分析师、数据开发者）的一站式、高效易用的数据治理运营平台；客户价值：帮助企业快速构建端到端的智能数据系统，消除数据孤岛，统一数据标准，加快数据变现，促进数字化转型；数据迁移实时接入离线迁移第三方工具敏捷可视能力自助分析能力全局治理能力高效探索能力快速开发能力用户数据消费支撑业务主题/画像/指标的访问查询检索数据开放应用分析数据源DAYU平台：一站式数据运营数据开发Pipeline开发、调度数据可视化大屏可视，

BI视图数据规范数据模型，约束规则数据质量质量规则、质量报告全域数据目录（元数据Catalog）公有云数据湖MRS DLI GES

DWS私有云数据湖严管数据非严管数据数据接入实时接入离线迁移第三方工具数据流数据流调度流 调度流命名：DAYU像大禹治水一样帮助企业进行数据治理与运营，最终让数据变为企业创新的新能源，助力企业新增长。行业模板+运营，一站式构建企业数据中台智能数据湖运营平台DAYU行业模板快速开发共享开放具有最优性价比的端到端技术平台，支持用户数据找得到，管得住沉淀行业能力，快速构建数据中台，助力用户数据

用得好郎丰利整理制作数据可视 全局治理智能数据湖存储计算主题数据模型指标计算Pipeline行业数据算子行业应用模型数据规范设计，基于XX数据体系建设方法论沉淀而成数据标准不统一数据业务断层数据重复建设历史不可追溯现状目标数据标准系统化、流程化数据需求全链路打通数据研发自动化、无码化元数据中心数据需求管理指标定义&数据模型权限&安全数据构建方法论行业标准指标内容指标发布\下线输入：业务数据化需求输出：标准化数据中台设计一站式敏捷大数据开发治理，全流程可视开发 治理服务 资产使用SQL进行图片识别，快速完成非结构化数据处理createtablecars_no(filePathstring,resultarray<struct<number:string,type:string>>)using

ocroptions

(path"obs://bucket1/wangfei/cars",ocrApiUrl

"/v1.0/ocr/plate-number",ocrEndpoint"",ocrRegion

"cn-north-1")SubmitIDLogTimeNumberColorLoacationFile12018072210:09:46粤B

12345白坂田五和大道obs://bucket1/wangfei/cars/file00222018072210:09:46粤B

67890黑坂田五和大道obs://bucket1/wangfei/cars/file002实时机器学习、深度学习，增强实时数据分析能力SQL中调用各种机器学习算法和深度学习框架，降低AI能力使用门槛AI能力与SQL融合，懂SQL就可以开发AI业务可复用的行业模板，加速数据价值发现流程行业数据标准行业主题数据模型行业指标计算流程行业算子行业指标业务对象中心（五大库）：产品、客户、合同、站点/网络、员工数据湖数据主题RC经营主题CNBG销售 企业运营消费者运营 研发主题交付主题 ITR主题供应主题 采购主题HR主题 行政主题IT主题运营(ITO/DSO)流程域主题：经营、运营区域数据平面数据地图业务实体(项目合同)经营(收入/成本)合规(内控/账实)Data

Lake：800+对象

7000+实体

100+万属性供应数据95%进底座CNBG数据50%进底座GTS数据60%进底座产品数据90%进底座流程IT数据及其它90%进底座数据统一采集入湖数据统一入湖，实现5大业务对象的数字化案例：XX内部IT数据运营，助力XX“清洁数据的数字化运营蓝图”推动数据入湖，实现内、外数据的获取构建五大库，实现五大关键业务对象数字化，实现数据同源，减少数据搬家重点建设大数据和人工智能平台，“数据获取→数字化→

智能化”三步走案例：智慧园区数据运营，助力企业降本增效智能数据湖运营平台DAYU人员主题库车辆主题库资产主题库设备主题库组织主题库时空主题库事件主题库资源主题库园区主题库批量数据集成实时数据集成数据ETL可视化开发任务调度管理权限管理数据集成数据标准数据质量元数据管理指标监控数据地图数据血缘数据治理园区智能运营中心IOC数据来源公司管理数据业务子系统数据外部互联网数据……智能数据湖底座接入园区个数100+构建园区8+个主题库主题库含5000+属性数据集成开发从15天缩短到1天数据应用开发效率提升50%数据分析由T+1到实时应用数据智能数据湖运营平台DAYU智能数据湖原始数据计量数据设备数据负荷数据能效数据交易数据发电数据……