《数字化网络化智能技术：工业大数据及其应用》课件 第1章 绪论

工业大数据及其应用01绪论面向制造业转型升级，实现智能制造，工业大数据是核心。本章重点概述了工业大数据定义、特点、处理系统流程和发展，进一步描述工业大数据与新一代信息技术的关系、与智能制造的关系。1工业大数据概述近年来，全球掀起智能制造的新热潮。美国率先提出先进制造业战略，德国的工业4.0、法国的新工业战略紧随其后。中国也在2015年提出《中国制造2025》发展战略，明确将智能制造作为制造业发展的主攻方向，并于2019年发布《工业大数据白皮书(2019版)》，勾画出工业大数据发展的整体轮廓。1工业大数据概述1.1工业大数据简介对于“大数据”，研究机构Gartner给出了这样的定义：“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力来适应海量、高增长率和多样化的信息资产。麦肯锡全球研究所给出的定义是：一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合，具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低四大特征。工业大数据是指在工业领域中，围绕典型智能制造模式，从客户需求到销售、订单、计划、研发、设计、工艺、制造、采购、供应、库存、发货和交付、售后服务、运维、报废或回收再制造等整个产品全生命周期各个环节所产生的各类数据及相关技术和应用的总称。工业大数据以产品数据为核心，极大延展了传统工业数据范围，同时还包括工业大数据相关技术和应用。1工业大数据概述1.1工业大数据简介图1-1工业大数据来源分类第一类是企业运营管理相关的业务数据。这类数据来自企业信息化管理系统，包括企业资源计划(ERP)、产品生命周期管理(PLM)、供应链管理(SCM)、客户关系管理(CRM)和能耗管理系统（EMS)等，此类数据是工业企业传统意义上的数据资产。1工业大数据概述1.1工业大数据简介美国国家科学基金会（NSF）智能维护系统（IMS）产学合作中心创始主任李杰教授在他的《工业大数据》一书中曾指出，在自动化设备产生了大量未被充分挖掘价值的数据、获取实时数据的成本不再高昂、设备的实时运算能力大幅提升以及依靠人的经验已无法满足复杂的管理和优化的需求的条件下，大数据技术在工业领域逐渐兴起。随着企业数字化转型的不断深入，企业积累的各种数据也越来越多，这些数据从分散到集中经历了较长的时间，但数据本身并不直接创造价值。因此，企业需要思考如何利用工业大数据分析工具，深入挖掘蕴藏在数据中的业务价值。工业大数据的分类可以从数据来源、工业大数据的应用场景两大维度进行划分。从数据来源看，工业大数据主要包括三类，如图1-1所示。1工业大数据概述1.1工业大数据简介第二类是制造过程数据。主要是指工业生产过程中，装备、物料及产品加工过程的工况状态参数、环境参数等生产情况数据，通过制造执行系统(MES)实时传递，目前在智能装备大量应用的情况下，此类数据量增长最快。第三类是企业外部数据。包括工业企业产品售出之后的使用、运营情况的数据，同时还包括大量客户名单、供应商名单、外部的互联网等数据。从工业大数据的应用场景看，工业大数据是针对每一个特定工业场景，以工业场景相关的大数据集为基础，集成工业大数据系列技术与方法，获得有价值信息的过程。工业大数据应用的目标是从复杂的数据集中发现新的模式与知识，挖掘得到有价值的信息，从而促进工业企业的产品创新、运营提质和管理增效。根据行业自身的生产特点和发展需求，工业大数据在不同行业中的应用重点以及所产生的业务价值也不尽相同。1工业大数据概述1.1工业大数据简介在流程制造业中，企业利用生产相关数据进行设备预测性维护、能源平衡预测及工艺参数寻优，可以降低生产成本、提升工艺水平、保障生产安全。对于离散制造业，工业大数据的应用促进了智慧供应链管理、个性化定制等新型商业模式的快速发展，有助于企业提高精益生产水平、供应链效率和客户满意度。1工业大数据概述1.2工业大数据特征和传统的数据处理方式相比，大数据通过对海量资料的分析，产生人们所需要的计算结果。从大数据本身的特点而言，其主要特征在于数据的复杂多样，又常被称为“4V特性”，即，究其核心而言，大数据主要包含以下4种特性：规模性（Volumn），就是指数据规模大，而且面临着大规模增长。我国大型的制造业企业，由人产生的数据规模一般在TB级或以下，但形成了高价值密度的核心业务数据。机器数据规模将可达PB级，是“大”数据的主要来源，但相对价值密度较低。随着智能制造和物联网技术的发展，产品制造阶段少人化、无人化程度越来越高，运维阶段产品运行状态监控度不断提升，未来人产生的数据规模的比重降低，机器产生的数据将出现指数级的增长。1工业大数据概述1.2工业大数据特征高速性（Velocity），不仅是采集速度快，而且要求处理速度快。越来越多的工业信息化系统以外的机器数据被引入大数据系统，特别是针对传感器产生的海量时间序列数据，数据的写入速度达到了百万数据点/秒-千万数据点/秒。数据处理的速度体现在设备自动控制的实时性，更要体现在企业业务决策的实时性，也就是工业4.0所强调的基于“纵向、横向、端到端”信息集成的快速反应。多样性（Variety），就是复杂性，主要是指各种类型的碎片化、多维度工程数据，包括设计制造阶段的概念设计、详细设计、制造工艺、包装运输等各类业务数据，以及服务保障阶段的运行状态、维修计划、服务评价等类型数据。甚至在同一环节，数据类型也是复杂多变的，例如在运载火箭研制阶段，将涉及气动力数据、气动力热数据、载荷与力学环境数据、弹道数据、控制数据、结构数据、总体实验数据等，其中包含结构化数据、非结构化文件、高维科学数据、实验过程的时间序列数据等多种数据类型。1工业大数据概述1.2工业大数据特征真实性（Veracity），相对于分析结果的高可靠性要求，工业大数据的真实性和质量比较低。工业应用中因为技术可行性、实施成本等原因，很多关键的量没有被测量、没有被充分测量或者没有被精确测量（数值精度），同时某些数据具有固有的不可预测性，例如人的操作失误、天气、经济因素等，这些情况导致往往数据质量不高，是数据分析和利用最大的障碍，对数据进行预处理以提高数据质量也常常是耗时最多的工作。工业系统往往具有复杂动态系统特性。飞机、高铁、汽车、船舶、火箭等高端工业产品本身就是复杂系统；产品设计过程，首先要满足外部系统复杂多变的需求；生产过程更是一个人机料法环协同交互的多尺度动态系统；使用过程本质上就是产品与外部环境系统的相互作用过程。由此可见，产品全生命周期相关各个环节都具有典型的系统性特征。在工业界，数据的结构和相互关系特别复杂。1工业大数据概述1.2工业大数据特征在数据规模远远不到PB(大数据的存储单位，1PB=1024TB=1048576GB)级别时，很多数据处理方法就不合适了。针对这种情况，国外有学者提出，大数据的概念不必纠结于数据规模。凡是遇到利用传统数据分析方法无效的数据集合，都可称为“大数据”。依据该思想，有学者将工业大数据定义为“工业数据的总和”。工业大数据作为对工业相关要素的数字化描述和在赛博空间的映像，除了具备大数据的“4V特性”，工业大数据还具多模态、强关联、高通量等新特征，如图1-2所示。图1-2工业大数据特征1工业大数据概述1.2工业大数据特征“多模态”。工业大数据是工业系统在赛博空间的映像，必须反映工业系统的系统化特征，必须要反映工业系统的各方面要素。所以，数据记录必须追求完整，往往需要用超级复杂结构来反映系统要素，这就导致单体数据文件结构复杂。比如三维产品模型文件，不仅包含几何造型信息，而且包含尺寸、工差、定位、物性等其它信息；同时，飞机、风机、机车等复杂产品的数据又涉及机械、电磁、流体、声学、热学等多学科、多专业。因此，工业大数据的复杂性不仅仅是数据格式的差异性，而是数据内生结构所呈现出“多模态”特征。“强关联”。工业数据之间的关联并不是数据字段的关联，其本质是物理对象之间和过程的语义关联。包括（1）产品部件之间的关联关系：零部件组成关系、零件借用、版本及其有效性关系；（2）生产过程的数据关联，1工业大数据概述1.2工业大数据特征诸如跨工序大量工艺参数关联关系、生产过程与产品质量的关系、运行环境与设备状态的关系等；（3）产品生命周期的设计、制造、服务等不同环节的数据之间的关联，例如仿真过程与产品实际工况之间的联系；（4）在产品生命周期的统一阶段所涉及到不同学科不同专业的数据关联，例如民用飞机预研过程中会涉及总体设计方案数据、总体需求数据、气动设计及气动力学分析数据、声学模型数据及声学分析数据、飞机结构设计数据、零部件及组装体强度分析数据、系统及零部件可靠性分析数据等。数据之间的“强关联”反映的就是工业的系统性及其复杂动态关系。“高通量”。嵌入了传感器的智能互联产品已成为工业互联网时代的重要标志，用机器产生的数据来代替人所产生的数据，实现实时的感知。从工业大数据的组成体量上来看，物联网数据已成为工业大数据的主体。1工业大数据概述1.2工业大数据特征以风机装备为例，根据IEC61400-25标准，持续运转风机的故障状态其数据采样频率为50Hz，单台风机每秒产生225K字节传感器数据，按2万风机计算，如果全量采集每秒写入速率为4.5GB/秒。具体来说，机器设备所产生的时序数据可以总结为以下几个特点:海量的设备与测点、数据采集频度高（产生速度快）、数据总吞吐量大，呈现出“高通量”的特征。在工业智能制造的领域中，工业大数据最为显著的特点就是数据的多样性，多样化的特征可以让企业获得多样化的信息。为了获得这些信息，企业一般会对工业大数据进行分析，在分析的过程中，相关的企业通常会采用通用的数据模型。在这些模型当中，企业一般会将一些结构性的商业数据进行整合，这些结构性的数据主要包含了库存信息、交易信息、财务信息等。在此基础上，这些模型也会将非结构性操作系统的数据进行有机结合，这些非结构信息主要包含了预警、流程参数和供应商、公共网络数据。然后企业通过挖掘这些工业大数据本身之间的联系，获得有用的信息，这些信息一般包含了制造业的生产和运营规律。1工业大数据概述1.3工业大数据处理系统与技术架构工业大数据将构建面向工业智能化发展的三大优化闭环处理流程。一是面向机器设备运行优化的闭环，核心是基于对机器操作数据、生产环境数据的实时感知和边缘计算，实现机器设备的动态优化调整，构建智能机器和柔性产线；二是面向生产运营优化的闭环，核心是基于信息系统数据、制造执行系统数据、控制系统数据的集成处理和大数据建模分析，实现生产运营管理的动态优化调整，形成各种场景下的智能生产模式；三是面向企业协同、用户交互与产品服务优化的闭环，核心是基于供应链数据、用户需求数据、产品服务数据的综合集成与分析，实现企业资源组织和商业活动的创新，形成网络化协同、个性化定制、服务化延伸等新模式。工业大数据的处理过程符合大数据分析生命周期，涉及多个不同阶段，如图1-3所示。1工业大数据概述1.3工业大数据处理系统与技术架构（1）工业大数据数据采集阶段重点关注如何自动地生成正确的元数据以及其可追溯性。既要研究如何生成正确的元数据，又要支持进行数据溯源。（2）工业大数据抽取、清洗和注释阶段主要负责对工业数据集进行数据抽取、格式转换、数据清洗、语义标注等预处理工作，是数据工程的主要内容。图1-3工业大数据处理系统1工业大数据概述1.3工业大数据处理系统与技术架构（3）工业大数据集成、聚集与表示阶段主要关注数据源的“完整性”，克服“信息孤岛”，通常工业数据源通常是离散的和非同步的。对于飞机、船舶等具有复杂结构的工业产品，基于BOM进行全生命周期数据集成是被工业信息化实践所证明的行之有效的方法。对于化工、原材料等流程工业产品，则一般基于业务过程进行数据集成。（4）工业大数据建模和分析阶段必须结合专业知识，工业大数据应用强调分析结果的可靠性，以及分析结果能够用专业知识进行解释。工业大数据是超复杂结构数据，一个结果的产生，是多个因素共同作用的结果，必须借助专业知识，同时，工业过程非常复杂，现实中还可能存在很多矛盾的解释，因此，要利用大数据具有“混杂”性的特点，通过多种相对独立的角度来验证分析结果。1工业大数据概述1.3工业大数据处理系统与技术架构（5）工业大数据分析结果解释与应用阶段要面对具体行业和具体领域，以最易懂的方式，向用户展示查询结果。这样做有助于分析结果的解释，易于和产品用户的协作，更重要的是推动工业大数据分析结果闭环应用到工业中的增值环节，以创造价值。工业大数据处理系统技术架构包含采集交换层、集成处理层、建模分析层、决策控制层，如图1-4所示。图1-4工业大数据技术架构1工业大数据概述1.3工业大数据处理系统与技术架构（1）采集交换层：主要指从传感器、SCADA、MES、ERP等内部系统，以及企业外部数据源获取数据的功能，并实现在不同系统之间数据的交互。（2）集成处理层：从功能上，主要将物理系统实体的抽象和虚拟化，建立产品、产线、供应链等各种主题数据库，将清洗转换后的数据与虚拟制造中的产品、设备、产线等实体相互关联起来。从技术上，实现原始数据的清洗转换和存储管理，提供计算引擎服务，完成海量数据的交互查询、批量计算、流式计算和机器学习等计算任务，并对上层建模工具提供数据访问和计算接口。（3）建模分析层：功能上主要是在虚拟化的实体之上构建仿真测试、流程分析、运营分析等分析模型，用于在原始数据中提取特定的模式和知识，为各类决策的产生提供支持。从技术上，主要提供数据报表、可视化、知识库、机器学习、统计分析和规则引擎等数据分析工具。1工业大数据概述1.3工业大数据处理系统与技术架构（4）决策控制层：基于数据分析结果，生成描述、诊断、预测、决策、控制等不同应用，形成优化决策建议或产生直接控制指令，从而对工业系统施加影响，实现个性化定制、智能化生产、协同化组织和服务化制造等创新模式，最终构成从数据采集到设备、生产现场及企业运营管理优化的闭环。在物联网制造的环境下，随着各种智能设备遍布在加工车间，对加工过程的监测逐步实1工业大数据概述1.4工业大数据发展趋势工业大数据是推进工业数字化转型的重要技术手段，需要“业务、技术、数据”的融合。这就要求从业务的角度去审视当前的改进方向，从IT、OT、管理技术的角度去思考新的运作模式、新的数据平台、应用和分析需求，从数据的角度审视如何通过信息的融合、流动、深度加工等手段，全面、及时、有效地构建反映物理世界的逻辑视图，支撑决策与业务。因此，工业大数据的发展将呈现以下发展趋势。（1）数据大整合、数据规范统一工业企业逐步加强工业大数据采集、交换与集成，打破数据孤岛，实现数据跨层次、跨环节、跨系统的大整合，在宏观上从多个维度建立切实可行的工业大数据标准体系，实现数据规范的统一。另外，在实际应用中逐步实现工业软件、物联设备的自主可控，实现高端设备的读写自由。1工业大数据概述1.4工业大数据发展趋势（2）机器学习，数据到模型的自动建模在实现大数据采集、集成的基础上，推进工业全链条的数字化建模和深化工业大数据分析，将各领域各环节的经验、工艺参数和模型数字化，形成全生产流程、全生命周期的数字镜像，并构造从经验到模型的机器学习系统，以实现从数据到模型的自动建模。（3）构建不同领域专业数据分析算法在大数据技术领域通用算法的基础上，不断构建工业领域专业的算法，深度挖掘工业系统的物理化学原理、工艺、制造等知识，满足企业对工业数据分析结果高置信度的要求。（4）数据结果通过3D工业场景可视化呈现进行数据和3D工业场景的可视化呈现，将数据结果直观地展示给用户，增加工业数据的可使用度。通过3D工业场景的可视化，实现制1工业大数据概述1.4工业大数据发展趋势造过程的透明化，有利于过程协同。另外，目前深度学习、知识图谱、虚拟现实等前沿技术已经在互联网环境得到了广泛的应用，但是这些前沿技术如何工业场景中发挥其价值，还需要进一步的探索。在深度学习应用方面，利用深度学习算法在工业场景中开展图像和视频处理将成为重要发展方向。如管道焊缝X光片的缺陷识别，基于深度学习的X射线焊缝图像识别可以对缺陷的特征进行提取和自动研判；打造智能安全工厂，现有的生产工厂的安全生产监控系统，人工监控容易疏忽，仅用作事后取证的记录，没有发挥安全预警的价值，基于视频跟踪的深度学习技术，实时监控工厂安全状态，对非安全行为进行实时预警。1工业大数据概述1.4工业大数据发展趋势在工业知识图谱方面，如何在工业生产过程中提取工业语义关键信息并关联形成具备专业特点的工业知识图谱是下一步探索重点。一个值得探索的重要方向是围绕复杂装备运维服务阶段大量自然语言工单数据，利用复杂装备设计研发阶段形成专业词库，提取面向复杂装备具有的工业语义关键信息，并自动将这些关键语义进行关联形成具有专业特点的工业知识图谱。具体包括事件实体和类型提取（比如故障类型抽取）、事件线索抽取（比如故障现象、征兆、排查路线、结果分析），并将知识图谱与设备资产档案（时序数据）进行关联，实现工况上下文中的知识推理。虚拟现实作为智能制造的核心技术之一，目前主要探索方向是通过数字孪生体，实现物理世界到虚拟世界的映射。基于数字孪生体技术，可以实现工业生产制造过程中产品设计的协同化、远程运维的智能化、产品试验完全仿真化，大幅度提升工业生产效率和智能水平。2工业大数据与工业互联网的关系当前制造业正处在由数字化、网络化向智能化发展的重要阶段，其核心是基于海量工业数据的全面感知，通过端到端的数据深度集成与建模分析，实现智能化的决策与控制指令，形成智能化生产、网络化协同、个性化定制、服务化延伸等新型制造模式。这一背景下，传统数字化工具已经无法满足需求，伴随制造业变革与数字经济浪潮交汇融合，云计算、物联网、大数据等信息技术与制造技术、工业知识的集成创新不断加剧，工业互联网平台应运而生。工业互联网更为关注制造业企业如何以工业为本，通过“智能+”打通、整合、协同产业链，催生个性化定制、网络化协同、服务化延伸等新模式，从而提升企业、整体行业价值链或是区域产业集群的效率。工业互联网既是工业大数据的重要来源，也是工业大数据重要的应用场景。尤其在工业互联网平台的建设中，工业大数据扮演着重要的角色。2工业大数据与工业互联网的关系2.1在工业互联网标准体系中的定位2017年，工业和信息化部指导编写了《工业互联网平台白皮书》，围绕工业互联网平台的概念、技术体系、产业生态、应用场景等进行了研究，提出了工业互联网平台功能架构图1-5工业互联网平台功能架构图2工业大数据与工业互联网的关系2.1在工业互联网标准体系中的定位在工业互联网平台功能架构中，工业大数据系统、工业数据建模和分析是工业互联网平台层（工业PaaS层）的重要核心。一方面，借助工业大数据处理、预处理、分析等技术，基于工业大数据系统，平台层（工业PaaS层）得以实现对边缘层、IaaS层产生的海量数据进行高质量存储与管理；另一方面：运用数学统计、机器学习及最新的人工智能算法实现面向历史数据、实时数据、时序数据的聚类、关联和预测分析，将数据与工业生产实践经验相结合，构建机理模型，支撑应用层各种分析应用的实现。2021年，工业和信息化部指导编写了《工业互联网标准体系（版本3.0）》，梳理了已有工业互联网国家/行业/联盟标准及未来要制定的标准，形成统一、综合、开放的工业互联网标准体系，如图1-6所示。2工业大数据与工业互联网的关系2.1在工业互联网标准体系中的定位工业互联网标准体系包括基础共性、网络、边缘计算、平台、安全、应用等六大部分，其中在平台部分提出工业大数据标准，包括工业数据交换标准、工业数据分析与系统标准、工业数据管理标准、工业数据建模标准、工业大数据服务标准、工业大数据中心标准等。图1-6工业互联网标准体系结构图2工业大数据与工业互联网的关系2.2在工业互联网中的应用工业大数据在工业互联网中的应用首先体现在对于工业互联网个性化定制、网络化协同、服务化延伸等工业互联网新模式场景的支撑。在大规模个性化定制场景下，企业通过外部平台采集客户个性化需求数据，与工业企业生产数据、外部环境数据相融合，建立个性化产品模型，将产品方案、物料清单、工艺方案通过制造执行系统快速传递给生产现场，进行生产线调整和物料准备，快速生产出符合个性化需求的定制化产品。在网络化协同场景下，基于工业大数据，驱动制造全生命周期从设计、制造到交付、服务、回收各个环节的智能化升级，最终推动制造全产业链智能协同，优化生产要素配置和资源利用，消除低效中间环节，整体提升制造业发展水平和世界竞争力。在服务化延伸场景中，通过传感器和工业大数据分析技术，对产品使用过程中的自身工作状况、周边环境、用户操作行为等数据进行实时采集、建模、分析，从而实现在线健康检测、故障诊断预警等服务，催生支持在线租用、按使用付费等新的服务模型，创造产品新的价值，实现制造企业的服务化转型。2工业大数据与工业互联网的关系2.2在工业互联网中的应用除了在工业互联网新模式场景中的应用，从集中化平台的角度来看，工业互联网平台还承载了通过工业大数据的分析利用从而实现知识积累的重任。工业领域经历了数百年的发展，在不同的行业、领域和场景下积累了大量的工业机理和工业知识，体现了对工业过程的深刻理解，能够持续地指导工业过程的优化和改进。在工业大数据时代，通过对这些工业机理、知识的提炼和封装，实现工业机理、知识模型上云、共享和复用，一方面，将使工业机理更好地融入于工业大数据算法，实现模型的调优和迭代，缩短数据模型的收敛时间；同时，通过对海量工业大数据的深入挖掘、提炼、建模和封装，进一步形成面向各个细分工业领域的各类知识库、工具库、模型库和工业软件，将有助于加速旧知识的复用和新知识的不断产生，进一步服务于工业过程的改进和提升，为用户提供基于工业互联网的持续价值创造良性闭环。3工业大数据与智能制造的关系智能制造是工业大数据的载体和产生来源，其各环节信息化、自动化系统所产生的数据构成了工业大数据的主体。另一方面，智能制造又是工业大数据形成的数据产品最终的应用场景和目标。工业大数据描述了智能制造各生产阶段的真实情况，为