智能制造管理 课件 第十六章 制造大数据分析方法

第十六章制造大数据分析方法1制造数据产生、转化、存储2数据挖掘技术3商务智能分析4大数据分析技术5制造大数据可视化分析系统制造数据产生、转化、存储制造业大数据是工业数据的总和，我们把它分成三类，即企业信息化数据、工业物联网数据，以及外部跨界数据。其中，企业信息化和工业物联网中机器产生的海量时序数据是工业数据规模变大的主要来源。近年来物联网技术快速发展，工业物联网成为制造业大数据新的、增长最快的来源之一。16.1.1制造业大数据分类海量的Key-Value数据文档数据信息化数据接口数据视频数据图像数据音频数据其他数据制造数据产生、转化、存储各种类型的制造业大数据都是通过传感器和RFID（RadioFrequencyIdentification，射频识别）进行收集的。RFID技术是一种非接触式的自动识别技术，通过射频信号自动识别目标对象并获取相关的数据信息。利用射频方式进行非接触双向通信，达到识别目的并交换数据。数据采集技术难点主要包括以下几方面：数据量巨大工业数据的协议不标准视频传输所需带宽巨大对原有系统的采集难度大安全性考虑不足16.1.2制造业大数据的收集制造数据产生、转化、存储存储和管理多源异构和多模态这两种类型的工业大数据的关键技术多源异构数据（Multi-sourceHeterogeneousData）是指数据源不同、数据结构或类型不同的数据集合。多源异构数据管理需要从系统角度，针对工业领域涉及的数据在不同阶段、不同流程呈现多种模态（关系、图、键值、时序、非结构化）的特点，研制不同的数据管理引擎致力于对多源异构数据进行高效地采集、存储和管理。多源异构数据管理技术可有效解决大数据管理系统中由模块耦合紧密、开放性差而导致的系统对数据多样性和应用多样性的适应能力差的问题，使大数据管理系统能够更好地适应数据和应用的多样性并能够充分利用开源软件领域强大的技术开发和创新能力。多模态数据（Multi-modalData）是指表征同一事物的不同来源和形式的数据。在数据生命周期管理中，多模态数据存储分散、关系复杂，在研发、制造周期以BOM为主线，在制造、服务周期以设备实例为中心，BOM和设备的语义贯穿了工业大数据的整个生命周期。数据集成的核心任务是要将互相关联的多模态数据集成到一起，使用户能够以透明的方式访问这些数据源。16.1.3大数据存储与管理技术数据挖掘技术数据挖掘（DataMining）就是从真实的、大量的、有噪声的数据源中提取先前未知的可供用户接受、理解、运用的潜在知识的过程。数据挖掘技术提取的知识从广义上理解就是人们口中常说的数据与信息。16.2.1数据挖掘概念与功能数据挖掘任务的基本步骤数据挖掘技术分类。分类用于预测离散的目标变量，找出数据库中一组数据对象的共同特点并按照分类模式将其划分为不同的类。回归。回归分析方法用于预测连续的目标变量，发现变量或属性间的依赖关系。聚类分析。聚类分析是将数据划分成有意义、解释性强的组，在数据中发现描述对象及其关系的信息。关联分析。关联规则是描述数据库中数据项之间所存在的隐藏关系的规则。异常检测。异常检测就是发现与大部分其他对象存在偏差的对象。Web页挖掘。通过对Web的挖掘，可以利用Web的海量数据进行分析，收集政治、经济、政策、科技、金融、各种市场、竞争对手、供求信息、客户等有关的信息。16.2.2数据挖掘常用方法数据挖掘技术时序分析。智能化工业生产设备上安装了大量的传感器，这些传感器不断产生检测生产设备温度、压力、位移重量、震动的海量的时间序列数据以用于诊断和预警设备故障，以便制造企业监控生产、控制能耗、分析设备利用率。知识图谱。工业生产过程中会积累大量的日志文本，此类非结构化数据中蕴含着丰富的专家经验，利用文本分析的技术能够实现事件实体和类型提取（故障类型抽取）、事件线索抽取（故障现象、征兆、排查路线、结果分析），通过专家知识的沉淀实现专家知识库（故障排查知识库、运维检修知识库、设备操作知识库）。多源数据融合。在企业生产经营、采购运输等环节中，会有大量的管理经营数据，利用这些数据可实现供应链协同、精准销售、市场调度、产品追溯、能力分析、质量管控等等。16.2.3数据挖掘技术在工业大数据的应用商务智能分析16.3.1商务智能概述及模型分析商务智能（BusinessIntelligence）最早于1989年由GarnerGroup的分析师HowardDresner首次提出，为提高企业运营绩效而采取的一系列方法，软件和技术，通过应用相应的支持系统来辅助商业决策的制定。在企业积累的海量数据源基础上，面向动态分析决策需求，针对特定的决策问题进行建模，确定运算规则，为支持企业动态决策提供理论方法和算法支撑，是商务智能的重要研究方向。商务智能分析16.3.2商务智能工具商务智能是在整合、等系统之基础上，通过数据收集、存储，利用分析工具实现知识管理以为决策者提供价值信息。因此，商务智能工具平台在商务智能技术框架中具有重要地位是商务智能应用模型发挥作用的直接载体。商务智能分析16.3.3商务智能应用现状欧美企业已经认识到商务智能的重要意义，因而对它寄予很高的期望，希望能够通过商务智能充分利用企业以往对信息技术的投资、改善决策、提高利润、提高运营效率和增强透明度。美国企业用商务智能做在线分析处理的较多，而欧洲企业进行高级分析的较多。北美企业的部署重点在于特设查询、扩展性等，欧洲企业则侧重支持多数据库、信息门户整合等。商务智能在我国的发展尚处于起步阶段，大部分企业对其仍然缺乏必要的了解。现在虽有宝钢、中国海关以及大的银行和电信公司进行过或正在进行数据仓库和数据挖掘项目，但是大部分企业在这方面的应用还几乎为零。被商务智能软件厂商们看好的是电信、金融、航空等行业，因为这些行业的信息化程度偏高，并且这些行业从某种意义上讲都是服务业，客户的需求扮演着重要角色，准确、科学地把握客户的需求是身处这些行业的企业决策者们孜孜以求的。商务智能分析16.3.4制造业商务智能需求及发展模式制造业商务智能会因为不同的应用行业而千差万别。在此背景下，提供支持多种制造业商务智能发展模式及产品研发的解决方案已成为支撑我国制造企业发展并进入全球化制造网络的重要因素。目前主要存在的五种发展模式如下：（1）基于自主ERP和自主BI工具的制造业商务智能发展模式：即企业ERP与BI工具属于同一个开发实施团队。（2）基于自主ERP和商业BI工具的制造业商务智能发展模式：即企业ERP与BI工具不属于同一个开发实施团队。（3）基于商业ERP和自主BI工具的制造业商务智能发展模式：即尊重目前我国制造业多种多样ERP系统的现实，利用自主的BI工具发展自主知识产权的我国行业商务智能平台。（4）基于自主BI工具的制造业商务智能发展模式：直接基于自主BI开发应用制造企业专用的商务智能平台。（5）相对封闭性行业的制造业商务智能发展模式：针对相对封闭的制造行业，根据行业的需求开发商务智能平台，实现与行业系统的深入集成和应用。商务智能分析16.3.5制造业商务智能分析框架结合制造业对商务智能技术与产品的现实需求，以商务智能技术框架为基础在商务智能应用模型、工具平台和关键技术分析的基础上，建立制造业商务智能研究的基本框架。以模型研究为核心以工具平台研究为重点，以关键技术研究为支撑。大数据分析技术16.4.1制造业大数据的特点制造业商务智能不同于其他行业，它具有自身鲜明的应用特点：（1）数据来源多样。（2）数据的生命周期与产品的生命周期有关。（3）数据质量低。（4）数据蕴含信息复杂，耦合性不确定。（5）数据实时性高。（6）数据结构化程度低。大数据分析技术16.4.2基于流程的大数据分析技术应用制造业涉及行业众多，实际工作场景千差万别，但广义上讲，所有产品的制造流程都可划分为设计、生产、采购、销售和售后五个阶段。目前大数据分析模型在各个场景中都有应用。（1）设计阶段。大数据分析在设计阶段的应用主要体现在工艺流程的参数优化上。此外，在能效优化、成本优化、工艺标准优化及智能设计等方面，大数据分析也能起到作用。（2）生产阶段。大数据分析在生产阶段的应用主要体现在质量监控、故障诊断和智能调度上。（3）采购阶段。大数据分析在采购阶段的应用主要体现在库存管理和成本优化上。（4）销售阶段。大数据分析在销售阶段的应用主要体现在产量预测、需求发现和配送优化上。（5）售后阶段。大数据分析在售后阶段的应用主要体现在服务类型识别和运行状态监控上。制造大数据可视化分析系统制造型的工业工厂企业大数据的难点在于打通企业数据采集、集成、管理、分析的产业链条，帮助企业的业务人员养成使用数据的习惯。发展创新，优化业务流程。智慧工厂工业BI大数据可视化分析系统，为帮助企业产业升级，有效提高管理力赋能。通过数据分析及时的发现问题，快速做出解决方案。（1）利用大数据驱动业务发展，打造企业新型能力当今的工厂制造业随着客户多样个性化的需求，产品上市时间短、研制成本高，这样就会导致工厂的利润降低。用户的需求迫切，利润空间低、竞争大，使得工厂迫切的需要转型。（2）“盘活存量数据、用好增量数据”，推动企业转型升级制造型企业在信息化的每个发展阶段都会产生大量的数据处理要求，并且会因为各种大量的业务活动产生各式的大数据，所以工业大数据的利用不仅仅是信息化基础建设，更重要的是可以帮助企业创新业务，用数据的思维来管理。16.5.1建立制造大数据可视化分析系统的作用制造大数据可视化分析系统（1）MicroStrategy。成立于1989年，现在是全球最大的独立BI（BusinessIntelligence）企业。MicroStrategy一直是GartnerMagicQudrant评鉴中列为领先的前五大BI工具和服务厂家。MicroStrategy可以支持所有主流的数据库或数据源。（2）BusinessObjects。是全球领先的商务智能(BI)软件企业的产品套件，BusinessObjectsXI为报表、查询和分析、绩效管理以及数据集成提供了最完善、最可靠的平台。2007年10月被SAP收购，但是保持独立运营。（3）Cognos。隶属于IBM公司的Cognos是在BI核心平台之上，以服务为导向进行架构的一种数据模型，是唯一可以