工业大数据方案建议书

工业大数据方案技术方案职务：技术顾问方向：工业云平台，大数据管理，数据挖掘与机器学习。学历：内蒙古大学硕士学位工作履历：曾就职于安世亚太（北京）科技有线公司，担任知识工程系统架构师，参与2010年国防科工委支持项目《基于知识面向流程的新一代飞机设计系统》，主持完成西飞国际《MA60外场监控系统》的规划与架构设计。曾就职于广州巨杉软件开发有线公司，担任广发银行影像与历史数据管理平台架构师。曾任职于易往研究院，担任智能工厂软件系统研究员，

主持2017年工业与信息化部电子标准化研究院创新支持项目并担任工业云计量验证系统的架构设计师。参与青岛海尔COSMO项目一期工程的实施和二期工程的前期规划。顾问介绍目录1工业大数据蓝图3工业大数据建模2工业数据湖4预测与优化5主要业务规划大数据智能工厂规划设备及传感器网络工业云平台应用系统温度阀门控制企业网络IPWMSERPPLMMESTMSEMSCRM云数据中心能源数据位置数据大数据管理平台产品数据托盘AGV扫描设备RFID/WiFi能源监控仪表换算采集Zigbee/RS485湿度原料监控Zigbee物流跟踪设备管理平台以太网132原材料、成分温度、湿度、成分

计量、换算阀门开关权限管理安全策略&QoS应用适配器操作门户API终端管理数据管理网络连接管理平台基于机器学习的工业大脑设备1设备2设备3设备4设备5设备6设备7设备8设备9设备…预测性维修异常监控人机协同过程优化EMS数据ERP数据MES数据检验数据设备数据传感器数据数据源DCS数据工业大数据架构大数据应用大数据处理工艺优化质量提升产线故障预测预测性维修效率提升可视化监控事务型数据MPP数据库HADOOPOLTP数据仓库元数据索引列存储粗粒度索引数据压缩SQL优化动态拓展资源管理大表关联并行加载半结构化非结构构化HDFSMap/ReduceHivePig事务处理数据完整性锁机制索引机制SQL优化SQL执行备份恢复断点处理监控管理流处理（Storm、SparkStreaming）智能制造大数据蓝图工艺人员物料设备质量历史数据当前数据历史数据当前数据历史数据当前数据历史数据当前数据历史数据当前数据大数据平台业务系统实时查询服务批量检索服务数据分享服务数据下载服务数据仓库和分析型应用ODS/DSA–面向主题、当前DW–面向主题、历史和汇总DMDMAPI接口供应链优化作业行为优化设备预测性维修SparkML目录1工业大数据蓝图3工业大数据建模2工业数据湖4预测与优化5主要业务规划6中安鼎辉大数据平台工业大数据特点供应商数据产品质量服务信息信用数据位置数据渠道依赖原料来源Web信息业务信息行为信息机器数据多种类型时间序列数据真实数据海量并发较高控制数据数据多样时间戳程序数据结果数据人员数据基本信息行为信息物料数据基本信息计量信息位置信息物流信息加工信息装配信息追踪信息质量数据检验数据随机性概率特征相关性客户数据需求数据产品数据位置数据竞争对手信用数据业务数据Web信息行为信息物流数据位置数据计量数据时间数据多样、实时、海量的数据需要依赖大数据技术进行数据管理并产生价值交互查询批查询机器学习实时分析设备传感器质量物料人员事件设备传感器质量人员事件ETL工具定义的主题查询结果呈现关系型数据LOB应用物料元数据及关联性数据预处理报表展示机器学习结果展示数据源定义数据预处理工业数据湖行为人员生产线信息系统ERPMESEMS智能化数据可视化流程优化产线建模知识库自助式BI信息管理事件处理

数据分类数据工厂

机器学习/数据分析HADOOP/Spark技术流处理信息基于数据湖分析机器学习大数据存储SQL数据仓库数据湖其他数据信息系统设备传感器数据数据湖与价值发现目录1工业大数据蓝图3工业大数据建模2工业数据湖4预测与优化5主要业务规划工业大数据建模目标制造价值提升1、原因分析的工艺优化；2、设备预测性维修；3、产线异常监控；4、产品质量控制；供应商管理提升1、风险预测与分析；2、交付时间与路径优化；3、供应商评价与信用管理；客户需求管理提升1、客户行为的需求挖掘；2、准确个性化的产品定价；3、产品的预测性保养与维修；4、更好的产品体验；运营价值提升1、更好的管理资产；2、合理的资源消耗；3、避免人为的错误；4、实时推荐技术工具；5、增强用户高效与便捷01020304如上图显示的机器学习算法，多级算法分析引擎可以根据对工厂已安装设备的数据采集和工艺流程，自动绘制内在的逻辑关系，并显示哪个工艺流程和数据流之间直接或间接的相互关系，以及这种关系存在的原因。这种深层和独特的分析提供了一个高等级的平台来侦测异常，通过行为和运营表现来标记质量与效率，并进行微观辩证性的根源问题分析。生产过程建模设备数据建模结果的相似和关联性产线数据建模模型算法-DNN神经网络是一组模拟人脑进行模式识别的算法组合，通过聚类或者标记原始数据进行数据感知，它可以识别真实世界包含在向量中的数据，如图片、声音、文本等。深度神经网络与单层神经网络的区别是数据通过了多步模式识别的隐藏层处理，传统的神经网络机器学习算法依赖于一个输入一个输出一个隐藏的浅层神经网络学习，而深度神经网络是在一个以上的隐藏层学习。模型与数据异常检测事件处理环境分析人机协同能效增强质量强化实时数据处理历史数据处理模型分析实时数据检测设备状态、预防设备故障、优化生产过程、提升产品质量、能效增强、人机协同。通过对历史数据清洗整合，进行模型的训练，优化模型参数，进行更加有效的生产和运营。强化模型目录1工业大数据蓝图3工业大数据建模2工业数据湖4预测与优化5主要业务规划设备预测性维修预测与优化生产过程优化设备预测性维修质量提升人机协同异常检测时间单元对于故障警告日志进行时间单元划分，将故障或警告视为事件，事件到下一个事件发生时间间隔超过一定时间的视为不同单元。伴随概率对于同一个时间单元里的故障和警告进行联合概率分析，计算任意两个事件在单元里同时发生的概率。故障事件对于某一种故障的前序事件进行观察，事件与上一次事件间隔时间以内或上一次相同故障发生之间的故障或警告视为前序事件，统计不同前序事件发生的次数。关联分析通过伴随发生概率分析，了解任意事件之间的关联性，寻找同时发生概率高的事件。通过故障的前序事件分析，了解故障前序发生的事件，了解前序事件与故障的关系。异常检测预测与优化生产过程优化异常检测设备预测性维修人机协同质量提升时间序列将采集到的底层设备数据进行时间序列分析，生成时间序列数据图形，将图像特征按时间段进行观察。聚类分析对建模后时间序列数据的按照时间端特征进行提取并聚类，聚类的结果对应到采集到的生产国产数据。关联分析对于不同分类数据的相关性，通过拉长时间轴的长度进行分析。行为分析对采集到的事件和分类数据的进行关联性分析，并对应到产线运营行为上。生产过程优化预测与优化设备预测性维修生产过程优化质量提升人机协同异常检测能力平衡通过分析工序的Cycletime，工序瓶颈以及相应的等待事件，该出每一步工序所需要能力平衡的建议。异常事件通过对过程事件的分析发现经常性出现异常事件的原因，原因：机器、人员、原材料、能源等。缺陷事件通过分析过程中反馈记录的质量信息，进行相关因素分析，通过改善相关因素进行质量改善。按因优化将挖掘发现的过程事件原因进行进行合并处理，改出相应的优化方案。人机协同优化预测与优化生产过程优化人机协同质量提升设备预测性维修异常检测调度优化对机器和人员的执行调度，通过对历史操作数据的分析分析出相应岗位最适合的人并进行作业人员画像保证人机良好的协同。人因分析在具体的任务作业过程中，对作业人员的操作行为及执行结果进行因果关联分析，并给出良好作业的关键行为要素。目录1工业大数据蓝图3工业大数据建模2工业数据湖4预测与优化5主要业务规划大数据业务规划大数据技术、工具、方法对钢铁企业生产业务的理解规划依据业务蓝图数据蓝图技术蓝图大数据管理平台架构大数据处理技术架构海量、高速实时数据的低成本管理与快速处理大数据管理与控制大数据采集管理数据获取策略、质量管理、存储管理、ETL。基于大数据的应用规划重点设备预测维修高炉异常事件防控产品质量提升人员作业优化生产效率优化智能制造大数据战略PLC、DCS、SCADA（控制及采集数据）炼钢设备高炉产线设备与工业网络MES、EMS1、生产过程。2、能源消耗。3、异常事件。4、灾难事件。1、设备参数。2、调度行为。钢厂数据湖质量提升异常监控人机协同灾难规避大数据处理炼钢生产过程大数据应用料层厚度烧结温度点火温度垂直燃烧速度混合料水分燃料配比机速利用系数冶炼强度焦比喷煤比燃料比富氧率风温氧