工业大数据及其计算0418周兴社

1、 工业大数据特点、价值及其计算工业大数据特点、价值及其计算 西北工业大学计算机学院西北工业大学计算机学院 周兴社周兴社 201 2015 5年年0404月月1818日日工业大数据发展背景（工业大数据发展背景（1 1）工业发展进入新阶段工业发展进入新阶段经历自动化、进入网络化、智能化发展新阶段；经历自动化、进入网络化、智能化发展新阶段；美国提出智能制造；德国提出工业美国提出智能制造；德国提出工业4.0;4.0;我国提出我国提出“互联网互联网+ +”和和“中国制造中国制造20252025计划计划”；工业大数据发展背景（工业大数据发展背景（2 2）“制造业数字化网络化智能化制造业数字化网络化智能化”

2、是新工业革命的核心技术是新工业革命的核心技术制造业创新的三个层次：制造业创新的三个层次：产品创新、制造技术创新、产业模式创新；产品创新、制造技术创新、产业模式创新；数字化网络化智能化是制造业创新的重要途径与共性使能技术；数字化网络化智能化是制造业创新的重要途径与共性使能技术；以以数字化网络化智能化为主线，必然形成工业大数据，需要大数据技数字化网络化智能化为主线，必然形成工业大数据，需要大数据技术、平台与应用支撑；术、平台与应用支撑；工业大数据发展背景（工业大数据发展背景（3 3）机器数据正在高速增长机器数据正在高速增长WikibonWikibon发布发布工业互联网与大数据分析：机遇与挑战工业互

3、联网与大数据分析：机遇与挑战 ; ;未来未来1010年年，工业数据增速将是其它大数据领域的两倍工业数据增速将是其它大数据领域的两倍。大数据咨询公司大数据咨询公司Think BigThink Big在在“正在塑造大数据和企业未来的十大趋正在塑造大数据和企业未来的十大趋势势”中，将中，将“机器数据和物联网将占据中心舞台机器数据和物联网将占据中心舞台”列为首位，并指列为首位，并指出出“从从RFIDRFID标签和工业仪器，到喷气发动机和消费电器，整个世界标签和工业仪器，到喷气发动机和消费电器，整个世界正在生产着越来越庞大的数据量；正在生产着越来越庞大的数据量；工业大数据特点分析（工业大数据特点分析（1

4、 1）工业大数据来源工业大数据来源数字化设计数字化设计 如如 飞机全数字化设计；波音公司利用飞机全数字化设计；波音公司利用CATIACATIA软件产生软件产生波音波音777777的的300300万个零部件的尺寸和形状数据；我国飞豹飞机首次实现万个零部件的尺寸和形状数据；我国飞豹飞机首次实现全数字化三维设计；全数字化三维设计；智能化制造智能化制造 以智能工业机器人为典型代表的智能制造装备已经开以智能工业机器人为典型代表的智能制造装备已经开始在多个领域得到应用；我国今年的工业机器人超过日本；始在多个领域得到应用；我国今年的工业机器人超过日本；网络化监测网络化监测 大型工业装备运行状态网络化远程动态

5、监测；例如，波大型工业装备运行状态网络化远程动态监测；例如，波音音737737发动机在飞行中每发动机在飞行中每3030分钟产生分钟产生10 TB10 TB数据；陕鼓实现数百台旋转数据；陕鼓实现数百台旋转机械远程在线监测及故障诊断，机械远程在线监测及故障诊断， 物联化管理物联化管理 工业生产过程开始大量使用工业生产过程开始大量使用RFIDRFID实现零件与产品管理实现零件与产品管理；工业大数据特点分析（工业大数据特点分析（2 2）工业大数据分类工业大数据分类产品数据产品数据 设计、建模、工艺、加工、测试、维护、产品结构、设计、建模、工艺、加工、测试、维护、产品结构、零部件配置、变更记录等数据。零

6、部件配置、变更记录等数据。生产数据生产数据 组织结构、业务管理、装备状态、质量控制、生产过程组织结构、业务管理、装备状态、质量控制、生产过程、采购库存、目标计划等数据。、采购库存、目标计划等数据。价值链数据价值链数据 市场营销、电子商务、客户、供应商、合作着等数据。市场营销、电子商务、客户、供应商、合作着等数据。外部数据外部数据 行业、市场、竞争对手等数据。行业、市场、竞争对手等数据。工业大数据特点分析（工业大数据特点分析（3 3）工业大数据同样具有工业大数据同样具有“4V4V”特点特点大体量大体量 （VolumeVolume）；一类家电智能工业生产过程一天产生）；一类家电智能工业生产过程一天

7、产生20TB20TB以上以上数据；数据；3D3D打印一个中规模部件产生几十打印一个中规模部件产生几十GBGB数据；数据；多样性多样性 （VarietyVariety）；三维图形数据，监控视频数据，文字档案数据）；三维图形数据，监控视频数据，文字档案数据；RFIDRFID数值数据；。数值数据；。快速性（快速性（ Velocity Velocity ）；发动机运行监测数据；工业机器人运动数据）；发动机运行监测数据；工业机器人运动数据价值性价值性 （ValveValve）；工业大数据的价值是显性的；直接的；）；工业大数据的价值是显性的；直接的；工业大数据特点分析（工业大数据特点分析（4 4）工业大数

8、据具有自身特点工业大数据具有自身特点多源性获取，数据分散，非结构化数据比例大；多源性获取，数据分散，非结构化数据比例大；数据蕴含信息复杂，关联性强；数据蕴含信息复杂，关联性强；持续采集，具有鲜明的动态时空特性；持续采集，具有鲜明的动态时空特性；采集、存贮、处理实时性要求高；采集、存贮、处理实时性要求高；与具体工业领域密切相关；与具体工业领域密切相关；工业大数据潜在价值工业大数据潜在价值(1)(1)提升工业生产制造效率与质量提升工业生产制造效率与质量工业大数据可以带给生产、制造等领域更多创新基因，可在一定程度上推工业大数据可以带给生产、制造等领域更多创新基因，可在一定程度上推动经济内涵式增长；动

9、经济内涵式增长；美国得克萨斯大学对多行业和大型企业的数据美国得克萨斯大学对多行业和大型企业的数据 利用率和人均产出率进行了广泛研究，结果显示，利用率和人均产出率进行了广泛研究，结果显示， 数据利用率提高数据利用率提高10%10%，财富，财富100100强企业人均产出提强企业人均产出提 高高14.4%14.4%；制造业平均提升；制造业平均提升20%20%。具体价值具体价值帮助企业实现目标市场细分及精准营销，支持产业链管理及优化，帮助企业实现目标市场细分及精准营销，支持产业链管理及优化，探索新生产模式及效果测评，提升工业企业运行与营销效率；探索新生产模式及效果测评，提升工业企业运行与营销效率；利用

10、大数据进行分析，可带来仓储、配送、销售效率的大幅提升和利用大数据进行分析，可带来仓储、配送、销售效率的大幅提升和成本大幅下降，大大减少库存，优化供应链；成本大幅下降，大大减少库存，优化供应链；支撑流程工业复杂系统机理开发与优化；支撑流程工业复杂系统机理开发与优化；典型案例典型案例西门子安贝格数字化工厂；西门子安贝格数字化工厂；75%75%的生产过程是由机器自动完成；实现生产过程数据采集与管理；的生产过程是由机器自动完成；实现生产过程数据采集与管理；核心是工业数据分析智能，实现核心是工业数据分析智能，实现100100万次加工过程差错率仅有万次加工过程差错率仅有1212次；次；海尔新型数字化网络化

11、生产线海尔新型数字化网络化生产线-互联工厂互联工厂围绕用户价值，实现全流程端对端互联，对家电制造业进行水平整合和围绕用户价值，实现全流程端对端互联，对家电制造业进行水平整合和垂直整合，打造冰箱、空调、洗衣机等家电互联型智能工厂。垂直整合，打造冰箱、空调、洗衣机等家电互联型智能工厂。三层互联三层互联 ：用户、企业和资源连接实现内外互联、信息互联、虚实互：用户、企业和资源连接实现内外互联、信息互联、虚实互联；联；三个转变：内部评价三个转变：内部评价= =用户评价；采购零件用户评价；采购零件= =模块供货方参与设计的模块供货方参与设计的模块采购；各方博弈关系模块采购；各方博弈关系= =价值共同体共创

12、共享。价值共同体共创共享。海尔洗衣机互联工厂在海尔洗衣机互联工厂在5050万用户参与交互中，从万用户参与交互中，从7979个模块方案中确定个模块方案中确定2 2个个最佳组合投产。设计的水晶滚筒洗衣机能耗比欧洲最佳组合投产。设计的水晶滚筒洗衣机能耗比欧洲A+A+标准节能标准节能40%40%；2013201320142014年，海尔累计裁掉年，海尔累计裁掉2.62.6万名员工，万名员工，20142014年海尔销售收入增长年海尔销售收入增长11%11%，利润增长，利润增长39%39%。20152015年初海尔家电出口逆势增年初海尔家电出口逆势增29%29%；工业大数据潜在价值工业大数据潜在价值(2)

13、(2)支持工业设备节能降耗、提高寿命；支持工业设备节能降耗、提高寿命；工业大数据对提高设备可用性、减少非计划停机时间、降低维护成工业大数据对提高设备可用性、减少非计划停机时间、降低维护成本、减少能耗等具有重要价值；及时发现能耗的异常或峰值情况，本、减少能耗等具有重要价值；及时发现能耗的异常或峰值情况，实现生产过程中的能源消耗实时优化；实现生产过程中的能源消耗实时优化；典型案例典型案例 GEGE利用大数据分析避免了多起由阀门伺服和执行机构问题引起的飞机发动机故利用大数据分析避免了多起由阀门伺服和执行机构问题引起的飞机发动机故障，减少停机时间。障，减少停机时间。GEGE的油气管道和电力设备每年承载

14、着全球的油气管道和电力设备每年承载着全球25%25%的电力输送。的电力输送。GEGE发布报告发布报告估测，估测，每提高每提高1%1%的燃油效率，航空业每年可节省的燃油效率，航空业每年可节省2020亿美元，而能源行业则能节省亿美元，而能源行业则能节省4040亿美亿美元元; ;风力涡轮机制造商风力涡轮机制造商VestasVestas对天气数据及涡轮仪表数据进行交叉分析对天气数据及涡轮仪表数据进行交叉分析, ,并并对风力涡轮机布局进行改善对风力涡轮机布局进行改善, ,由此增加了风力涡轮机的电力输出水平并由此增加了风力涡轮机的电力输出水平并延长了服务寿命；延长了服务寿命；鲁南化工有限公司将多年积累的气

15、化炉运行数据，包括近十几年的所鲁南化工有限公司将多年积累的气化炉运行数据，包括近十几年的所有极差操作、最好操作、容易出事故的各种数据用于培训操作人员，有极差操作、最好操作、容易出事故的各种数据用于培训操作人员，使多喷嘴气化装置实现单炉年运行开工率达到使多喷嘴气化装置实现单炉年运行开工率达到97%97%以上。以上。 工业大数据潜在价值工业大数据潜在价值(3)(3)支撑实现大规模定制生产新模式支撑实现大规模定制生产新模式工业工业4.04.0实现实现 大规模批量生产大规模批量生产=大规模定制生产；满足消费者个性大规模定制生产；满足消费者个性化需求；化需求；工业大数据是大规模定制生产的重要基础；支持实

16、现流行预测、精工业大数据是大规模定制生产的重要基础；支持实现流行预测、精准匹配、时尚管理、营销推送等更多应用；准匹配、时尚管理、营销推送等更多应用；消费者参与产品的需求分析和产品设计等创新活动中。消费者参与产品的需求分析和产品设计等创新活动中。有助于深入分析生产过程，了解其中原理，为生产过程的精细化控有助于深入分析生产过程，了解其中原理，为生产过程的精细化控制提供服务。制提供服务。16大数据驱动的服装定制制造业典范大数据驱动的服装定制制造业典范-红领服装集团红领服装集团20142014年，以零库存实现年，以零库存实现150%150%的业绩增长的业绩增长; ;大规模定制生产，每天能设计、生产大规

17、模定制生产，每天能设计、生产20002000种不同的个性化定制产品种不同的个性化定制产品; ;公司核心竞争力是一套大数据信息系统，任何一项数据的变动能驱公司核心竞争力是一套大数据信息系统，任何一项数据的变动能驱动其余动其余90009000多项数据的同步变动多项数据的同步变动。1010年时间自主研发由不同体型身材尺寸集合而成的大数据处理系统年时间自主研发由不同体型身材尺寸集合而成的大数据处理系统；20142014年年5 5月月 CCTV CCTV 新闻联播新闻联播 3 3分钟报道；张、马参观后震惊；分钟报道；张、马参观后震惊；工业大数据潜在价值工业大数据潜在价值(4)(4)支持实现智能生产与智能

18、工厂发展愿景支持实现智能生产与智能工厂发展愿景工业工业4.0 4.0 是一个过程；需要从工业是一个过程；需要从工业3.13.1，工业，工业3.2 3.2 不断演化；智能工厂不断演化；智能工厂是工业是工业4.0 4.0 的发展愿景；的发展愿景；智能工厂智能工厂=3D=3D打印打印+ +工业机器人工业机器人+ +工业互联网工业互联网+ +工业大数据工业大数据工业大数据及其应用直接决定了工业大数据及其应用直接决定了“工业工业4.0”4.0”所要求的智能化工厂的所要求的智能化工厂的智能水平。智能水平。工业大数据应用将带来制造业企业创新和变革的新时代。工业大数据应用将带来制造业企业创新和变革的新时代。1

19、8 Production Integration Center智能工厂智能工厂 跨部门、全方位、全周期的生产管控跨部门、全方位、全周期的生产管控 工业大数据计算（工业大数据计算（1 1）工业大数据获取与预处理工业大数据获取与预处理数据来源众多；数据来源众多；数据采集设备种类多、接口复杂；数据采集设备种类多、接口复杂；必须支持数量众多的硬件连接驱动；必须支持数量众多的硬件连接驱动；支持万级以上大规模数据点快速采集；支持万级以上大规模数据点快速采集；超效的数据压缩；超效的数据压缩；分布式实时服务器数据存贮；分布式实时服务器数据存贮；支持数万事件精确时间标签分辨率；支持数万事件精确时间标签分辨率；2

20、0 工业大数据计算（工业大数据计算（2 2）工业大数据管理工业大数据管理工业大数据具有鲜明的多样化特点工业大数据具有鲜明的多样化特点历史数据；历史数据；当前生产流程的实时数据当前生产流程的实时数据设计数据；设计数据；工业设备运行状态的监测数据工业设备运行状态的监测数据工业大数据存贮成本工业大数据存贮成本合理的数据存贮模式构建合理的数据存贮模式构建高比率压缩和高效存储技术的实现高比率压缩和高效存储技术的实现21大规模时间序列数据管理大规模时间序列数据管理过程实时数据的高性能过程实时数据的高性能“专用专用”引擎设计；引擎设计；历史数据库与过程数据源的无缝连接集成；历史数据库与过程数据源的无缝连接集

21、成；适应不同类型数据的统一访问化接口；适应不同类型数据的统一访问化接口；基于时间基于时间/ /事件的高效数据检索；事件的高效数据检索； 工业大数据计算（工业大数据计算（3 3）工业大数据应用集成工业大数据应用集成工业大数据采集网络集成工业大数据采集网络集成多种传感器；如西门子多种传感器；如西门子H-ClassH-Class燃气轮机配备燃气轮机配备15001500个传感器，用于以秒为间隔精确个传感器，用于以秒为间隔精确测定诸如温度、压力、气体成分和发电功率等等关键工作参数值。测定诸如温度、压力、气体成分和发电功率等等关键工作参数值。多种通讯协议；工业以太网；工业无线网；。多种通讯协议；工业以太网

22、；工业无线网；。多种数据格式；多种数据格式；多计算平台整合多计算平台整合分布式计算平台分布式计算平台内存计算平台内存计算平台流计算平台流计算平台23 工业大数据计算（工业大数据计算（4 4）工业大数据分析工业大数据分析工业大数据分析是工业大数据计算的重点，是能否体现工业大数据工业大数据分析是工业大数据计算的重点，是能否体现工业大数据价值的关键所在价值的关键所在适应各类工业大数据分析的通用方法研究与开发适应各类工业大数据分析的通用方法研究与开发面向具体工业领域数据分析的专用方法研究与开发面向具体工业领域数据分析的专用方法研究与开发关联分析是工业大数据分析需要解决的首要问题关联分析是工业大数据分析

23、需要解决的首要问题快速分析成为工业大数据分析应着重实现的分析方法快速分析成为工业大数据分析应着重实现的分析方法面向具体优化目标的工业大数据应用分析面向具体优化目标的工业大数据应用分析工业大数据分析与应用需要考虑不同的企业信息化发展阶段的适应工业大数据分析与应用需要考虑不同的企业信息化发展阶段的适应性。性。24 工业大数据计算（工业大数据计算（5 5）工业大数据分析模型工业大数据分析模型分布式并行计算模型是基础分布式并行计算模型是基础Hadoop/MapReduceHadoop/MapReduce主要面向静态数据的批处理主要面向静态数据的批处理实时性不够；实时性不够；流式计算模型是核心流式计算模

24、型是核心S4S4、StormStorm、SparkSpark、利用内存，减少利用内存，减少I/OI/O提供面向动态数据处理的原语提供面向动态数据处理的原语表达能力不足，无法较好支持复杂表达能力不足，无法较好支持复杂算法算法容错机制、负载均衡等还需完善容错机制、负载均衡等还需完善增量计算模型为提升增量计算模型为提升NectarNectar、NovaNova、PercolatorPercolator25提升大数据计算方法提升大数据计算方法数据流实时分析数据流实时分析; ;可扩展统计分析；可扩展统计分析；异质数据混合计算；异质数据混合计算；基于机器学习的智能分析；基于机器学习的智能分析；基于领域知识

25、的分析；基于领域知识的分析；创新大数据计算应用模式创新大数据计算应用模式大数据计算应用的关键是服务企业核心业务；如红领，海尔大数据计算应用的关键是服务企业核心业务；如红领，海尔注重与企业主流业务的紧密对接与融合；注重与企业主流业务的紧密对接与融合；成功的大数据分析重在为企业揭示风险并识别新发展机会成功的大数据分析重在为企业揭示风险并识别新发展机会 ; ;工业大数据计算（工业大数据计算（6 6）工业大数据颠覆传统制造过程的十条途径工业大数据颠覆传统制造过程的十条途径监控生产过程监控生产过程加快业务整合加快业务整合提高企业制造绩效提高企业制造绩效改进生产流程改进生产流程预测供应商绩效预测供应商绩效

26、监测生产设备状况监测生产设备状况合理计划生产合理计划生产细化质量管理环节细化质量管理环节追踪产能与财务状况追踪产能与财务状况监测产品运维状态监测产品运维状态 工业大数据计算（工业大数据计算（7 7）工业大数据计算平台工业大数据计算平台- -GEGE工业大数据计算软件平台工业大数据计算软件平台GEGE构建工业大数据中心；开发网络化感知能力的新一代工业装备构建工业大数据中心；开发网络化感知能力的新一代工业装备GEGE能源监测和诊断（能源监测和诊断（M&DM&D）中心，收集全球）中心，收集全球5050多个国家上千台燃气轮机的数据多个国家上千台燃气轮机的数据，每天为客户收集，每天为客户

27、收集1010千兆字节的数据千兆字节的数据; ;GEGE的下一代的下一代GEnXGEnX引擎中（装备波音引擎中（装备波音787787飞机）将会保留每次飞行的所有基础数飞机）将会保留每次飞行的所有基础数据，甚至会从飞机实时传输回据，甚至会从飞机实时传输回GEGE分析。这样一台引擎一年产生的数据量甚至会分析。这样一台引擎一年产生的数据量甚至会超过超过GEGE航空业务历史上所有的数据。航空业务历史上所有的数据。传感器传感器+ + 工业网络工业网络+ +大数据大数据= = 工业互联网；工业互联网；可发送电能消耗数据的可发送电能消耗数据的GEGE动力涡轮机动力涡轮机推出工业大数据与分析平台推出工业大数据与

28、分析平台通用电气通用电气(GE)(GE)在在20132013年年6 6月宣布推出第一个大数据与分析平台，由大型工月宣布推出第一个大数据与分析平台，由大型工业机器所产生的数据。该平台为支持工业互联网并把大数据转化为实时业机器所产生的数据。该平台为支持工业互联网并把大数据转化为实时信息而开发，将惠及全球主要行业，包括航空、医疗、能源生产与分配信息而开发，将惠及全球主要行业，包括航空、医疗、能源生产与分配、交通运输及制造业、交通运输及制造业. . GEGE的工业强化平台由新的的工业强化平台由新的Proficy Historian HD(Proficy Historian HD(第一个基于第一个基于H

29、adoopHadoop的历史的历史数据管理软件数据管理软件) )提供支持。提供支持。HistorianHistorian在一个安全、封闭的架构中提供实时在一个安全、封闭的架构中提供实时数据管理、分析和机器与运营的连接，让全球重要行业能够从被动的工数据管理、分析和机器与运营的连接，让全球重要行业能够从被动的工业运营模式转向预测模式。业运营模式转向预测模式。 高效采集、存储和处理巨量时间序列过程数据高效采集、存储和处理巨量时间序列过程数据 GEGE高级历史数据库采用了时间序列友好的数据结构，使其性能大大优高级历史数据库采用了时间序列友好的数据结构，使其性能大大优于传统的关系或关键值数据结构，可在大

30、数据集和相关时间段内高效地于传统的关系或关键值数据结构，可在大数据集和相关时间段内高效地进行查询。进行查询。历史数据库为真正的实时数据提供速度大幅加快的读写性能历史数据库为真正的实时数据提供速度大幅加快的读写性能和微秒级分辨率；和微秒级分辨率； GEGE高级历史数据库能够与过程数据源连接，直接获取数据和合并整个高级历史数据库能够与过程数据源连接，直接获取数据和合并整个企业的数据；企业的数据；实现高比率压缩和高效存储实现高比率压缩和高效存储; ;能够在线存储长达能够在线存储长达1010年的数据，将存储容量年的数据，将存储容量从从6060百万兆字节缩减到百万兆字节缩减到1010百万兆字节；百万兆字

31、节；支持实时的巨量时间序列过程数据的高效访问；支持实时的巨量时间序列过程数据的高效访问；每天运行数百个数据分析算法，具有快速的分析与预测能力。每天运行数百个数据分析算法，具有快速的分析与预测能力。、 工业大数据计算（工业大数据计算（7 7）IBMIBM发布企业级大数据和分析平台发布企业级大数据和分析平台近期宣布企业级大数据和分析基础架构平台近期宣布企业级大数据和分析基础架构平台IBM Power SystemsIBM Power Systems，以及，以及PowerPower平台上全面覆盖各种复杂行业应用场景的企业级大数据和分析应用解平台上全面覆盖各种复杂行业应用场景的企业级大数据和分析应用解

32、决方案。决方案。Power SystemsPower Systems面向大数据和分析的各个应用场景，形成具有硬件面向大数据和分析的各个应用场景，形成具有硬件/ /软件融合软件融合、功能特色的大数据和分析解决方案；、功能特色的大数据和分析解决方案；静态批量大数据处理；实时大数据处理；静态批量大数据处理；实时大数据处理；数据仓库整合；数据仓库整合； 数据集市构建；数据集市构建；支持制造、电信、能源、交通以及公共事业等行业快速步入大数据时代；支持制造、电信、能源、交通以及公共事业等行业快速步入大数据时代； 发展我省工业大数据应用（发展我省工业大数据应用（1 1）充分认识工业大数据应用现处初期，面临挑战充分认识工业大数据应用现处初期，面临挑战；工业领域尚未建立工业领域尚未建立“数据文化数据文化“；缺乏；缺乏”让数据说