《智能制造概论》课件 第四讲：智能制造的核心技术之-云计算与大数据

云计算与大数据6第六节1、概念：

云是互联网的一种比喻说法。云计算是一种按使用量付费的模式，这种模式提供可用的、便捷的、按需的网络访问，进入可配置的计算资源共享池（资源包括网络，服务器，存储，应用软件，服务），这些资源能够被快速提供，只需投入很少的管理工作，或与服务供应商进行很少的交互。

通俗的理解，云是互联网的一种比喻说法。之所以称为“云”，是因为互联网在某些方面具有现实中云的特征:云一般都较大;它的规模可以动态伸缩，它的边界是模糊的;云在空中飘忽不定，无法也无需确定它的具体位置，但它确实存在于某处。云计算的核心思想，是将大量用网络连接的计算资源统一管理和调度云存储，构成一个计算资源池向用户按需服务。一、

云计算2、特点超大规模：“云”具有相当的规模，Google云计算已经拥有100多万台服务器，Amazon、IBM、微软和Yahoo等公司的“云”均拥有几十万台服务器。“云”能赋予用户前所未有的计算能力。虚拟化：支持用户在任意位置、使用各种终端获取服务。所请求的资源来自“云”，而不是固定的有形的实体。高可靠性：“云”使用了数据多副本容错、计算节点同构可互换等措施来保障服务的高可靠性，使用云计算比使用本地计算机更加可靠。通用性：不针对特定的应用，在“云”的支撑下可以构造出千变万化的应用，同一片“云”可以同时支撑不同的应用运行。高可伸缩性：“云”的规模可以动态伸缩，满足应用和用户规模增长的需要。按需服务和及其廉价性：“云”是一个庞大的资源池，用户按需购买。“云”的公用性和通用性使资源的利用率大幅提升;“云”设施可以建在电力资源丰富的地区，从而大幅降低能源成本。因此“云”具有前所未有的性能价格比。一、

云计算3、云计算架构一、

云计算1、按照服务方式分类（1）基础设施即服务层（IaaS）：以服务的形式提供虚拟硬件资源，如虚拟主机、存储、网络、数据库等。用户无需购买服务器、网络设备、存储设备，只需通过互联网租赁即可搭建自己的应用系统。（2）平台即服务层（PaaS）：是指云计算服务商把公有的能力进行提取，以开放的接口，提供给个人及第三方进行开发及使用。如提供互联网应用程序接口（API）或运行平台，用户基于服务引擎构建该类服务。（3）软件即服务层（SaaS）：是一种通过

Internet

提供软件的商业模式。厂商将应用软件统一部署在自己的服务器上，客户可以根据自己实际需求，通过互联网向厂商定购所需的应用软件服务，按定购服务的多少和时间长短向厂商支付费用，并通过互联网获得厂商提供的服务。用户不用再购买软件，而改用向提供商租用基于Web的软件来管理企业经营活动，用户也无需对软件进行维护，服务提供商会全权管理和维护软件。软件厂商在向客户提供互联网应用的同时，也提供软件的离线操作和本地数据存储，让用户随时随地都可以使用其定购的软件和服务。对于许多小型企业来说，SaaS是采用先进技术的最好途径，它消除了企业购买、构建和维护基础设施和应用程序的需要。在这种模式下，客户不再像传统模式那样花费大量投资用于硬件、软件、人员，而只需要支出一定的租赁服务费用，通过互联网便可以享受到相应的硬件、软件和维护服务，享有软件使用权和不断升级，这是网络应用最具效益的营运模式。3、云计算架构

国内外主要的云计算服务提供商2、按照运营模式（部署方式）分类（1）私有云私有云是指企业自己使用的云，它所有提供的服务不是供外部人员使用，而是供企业内部人员或分支机构使用。私有云的部署比较适合于有众多分支机构的政府部门或大型企业。随着这些大型企业数据中心的集中化，私有云将会成为企业部署

IT

系统的主流模式。（2）公共云公共云是指为外部用户提供服务的云，它所有的服务是供外部人员使用，而不是企业自用。对于使用者而言，公共云的最大优点是其所应用的程序、服务及相关数据都存放在云服务提供商处，自己无需做相应的投资和建设。是目前最流行的云计算模式。（3）混合云混合云把公用云模式与私有云模式结合在一起，是可供自己和用户共同使用的云服务。相比较而言，混合云的部署方式对提供者的要求较高。企业可以将非关键的应用部署到公有云上来降低成本，而将安全性要求很高、非常关键的核心应用部署到完全私密的私有云上。3、云计算架构

按照运营模式云计算可以分为公共云、私有云和混合云三种。公共云通常是指第三方提供商为用户提供的通过Internet访问使用的云，用户可以使用相应的云服务但并不拥有云计算资源；私有云是指企业自行搭建的云计算基础架构，可以为企业自身或外部客户提供独享的云计算服务，基础架构搭建方拥有云计算资源的自主权；混合云是指既有私有云的基础架构，也使用公共云服务的模式。云计算的运营模式分类云计算是智能制造的重要领域。制造企业所管理的大量数据与云计算平台相结合，衍生出了另一个概念——云制造。

云制造是先进的信息技术、制造技术以及物联网技术等交叉融合的产品，是制造即服务理念的体现。云制造依据包括云计算在内的当代信息技术前沿理念，支持制造业利用当下环境中广泛的网络资源，为产品提供高附加值、低成本和全球化制造的服务。云制造将实现对产品开发、生产、销售、使用等全生命周期的相关资源的整合，提供标准、规范、可共享的制造服务模式。

云制造为制造业信息化提供了一种崭新的理念与模式，其应用是一个长期的阶段性渐进的过程。云制造的未来发展面临着众多关键技术的挑战，除了云计算、物联网、高性能计算、嵌入式系统等技术的综合集成以外，基于知识的制造资源云端化、制造云管理引擎、云制造的应用协同、云制造可视化技术与用户界面等技术均是未来需要攻克的重要技术。4、云计算的应用：云制造

大数据，指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力来适应海量、高增长率和多样化的信息资产。大数据主要解决，海量数据的存储和海量数据的分析计算问题。最小的基本单位是bit，按顺序给出所有单位：bit、Byte、KB、MB、GB、TB、PB、EB、ZB、YB、BB、NB、DB。它们按照进率1024（2的十次方）来计算：1Byte=8bit1

KB

=1,024Bytes=8192bit1

MB

=1,024KB=1,048,576Bytes1

GB

=1,024MB=1,048,576KB1

TB

=1,024GB=1,048,576MB1

PB

=1,024TB=1,048,576GB1

EB

=1,024PB=1,048,576TB1

ZB

=1,024EB=1,048,576PB1

YB

=1,024ZB=1,048,576EB1

BB

=1,024YB=1,048,576ZB1

NB

=1,024BB=1,048,576YB1

DB

=1,024NB=1,048,576BB二、工业大数据1、大数据（bigdata）的概念1.Volume(大量)：

截止目前，人类生产的所有印刷材料的数据量是200PB，而历史上全人类总共说过的话的数据量大约是5EB。当前，典型个人计算机硬盘的容量为TB量级，而一些大企业的数据量已经接近EB量级。2.Velocity(高速)：这是大数据区分于传统数据挖掘的的最显著特征。根据IDC的“数字宇宙”的报告，预计到2020年，全球数据使用量将达到35.2ZB。在如此海量的数据面前，处理数据的就是企业生命。天猫双十一2017年3分01秒，天猫交易额超过100亿。3.Variety(多样)：类型的多样性也让数据被分为结构化数据和非结构化数据。相对于以往便于存储的以数据库/文本为主的结构化数据，非结构化数据越来越多，包括网络日志、音频、视频、图片、地理位置信息等，这些多类型的数据对数据的处理能力提出了更高要求。4.Value(低价值密度)：价值密度的高低与数据总量的大小成反比。也就是数据量越大，价值密度就越低，如何快速对有价值数据“提纯”成为目前大数据背景下待解决的难题。二、工业大数据2、大数据的特点物流仓储：大数据分析系统助力商家精细化运营、提升销量、节约成本。零售：分析用户消费习惯，为用户购买商品提供方便，从而提升商品销量。经典案例，纸尿裤+啤酒。旅游：深度结合大数据能力与旅游行业需求，共建旅游产业智慧管理、智慧服务和智慧营销的未来。商品广告推荐：给用户推荐可能喜欢的商品。保险：海量数据挖掘及风险预测，助力保险行业精准营销，提升精细化定价能力。金融：多维度体现用户特征，帮助金融机构推荐优质客户，防范欺诈风险。房产：大数据全面助力房地产行业，打造精准投策与营销，选出更合适的地，建造更合适的楼，卖给更合适的人。二、工业大数据3、大数据的作用工业大数据是指在工业领域中，围绕典型智能制造模式，从客户需求到销售、订单、计划、研发、设计、工艺、制造、采购、供应、库存、发货和交付、售后服务、运维、报废或回收再制造等整个产品全生命周期各个环节所产生的各类数据及相关技术和应用的总称。其以产品数据为核心，极大延展了传统工业数据范围，同时还包括工业大数据相关技术和应用。二、工业大数据4、工业大数据的概念产品数据：设计、建模、工艺、加工、测试、维护数据、产品结构、零部件配置关系、变更记录等。运营数据：组织结构、业务管理、生产设备、市场营销、质量控制、生产、采购、库存、目标计划、电子商务等。价值链数据：客户、供应商、合作伙伴等。外部数据：经济运行数据、行业数据、市场数据、竞争对手数据等。二、工业大数据4、工业大数据的种类

制造业企业需要管理的数据种类繁多，涉及大量结构化数据和非结构化数据：工业大数据除具有一般大数据的特征（数据量大、多样、快速和价值密度低）外，还具有时序性、强关联性、准确性、闭环性等特征。（1）数据容量大(Volume)：数据的大小决定所考虑的数据的价值和潜在的信息；工业数据体量比较大，大量机器设备的高频数据和互联网数据持续涌入，大型工业企业的数据集将达到PB级甚至EB级别。（2）多样(Variety)：指数据类型的多样性和来源广泛；工业数据分布广泛，分布于机器设备、工业产品、管理系统、互联网等各个环节；并且结构复杂，既有结构化和半结构化的传感数据，也有非结构化数据。（3）快速(Velocity)：指获得和处理数据的速度。工业数据处理速度需求多样，生产现场级要求时限时间分析达到毫秒级，管理与决策应用需要支持交互式或批量数据分析。（4）价值密度低(Value)：工业大数据更强调用户价值驱动和数据本身的可用性，包括：提升创新能力和生产经营效率，及促进个性化定制、服务化转型等智能制造新模式变革。二、工业大数据5、工业大数据的特征

（5）时序性(Sequence)：工业大数据具有较强的时序性，如订单、设备状态数据等。（6）强关联性(Strong-Relevance)：一方面，产品生命周期同一阶段的数据具有强关联性，如产品零部件组成、工况、设备状态、维修情况、零部件补充采购等；另一方面，产品生命周期的研发设计、生产、服务等不同环节的数据之间需要进行关联。（7）准确性(Accuracy)：主要指数据的真实性、完整性和可靠性，更加关注数据质量，以及处理、分析技术和方法的可靠性。对数据分析的置信度要求较高，仅依靠统计相关性分析不足以支撑故障诊断、预测预警等工业应用，需要将物理模型与数据模型结合，挖掘因果关系。（8）闭环性(Closed-loop)：包括产品全生命周期横向过程中数据链条的封闭和关联，以及智能制造纵向数据采集和处理过程中，需要支撑状态感知、分析、反馈、控制等闭环场景下的动态持续调整和优化。由于以上特征，工业大数据作为大数据的一个应用行业，在具有广阔应用前景的同时，对于传统的数据管理技术与数据分析技术也提出了很大的挑战。二、工业大数据5、工业大数据的特征

（5）时序性(Sequence)：工业大数据具有较强的时序性，如订单、设备状态数据等。（6）强关联性(Strong-Relevance)：一方面，产品生命周期同一阶段的数据具有强关联性，如产品零部件组成、工况、设备状态、维修情况、零部件补充采购等；另一方面，产品生命周期的研发设计、生产、服务等不同环节的数据之间需要进行关联。（7）准确性(Accuracy)：主要指数据的真实性、完整性和可靠性，更加关注数据质量，以及处理、分析技术和方法的可靠性。对数据分析的置信度要求较高，仅依靠统计相关性分析不足以支撑故障诊断、预测预警等工业应用，需要将物理模型与数据模型结合，挖掘因果关系。（8）闭环性(Closed-loop)：包括产品全生命周期横向过程中数据链条的封闭和关联，以及智能制造纵向数据采集和处理过程中，需要支撑状态感知、分析、反馈、控制等闭环场景下的动态持续调整和优化。由于以上特征，工业大数据作为大数据的一个应用行业，在具有广阔应用前景的同时，对于传统的数据管理技术与数据分析技术也提出了很大的挑战。二、工业大数据5、工业大数据的特征

二、工业大数据6、工业大数据的应用

企业所积累的数据量以越来越快的速度在增加，很多企业也就顺势将大数据技术引入企业的生产经营中。大数据在工业企业的应用主要体现在三方面：

一是基于数据的产品价值挖掘。通过对产品及相关数据进行二次挖掘，创造新价值。

二是提升服务型生产。提升服务型生产就是增加服务在生产（产品）的价值比重。

三是创新商业模式。商业模式创新主要体现在两个方面，一是基于工业大数据，工业企业对外能提供什么样的创新性商业服务；二是在工业大数据背景下，能接受什么样的新型的商业服务。

三、云计算与大数据的关系云计算与大数据之间是相辅相成，相得益彰的关系。大数据挖掘处理需要云计算作为平台，而大数据涵盖的价值和规律则能够使云计算更好的与行业应用结合并发挥更大的作用。云计算将计算资源作为服务支撑大数据的挖掘，而大数据的发展趋势是对实时交互的海量数据查询、分析提供了各自需要的价值信息。云计算是硬件资源的虚拟化，关键在于是集合这些大数据；大数据是海量数据的高效处理，重点在于捕捉和计算。云计算的云计算技术就是一个容器，大数据正是存放在这个容器中的水，大数据是要依靠云计算技术来进行存储和计算的。云计算将计算资源作为服务支撑大数据的挖掘，而大数据涵盖的价值和规律则能够使云计算更好的与行业应用结合并发挥更大的作用;大数据的信息隐私保护是云计算大数据快速发展和运用的重要前提，而云计算与大数据相结合将成为人类认识事物的新的工具。

大数据的信息隐私保护是云计算大数据快速发展和运用的重要前提。没有信息安全也就没有云服务的安全。产业及服务要健康、快速的发展就需要得到用户的信赖，就需要科技界和产业界更加重视云计算的安全问题，更加注意大数据挖掘中的隐私保护问题。从技术层面进行深度的研发，严防和打击病毒和黑客的攻击。同时加快立法的进度，维护良好的信息服务的环境。全球互联网流量数据二、云计算大数据平台的主要技术框架（一）Hadoop简介Hadoop是一个海量数据分布式处理的开源软件框架，Hadoop能支持PB级海量数据，可扩展性强。可靠、高效、可扩展和开源的特性，使Hadoop技术得到了迅猛发展，并在2008年成为Apache的顶级项目。从2003年Google公开发布MapReduce的思想，到2006年Amazon使用Hadoop成为全球最早提供成熟云计算服务的供应商之一，再到如今IBM、微软、DELL、EMC2、阿里巴巴、腾讯各大国内外厂商都商用了自己的Hadoop平台，Hadoop已经取得了辉煌的成绩，得到了越来越广泛的应用。基于Hadoop的数据仓库架构设计（二）Spark简介Spark是一款开源的基于内存计算的分布式计算系统，能够对大数据进行快速分析处理。Spark项目2010年由加州伯克利大学AMP实验室开发，2014年2月，Spark成为Apache软件基金会的顶级开源项目，Spark基于内存计算实现，加快了数据分析处理速度。HadoopMapReduce以批处理方式处理数据，每个任务都需要HDFS的读写，耗时较大，在机器学习和数据库查询等数据计算过程中，Spark的处理速度可以达到HadoopMapReduce的100倍以上。因此，对于实时要求较高的分析处理，Spark较为适用；对于非实时的海量数据分析应用，HadoopMapReduce更加合适。三、国内外大数据/云计算平台的应用现状（一）Hadoop的应用1.国外企业Facebook、Amazon、Yahoo、Twitter和Hulu等互联网信息提供商和电商基于Hadoop平台为用户提供快速的服务和精准的分析。IBM、甲骨文和HP等解决方案提供商、设备商，主要基于Hadoop架构为企业客户提供大数据应用产品和解决方案。（1）百度搜索巨头百度围绕数据而生，通过语义分析精准理解搜索需求进而从海量数据中找准结果，以及精准的搜索引擎关键字广告百度基于Hadoop的海量数据处理平台，平均每天处理的任务数和数据量分别超过120000个和20PB。2.国内企业在此方面，知名国内企业有百度、阿里巴巴、腾讯（BAT）和华为、中兴等。（2）阿里巴巴淘宝是目前中国最大的C2C电子商务平台，也是国内第一批采用Hadoop技术进行数据平台升级的公司之一。从2008年开始，淘宝就开始研究基于Hadoop的数据处理平台“云梯(CloudLadder)”云梯使用的Hadoop集群是全国最大的Hadoop集群之一，它支撑了淘宝整个数据分析工作，目前整个集群达到1700个节点，数据总容量24.3PB，并且以每天255TB的速度不断增长。（3）腾讯腾讯是中国互联网行业的旗舰之一，腾讯业务已从最初的即时通信工具QQ扩展到涵盖社交网络、在线游戏、电子商务、新闻门户、搜索等各类网络服务。腾讯以其自主开发的台风（Typhoon）云计算平台进行在线数据处理和离线批量数据处理。同时，腾讯内部的技术团队也应用Hadoop技术解决一些海量数据环境下的特殊问题，例如网页分析、数据挖掘等，腾