《智能制造基础与应用》3.6 云计算与大数据VIP

智能制造基础与应用高等职业教育“十三五”规划教材

*智能制造基础与应用

第三章智能制造关键技术

第三章智能制造关键技术第二节工业物联网第三节工业机器人第四节3D打印技术第五节RFID射频技术第六节云计算与大数据第七节虚拟现实与人工智能技术第一节概述第八节智能制造的信息安全技术云计算与大数据6第六节

*智能制造基础与应用

第三章智能制造关键技术一、

云计算与大数据概述

云计算（cloudcomputing）是基于互联网的相关服务的增加、使用和交付模式，通常涉及通过互联网来提供动态易扩展且经常是虚拟化的资源。云是网络、互联网的一种比喻说法。过去在图中往往用云来表示电信网，后来也用来表示互联网和底层基础设施的抽象。因此，云计算甚至可以让你体验每秒10万亿次的运算能力，拥有这么强大的计算能力可以模拟核爆炸、预测气候变化和市场发展趋势。用户通过电脑、笔记本、手机等方式接入数据中心，按自己的需求进行运算。

按服务商提供云服务的资源所在层次分，云计算可以分为基础设施即服务(IaaS，InfrastructureasaService)、平台即服务(PaaS，PlatformasaService)和软件即服务(SaaS，SoftwareasaService)三个层面。

*智能制造基础与应用

第三章智能制造关键技术国内外主要的云计算服务提供商

*智能制造基础与应用

第三章智能制造关键技术

按照运营模式云计算可以分为公共云、私有云和混合云三种。公共云通常是指第三方提供商为用户提供的通过Internet访问使用的云，用户可以使用相应的云服务但并不拥有云计算资源；私有云是指企业自行搭建的云计算基础架构，可以为企业自身或外部客户提供独享的云计算服务，基础架构搭建方拥有云计算资源的自主权；混合云是指既有私有云的基础架构，也使用公共云服务的模式。云计算的运营模式分类

*智能制造基础与应用

第三章智能制造关键技术

*智能制造基础与应用

第三章智能制造关键技术

大数据（bigdata），指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力来适应海量、高增长率和多样化的信息资产。

云计算与大数据之间是相辅相成，相得益彰的关系。大数据挖掘处理需要云计算作为平台，而大数据涵盖的价值和规律则能够使云计算更好的与行业应用结合并发挥更大的作用。云计算将计算资源作为服务支撑大数据的挖掘，而大数据的发展趋势是对实时交互的海量数据查询、分析提供了各自需要的价值信息。

*智能制造基础与应用

第三章智能制造关键技术

大数据的信息隐私保护是云计算大数据快速发展和运用的重要前提。没有信息安全也就没有云服务的安全。产业及服务要健康、快速的发展就需要得到用户的信赖，就需要科技界和产业界更加重视云计算的安全问题，更加注意大数据挖掘中的隐私保护问题。从技术层面进行深度的研发，严防和打击病毒和黑客的攻击。同时加快立法的进度，维护良好的信息服务的环境。全球互联网流量数据

*智能制造基础与应用

第三章智能制造关键技术二、云计算大数据平台的主要技术框架（一）

Hadoop简介

Hadoop是一个海量数据分布式处理的开源软件框架，Hadoop能支持PB级海量数据，可扩展性强。可靠、高效、可扩展和开源的特性，使Hadoop技术得到了迅猛发展，并在2008年成为Apache的顶级项目。从2003年Google公开发布MapReduce的思想，到2006年Amazon使用Hadoop成为全球最早提供成熟云计算服务的供应商之一，再到如今IBM、微软、DELL、EMC2、阿里巴巴、腾讯各大国内外厂商都商用了自己的Hadoop平台，Hadoop已经取得了辉煌的成绩，得到了越来越广泛的应用。

*智能制造基础与应用

第三章智能制造关键技术基于Hadoop的数据仓库架构设计

*智能制造基础与应用

第三章智能制造关键技术（二）Spark简介Spark是一款开源的基于内存计算的分布式计算系统，能够对大数据进行快速分析处理。Spark项目2010年由加州伯克利大学AMP实验室开发，2014年2月，Spark成为Apache软件基金会的顶级开源项目，Spark基于内存计算实现，加快了数据分析处理速度。Hadoop

MapReduce以批处理方式处理数据，每个任务都需要HDFS的读写，耗时较大，在机器学习和数据库查询等数据计算过程中，Spark的处理速度可以达到Hadoop

MapReduce的100倍以上。因此，对于实时要求较高的分析处理，Spark较为适用；对于非实时的海量数据分析应用，Hadoop

MapReduce更加合适。

*智能制造基础与应用

第三章智能制造关键技术

*智能制造基础与应用

第三章智能制造关键技术三、国内外大数据/云计算平台的应用现状（一）

Hadoop的应用1.国外企业Facebook、Amazon、Yahoo、Twitter和Hulu等互联网信息提供商和电商基于Hadoop平台为用户提供快速的服务和精准的分析。IBM、甲骨文和HP等解决方案提供商、设备商，主要基于Hadoop架构为企业客户提供大数据应用产品和解决方案。

*智能制造基础与应用

第三章智能制造关键技术（1）百度搜索巨头百度围绕数据而生，通过语义分析精准理解搜索需求进而从海量数据中找准结果，以及精准的搜索引擎关键字广告百度基于Hadoop的海量数据处理平台，平均每天处理的任务数和数据量分别超过120000个和20PB。2.国内企业在此方面，知名国内企业有百度、阿里巴巴、腾讯（BAT）和华为、中兴等。

*智能制造基础与应用

第三章智能制造关键技术（2）阿里巴巴淘宝是目前中国最大的C2C电子商务平台，也是国内第一批采用Hadoop技术进行数据平台升级的公司之一。从2008年开始，淘宝就开始研究基于Hadoop的数据处理平台“云梯(CloudLadder)”云梯使用的Hadoop集群是全国最大的Hadoop集群之一，它支撑了淘宝整个数据分析工作，目前整个集群达到1700个节点，数据总容量24.3PB，并且以每天255TB的速度不断增长。

*智能制造基础与应用

第三章智能制造关键技术（3）腾讯腾讯是中国互联网行业的旗舰之一，腾讯业务已从最初的即时通信工具QQ扩展到涵盖社交网络、在线游戏、电子商务、新闻门户、搜索等各类网络服务。腾讯以其自主开发的台风（Typhoon）云计算平台进行在线数据处理和离线批量数据处理。同时，腾讯内部的技术团队也应用Hadoop技术解决一些海量数据环境下的特殊问题，例如网页分析、数据挖掘等，腾讯对台风云计算平台进行了一些扩展，以支持Hadoop程序在其上运行，提高了资源利用率和Hadoop扩展性。

*智能制造基础与应用

第三章智能制造关键技术（4）华为华云数据于2013年6月份推出了国内首个运营型云应用平台，迄今为止与平台签订协议的ISV数量就已突破3000家。同时，华云数据电商云的打造也吸引来数千家独立电商的进驻，部分行业集聚效应的发挥也进一步增添华云数据云平台的行业特色。2014年3月，华云数据又推出了拥有自主知识产权的第四代架构云计算产品。

*智能制造基础与应用

第三章智能制造关键技术（5）中兴中兴将Hadoop应用在智能管道的海量流量数据分析中，取得了非常不错的效果。该海量流量数据分析系统，对电信运营商流量的精细化管理提供了数据分析支持。

*智能制造基础与应用

第三章智能制造关键技术（二）

Spark的应用

目前大数据在互联网公司主要应用在广告、推荐系统等业务上，在广告业务方面需要大数据做应用分析、效果分析、定向投放等；在推荐系统方面则需要大数据进行排名计算、个性化推荐以及热点点击分析等。Spark可以满足这些应用场景计算量大、效率要求高的需求。

*智能制造基础与应用

第三章智能制造关键技术

（1）腾讯腾讯广点通是最早使用Spark的应用之一，腾讯大数据精准推荐借助Spark快速迭代的优势，围绕“数据+算法+系统”技术方案，实现了在数据实时采集、算法实时训练、系统实时预测的全流程实时并行高维算法，支持每天上百亿的请求量。

（2）YahooYahoo使用Spark完成AudienceEx-pansion算法。目前在Yahoo部署的Spark集群有112台节点，9.2TB内存。

（3）淘宝阿里搜索和广告业务使用Mahout或者自主设计的MapReduc