版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
孟繁兴010203目录Spark的发展历史Spark应用场景Spark简介Spark简介快速、分布式、可扩展、容错的集群计算框架;Spark是基于内存计算的大数据分布式计算框架低延迟的复杂分析;Spark是HadoopMapReduce的替代方案。MapReudce不适合迭代和交互式任务,Spark主要为交互式查询和迭代算法设计,支持内存存储和高效的容错恢复。Spark拥有MapReduce具有的优点,但不同于MapReduce,Spark中间输出结果可以保存在内存中,减少读写HDFS的次数Spark的发展历史Spark应用场景数据工程师可以利用Spark进行数据分析与建模,由于Spark具有良好的易用性,数据工程师只需要具备一定的SQL语言基础、统计学、机器学习等方面的经验,以及使用Python、Matlab或者R语言的基础编程能力,就可以使用Spark进行上述工作。大数据工程师将Spark技术应用于广告、报表、推荐系统等业务中,在广告业务中,利用Spark系统进行应用分析、效果分析、定向优化等业务,在推荐系统业务中,利用Spark内置机器学习算法训练模型数据,进行个性化推荐及热点点击分析等业务。数据科学数据处理Spark应用场景图
谷歌趋势:Spark与Hadoop对比Spark如今已吸引了国内外各大公司的注意,如腾讯、淘宝、百度、亚马逊等公司均不同程度地使用了Spark来构建大数据分析应用,并应用到实际的生产环境中Spark应用场景
腾讯广点通是最早使用Spark的应用之一。腾讯大数据精准推荐借助Spark快速迭代的优势,围绕“数据+算法+系统”这套技术方案,实现了在“数据实时采集、算法实时训练、系统实时预测”的全流程实时并行高维算法,最终成功应用于广点通pCTR投放系统上,支持每天上百亿的请求量。
淘宝淘宝技术团队使用了Spark来解决多次迭代的机器学习算法、高计算复杂度的算法等,将Spark运用于淘宝的推荐相关算法上,同时还利用GraphX解决了许多生产问题,包括以下计算场景:基于度分布
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 【正版授权】 ISO 1158:1998 EN Plastics - Vinyl chloride homopolymers and copolymers - Determination of chlorine content
- 【正版授权】 ISO 11479-2:2011 EN Glass in building - Coated glass - Part 2: Colour of fa?ade
- 【正版授权】 ISO 11438-8:1993 EN Ferronickel - Determination of trace-element content by electrothermal atomic absorption spectrometric method - Part 8: Determination of indium content
- 【正版授权】 ISO 11294:1994 EN Roasted ground coffee - Determination of moisture content - Method by determination of loss in mass at 103 degrees C (Routine method)
- 【正版授权】 ISO 11210:1995 EN Determination of platinum in platinum jewellery alloys - Gravimetric method after precipitation of diammonium hexachloroplatinate
- 【正版授权】 ISO 11148-12:2012 EN Hand-held non-electric power tools - Safety requirements - Part 12: Circular,oscillating and reciprocating saws
- 【正版授权】 ISO 11104:1991 EN Space data and information transfer systems - Time code formats
- 【正版授权】 ISO 1104:1977 EN Surface active agents - Technical sodium alkylarylsulphonates (excluding benzene derivatives) - Methods of analysis
- 【正版授权】 ISO 10889-3:1997 EN Tool holders with cylindrical shank - Part 3: Type B with rectangular radial seat
- 【正版授权】 ISO 10705-2:2000 EN Water quality - Detection and enumeration of bacteriophages - Part 2: Enumeration of somatic coliphages
- 2023年公共数据授权运营案例集-中国通信标准化协会
- 广东省云浮市重点中学2023-2024学年小升初数学分班考押题卷(人教版)
- 食品加工环节安全保证措施
- 集装箱采购投标方案(技术方案)
- 健康教育与健康促进智慧树知到课后章节答案2023年下菏泽医学专科学校
- 电磁场与电磁波智慧树知到课后章节答案2023年下同济大学
- 《销技巧课件-如何做好客户关系维护》
- 常压储罐定期检验规则
- 焊接工艺规程(WPS)PQR
- 停车场设施施工方案
- 2023成人雾化吸入护理-2023中华护理学会团体标准PPT
评论
0/150
提交评论