已阅读5页，还剩4页未读， 继续免费阅读
版权说明：本文档由用户提供并上传，收益归属内容提供方，若内容存在侵权，请进行举报或认领
文档简介
主讲：孟繁兴010203目录易用性通用性快速04无处不在快速一般情况下，对于迭代次数较多的应用程序，Spark程序在内存中的运行速度是HadoopMapReduce运行速度的100多倍，在磁盘上的运行速度是HadoopMapReduce运行速度的10多倍。快速使用内存存储数据减少了开销昂贵的shuffle操作减少了I/O同步运算易用性Spark支持使用Scala、Python、Java及R语言快速编写应用。同时Spark提供超过80个高级运算符，使得编写并行应用程序变得容易并且可以在Scala、Python或R的交互模式下使用Spark。代码简洁sc.textFile("/user/root/a.txt").flatMap(_.split("")).map((_,1)).reduceByKey(_+_).saveAsTextFile("/user/root/output")通用性Spark可以与SQL、Streaming及复杂的分析良好结合。Spark还有一系列的高级工具，包括SparkSQL、MLlib（机器学习库）、GraphX（图计算）和SparkStreaming，并且支持在一个应用中同时使用这些组件Spark可以构建执行各种类型任务的复杂数据处理流Spark可以处理Hadoop支持的任何文件格式数据。Spark对于运行数据迭代处理作业和交互式分析特别有用。机器学习和图形处理是两个公认的基于迭代算法的应用无处不在您可以在EC2，HadoopYARN，Mesos或Kubernetes上使用其独立集群模式运行Spark。访问HDFS，Alluxio，ApacheCassandra，
温馨提示
- 1. 本站所有资源如无特殊说明，都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等，如果需要附件，请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸，网页内容里面会有图纸预览，若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对用户上传分享的文档内容本身不做任何修改或编辑，并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容，请与我们联系，我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 追责权利协议书
- 男士离婚协议书
- 美妆学徒协议书
- 广告带制作合同协议书
- 小产权买卖合同协议书
- 旧改房买卖合同协议书
- 苹果充电协议书
- 空调经销协议书
- 房屋翻改造合同协议书
- 合建自建房合同协议书
- 幼儿园中班科学活动公开课《飞机本领大》课件
- 体育竞彩考试题及答案
- 中国日用器皿行业市场前景预测及投资价值评估分析报告
- 2025年企业人力资源管理师考试真题及答案
- 2025-2030年中国玻璃容器行业市场发展趋势与前景展望战略分析报告
- 山东省济南市2025届高三三模化学试卷（含答案）
- 延长县黑家堡共大滩防洪工程环境影响评价报告书
- 2022年新高考全国I卷数学真题
- 一氧化氮和二氧化氮检测仪校准规范
- 2025中考英语解题技巧专题10.阅读表达解题技巧(学生版+解析)
- 山西、陕西、宁夏、青海四省区普通高中新高考2025届高三质量检测 数学试题（含解析）
评论
0/150
提交评论