已阅读5页,还剩1页未读, 继续免费阅读
版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
Spark简介与生态Spark简介ApacheSpark是专门为大规模数据处理而设计的基于内存的快速通用计算平台。它是加州大学伯克利分校AMP(Algorithms,Machines,andPeopleLab)实验室开发和开源的类HadoopMapReduce的通用并行框架,可以用来构建大型的、低延迟的数据分析应用程序。
Spark计算平台Spark提供了一个全面、统一的框架,包括SparkSQL、SparkStreaming、SparkMLlib、SparkGraphX等技术组件,可以一站式地完成大数据领域的离线批处理、交互式查询分析、流计算、机器学习、图计算等常见的任务。Spark计算平台的生态Spark生态圈以SparkCore为核心,可从HDFS、AmazonS3和HBase等持久层读取数据,以YARN、Mesos和自身携带的Standalone为ClusterManager调度任务Job完成Spark应用程序的计算。Spark的应用场景Spark适用于计算量大、效率要求高的应用场景;基于实时数据流的数据处理,延迟性要求为数百毫秒到数秒;基于历史数据的交互式查询,要求响应较快。例如,使用大数据分析来构建推荐系统,进行个性化推荐、广告定点投放等,这种应用场景的数据量大且需要进行逻辑复杂
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 新疆乌鲁木齐地区2025届高三最后一卷历史试卷含解析
- 2025届辽宁省铁岭高中高三第五次模拟考试生物试卷含解析
- 2025届河北省五个一名校高考仿真模拟生物试卷含解析
- 安顺市重点中学2025届高三最后一卷生物试卷含解析
- 山东枣庄市薛城区2025届高考历史必刷试卷含解析
- 奢侈品鉴定培训协议书范本
- 四川广安友谊中学2021-2022学年中考数学模拟预测试卷含解析
- 高中英语85个语法公式
- 山东省潍坊诸城市第七中学2021-2022学年中考一模数学试题含解析
- 山东省肥城市2021-2022学年中考试题猜想数学试卷含解析
- GB 10133-2014 食品安全国家标准 水产调味品(高清版)
- 药品生产质量管理规范2010年修订计算机化系统附录
- 气调库验证方案1
- 昆明市园林验收规范
- 人工智能在小学科学课堂教学中的应用模式与策略
- 服装设计概念
- 人民军队性质宗旨和优良传统教育
- PEP小学英语六年级英语上册教学计划
- 公司测量管理体系管理评审报告
- 热敏陶瓷PPT课件
- 电力二十五项反措细则(完整版)
评论
0/150
提交评论