数据读取与保存概述_第1页
数据读取与保存概述_第2页
数据读取与保存概述_第3页
数据读取与保存概述_第4页
数据读取与保存概述_第5页
已阅读5页，还剩7页未读， 继续免费阅读

下载本文档

版权说明：本文档由用户提供并上传，收益归属内容提供方，若内容存在侵权，请进行举报或认领

文档简介

数据读取与保存概述目录常见的数据源文件格式21222常见的数据源1常见的数据源

在Spark中对已分发的数据执行的操作可以从本地集合或者普通文件中进行数据读取和保存。但有时候，数据量可能大到无法放在一台机器中，这时就需要探索别的数据读取和保存的方法了。常见的数据源常见的数据源SparkSQL中的结构化数据源文件格式与文件系统数据库与键值存储常见的数据源1、文件格式与文件系统：对于存储在本地文件系统或分布式文件系统（比如NFS、HDFS、AmazonS3等）中的数据，Spark可以访问很多种不同的文件格式，包括文本文件、JSON、SequenceFile，以及protocolbuffer。常见的数据源2、SparkSQL中的结构化数据源：它针对包括JSON和ApacheHive在内的结构化数据源，提供了一套更加简洁高效的API。常见的数据源

3、数据库与键值存储：Spark自带的库和一些第三方库，它们可以用来连接Cassandra、HBase、Elasticsearch以及JDBC源。文件格式2文件格式

Spark支持对多种文件格式的读取和保存，例如：文本文件的非结构化的文件，JSON格式的半结构化的文件，SequenceFile这样的结构化的文件，Spark都支持。Spark根据文件扩展名选择对应的处理方式。这一过程是封装好的，对用户透明。文件格式

文件格式1、文本文件:普通的文本文件，每行一条记录2、JSON:常见的基于文本的格式，半结构化；大多数库都要求每行一条记录。3、CSV:非常常见的基于文本的格式，通常在电子表格应用中使用4、SequenceFiles:一种用于键值对数据的常见Hadoop文件格式5、Protocolbuffers:一种快速、节约空间的跨语言格式6、对象文件:用来将Spar

人人文库> 全部分类> 教育资料 > 课件下载

温馨提示

  • 1. 本站所有资源如无特殊说明，都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等，如果需要附件，请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸，网页内容里面会有图纸预览，若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对用户上传分享的文档内容本身不做任何修改或编辑，并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容，请与我们联系，我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

最新文档

评论

0/150

提交评论