14.2 Hive数据存储模型_第1页
14.2 Hive数据存储模型_第2页
14.2 Hive数据存储模型_第3页
14.2 Hive数据存储模型_第4页
14.2 Hive数据存储模型_第5页
已阅读5页，还剩6页未读， 继续免费阅读

下载本文档

版权说明：本文档由用户提供并上传，收益归属内容提供方，若内容存在侵权，请进行举报或认领

文档简介

Hive的数据存储模型Hive的数据存储模型

Hive中所有的数据都被存储在HDFS中，没有专门的数据存储格式（可支持Text、Avro、ORC、SequenceFile、ParquetFile、RCFile等），只需要在创建表时指定Hive数据中的列分隔符和行分隔符，Hive就可以解析数据。Hive的数据存储模型创建一个内部表cityInfo（cityID,cityName,population），代码如下：createtablecityInfo(>cityIDstring,>cityNamestring,>populationint)>rowformatdelimited>fieldsterminatedby','>storedastextfile;Hive的数据存储模型Hive中的数据模型包括数据库（Database）、表（Table）、分区（Partition）和桶（Bucket）。Hive的数据存储模型（1）数据库（Database）：在HDFS中，数据库表现为${hive.Metastore.warehouse.dir}目录下的一个文件夹。在创建表时，如果不指定数据库，则默认为“default”数据库。（2）表（Table）：在HDFS中，表表现为所属数据库目录下的一个文件夹。Hive中默认创建的是内部表，这种表的数据由Hive来管理。当删除表时，表的数据和元数据都会被删除。Hive的数据存储模型（3）分区（Partition）：在Hive表查询时，可能只需要扫描表中的某部分数据，不需要扫描表中的全部内容，因此在建表时引入了分区的概念。在Hive表查询时，如果指定了分区字段作为筛选条件，那么只需要到对应的分区目录中检索数据即可，减少了处理的数据量，从而有效地提高了效率。Hive的数据存储模型（4）桶（Bucket）：桶可以被理解为将“大表”细分为“小表”的一种数据结构。这种设计主要是为了提高查询效率，使得进行抽样查询时更加便捷。Hive的数据存储模型桶是Hive数据模型中的最小单元。当某数据被加载到桶中时，首先会根据字段的值对其进行哈希处理，然后用哈希结果除以桶的数量来决定该数据应该存储在哪个桶中。这样就确保了每个桶中都有数据，但每个桶中的数据条数可能并不相等。Hive的数据存储模型数据加载-哈希取值-分桶Hive的数据存储模型桶是一种技术，用于将数据分解为更小、更易管

人人文库> 全部分类> 教育资料 > 课件下载

温馨提示

  • 1. 本站所有资源如无特殊说明，都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等，如果需要附件，请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸，网页内容里面会有图纸预览，若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对用户上传分享的文档内容本身不做任何修改或编辑，并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容，请与我们联系，我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

最新文档

评论

0/150

提交评论