版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
Hcatalog1.了解Hcatalog基础知识
2.知道为什么选择HCatalog
3.掌握HCalalog架构1.HCatalog简介
2.为什么选择HCatalog
3.HCalalog架构
HCatalog简介HCatalog是Hadoop的表存储管理工具。它将HiveMetastore的表格数据公开给其他Hadoop应用程序。使得具有不同数据处理工具(Pig,MapReduce)的用户能够轻松将数据写入网格。它确保用户不必担心数据存储在何处或以何种格式存储。HCatalog像Hive的一个关键组件一样工作,它使用户能够以任何格式和任何结构存储他们的数据。为什么选择HCatalog为正确的作业启用正确的工具Hadoop生态系统包含用于数据处理的不同工具,如Hive,Pig和MapReduce。虽然这些工具不需要元数据,但它们仍然可以从中受益。共享元数据存储还可以使跨工具的用户更容易地共享数据。数据加载和使用MapReduce或Pig进行标准化然后通过Hive分析的工作流程非常普遍。如果所有这些工具共享一个Metastore,则每个工具的用户可以立即访问使用其他工具创建的数据。不需要加载或传输步骤。为什么选择HCatalog捕获处理状态以启用共享HCatalog可以发布您的分析结果。所以其他程序员可以通过“REST”访问您的分析平台。您发布的schemas对其他数据科学家也很有用。其他数据科学家将您的发现用作后续发现的输入。为什么选择HCatalog将Hadoop与其他一切集成在一起Hadoop作为处理和存储环境为企业开辟了很多机会;然而,为了推动采用,它必须与现有工具合作并扩大现有工具。Hadoop应作为分析平台的输入或与运营数据存储和Web应用程序集成。组织应该享受Hadoop的价值,而无需学习全新的工具集。REST服务使用熟悉的API和SQL类语言为企业打开了平台。企业数据管理系统使用HCatalog与Hadoop平台进行更深入的整合。HCatalog支持以任何可以编写SerDe(串行器-解串器)的格式读取和写入文件。默认情况下,HCatalog支持RCFile,CSV,JSON,SequenceFile和ORC文件格式。要使用自定义格式,您必须提供InputFormat,OutputFormat和SerDe。HCalalog架构HCatalog建立在HiveMetastore的顶部,并结合了Hive的DDL。HCatalog为Pig和MapReduce提供了读写接口,并使用Hive的命令行界面来发布数据定义和元数据探索命令。HCa
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 直营中心年终总结
- 火花塞材料的选择与优化设计考核试卷
- 中等教育的教育经费与资源配置考核试卷
- 团队协作如何建立高效的销售团队考核试卷
- 南京信息工程大学《投资组合原理》2023-2024学年第一学期期末试卷
- 搪瓷制品的物理性能分析考核试卷
- 南京信息工程大学《数字电子技术基础》2021-2022学年期末试卷
- 《贝尔格自由无调性音乐作品的多重结构研究》
- 《清末民初学堂乐歌曲调的分类梳理及研究》
- 《增强聚吡咯-氧化石墨烯复合材料在超级电容器方面的研究》
- 三年级上册美术课件-第7课 北京的胡同 ▏人美版(北京) (17张PPT)
- GB∕T 17888.3-2020 机械安全 接近机械的固定设施 第3部分:楼梯、阶梯和护栏
- 房颤健康宣教课件
- 人教版八年级上Unit 6 I'm going to study computer science1 Section A (1a-1c)教案
- 一年级下册数学教案 - 四 牧童-认识图形:《重叠问题》 青岛版
- 家用电器常见认证标志一览汇总(精选.)
- DB37 5155-2019 公共建筑节能设计标准
- 五年(2018-2022年)高考全国卷英语试题考点分析
- 试验室组织机构图
- T∕CSRME 001-2019 岩石动力特性试验规程
- 从农业机械化到农业信息化、自动化与智能化
评论
0/150
提交评论