版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
1、熟悉常用的Linux操作和Hadoop操作熟悉常用的HDFS操作熟悉常用的HBase操作1 实验内容和要求1. 编程实现以下指定功能,并用Hadoop提供的HBase Shell命令完成相同任务:(1) 列出HBase所有的表的相关信息,例如表名;(2) 在终端打印出指定的表的所有记录数据;(3) 向已经创建好的表添加和删除指定的列族或列;添加:删除:(4) 清空指定的表的所有记录数据;(5) 统计表的行数。2. 现有以下关系型数据库中的表和数据,要求将其转换为适合于HBase存储的表并插入数据:学生表(Student)学号(S_No)姓名(S_Name)性别(S_Sex)年龄(S_Age)2
2、015001Zhangsanmale232015003Maryfemale222015003Lisimale24课程表(Course)课程号(C_No)课程名(C_Name)学分(C_Credit)123001Math2.0123002Computer Science5.0123003English3.0 选课表(SC)学号(SC_Sno)课程号(SC_Cno)成绩(SC_Score)201500112300186201500112300369201500212300277201500212300399201500312300198201500312300295 学生表:创建:插入数据:课程表
3、:创建:插入数据:选课表:创建:插入数据:同时,请编程完成以下指定功能:(1)createTable(String tableName, String fields)创建表,参数tableName为表的名称,字符串数组fields为存储记录各个域名称的数组。要求当HBase已经存在名为tableName的表的时候,先删除原有的表,然后再创建新的表。(2)addRecord(String tableName, String row, String fields, String values)向表tableName、行row(用S_Name表示)和字符串数组files指定的单元格中添加对应的数据v
4、alues。其中fields中每个元素如果对应的列族下还有相应的列限定符的话,用“columnFamily:column”表示。例如,同时向“Math”、“Computer Science”、“English”三列添加成绩时,字符串数组fields为“Score:Math”,”Score;Computer Science”,”Score:English”,数组values存储这三门课的成绩。(3)scanColumn(String tableName, String column)浏览表tableName某一列的数据,如果某一行记录中该列数据不存在,则返回null。要求当参数column为某一
5、列族名称时,如果底下有若干个列限定符,则要列出每个列限定符代表的列的数据;当参数column为某一列具体名称(例如“Score:Math”)时,只需要列出该列的数据。(4)modifyData(String tableName, String row, String column)修改表tableName,行row(可以用学生姓名S_Name表示),列column指定的单元格的数据。(5)deleteRow(String tableName, String row)删除表tableName中row指定的行的记录。3. 利用HBase和MapReduce完成如下任务:假设HBase有2张表,表的
6、逻辑视图及部分数据如下所示:表 逻辑视图及部分数据书名(bookName)价格(price)Database System Concept30$Thinking in Java60$Data Mining25$要求:从HBase读出上述两张表的数据,对“price”的排序,并将结果存储到HBase中。创建表:排序:实验4 MapReduce编程初级实践编程实现文件合并和去重操作对于两个输入文件,即文件A和文件B,请编写MapReduce程序,对两个文件进行合并,并剔除其中重复的内容,得到一个新的输出文件C。下面是输入文件和输出文件的一个样例供参考。 输入文件A的样例如下:20150101 x2
7、0150102 y20150103 x20150104 y20150105 z20150106 x输入文件B的样例如下:20150101 y20150102 y20150103 x20150104 z20150105 y根据输入文件A和B合并得到的输出文件C的样例如下:20150101 x20150101 y20150102 y20150103 x20150104 y20150104 z20150105 y20150105 z20150106 x2. 编写程序实现对输入文件的排序现在有多个输入文件,每个文件中的每行内容均为一个整数。要求读取所有文件中的整数,进行升序排序后,输出到一个新的文件中
8、,输出的数据格式为每行两个整数,第一个数字为第二个整数的排序位次,第二个整数为原待排列的整数。下面是输入文件和输出文件的一个样例供参考。输入文件1的样例如下:33371240输入文件2的样例如下:416395输入文件3的样例如下:14525根据输入文件1、2和3得到的输出文件如下:1 12 43 54 125 166 257 338 379 3910 4011 453. 对给定的表格进行信息挖掘下面给出一个child-parent的表格,要求挖掘其中的父子辈关系,给出祖孙辈关系的表格。输入文件内容如下:child parentSteven LucySteven JackJone LucyJone JackLucy MaryLucy FrankJack AliceJack JesseDavid AliceDavid JessePhilip DavidPhilip AlmaMark DavidMark Alma输出文件内容如下:grandchild grandpar
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 苏教版四年级英语上册期末考试知识点
- 九年级数学期中北师大版真题点拨
- 北师大版教案精打细算全攻略
- 人教版陈情表的讲解方法
- 鸦片战争东方巨龙的腾飞
- 北师大版透镜教学探讨
- 人教版地图中的经济分布
- 北师大四年级教案革新探讨
- 四年级下册苏教版运算律让学生轻松应对各种数学挑战
- 九年级上册北师大数学学习宝典
- 2023年全国职业院校技能大赛-植物病虫害防治赛项规程
- 2024-2030年中国设计行业发展趋势与经验借鉴研究报告
- 2024宪法知识竞赛题库及答案(判断题1-300个)
- 人教版《劳动教育》三上 劳动项目一《洗袜子》教学设计
- NB-T32036-2017光伏发电工程达标投产验收规程
- 中国血脂管理指南(基层版2024年)解读
- 2024捐赠三方协议书范本
- 碳中和技术概论全套教学课件
- 供应链风险管理方案(2篇)
- 100以内进退位加减法口算题每天60道
- 提高护士手卫生执行率PDCA案例汇报课件(32张)
评论
0/150
提交评论