2023学年完整公开课版hive案例研究

Hive案例研究1、WordCount案例

2、掉话率案例

3、房产统计案例

在之前的学习中我们已经通过MapReduce进行了wordcount的案例实现，但是大家发现wordcount的逻辑本身并不是很复杂，但是还是需要写繁杂的MapReduce程序来进行计算，下面我们来说明如何Hive类进行分析。1、需求思路讲解Wordcount的分析其实就是将一行中的单词进行分割，然后再将分割后的单词仅从count的操作，下面我们按照上面的思路进行统计。2、数据介绍Wordcount的数据文件我们已经存在于hdfs中，我们还是以之前使用的数据为例，就是Hadoop安装包中的README.txt的文件。Hive的WordCount案例数据样例：Thisdistributionincludescryptographicsoftware.Thecountryinwhichyoucurrentlyresidemayhaverestrictionsontheimport,possession,use,and/orre-exporttoanothercountry,ofencryptionsoftware.BEFOREusinganyencryptionsoftware,pleasecheckyourcountry'slaws,regulationsandpoliciesconcerningthe.import,possession,oruse,andre-exportofencryptionsoftware,to.seeifthisispermitted.See</>rmation.Hive的WordCount案例

现在的生活已经移不开手机了，大家知道手机之间能够进行通话是因为基站信号的覆盖，现在有一批基站的数据，需要对基站的掉话率进行统计，所谓掉话率就是指在通话过程中信号中断的时间与整个通话时长的比值。下面开始查看数据以及具体的分析操作。1、需求思路讲解根据需求，我们需要将每一个基站的所有通话时长和所有的掉话时长求和，然后求两个值的比值即可。掉话率统计案例下面展示部分数据：record_time,imei,cell,ph_num,call_num,drop_num,duration,drop_rate,net_type,erl2011-07-1300:00:00+08,356966,29448-37062,0,0,0,0,0,G,02011-07-1300:00:00+08,352024,29448-51331,0,0,0,0,0,G,02011-07-1300:00:00+08,353736,29448-51331,0,0,0,0,0,G,02011-07-1300:00:00+08,353736,29448-51333,0,0,0,0,0,G,02011-07-1300:00:00+08,351545,29448-51333,0,0,0,0,0,G,02011-07-1300:00:00+08,353736,29448-51343,1,0,0,8,0,G,0掉话率统计案例

同学们应该知道，现在的房地产行业很火，对于学生省份的我们而言，买房可能是一件遥远的事情，但是大家要知道，房地产也会有很大量的数据，现在我们有一批房地产数据，需要对房地产的相关信息进行分析。1、需求思路讲解现在我们需要对数据进行如下的分析：1、首先统计整条房屋信息发布次数2、过滤，整行数据完全相同的只留一行即可。3、第1列数据某些字段需要加"[]"（自己结合分析前后观察规律）。4、第2列数据不需要。房产数据统计案例

5、将第4列中的"-"替换成"室"。6、将第5列数据中的空格去掉。7、将6、7、8列改成如下格式。8、将10列数据中值小于300的排除掉整行数据，并将剩下的第10列数据后面加上单位"万"。9、清洗完后的第1列和第2列用Tab键分隔，第2、3、4、5、6、7列分别用空格分隔。10、全部按规则输出，并且输出文件中第一行是抬头。房产数据统计案例数据格式如下：天通苑北一区3室2厅510万1.01101E+11天通苑北一区3-2厅143.09平米南北简装有电梯35642510旗胜家园2室1厅385万1.01101E+11旗胜家园2-1厅88.68平米南北简装有电梯43415385天秀花园澄秀园3室1厅880万1.01101E+11天秀花园澄秀园3-1厅148.97平米东南北精装无电梯59073880西南向的两居室高楼层电梯房满五年1.01101E+11月季园2-1厅101.83平米南西简装有电梯55878569望京新城3室2厅850万1.01101E+11望京新城3-2厅142.93平米东南精装有电梯59470