Hive大数据存储与处理 教案全套 第1-8章 广电大数据用户画像需求分析- 广电用户数据存储与处理的程序开发

第1章广电大数据用户画像需求分析教案课程名称：Hive大数据存储与处理课程类别：必修适用专业：大数据技术类相关专业总学时：64学时（其中理论36学时，实验28学时）总学分：4.0学分本章学时：2学时材料清单《Hive大数据存储与处理》教材。配套PPT。引导性提问。探究性问题。拓展性问题。教学目标与基本要求教学目标通过广电大数据用户画像需求背景了解和初步分析，扩展学习目前常见的几种大数据存储产品知识，进而从Hive的发展历史、Hive的架构、Hive的主要特点、Hive与传统数据库的区别等方面深入了解Hive，为下一步做好Hive数据存储和开发奠定一定的理论基础。基本要求了解广电大数据用户画像需求分析的背景。了解目前常见的几种大数据存储产品。了解Hive原理架构和Hive的主要特点。了解Hive和传统数据库的主要区别。。问题引导性提问引导性提问需要教师根据教材内容和学生实际水平，提出问题，启发引导学生去解决问题，提问，从而达到理解、掌握知识，发展各种能力和提高思想觉悟的目的。广电大数据用户画像需求背景是什么？大数据存储技术架构包括哪些技术？Hive的主要架构是什么？Hive的优势和适用场景？Hive与传统数据库的区别？探究性问题探究性问题需要教师深入钻研教材的基础上精心设计，提问的角度或者在引导性提问的基础上，从重点、难点问题切入，进行插入式提问。或者是对引导式提问中尚未涉及但在课文中又是重要的问题加以设问。常用的大数据存储技术有哪些？Hive数据存储和分析能够应用在那些场景？Hive技术的哪些优缺点？拓展性问题拓展性问题需要教师深刻理解教材的意义，学生的学习动态后，根据学生学习层次，提出切实可行的关乎实际的可操作问题。亦可以提供拓展资料供学生研习探讨，完成拓展性问题。大数据存储存在哪些困难？Hive语言用于做数据存储和分析有哪些优势？广电大数据存储面临哪些问题，使用Hive技术带来哪些效益？主要知识点、重点与难点主要知识点广电大数据用户画像需求分析的背景。目前常见的几种大数据存储产品。Hive原理架构和Hive的主要特点。Hive和传统数据库的主要区别。。重点广电大数据存储需求分析。Hive语言用于做数据存储和分析有哪些优势。难点数据分析的概念与流程。教学过程设计理论教学过程广电大数据存储需求分析背景、分析。大数据存储技术架构。Hive原理架构。Hive访问接口。Hive的主要特点。Hive的主要适用场景。教材与参考资料教材何煌，张良均．Hive大数据存储与处理[M]．北京：人民邮电出版社．2024．参考资料[1] 张军，张良均．Hadoop大数据开发基础（第2版）（微课版）[M]．北京：人民邮电出版社．2021．[2] 王哲，张良均．Hadoop与大数据挖掘（第2版）[M]．北京：机械工业出版社．2022．第2章部署开发环境教案课程名称：Hive大数据存储与处理课程类别：必修适用专业：大数据技术类相关专业总学时：64学时（其中理论36学时，实验28学时）总学分：4.0学分本章学时：8学时材料清单《Hive大数据存储与处理》教材。配套PPT。引导性提问。探究性问题。拓展性问题。教学目标与基本要求教学目标通过学习广电大数据用户系统的部署，深入学习掌握Hadoop集群的安装部署方法、掌握MySQL数据库的安装配置方法、如何安装部署Hive、HiveCLI的使用方法，为后续实现广电大数据存储和处理搭建环境。基本要求掌握Hadoop集群的安装部署方法。掌握MySQL数据库的安装配置方法。掌握Hive的安装配置及启动方法。掌握HiveCLI的使用方法。问题引导性提问引导性提问需要教师根据教材内容和学生实际水平，提出问题，启发引导学生去解决问题，提问，从而达到理解、掌握知识，发展各种能力和提高思想觉悟的目的。部署Hadoop集群涉及哪些组件和步骤？为什么部署Hive系统需要部署MySQL？在Hadoop平台上部署Hive需要注意什么？HiveCLI操作的主要命令和实际应用？探究性问题探究性问题需要教师深入钻研教材的基础上精心设计，提问的角度或者在引导性提问的基础上，从重点、难点问题切入，进行插入式提问。或者是对引导式提问中尚未涉及但在课文中又是重要的问题加以设问。Hadoop集群部署有哪些模式，为什么当前采用这种模式？Hive元数据的存储有哪些方式，采用MySQL有什么优点？使用HiveCLI操作？拓展性问题拓展性问题需要教师深刻理解教材的意义，学生的学习动态后，根据学生学习层次，提出切实可行的关乎实际的可操作问题。亦可以提供拓展资料供学生研习探讨，完成拓展性问题。大数据存储存在哪些困难？Hive语言用于做数据存储和分析有哪些优势？广电大数据存储面临哪些问题，使用Hive技术带来哪些效益？主要知识点、重点与难点主要知识点掌握Hadoop集群的安装部署方法。掌握MySQL数据库的安装配置方法。掌握Hive的安装配置及启动方法。掌握HiveCLI的使用方法。重点掌握MySQL数据库的安装配置方法。掌握Hive的安装配置及启动方法。难点掌握Hadoop集群的安装部署方法。教学过程设计理论教学过程VMWare虚拟机安装和网络设置。部署CentOS。Hadoop集群部署前准备。Hadoop集群部署。安装MySQL。安装Hive。启动Hive。在Hive中执行BashShell和HadoopDFS命令。Shell中执行Hive查询。实验教学过程在Windows/Linux系统上安装部署CentOS。Hadoop集群部署。安装MySQL。安装Hive。教材与参考资料教材何煌，张良均．Hive大数据存储与处理[M]．北京：人民邮电出版社．2024．参考资料[1] 张军，张良均．Hadoop大数据开发基础（第2版）（微课版）[M]．北京：人民邮电出版社．2021．[2] 王哲，张良均．Hadoop与大数据挖掘（第2版）[M]．北京：机械工业出版社．2022．第3章广电用户数据存储教案课程名称：Hive大数据存储与处理课程类别：必修适用专业：大数据技术类相关专业总学时：64学时（其中理论36学时，实验28学时）总学分：4.0学分本章学时：8学时材料清单《Hive大数据存储与处理》教材。配套PPT。引导性提问。探究性问题。拓展性问题。教学目标与基本要求教学目标只有在Hive中创建了相关的业务数据表，才能进行业务数据的导入和后续的分析工作。本任务主要介绍Hive数据库的创建与管理、Hive的数据类型、Hive表的创建与管理，以及结合广电业务数据类型，设计表的结构，并在Hive中创建相应的业务数据表。基本要求掌握在Hive中创建与管理数据库的操作。了解Hive的基础数据类型和复杂数据类型。掌握在Hive中创建与管理表的常用操作。掌握装载数据至Hive表的操作。问题引导性提问引导性提问需要教师根据教材内容和学生实际水平，提出问题，启发引导学生去解决问题，提问，从而达到理解、掌握知识，发展各种能力和提高思想觉悟的目的。为什么需要对广电业务数据进行存储操作?如何将数据存储在Hive中？探究性问题探究性问题需要教师深入钻研教材的基础上精心设计，提问的角度或者在引导性提问的基础上，从重点、难点问题切入，进行插入式提问。或者是对引导式提问中尚未涉及但在课文中又是重要的问题加以设问。如何结合广电业务实现创建广电数据库和业务数据表？将业务数据从CSV文件中导入Hive表？如何在Hive中创建、管理数据库？拓展性问题拓展性问题需要教师深刻理解教材的意义，学生的学习动态后，根据学生学习层次，提出切实可行的关乎实际的可操作问题。亦可以提供拓展资料供学生研习探讨，完成拓展性问题。Hive数据类型有哪些？如何结合广电业务，定义合适的Hive数据类型？内部表和外部表的区别，如何选用？分区表有几类，用途是什么？主要知识点、重点与难点主要知识点掌握在Hive中创建数据的库方法。掌握在Hive中管理（设置、修改、删除等）数据的库方法。掌握Hive数据类型，根据业务需要选择合适的数据类型定义表字段。掌握内部表、外部表、分区表的概念和用法。重点掌握在Hive中管理（设置、修改、删除等）数据的库方法。结合实际业务需要选择合适的数据类型定义表字段。难点结合广电业务实现创建广电数据库和业务数据表，并完成数据的导入过程。教学过程设计理论教学过程学习在Hive中创建业务数据库和相关数据表。了解Hive数据类型分类。创建与管理Hive表。了解Hive中几个常用概念：内部表、外部表、分区表、桶表、临时表等。实验教学过程在Hive中创建业务数据库和相关数据表。通CSV文件导入方法，把业务数据导入Hive数据库中。教材与参考资料教材何煌，张良均．Hive大数据存储与处理[M]．北京：人民邮电出版社．2024．参考资料[1] 张军，张良均．Hadoop大数据开发基础（第2版）（微课版）[M]．北京：人民邮电出版社．2021．[2] 王哲，张良均．Hadoop与大数据挖掘（第2版）[M]．北京：机械工业出版社．2022．第4章广电用户基本数据简单查询教案课程名称：Hive大数据存储与处理课程类别：必修适用专业：大数据技术类相关专业总学时：64学时（其中理论36学时，实验28学时）总学分：4.0学分本章学时：8学时材料清单《Hive大数据存储与处理》教材。配套PPT。配套数据、代码。引导性提问。探究性问题。拓展性问题。教学目标与基本要求教学目标充分利用广电公司目前已积累的数十万用户数据，了解用户状态，便于更有针对性地服务用户。介绍如何在Hive中使用的HQL语句对数据进行统计分析，通过介绍Hive的基本查询过程，结合广电用户基本数据表，实现广电用户基本数据的查询、分析。基本要求了解SELECT语句基本的语法。掌握使用WHERE关键字实现条件查询的方法。掌握表别名、列别名的使用方法。掌握聚合函数的使用方法。掌握分组查询的实现方法。了解不同排序关键字之间的区别。掌握使用通配符、正则表达式实现模糊查询的方法。问题引导性提问引导性提问需要教师根据教材内容和学生实际水平，提出问题，启发引导学生去解决问题，提问，从而达到理解、掌握知识，发展各种能力和提高思想觉悟的目的。现实生活中有哪些根据数据进行推荐的场景？作为消费者有哪些信息是希望被重视，为生活带来便利的？该如何进行数据查询？你所了解的HQL与SQL之间有哪些不同？探究性问题探究性问题需要教师深入钻研教材的基础上精心设计，提问的角度或者在引导性提问的基础上，从重点、难点问题切入，进行插入式提问。或者是对引导式提问中尚未涉及但在课文中又是重要的问题加以设问。如何进行有效的数据查询？怎能能提升数据获取的效率，准确进行数据获取？如何优化查询数据的展示结果？拓展性问题拓展性问题需要教师深刻理解教材的意义，学生的学习动态后，根据学生学习层次，提出切实可行的关乎实际的可操作问题。亦可以提供拓展资料供学生研习探讨，完成拓展性问题。数据查询是不是能够查询任何需求的数据？Hive在执行HQL查询的过程中都经过了哪些过程？还有哪些角度可以对广电用户数据进行分析？主要知识点、重点与难点主要知识点SELECT语句的语法结构。WHERE关键字的语法结构。聚合函数的使用。列别名的设置。分组查询。对查询结果进行排序。重点正则表达式在查询过程中的使用。分组查询的规范化。难点简单数据查询过程的实现。教学过程设计理论教学过程介绍进行数据查询的必要性。SELECT语句的语法结构。WHERE关键字的语法结构及应用场景。DISTINCT关键字的使用。聚合函数的语法结构。查询过程中列别名的使用。分组查询。HAVING关键字的使用。LIMIT关键字的语法结构。对查询结果进行排序。正则表达式在查询过程中的使用。实验教学过程掌握Hive中SELECT语句的基本语法。掌握SELECT语句在不同查询场景中的使用方法。教材与参考资料教材何煌，张良均．Hive大数据存储与处理[M]．北京：人民邮电出版社．2024．参考资料[1] 张军，张良均．Hadoop大数据开发基础（第2版）（微课版）[M]．北京：人民邮电出版社．2021．[2] 王哲，张良均．Hadoop与大数据挖掘（第2版）[M]．北京：机械工业出版社．2022．第5章广电用户账单与订单数据查询进阶教案课程名称：Hive大数据存储与处理课程类别：必修适用专业：大数据技术类相关专业总学时：64学时（其中理论36学时，实验28学时）总学分：4.0学分本章学时：8学时材料清单《Hive大数据存储与处理》教材。配套PPT。配套数据、代码引导性提问。探究性问题。拓展性问题。教学目标与基本要求教学目标掌握使用Hive对广电用户账单及订单数据进行进阶查询，完成基于原始数据的各类统计查询工作，并通过数据进阶查询对Hive的高阶查询进行介绍。首先介绍Hive的内置函数，然后介绍在Hive中如何使用两个表进行连接查询，最后介绍如何在分桶表中进行抽样查询，以便在大量数据查询场景中抽取部分具有代表性的数据。通过介绍Hive的高阶查询，结合广电用户账单数据表、订单数据表，掌握Hive的高阶查询，提升数据处理能力。基本要求了解常见的Hive内置函数。掌握条件函数、字符函数、日期函数及数学函数的使用方法。掌握各类JOIN语句的使用方法。掌握JOIN语句与UNIONALL关键字的区别。掌握桶表中抽样查询的使用方法。问题引导性提问引导性提问需要教师根据教材内容和学生实际水平，提出问题，启发引导学生去解决问题，提问，从而达到理解、掌握知识，发展各种能力和提高思想觉悟的目的。之前学习的简单查询部分是否有无法覆盖的查询场景？如果查询过程中出现计算等场景应该怎么处理？查询过程中是否会出现将多个表中数据连接之后进行查询的场景？在大数据量查询过程中可以怎么处理？探究性问题探究性问题需要教师深入钻研教材的基础上精心设计，提问的角度或者在引导性提问的基础上，从重点、难点问题切入，进行插入式提问。或者是对引导式提问中尚未涉及但在课文中又是重要的问题加以设问。在查询过程中使用函数能够带来哪些便利？JOIN连接查询与UNIONALL关键字的使用场景是否有区别？抽样查询能够解决哪些场景的问题？拓展性问题拓展性问题需要教师深刻理解教材的意义，学生的学习动态后，根据学生学习层次，提出切实可行的关乎实际的可操作问题。亦可以提供拓展资料供学生研习探讨，完成拓展性问题。简单查询加复杂查询所覆盖的查询场景是否能够满足所有查询需求？如果想要进行一些特色化场景查询，有什么好的想法？对用户账单与订单数据还有哪些分析查询角度？主要知识点、重点与难点主要知识点Hive中的内置函数。JOIN关键字构建连接查询。抽样查询。重点内置函数的使用场景。连接查询各类别的区别。难点正确实施抽样查询。教学过程设计理论教学过程条件函数的使用。类型转换函数的使用。字符函数的使用。日期函数的使用。数学函数的使用。JOIN语句的使用。UNIONALL关键字。抽样查询过程。实验教学过程掌握Hive中的内置函数。掌握Hive中的连接查询。教材与参考资料教材何煌，张良均．Hive大数据存储与处理[M]．北京：人民邮电出版社．2024．参考资料[1] 张军，张良均．Hadoop大数据开发基础（第2版）（微课版）[M]．北京：人民邮电出版社．2021．[2] 王哲，张良均．Hadoop与大数据挖掘（第2版）[M]．北京：机械工业出版社．2022．第6章广电用户收视行为数据查询优化教案课程名称：Hive大数据存储与处理课程类别：必修适用专业：大数据技术类相关专业总学时：64学时（其中理论36学时，实验28学时）总学分：4.0学分本章学时：10学时材料清单《Hive大数据存储与处理》教材。配套PPT。引导性提问。探究性问题。拓展性问题。教学目标与基本要求教学目标本章先介绍了Hive视图的创建、查看与删除方法，其次介绍了如何配置Fetch抓取、设置map和reduce任务数以及配置并行执行，然后介绍了使用子查询的方法，最后介绍了优化配置GROUPBY语句和LIMIT语句。本章通过优化Hive配置与HQL语句，实现广电用户收视行为数据查询优化，帮助读者掌握各种Hive优化方法。基本要求掌握Hive查询优化的方法。掌握Hive视图的使用方法。了解配置Fetch抓取的方法。掌握Hive设置map和reduce任务数的方法。掌握Hive配置并行执行的方法。掌握子查询的使用方法。掌握GROUPBY语句的优化配置方法。掌握LIMIT语句的优化配置方法。问题引导性提问引导性提问需要教师根据教材内容和学生实际水平，提出问题，启发引导学生去解决问题，提问，从而达到理解、掌握知识，发展各种能力和提高思想觉悟的目的。如何在Hive中创建一个新的视图？为什么我们需要配置Fetch抓取？它对查询性能有什么影响？子查询在解决哪些复杂查询场景中特别有效？探究性问题探究性问题需要教师深入钻研教材的基础上精心设计，提问的角度或者在引导性提问的基础上，从重点、难点问题切入，进行插入式提问。或者是对引导式提问中尚未涉及但在课文中又是重要的问题加以设问。在Hive中使用视图是否会引入性能开销？LIMIT语句在大数据查询中为何需要特殊优化？Hive的动态分区功能如何帮助优化大规模数据处理？拓展性问题拓展性问题需要教师深刻理解教材的意义，学生的学习动态后，根据学生学习层次，提出切实可行的关乎实际的可操作问题。亦可以提供拓展资料供学生研习探讨，完成拓展性问题。除了GROUPBY和LIMIT之外，还有哪些高级SQL操作可以在Hive中进行优化？Hive是否还有其他优化配置方法？有哪些？主要知识点、重点与难点主要知识点Hive查询优化的方法。Hive视图的使用方法。配置Fetch抓取的方法。Hive设置map和reduce任务数的方法。Hive配置并行执行的方法。子查询的使用方法。GROUPBY语句的优化配置方法。LIMIT语句的优化配置方法。重点Hive视图的使用方法。子查询的使用方法。GROUPBY语句的优化配置方法。LIMIT语句的优化配置方法。难点掌握子查询的使用方法。教学过程设计理论教学过程创建视图。查看与删除视图。配置Fetch抓取。合理设置map和reduce任务数。配置并行执行。使用子查询优化查询语句。优化配置GROUPBY语句。使用GROUPBY代替COUNT(DISTINCT)去重统计。优化配置LIMIT语句。实验教学过程创建视图。查看与删除视图。使用视图统计不同节目的用户观看人数。配置Fetch抓取。合理设置map和reduce任务数。配置并行执行。优化统计直播频道数。使用子查询优化查询语句。优化配置GROUPBY语句。使用GROUPBY代替COUNT(DISTINCT)去重统计。优化配置LIMIT语句。使用子查询统计节目类型为直播的频道Top10。教材与参考资料教材何煌，张良均．Hive大数据存储与处理[M]．北京：人民邮电出版社．2024．参考资料[1] 张军，张良均．Hadoop大数据开发基础（第2版）（微课版）[M]．北京：人民邮电出版社．2021．[2] 王哲，张良均．Hadoop与大数据挖掘（第2版）[M]．北京：机械工业出版社．2022．第7章广电用户数据清洗及数据导出教案课程名称：Hive大数据存储与处理课程类别：必修适用专业：大数据技术类相关专业总学时：64学时（其中理论36学时，实验28学时）总学分：4.0学分本章学时：10学时材料清单《Hive大数据存储与处理》教材。配套PPT。引导性提问。探究性问题。拓展性问题。教学目标与基本要求教学目标本章的目标是先探索广电用户无效数据，再进行数据清洗与保存。本章首先探索了无效用户数据，如探索重复的用户数、特殊线路用户数据和政企用户数据等，其次探索了无效收视行为数据，主要探索用户观看时长，接着探索了无效账单和订单数据，探索用户应付金额should_pay字段和订购产品价格cost字段是否存在小于0的数据，再按照探索结果进行数据清洗，最终将清洗结果保存至Linux本地目录和HDFS目录。基本要求掌握Hive内置函数的使用方法。掌握Hive中对数据进行清洗与统计分析的方法。掌握将Hive表中的数据导出至Linux本地与HDFS的方法。问题引导性提问引导性提问需要教师根据教材内容和学生实际水平，提出问题，启发引导学生去解决问题，提问，从而达到理解、掌握知识，发展各种能力和提高思想觉悟的目的。在处理广电用户数据时，如何通过Hive查询语句识别并统计出重复的用户记录数量？假设发现某些用户的观看时长异常长，远超一般用户，应如何设计一个查询来筛选出这些可能的异常数据？如何使用Hive的查询语句验证数据清洗的结果？探究性问题探究性问题需要教师深入钻研教材的基础上精心设计，提问的角度或者在引导性提问的基础上，从重点、难点问题切入，进行插入式提问。或者是对引导式提问中尚未涉及但在课文中又是重要的问题加以设问。在面对不同类型的数据错误（如空值、异常值、重复值）时，应如何决定采取删除、填充还是修正的策略，以最大限度保留数据的有效性？在执行大规模数据清洗时，如何通过调整Hive的配置参数或优化查询逻辑来提升数据处理的效率和速度？清洗后的数据如何进行质量评估，以确保数据准确无误地反映了业务实际情况？拓展性问题拓展性问题需要教师深刻理解教材的意义，学生的学习动态后，根据学生学习层次，提出切实可行的关乎实际的可操作问题。亦可以提供拓展资料供学生研习探讨，完成拓展性问题。除了INSERTOVERWRITE语句，还有哪些方法可以将数据导出至文件系统？如何通过Shell脚本实现自动化执行数据清洗流程，包括数据探索、清洗、验证及导出到指定位置的全过程？主要知识点、重点与难点主要知识点探索无效用户数据。删除无效用户数据。探索无效收视行为数据。删除无效收视行为数据。探索无效账单数据。探索无效订单数据。删除无效账单和无效订单数据。使用INSERTOVERWRITE语句将数据导出至文件系统。保存处理结果至Linux本地和HDFS。重点使用INSERTOVERWRITE语句将数据导出至文件系统。难点使用INSERTOVERWRITE语句将数据导出至文件系统。教学过程设计理论教学过程清洗无效用户数据。清洗无效收视行为数据。清洗无效账单和订单数据。导出处理结果至Linux本地和HDFS。实验教学过程探索无效用户数据。删除无效用户数据。探索无效收视行为数据。删除无效收视行为数据。探索无效账单数据。探索无效订单数据。删除无效账单和无效订单数据。使用INSERTOVERWRITE语句将数据导出至文件系统。保存处理结果至Linux本地和HDFS。教材与参考资料教材何煌，张良均．Hive大数据存储与处理[M]．北京：人民邮电出版社．2024．参考资料[1] 张军，张良均．Hadoop大数据开发基础（第2版）（微课版）[M]．北京：人民邮电出版社．2021．[2] 王哲，张良均．Hadoop与大数据挖掘（第2版）[M]．北京：机械工业出版社．2022．第8章广电用户数据存储与处理程序开发教案课程名称：Hive大数据存储与处理课程类别：必修适用专业：大数据技术类相关专业总学时：64学时（其中理论36学时，实验28学时）总学分：4.0学分本章学时：10学时材料清单《Hive大数据存储与处理》教材。配套PPT。引导性提问。探究性问题。拓展性问题。教学目标与基本要求教学目标只有在Hive中创建了相关的业务数据表，才能进行业务数据的导入和后续的分析工作。本任务主要介绍Hive数据库的创建与管理、Hive的数据类型