《大数据存储》教学大纲

《大数据存储》教学大纲课程名称：大数据存储课程类别：必修适用专业：大数据技术类相关专业总学时：64学时（其中理论28学时，实验36学时）总学分：4.0学分课程的性质大数据技术的发展对社会诸多领域都产生了巨大的推动作用，同时也使得数据资源成为各行各业发展的重要资源之一。大数据时代下，各类数据都呈现出爆炸式增长的趋势，各行各业对海量数据资源的存储要求也越来越高，这使得大数据存储在大数据技术领域占有越来越重要的地位。为了推动我国大数据行业的发展，满足存储、分析海量数据的行业需求，特开设大数据存储课程。课程的任务通过本课程的学习，使学生了解大数据存储，掌握使用存储工具对海量数据进行存储和分析，并详细拆解学习广电用户数据存储与分析案例，根据实际业务需求，综合利用各种存储工具对海量数据进行存储、分析和处理，将理论与实践相结合，为将来从事数据存储、数据分析研究、工作奠定基础。课程学时分配序号教学内容理论学时实验学时其它1项目1了解大数据302项目2结构化数据仓库——Hive573项目3列存储数据库——HBase574项目4文档存储数据库——MongoDB455项目5文档存储数据库——ElasticSearch566项目6数据传输工具——Sqoop457项目7广电用户数据存储与分析26总计2836教学内容及学时安排理论教学序号章节名称主要内容教学目标学时1了解大数据大数据的概念数据的特征大数据的应用领域大数据技术体系了解数据存储了解分布式数据库了解大数据的概念、特征和应用领域。熟悉大数据技术体系。了解基于文件系统、数据库和数据仓库的数据存储方式。了解NoSQL数据库的特点与分类。32结构化数据仓库——Hive认识Hive了解Hive的架构搭建Hadoop集群配置MySQL数据库配置Hive数据仓库掌握Hive基础数据类型创建表删除表与表数据修改表结构导入数据导出数据认识SELECT语句结构了解运算符的使用使用WHERE语句进行条件查询认识HiveQL内置函数认识HiveQL子查询编写Hive中的UDF过滤无效、异常数据选取有效字段构建模型指标了解Hive及其架构原理。熟悉Hive的安装流程。了解Hive的基础数据类型。掌握HiveQL语句的基本操作。掌握Hive中UDF的编写方法。53列存储数据库——HBase了解HBase掌握HBase核心功能模块了解HBase的数据模型安装前的准备工作安装与配置Zookeeper安装与配置HBase设计表结构的原则创建与删除表插入数据查询数据删除数据扫描全表按时间版本查询数据搭建HBase开发环境创建表与删除表的方法调用表对象的put()方法插入数据调用表对象的get()方法进行查询调用表对象的scan()方法进行全表查询编写MapReduce实现数据交互了解HBase的发展历程、功能模块和数据模型。熟悉HBase的基础架构及其各个模块的功能。掌握HBase的安装与配置方法及过程。理解HBase数据表的设计原则。掌握HBaseShell与HBaseJavaAPI的基础语法。掌握利用MapReduce实现HBase与HDFS的数据交互的方法。54文档存储数据库——MongoDB了解MongoDB了解MongoDB数据模型安装与配置MongoDB访问MongoDBHTTP端口创建与删除数据库插入文档数据删除文档数据更新文档数据查询文档数据索引聚合搭建MongoDB的开发环境创建电子商务日志数据存储数据库了解MongoDB及其数据模型。掌握MongoDB的安装与配置方法。掌握MongoDBshell的基础操作。熟悉MongoDBJava开发环境的搭建过程。能够利用MongoDBJavaAPI完成简单的数据分析任务。45文档存储数据库——ElasticSearch了解ElasticSearch安装分布式ElasticSearch配置Head插件创建与修改索引增加、删除与修改数据查询数据搭建ElasticSearch开发环境创建与修改索引增加、删除与修改数据批量操作调用GetAPI查询调用SearchAPI查询输出设置度量聚合分组聚合了解ElasticSearch的基础概念、术语和特点。掌握ElasticSearch集群的安装过程和配置方法。掌握ElasticSearchHead插件的基础操作。掌握ElasticSearchJavaAPI的基础语法。56数据传输工具——Sqoop了解Sqoop安装与配置Sqoop掌握Sqoopeval的基本操作掌握Sqoopimport的基本操作掌握Sqoopjob的基本操作使用Sqoop将MySQL中的数据导入Hive掌握Sqoopexport基本操作使用Sqoop从Hive传输数据到MySQL了解Sqoop的基础概念及其安装与配置过程。掌握Sqoop的基本传输命令。掌握Sqoop的传输命令与参数的使用方法。掌握用Sqoop实现增量导入、更新输出等操作的方法。47广电用户数据存储与分析业务需求分析选择存储与分析技术设计存储与分析架构了解数据将数据导入ElasticSearch在Hive中创建数据管理表查看Hive中的表数据统计各表宣传数据记录数统计各表政企用户记录数统计用户收视时长分布统计机顶盒待机记录数处理无效用户信息处理无效收视数据处理无效订单数据计算电视消费水平和宽带消费水平将数据保存至其他数据库了解项目需求分析的过程。了解ElasticSearch、Hive、MySQL和HBase在大数据存储中的适用范围。掌握将CSV文件导入ElasticSearch的方法。掌握将ElasticSearch数据导入Hive的方法。了解在Hive中对数据进行清洗和统计分析的方法。掌握将Hive数据导入MySQL的方法。掌握将Hive数据导入HBase的方法。2学时合计28实验教学序号实验项目名称实验要求学时1Hive的安装与使用搭建Hadoop集群配置MySQL数据库配置Hive数据仓库创建表删除表与表数据修改表结构导入数据导出数据认识SELECT语句结构使用WHERE语句进行条件查询认识HiveQL内置函数认识HiveQL子查询编写Hive中的UDF42航空客户数据存储与分析创建航空客户信息表导入航空客户数据到航空客户信息表查询航空客户信息表空值记录数查询航空客户信息表字段数据的最大值和最小值统计会员数最多的会员级别编写UDF统计客户入会时长过滤无效、异常数据选取有效字段构建模型指标33HBase的安装与使用安装前的准备工作安装与配置Zookeeper安装与配置HBase创建与删除表插入数据查询数据删除数据扫描全表按时间版本查询数据搭建HBase开发环境创建表与删除表的方法调用表对象的put()方法插入数据调用表对象的get()方法进行查询调用表对象的scan()方法进行全表查询编写MapReduce实现数据交互44构建冠字号存储管理系统设计与新建数据表新增与删除数据表数据查询指定时间版本的钞票数据使用JavaAPI创建数据表搭建HBase开发环境通过JavaAPI插入数据到数据表并查询通过MapReduce导入数据到数据表35MongoDB的安装与使用安装与配置MongoDB访问MongoDBHTTP端口创建与删除数据库插入文档数据删除文档数据更新文档数据查询文档数据索引聚合搭建MongoDB的开发环境创建电子商务日志数据存储数据库36用户日志数据的存储与查询存储用户日志数据到MongoDB查询MongoDB中用户访问HTML页面的记录数搭建MongoDB的开发环境使用MongoDBJavaAPI创建电子商务日志数据存储系统27ElasticSearch与Head插件的安装与使用环境准备安装Node.js环境配置分布式ElasticSearch配置Head插件创建与修改索引增加、删除与修改数据查询数据搭建ElasticSearch开发环境创建与修改索引增加、删除与修改数据批量操作调用GetAPI查询调用SearchAPI查询输出设置度量聚合分组聚合48电影评分数据的存储与查询使用Head扩展插件存储用户和电影信息数据搭建ElasticSearch开发环境通过Java存储用户对电影的评分数据通过Java查询插入的数据记录查询评价电影超过50次的用户29Sqoop的安装与使用安装与配置Sqoop掌握Sqoopeval的基本操作掌握Sqoopimport的基本操作掌握Sqoopjob的基本操作使用Sqoop将MySQL中的数据导入Hive掌握Sqoopexport基本操作使用Sqoop从Hive传输数据到MySQL310用户浏览日志数据传输、存储与查询查询MySQL用户日志数据表的记录数将MySQL中的用户日志数据增量导入Hive导出Hive中的筛选结果至MySQL211广电用户数据存储与分析业务需求分析将数据导入ElasticSearch在Hive中创建数据管理表查看Hive中的表数据统计各表宣传数据记录数统计各表政企用户记录数统计用户收视时长分布统计机顶盒待机记录数处理无效用户信息处理无效收视数据处理无效订单数据计算电视消费水平和宽带消费水平将数据保存至其