高校大数据实训方案及计划

大数据实训实施方案实训时间：实训地点：上课时间：上午9：00-12：00，下午14：00-17：00上课环境要求：投影、白板、麦克风学生笔记本要求：请提前通知学生确认。4G以上内存，CPU支持虚拟化，硬盘50G以上空间。实训主题：个性化推荐是根据用户的兴趣特点和购买行为，向用户推荐用户感兴趣的信息和商品。随着电子商务规模的不断扩大，商品个数和种类快速增长，顾客需要花费大量的时间才能找到自己想买的商品。这种浏览大量无关的信息和产品过程无疑会使淹没在信息过载问题中的消费者不断流失。为了解决这些问题，个性化推荐系统应运而生。个性化推荐系统是建立在海量数据挖掘基础上的一种高级商务智能平台，以帮助电子商务网站为其顾客购物提供完全个性化的决策支持和信息服务。此次实训使用电商行业的经典案例——商品推荐系统，并且从案例主线上展开整个项目的讲解，将以一个实际的系统“电子商务推荐系统”为案例，从无到有，简单到深入，从容易到复杂，循序渐进地介绍一个大数据应用是如何落地的，包括如何进行技术选型，如何设计一个大数据架构，如何验证结果的有效性等。推荐系统的页面呈现效果如下图所示。晒单推存乐^(Loctek)PSW798ST(32-60英维达］邮氏融2层1乐^(Loctek)PSW798ST(32-60英维达］邮氏融2层150油面巾纸7包评進0盛吉丝(K0WX)尊享(谍迭)系列卫纯情小火鸡2018坐质里不借评论0jd.40e3d88f0a47c实惠，但两层有点薄jd_183202imf一般勰，就是没那么吸水！评论0实训安排：模块名称课程小节课程内容课时（天）—大数据背景、行业背景了解实训项目的背景和基本概念，从最终成果展示开始反推整个项目的实现过1Hadoop生态成果展示程，并且根据具体的需求设计整体架构，对每个组件做选型。介绍每个组件的系统、Hadoop架构设计和选型基本概念、架构和使用场景，利于判断比较。平台搭建Hadoop基础概念1、Hadoop的安装部署Hadoop生态系统安装Apache发行版Hadoop，分布式配置Hadoop发行版，通过ManagerHadoop文件系统框架安装Cloudera发型版Hadoop计算框架介绍2、DFSLinux系统HDFS简介HDFS概述、功能、作用、优势虚拟机环境熟悉HDFS所使用的关联技术汇总介绍HDFS应用现状和发展趋势

虚拟机集群构建Hadoop平台运行分布式计算案例3、 HDFS分布式文件系统原理和体系结构HDFS分布式文件系统的设计精髓HDFS文件型数据管理的基本原理和技术4、 HDFS的I/O基本操作HDFS的命令行操作HDFS的Web界面HDFSI/O操作中的数据检查 HDFS系统命令操作实践；5、 HDFS常用JavaAPI详解HDFSFileSystemAPI读取数据创建目录与新文件写入数据、删除数据HDFS文件系统状态查询HDFS程序开发实践；6、 HDFS中的输入输出与读写数据流HDFS文件的读取程序开发、HDFS文件的写入程序开发HDFS文件块的数据同步与一致性模型

二项目背景、需项目案例背景、需求1求、架构项目案例架构设计项目所需技术Hive基本概念1、Hive基础知识框架介绍SQL基本概念Hive在Hadoop生态系统中的作用HiveSQLDDL'DML编程Hive原理及架构详解Hive安装部署、配置详解Hive执行过程和结果查看与Hive交互Hive数据类型项目逻辑实现HiveQL语法详解Hive函数及UDF、UDAF、UDTF2、Hive高级使用Hive调优及HiveQL语句优化通过工作流管理HiveQL语句的执行Hive精彩案例详解三推荐系统理论电子商务推荐系统背景电子商务推荐系统大数据架构1案例实战应用，步及阿里巴巴推荐系电子商务推荐系统技术方案

统，亚马逊大数据经典架构：lambda架构简介推荐系统等大数据架构落t也方案电子商务推荐系统现电子商务推荐系统子系统介绍状，介绍电子商务推荐系用户行为分析系统统在国内应用情推荐系统况，以及产生的收益如何。Hive、MR的数据清洗四经典电商推荐数据仓库构建离线平台基本架构与技术选型1系统实践数据准备采用什么样的系统和平台，从哪些角度考虑？复杂数据清洗用户