大数据技术导论 教案 程显毅 4.5 数据建模- 7.6 大数据安全标准、上机考试

授课周次第9周授课时间2021年10月27日课程章节模块4：大数据分析4.5数据建模1、熟练使用Rattle包，2、理解K-means聚类算法3、关联分析4、决策树教学目的1、了解数据建模的意义2、Rattle包安装使用3、了解关联分析原理和应用场景；4、理解Apriori算法；5、了解决策树原理和应用场景；6、理解ID3算法内容提要及板书设计模块4：大数据分析4.5数据建模1、熟练使用Rattle包2、理解K-means聚类算法3、关联分析4、决策树重点、难点及解决方案重点：聚类分析，决策树、Apriori算法难点：Rattle参数选择教学内容时间分配序号时间分配1数据建模意义202聚类分析603关联规则挖掘304决策树305小结20教学手段理论+上机教学形式（在右栏勾选）理实一体教学（√）理论教学（）实验（）实训（）上机（√）作业作业完成方式书面（）电子（√）教学后记注：教案按周次填写，课堂组织和教学过程设计填写在附页中。附页：(第9次)序号具体内容（课堂组织和教学过程设计）授课改进意见及实时教学效果记录第15次课：第五章大数据分析5.6数据建模1、熟练使用Rattle包(1)安装install.packages("cairoDevice")install.packages("RGtk2")install.packages("rattle")用上述代码可以完成rattle包的安装。在Rstudio命令控制台输入如下脚本载入Rattle包：>library(rattle)在Rstudio命令控制台输入如下脚本启动Rattle：>rattle()(2)认识界面2、理解K-means聚类算法(1)K-means聚类思想聚类分析模型指将物理或抽象对象的集合分组为由类似的对象组成的多个类的分析过程。聚类是一种把两个观测数据根据它们之间的距离计算相似度来分组的方法（没有指导样本）。(2)算法描述K-means聚类算法属于非层次聚类法的一种,是最简单的聚类算法之一，但是运用十分广泛。k-means的计算方法如下：Step1：随机选取k个中心点。Step2：遍历所有数据，将每个数据划分到最近的中心点中。Step3：计算每个聚类的平均值，并作为新的中心点。Step4：重复Step2-3，直到这k个中线点不再变化（收敛了），或执行了足够多的迭代。(3)操作实例(4)参数选择(5)算法评价①K值选取。在实际应用中，由于Kmean一般作为数据预处理，或者用于辅助分类贴标签，所以k一般不会设置很大。可以通过枚举，令k从2到一个固定值，如10，在每个k值上重复运行数次K-means(避免局部最优解)，并计算当前k的平均轮廓系数，最后选取轮廓系数最大的值对应的k作为最终的集群数目。②度量标准。根据一定的分类准则，合理划分记录集合，从而确定每个记录所属的类别。不同的聚类算法中，用于描述相似性的函数也有所不同，有的采用欧氏距离或马氏距离，有的采用向量夹角的余弦，也有的采用其他的度量方法。第16次课：第五章大数据分析5.6数据建模1、关联分析(1)基本思想(2)Apriori算法3、案例实战Rattle安装目录提供一个例子（dvdtrans.csv）,这个例子包含三个顾客购买DVD电影商品的事务，数据结构如图所示。2、决策树（1）决策树原理(2)ID3算法构造决策树的关键步骤是分裂属性，即在某个节点处按照某一特征属性值构造不同的分支，其目标是让各个分裂子集尽可能地“纯”，尽可能“纯”就是尽量让一个分裂子集中待分类项属于同一类别。分裂属性分为三种不同的情况：(1)属性是离散值且不要求生成二叉决策树。此时用属性的每个划分作为一个分支。(2)属性是离散值且要求生成二叉决策树。此时使用属性划分的一个子集进行测试，按照“属于此子集”和“不属于此子集”分成两个分支。(3)属性是连续值。此时确定一个值作为分裂点split_point，按照>split_point和<=split_point生成两个分支。从信息论知识中我们直到，期望信息越小，信息增益越大。所以ID3算法的核心思想就是以信息增益度量属性选择，选择分裂后信息增益最大的属性进行分裂。设D为用类别对训练元组进行的划分，则D的熵（entropy）表示为：假设将训练元组D按属性A进行划分，则A对D划分的期望信息为：而信息增益即为两者的差值：(3)案例实战通过Model选项卡Type=Tree建立决策树模型，实验数据为weather.csv，单击“执行”按钮得到如图决策树模型。单击“Draw”按钮得到可视化的决策树，如图所示。授课周次第10周授课时间2021年11月4日课程章节模块4：大数据分析4.6spark1、Spark简介，2、Spark运行模式4.6spark1、Spark生态系统BDAS2、常用概念-RDD教学目的1、了解spark生态系统2、理解RDD概念和工作原理内容提要及板书设计4.6spark1、Spark简介3、常用概念-RDD四大优势依赖关系2、Spark生态系统BDASRDD有两种操作方式SparkCoreSpark中的Stage划分SparkSQL基本工作流程SparkStreamingSparkMLlibSparkGraphX重点、难点及解决方案重点：依赖关系、SparkSQL、RDD有两种操作方式、基本工作流程难点：SparkCore、Spark编程实践教学内容时间分配序号时间分配1课程导入5′2Spark简介203Spark生态系统BDAS554常用概念-RDD405Spark编程实践40教学手段理论+上机教学形式（在右栏勾选）理实一体教学（√）理论教学（）实验（）实训（）上机（√）作业P104作业完成方式书面（）电子（√）教学后记注：教案按周次填写，课堂组织和教学过程设计填写在附页中。附页：(第10次)序号具体内容（课堂组织和教学过程设计）授课改进意见及实时教学效果记录导入新课hadoop新课讲解第17次课：一、Spark简介Spark是一个快速和通用的大数据处理引擎。Spark最初是由加州大学伯克利分校的AMPLab于2009年提交的一个项目，现在是Apache软件基金会旗下最活跃的开源项目之一Spark是一个分布式的大数据处理框架，基于RDD（弹性分布式数据集），立足内存计算的一栈式计算平台2016年11月14日发布Spark2.0.2版本优势一：快速处理优势二：易于使用Spark代码量小；支持Scala、Java、Python，R语言的API。优势三：通用性强二、Spark生态系统BDASBDAS（theBerkeleyDataAnalyticsStack)，全称伯克利数据分析栈，是AMP实验室打造的一个开源的大数据处理一体化的技术生态系统，其核心框架是Spark1、Spark组件-SparkCore2、Spark组件-SparkSQLSparkSQL在Spark内核基础上提供了对结构化数据的处理集成性好：在Spark程序中无缝混合SQL查询统一的数据访问：以同样的方式连接到任何数据源兼容Hive：已有Hive查询语句不用修改支持标准连接：JDBC、ODBC3、Spark组件-SparkStreamingSparkStreaming基本原理是将流式计算分解成一系列短小的批处理作业。这里的批处理引擎是Spark，也就是把SparkStreaming的输入数据按照batchsize（如1s）分成一段一段的数据，每一段数据都转换成Spark中的RDD，然后将SparkStreaming中对DStream的Transformation操作变为针对Spark中对RDD的Transformation操作，将RDD经过操作变成中间结果保存在内存中。整个流式计算根据业务的需求可以对中间结果进行叠加，或者存储到外部设备。与另一种流处理框架Storm相比，其吞吐量远高于Storm；同时相比基于Record的Storm，RDD数据集更容易做到高效的容错处理。4、Spark组件-GraphXGraphX是一个基于Spark的分布式图计算子框架，提供了图计算中用于图和图并行计算的接口。灵活：与图形和集合无缝工作速度快：性能堪比最快的专业图形处理系统算法：从一个不断增长的图形算法库选取5、Spark组件-MLlibMLlib（MachineLearninglib）是Spark对常用的机器学习算法的实现库。易于使用：可用于Java,Scala,Python,andR高性能：高质量的算法，比MapReduce快100倍易于部署：可在现有的Hadoop集群和数据上运行第18次课：三、常用概念-RDDRDD（ResilientDistributedDatasets，弹性分布式数据集）是Spark的核心和架构基础是一个容错的、并行的数据结构是一个只读的分区记录集合是一个内存数据集可以简单看成是一个分区存储的数组1、RDD的依赖关系2、RDD有两种操作方式：转换(Transformations)：返回RDD，如：map,filter,groupBy,join等动作(Actions)：返回值不是一个RDD，如：count,collect,save等3、Spark中的Stage划分从HDFS中读入数据生成3个不同的RDD，通过一系列操作后，再将计算结果保存回HDFS。只有join操作是宽依赖，以此为边界将其前后划分成不同的StageStage2中，从map到union都是窄依赖，可以形成流水线操作3、RDD操作-Transformations其他转换操作还包括：mapPartitions、mapPartitionsWithIndex、intersection、distinct、aggregateByKey、cartesian、pipe、coalesce、repartition、repartitionAndSortWithinPartitions等4、RDD操作-Action其他Action操作还包括：takeSample、takeOrdered、saveAsSequenceFile、saveAsObjectFile等5、Spark的基本工作流程①①②③③④⑤⑤⑥⑥⑦⑦⑧初始化SparkContext申请资源初始化Executor解析RDD，划分Stage，调度任务发送任务到Executor执行计算任务返回计算结果关闭SparkContex，回收资源授课周次第11周授课时间2021年11月11日课程章节模块4：大数据分析4.7大数据分析引擎Hive教学目的1、了解HIVE的特性；2、了解hive结构3、熟练hive基本操作内容提要及板书设计1、hive简介2、hive特性3、hive结构4、安装hive5、hive操作重点、难点及解决方案重点：hive特性、hive结构、hive操作难点：hive结构教学内容时间分配序号时间分配1课程导入5′2Hive简介153Hive特性204Hive结构405Hive操作80教学手段理论上机教学形式（在右栏勾选）理实一体教学（√）理论教学（）实验（）实训（）上机（√）作业实验报告5作业完成方式书面（）电子（√）教学后记注：教案按周次填写，课堂组织和教学过程设计填写在附页中。附页：(第11次)序号具体内容（课堂组织和教学过程设计）授课改进意见及实时教学效果记录第19次课：1、hive简介（1）数据仓库概念（2）传统数据仓库存在的问题2、hive特性（1）支持索引，加快数据查询。（2）支持不同的存储类型，例如，纯文本文件、HBase中的文件。（3）将元数据保存在关系数据库中，大大减少了在查询过程中执行语义检查的时间。（4）可以直接使用存储在Hadoop文件系统中的数据。（5）内置大量用户函数UDF来操作时间、字符串和其他的数据挖掘工具，支持用户扩展UDF函数来完成内置函数无法实现的操作。（5）类SQL的查询方式，将SQL查询转换为MapReduce的job在Hadoop集群上执行。3、hive结构第20次课：1、安装hive第一步：下载Hive/apache/hive/第二步：Mysql配置(1)解压缩mysql#tar-zxvfmysql-5.6.40-linux-glibc2.12-x86_64.tar.gz-C/usr/local/#cd/usr/local/#mvmysql-5.6.40-linux-glibc2.12-x86_64mysql(2)#添加用户组groupaddmysql添加用户mysql到用户组mysqluseradd

-gmysqlmysql(3)安装mysql

cd

/usr/local/mysqlmkdir

./data/mysqlchown

-Rmysql:mysql././scripts/mysql_install_db

--user=mysql--datadir=/usr/local/mysql/data/mysqlcp

support-files/mysql.server

/etc/init.d/mysqldchmod

777

/etc/init.d/mysqldcp

support-files/f

/etc/f(4)#修改启动脚本vi

/etc/init.d/mysqld#修改项：basedir=/usr/local/mysql/datadir=/usr/local/mysql/data/mysql(5)配置环境变量vi/etc/profileexport

PATH=$PATH:/usr/local/mysql/binsource

/etc/profile(6)#启动mysqlservicemysqldstart(7)#关闭mysqlservicemysqldstop(8)#查看运行状态servicemysqldstatus#mysql-uroot-p(9)设置用户名密码usemysql;updateusersetpassword=password('root')whereuser='root';(10)配置开机启动systemctlenablemysqld(11)添加远程登录用户GRANTALLPRIVILEGESON*.*TO'root'@'%'IDENTIFIEDBY'root'WITHGRANTOPTION;重载授权表：FLUSHPRIVILEGES; //添加远程登录在[mysqld]下面加Vi/etc/f skip-name-resolve(12)创建Hive数据库Masql>createdatabasehive;第二步：安装hive(1)配置hive环境变量

tar-zxvfapache-hive-2.3.3-bin.tar.gz–C/optmvapache-hive-2.3.3-binhive(2)修改环境变量#vi/etc/profile exportHIVE_HOME=/opt/hive exportPATH=$HIVE_HOME/bin:$HIVE_HOME/conf:$PATH#source/etc/profile(3)修改Hive的配置文件

新建vihive-site.xml加入下面内容<configuration><property><name>javax.jdo.option.ConnectionURL</name><value>jdbc:mysql://localhost:3306/hive?createDatabaseIfNotExist=true&characterEncoding=UTF-8&useSSL=false</value></property><property><name>javax.jdo.option.ConnectionDriverName</name><value>com.mysql.jdbc.Driver</value></property><property><name>javax.jdo.option.ConnectionUserName</name><value>root</value></property><property><name>javax.jdo.option.ConnectionPassword</name><value>root</value></property></configuration>(4)vihive-env.shHADOOP_HOME=/opt/hadoop-3.1.0##Hadoop安装路径(5)配置jdbc驱动包

mysql的jdbc驱动包下载地址：下载完成后把mysql-connector-java-5.1.30-bin.jar然后放入$HIVE_HOME/lib目录下第三步：初始化hive

从Hive2.1版本开始,我们需要先运行schematool命令来执行初始化操作。#schematool-dbTypemysql–initSchema看到schemaToolcompleted则初始化完成

第4步：测试

检测hive是否成功直接在命令行输入hive即可#hive2、hive操作见教材5.7.5授课周次第12周授课时间2021年11月18日课程章节模块5：大数据可视化5.1数据可视化概述5.2常用图形5.3数据可视化设计5.4数据可视化工具5.5基于R可视化实战教学目的1、了解数据可视化作用2、掌握一种可视化工具3、掌握常用图形使用场景内容提要及板书设计模块5：大数据可视化5.1数据可视化概述1、为什么要可是实话；2、什么是可视化？3、可视化作用？4、可视化术语；5、可视化三要素5.2常用图形1、散点图；2、直方图；3、柱状图；4、折线图；5、雷达图；6、箱线图；7、饼图5.3数据可视化设计5.4数据可视化工具1、Excel,R,Moojnn5.5基于R可视化实战重点、难点及解决方案重点：常用图形使用场景难点：r语言教学内容时间分配序号时间分配1数据可视化概述10′2常用图形503数据可视化设计104数据可视化工具105基于R可视化实战80教学手段理论上机教学形式（在右栏勾选）理实一体教学（√）理论教学（）实验（）实训（）上机（√）作业自拟作业完成方式书面（）电子（√）教学后记注：教案按周次填写，课堂组织和教学过程设计填写在附页中。附页：(第12次)序号具体内容（课堂组织和教学过程设计）授课改进意见及实时教学效果记录第21次课：第6章大数据可视化6.1数据可视化概述1、为什么要可是实话；(1)视觉是人类获得信息的最主要途径。视觉感知是人类大脑的最主要功能之一，超过50%的人脑功能用于视觉信息的处理。(2)数据可视化处理可以洞察统计分析无法发现的结构和细节。(3)数据可视化处理结果的解读对用户知识水平的要求较低。2、什么是可视化？3、可视化作用？(1)使人们能够快速吸取大量信息(信息)。(2)正确的数据可视化可以清晰展现数据背后的意义(知识)。(3)数据可视化可以帮助人们做出准确的决策(价值)。(4)可视化给人以强大的视觉冲击。4、可视化术语；(1)图形元素：(2)视觉通道：(3)指标值图形化：(4)指标图形化：(5)指标关系图形化：5、可视化三要素6.2常用图形1、散点图；用于多个数量型变量关系探究2、直方图；(1)描述单一数量变量分布特征。(2)人为分出组区域，在每组统计数目或者频率。(3)与柱形图有本质区别。(4)可添加拟合曲线看出变量的粗略分布。3、柱状图；(1)两个定性变量分布情况。(2)列联表常用的展示方法，直观对比两个定性变量的交叉。4、折线图；折线图可显示随时间而变化的连续数据，常用于分析相等时间间隔下数据的发展趋势。在折线图中类别数据沿横坐标均匀分布，数据沿总报表进行分布。5、雷达图；(1)将每列数据进行标准化，将条记录画在一个图上，作几张图的对比。(2)适用于指标多，记录少的数据。6、箱线图；箱线图通过绘制连续型变量的五个分位数(最大最小值、25%和75%分位数以及中位数)，描述变量的分布，常用于异常值发现。7、饼图(1)单一定性变量的分布。(2)每一块扇形的面积大小对应该类数据占总体的比例大小。(3)极坐标形式的柱形图。6.3数据可视化设计1、数据可视化设计原则2、数据可视化=数据+设计+故事3、数据可视化图形选择建议6.4数据可视化工具1、ExcelExcel是MicrosoftOffice软件的主要组成部分，是目前最普遍的电子表格软件。它具有较强的数据处理与数据分析能力，丰富的图表功能，在统计分析中有着广泛的应用。2、R见6.53、Moojnn第22次课：第6章大数据可视化6.5基于R可视化实战授课周次第13周授课时间2021年11月25日课程章节模块6：大数据应用6.1零售行业大数据6.2交通大数据教学目的1、了解大数据在零售行业应用面临的机遇和挑战2、理解零售行业数据分析主要业务指标3、了解零售行业数据来源4、了解大数据在交通行业应用面临的机遇和挑战5、理解零交通业数据分析主要业务指标6、了解交通行业数据来源内容提要及板书设计模块6：大数据应用6.1零售行业大数据1、沃尔玛购物篮分析2、农夫山泉用海量照片提升销量6.2交通大数据1、大数据治理交通拥堵2、预测飞机起飞时间重点、难点及解决方案重点：零售行业数据分析主要业务指标；交通行业数据分析主要业务指标难点：零售行业数据分析主要业务指标；交通行业数据分析主要业务指标教学内容时间分配序号时间分配1零售行业大数据802交通行业大数据803教学手段讲解+讨论教学形式（在右栏勾选）理实一体教学（）理论教学（）实验（）实训（√）上机（）作业作业完成方式书面（）电子（）教学后记注：教案按周次填写，课堂组织和教学过程设计填写在附页中。附页：(第13次)序号具体内容（课堂组织和教学过程设计）授课改进意见及实时教学效果记录第23次课：第7章大数据应用7.1零售行业大数据1、沃尔玛购物篮分析(1)沃尔玛的购物篮分析应用领域 商品配置分析:哪些商品可以一起购买,关联商品如何陈列/促销; 客户需求分析:分析顾客的购买习惯/顾客购买商品的时间/地点等; 销售趋势分析:利用数据仓库对品种和库存的趋势进行分析,选定需要补充的商品,研究顾客购买趋势,分析季节性购买模式,确定降价商品; 帮助供应商改进老产品及开发新品:通过购物篮分析,根据客户的需求,开发新的产品/改进老产品及产品包装。 (2)沃尔玛利用购物篮分析获得丰厚收益的故事 ①婴儿护肤礼品和商务卡②沐浴用品主题商品③水杯和游泳圈④小猪肉熏肠和脆饼⑤情人节专用饮料和巧克力。⑥中国卖场中存在的商品交叉关联关系2、农夫山泉用海量照片提升销量第23次课：第7章大数据应用7.2交通大数据1、大数据治理交通拥堵（1）数据来源（2）处理拥堵框架2、预测飞机起飞时间(1)无奈的“天路”之堵(2)数据孤岛打破之后(3)从预报延误到减少延误授课周次第14周授课时间2021年12月2日课程章节模块6：大数据应用6.3医疗行业大数据6.4金融大数据教学目的第14次课：1、了解大数据在医疗行业应用面临的机遇和挑战2、理解医疗行业数据分析主要业务指标3、了解医疗行业数据来源4、了解大数据在金融行业应用面临的机遇和挑战5、理解金融业数据分析主要业务指标6、了解金融行业数据来源内容提要及板书设计模块6：大数据应用6.3医疗行业大数据1、移动医疗2、基因测序6.4金融大数据1、信用大数据2、保险大数据重点、难点及解决方案重点：医疗行业数据分析主要业务指标；金融行业数据分析主要业务指标难点：医疗行业数据分析主要业务指标；金融行业数据分析主要业务指标教学内容时间分配序号时间分配1医疗行业大数据802金融行业大数据803教学手段讲解+讨论教学形式（在右栏勾选）理实一体教学（）理论教学（）实验（）实训（√）上机（）作业作业完成方式书面（）电子（）教学后记：注：教案按周次填写，课堂组织和教学过程设计填写在附页中。附页：(第14次)序号具体内容（课堂组织和教学过程设计）授课改进意见及实时教学效果记录模块6：大数据应用6.3医疗行业大数据1、移动医疗（1）移动医疗基础架构（2）移动一辆服务场景（3）一站式医疗体检2、基因测序（1）基因测序概念6.4金融大数据1、信用大数据2、保险大数据（1）个性化定制（2）里程保险授课周次第15周授课时间201年12月9日课程章节模块7：大数据安全7.1大数据安全的意义；7.2大数据面临的挑战；7.3大数据的安全威胁；7.4大数据安全监测7.5大数据安全分析7.6大数据安全标准教学目的第27、28次课：1、了解大数据安全的意义2、了解大数据的安全威胁3、了解大数据安全监测、分析方法4、了解大数据安全标准内容提要及板书设计模块7：大数据安全7.1大数据安全的意义；7.2大数据面临的挑战；7.3大数据的安全威胁；7.4大数据安全监测7.5大数据安全分析7.6大数据安全标准重点、难点及解决方案重点：大数据安全的意义难点：大数据安全监测教学内容时间分配序号第27、28次课教学环节时间分配1大数据安全的意义202大数据面临的挑战203大数据的安全威胁404大数据安全分析405大数据安全标准40教学手段讲解+讨论教学形式（在右栏勾选）理实一体教学（）理论教学（）实验（）实训（√）上机（）作业作业完成方式书面（）电子（√）教学后记注：教案按周次填写，课堂组织和教学过程设计填写在附页中。附页：(第15次)序号具体内容（课堂组织和教学过程设计）授课改进意见及实时教学效果记录第27次课：第87章大数据安全8.1大数据安全的意义；在发展大数据的同时，也容易出现政府重要数据、法人和其他组织商业机密、个人敏感数据泄露，给国家安全、社会秩序、公共利益以及个人安全造成威胁。没有安全，发展就是空谈。大数据安全是发展大数据的前提，必须将它摆在更加重要的位置。8.2大数据面临的挑战；(1)大数据成为网络攻击的显著目标(2)大数据加大隐私泄露风险(3)大数据对现有的存储和安防措施提出挑战(4)大数据技术被应用到攻击手段中(5)大数据成为高级可持续攻击的载体8.3大数据的安全威胁；(1)网络基础设施传输过程中破坏数据完整性。(2)网络传播病毒(3)拒绝服务攻击。(4)非授权访问。(5)信息泄露或丢失。8.4大数据安全监测第28次课：第8章大数据安全8.5大数据安全分析8.6大数据安全标准授课周次第16周授课时间2021年12月16日课程章节上机考试教学目的第16次课：1、了解学生对Hadoop生态系统的安装与基本操作情况2、熟练文件下载、解压、参数配置、启动、测试过程1、掌握大数据技术基本概念2、理解Hadoop生态系统的基本责成和工作原理内容提要