大数据技术导论

大数据技术导论读书笔记模板01思维导图目录分析读书笔记内容摘要作者介绍精彩摘录目录0305020406思维导图导论技术技术特点大数据生命周期读者数据大数据习题分析第章可视化系统实验报告基础特征数据分析实验本书关键字分析思维导图内容摘要内容摘要本书以面向应用、面向实战为指导思想，紧扣企业技术人才培养的特点，在知识点讲解和实验中避免复杂的理论，使读者能快速上手体验、验证大数据处理的魅力，以激发读者的学习兴趣。本书覆盖了大数据生命周期中的主要技术要点，全书共8章，第1章介绍大数据的产生和特点及思维的变革，第2章了解大数据生态系统，第3～7章按照大数据的生命周期，分别讨论大数据采集与预处理、大数据管理、大数据分析、大数据可视化、大数据应用的基本原理和方法，第8章讨论大数据安全面临的挑战。本书可作为本科、高职院校大数据技术或数据科学课程的参考书或教材，也可供数据科学相关技术人员阅读。目录分析1.2Linux系统概述1.1揭秘大数据第1章概论实验报告1Linux实验习题1第1章概论1.1揭秘大数据1.1.1大数据产生历史必然1.1.2大数据概念和特征1.1.3大数据生命周期1.1.4大数据与物联网、云计算、人工智能1.1.5大数据时代的八个重大变革1.2Linux系统概述1.2.1Linux版本1.2.2Linux系统目录结构1.2.3文本编辑器vi1.2.4文件权限解读1.2.5Linux系统常用命令2.1认识Hadoop2.2HDFS2.3MapReduce*2.4Zookeeper第2章大数据生态系统实验报告2Hadoop实验习题2第2章大数据生态系统2.2HDFS2.2.1HDFS体系结构2.2.2HDFS存储原理2.2.3HDFS常用操作2.3MapReduce2.3.1MapReduce逻辑结构2.3.2MapReduce操作案例3.1数据3.2数据采集3.3数据清洗3.4网络爬虫第3章大数据采集与预处理*实验报告3网络爬虫习题3第3章大数据采集与预处理3.1数据3.1.1数据是什么3.1.2数据分类3.1.3度量和维度3.2数据采集3.2.1数据采集分类3.2.2数据采集方法3.2.3数据采集工具3.3数据清洗3.3.1数据清洗原理3.3.2缺失值和异常数据3.3.3数据清洗基本操作3.4网络爬虫3.4.1爬虫简介*3.4.2论坛爬虫源代码分析4.1NoSQL4.2HBase习题4实验报告4HBase实验第4章大数据管理4.1NoSQL4.1.1NoSQL概述4.1.2键值数据库4.1.3图数据库4.1.4文档数据库4.1.5列式数据库4.1.6云数据库4.2HBase4.2.1HBase模型4.2.2HBase与传统关系数据库的对比分析4.2.3HBase系统架构4.2.4HBase常用Shell命令5.1大数据分析概述*5.2业务理解5.3数据认知5.4特征工程第5章大数据分析5.5数据建模*5.6通用计算引擎Spark5.7大数据分析引擎Hive习题5实验报告5Hive实验12345第5章大数据分析5.1大数据分析概述5.1.1数据分析原则5.1.2大数据分析特点5.1.3大数据分析流程5.1.4数据分析师基本技能和素质*5.1.5大数据分析难点*5.2业务理解5.2.1什么是业务理解5.2.2如何理解业务5.2.3数据业务化5.3数据认知5.3.1数据变换5.3.2概率分析*5.3.3对比分析*5.3.4细分分析*5.3.5交叉分析5.3.6相关分析5.4特征工程5.4.1特征工程面临的挑战5.4.2特征选择5.4.3特征提取5.4.4指标设计5.5数据建模5.5.1模型分类5.5.2决策树5.5.3关联分析5.5.4回归分析5.5.5聚类分析*5.5.6k-邻近分类算法KNN*5.6通用计算引擎Spark5.6.1Spark简介5.6.2Spark与Hadoop差异5.6.3Spark适用场景5.6.4Spark运行模式5.6.5Spark常用术语5.6.6Spark编程实战——单词统计5.7大数据分析引擎Hive5.7.1数据仓库概念5.7.2传统数据仓库的问题5.7.3Hive特征5.7.4Hive系统架构5.7.5Hive应用案例6.1数据可视化基本概念6.2常用图形6.3数据可视化设计6.4数据可视化工具第6章大数据可视化6.5基于R语言可视化基础*实验报告6可视化实验习题6第6章大数据可视化6.1数据可视化基本概念6.1.1为什么要数据可视化6.1.2什么是数据可视化6.1.3数据可视化的作用6.1.4数据可视化术语6.1.5数据可视化三要素6.2常用图形6.2.1饼图（扇形图）6.2.2堆积柱形图6.2.3风玫瑰图6.2.4柱状图6.2.5直方图6.2.6气泡图6.2.7散点图矩阵6.2.8折线图6.2.9面积图6.3数据可视化设计6.3.1数据可视化设计原则6.3.2数据可视化=数据+设计+故事6.3.3数据可视化图形选择建议6.4数据可视化工具6.4.1基本工具6.4.2进阶工具6.5基于R语言可视化基础6.5.1基本绘图命令6.5.2ggplot2绘图7.1零售行业大数据7.2交通大数据7.3医疗大数据习题7第7章大数据应用7.1零售行业大数据7.1.1沃尔玛的购物篮分析7.1.2农夫山泉用海量照片提升销量7.2交通大数据7.2.1交通拥堵大数据分析7.2.2预测起飞时间7.3医疗大数据7.3.1移动医疗与个人健康7.3.2基因测序——精准治癌正在成为现实8.1大数据安全的重要意义8.2大数据面临的挑战8.3大数据的安全威胁8.4大数据与网络攻击监测8.5大数据安全分析12345第8章大数据安全8.6大数据安全标准习题88.7大数据安全技术第8章大数据安全8.3大数据的安全威胁8.3.1大数据基础设施安全威胁8.3.2大数据存储安全威胁8.3.3大数据的隐私泄露8.3.4大数据的其他安全威胁8.6大数据安全标准8.6.1基础标准类8.6.2平台和技术类8.6.3数据安全类8.6.4服务安全类8.6.5应用安全类A.1基础环境准备A.2安装JDKA.3安装HadoopA.4安装ZookeeperA.