第五章 数据处理和可视化表达（复习课件）-高一信息技术必修1粤教版

复习课件第5章

数据处理和可视化表达

高中信息技术粤教版2019

必修1大数据01数据采集02数据分析03数据可视化表达04大数据第1节大数据知识结构第1节大数据知识点一

是指无法在可承受的时间范围内用常规软件工具进行高效捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。1、大数据的定义教材第101页第1节大数据知识点二2、大数据的特征教材第102页方面1：从互联网产生大数据的角度①大量（Volume）：数据体量巨大②多样（Variety）：数据类型繁多③低价值密度（Value）：价值密度低④高速（Velocity）：变化速度快第1节大数据知识点二2、大数据的特征教材第102页方面2：从互联网思维的角度①样本渐趋于总体②精确让位于模糊③相关性重于因果第1节大数据知识点二2、大数据的特征教材第102页方面3：从大数据存储与计算的角度①分布式存储②分布式并行计算第1节大数据知识点三3、传统数据和大数据的对比教材第103页传统数据大数据数据量小数据体量巨大数据类型少数据类型繁多价值密度高价值密度低更新速度慢更新速度快追求数据精准性追求数据模糊性本地存储分布式存储第1节大数据知识点四4、大数据对日常生活的影响教材第103页积极影响①方便支付②方便出行③方便购物与产品推介④方便看病与诊断病情第1节大数据知识点四4、大数据对日常生活的影响教材第103页消极影响①个人隐私泄露②信息伤害与诈骗第1节大数据提升练习1．大数据、人工智能的迅猛发展和普及,为杭州亚运场馆加入了许多数智化创新元素。例如电竞中心运用全感知的5G数字基座,接入了设备数量超万台、数据类型达10万种以上的数字驾驶舱”，可以实现场馆的智能化管理，也可借助人行、车行设备系统实现对车辆数据、通行数据、检票数据的流量分析及预警。下列关于大数据，说法正确的是()A.电竞中心采集的大数据数据量庞大,价值密度相对较低B.数字驾驶舱内的数据，都是机器产生的C.5G数字基座内的数据产生速度极快,但处理速度较慢D.对通行、检票数据等进行流量分析及预警时需追求数据的精确性【答案】A第1节大数据提升练习2.大数据的特征包括()①体大②变化快③多样性④价值密度高A.①②③B.①③④C.②③④D.①②④【答案】A数据采集第2节数据采集知识结构第2节数据采集知识点一1、数据采集的方法教材第104页第1：系统日志采集法

在目标主机上安装一个小程序，将目标主机的文本、应用程序、数据库等日志信息有选择地定向推送到日志服务器进行存储、监控和管理。第2节数据采集知识点一1、数据采集的方法教材第104页第1：系统日志采集法➱监视系统中发生的事件➱检查错误发生的原因➱寻找受到攻击时攻击者留下的痕迹第2节数据采集知识点一1、数据采集的方法教材第104页第2：网络数据采集法

通过网络爬虫或者网站公开API等方式从网站上获取数据信息。第2节数据采集知识点一1、数据采集的方法教材第104页第2：网络数据采集法网络爬虫：从一个或若干个初始网页的URL开始，获得初始网页上的URL，在抓取网页的过程中，不断从当前页面上抽取新的URL放入队列，直到满足系统的一定停止条件。第2节数据采集知识点二2、数据采集的工具教材第104页Python网络数据采集第三方库（1）numpy：构建科学计算的软件库。（2）scipy：工程和学科软件库，包括线性代数、和统计等模块。（3）pandas：快速简单的数据操作、聚合和可视化呈现。（4）matplotlib：2D绘图库。第2节数据采集知识点二2、数据采集的工具教材第104页第三方库导入模块方式第2节数据采集知识点三3、数据存储方式教材第107-108页（1）把数据存在本地内部（2）把数据放在第三方公共或私有的“云端”存储第2节数据采集知识点四4、数据的保护教材第108-109页数据安全保护指：数据不被破坏、更改、泄露或丢失。数据安全保护技术（1）安装杀毒软件和防火墙（2）拷贝、备份、复制、镜像、持续备份等技术只能防备数据安全隐患此方法更彻底、有效第2节数据采集知识点四4、数据的保护教材第108-109页加密技术通常分为对称式加密和非对称式加密两大类。（1）对称式加密指加密和解密用的是同一个密钥。（2）非对称式加密指加密和解密用的是两个不同的密钥，必须配对使用，否则不能打开加密数据。数据安全保护技术第2节数据采集知识点四4、数据的保护教材第108-109页

隐私泄露的问题不是大数据时代特有的，在没有大数据的时候，我们就已经有很多隐私泄露的问题。数据的隐私保护第2节数据采集知识点四4、数据的保护教材第108-109页（1）技术手段①数据收集时进行数据精度处理②数据共享时进行访问控制③数据发布时进行人工加扰④数据分析时进行数据匿名处理数据的隐私保护第2节数据采集知识点四4、数据的保护教材第108-109页（2）提高自身的保护意识（3）对数据使用者进行道德和法律的约束数据的隐私保护第2节数据采集提升练习1．下列有关数据采集的说法,错误的是()A.现如今数据的获取以机器获取为主B.网络爬虫可在短时间内获取大量来自自然信源的数据C.日常生活中常利用传感器获取数据D.户可通过应用程序接口从互联网上采集所需数据【答案】B第2节数据采集提升练习2．学校需要统计高中一年级新生对冬装、夏装校服的需求并进行订购，下列数据采集方式不恰当的是()A.政教处到各班级现场统计B.各班班主任班会课统计后汇总C.学生家长填写学校发放的在线问卷D.咨询其他学校【答案】D数据分析第3节数据分析知识结构第3节数据分析知识点一

在一大批杂乱无章的数据中，运用数字化工具和技术，探索数据内在的结构和规律，构建数学模型，并进行可视化表达，通过验证将模型转化为知识，为诊断过去、预测未来发挥作用。1、数据分析的定义教材第111页第3节数据分析知识点二2、数据分析的组成教材第112页（1）特征探索①对数据进行预处理②发现和处理缺失值、异常数据③绘制直方图④观察分析数据的分部特征⑤求最大值、最小值、极差等描述性统计量第3节数据分析知识点二2、数据分析的组成教材第113页（2）关联分析

分析并发现存在于大数据之间的关联性或相关性，从而描述一个事物中某些属性同时出现的规律和模式。

常见案例：超市某些商品捆绑促销，新高考选修学科的选择。第3节数据分析知识点二2、数据分析的组成教材第115页（3）聚类分析

一种探索性分析，不必事先给出分类标准，从样本数据出发，自动进行分类，进而达到“物以类聚，人以群分”的效果。

常见的算法：K-Means算法，自下而上的聚类分析方法。第3节数据分析知识点二2、数据分析的组成教材第115页（4）建立模型（5）模型评价第3节数据分析知识点三3、数据分类教材第116页

是数据分析处理中最基本的方法，基于样本数据先训练构建分类函数或者分类模型，该分类器具有将待分类数据项映射到某一特点类别的功能。

常见的数据分类技术：贝叶斯分类技术第3节数据分析知识点三3、数据分类教材第116页（1）人物：贝叶斯，英国数学家（2）条件概率：是指事件A在另外一个事件B已经发生条件下的发生概率，表示为P（A|B），读作“在B的条件下A的概率”。（3）贝叶斯发现在事件B出现的前提下事件A出现的概率，等于事件A出现的前提下事件B出现的概率乘以事件A出现的概率再除以事件B出现的概率。贝叶斯分类技术第3节数据分析知识点三3、数据分类教材第116页贝叶斯定理贝叶斯分类技术第3节数据分析提升练习1．以下哪个不是数据分析过程中可能遇到的问题?()A.数据缺失B.数据不一致C.数据过时D.数据过多【答案】D第3节数据分析提升练习2．数据分析的主要用途是()A.数据存储B.数据加密C.信息提取D.数据展示【答案】C数据可视化表达第4节数据可视化表达知识结构第4节数据可视化表达知识点一

以图形、图像、地图、动画等生动、易于理解的方式展示数据和诠释数据之间的关系、趋势与规律等，以便更好地理解数据。1、数据可视化的定义教材第119页第4节数据可视化表达知识点二2、数据可视化呈现类型教材第119页（1）探索类帮助人们发现数据背后的价值（2）解释类简单明了地呈现数据第4节数据可视化表达知识点三（1）有关趋势的分析：分组柱形图、堆叠柱形图、折线图、柱线混合图（2）有关比例的分析：百分比圆环图、饼图、圈图、堆叠面积图（3）有关逻辑关系的分析：散点图、雷达图、网络关系图、词云（4）有关空间关系的分析：数据地图、动态热力图、3D动态显示图3、数据分析类型以及对应的可视化呈现教材第119页第4节数据可视化表达知识点四4、数据可视化表达的工具教材第120-121页（1）Seaborm主要关注统计模型的可视化,基于且高度依赖Matplotib（2）Bokeh

能实现交互式可视化，独立于Matplotib,能通过浏览器与数据驱动文档的风格呈现。第4节数据可视化表达提升练习1．在Excel中，若要直观的呈现全校