数据分析与可视化实践- 课件 第1章 数据分析与可视化基础知识

第一章数据分析与可视化基础知识序言PREFACE

常言道，工欲善其事，必先利其器。在数据是资源的时代，人人事事均要靠数据说话，应用计算机进行数据分析与可视化处理已经遍布于人类工作、学习与生活之中。掌握“数据分析与可视化”技术，可以有效构建与提升人类的数据思维及计算机的应用能力。本章以理论结合实践的形式，探讨数据思维在大数据时代的作用及应用，讨论数据分析中的数据到底从何而来、如何针对不同的行业选择不同的数据分析方法、可视化与数据分析之间的关系等，掌握数据分析方法和数据可视化方法应用与实践。PART01数据分析PART02数据可视化目录CONTENTS数据分析1PART01Google首席经济学家、UCBerkeley大学HalVarian教授指出:“数据正在变得无处不在、触手可及;而数据创造的真正价值，在于我们能否提供进一步的稀缺的附加服务，这种增值服务就是数据分析。”未来人们的决策将日益依赖于数据分析的结果，而非单纯的经验和直觉。整体来看，知识的演进层次，可以双向演进。从噪音中分拣出来数据，转化为信息，升级为知识，升华为智慧。数据的背后隐藏着信息，而信息之中蕴含着知识和智慧.大数据作为具有潜在价值的原始数据资产，只有通过深入分析才能挖掘出所需的信息、知识以及智慧。数据分析的认知DIKW知识体系DataInformationKnowledgeWisdom信息是经过加工处理的数据，信息可以看作是数据的解释，是能够对接收者行为产生影响的数据，它可以用于回答特定的问题。智慧是合理的运用知识并进行正确决策、判断的能力。智慧关注的是未来发生的事情，是运用历史的和正在发生的知识去预测、判断未来即将发生的事情。数据是我们身边一切可以感知的、可以被识别的各种形象的符号或者抽象的声音、气味等，数据本身无法回答任何问题，或者说数据本身没有任何具体意义。知识则更进一步，是对信息的应用，知识体现了信息的本质，是对信息集合进行提炼、综合的基础上，获得的经验、判断和理解。数据分析的定义数据分析是将数学、统计学理论结合科学的统计分析方法(如线性回归分析、聚类分析、方差分析、时间序列分析等)对数据库中的数据、Excel数据、收集的大量数据、网页抓取的数据等进行分析，从中提取有价值的信息形成结论并进行展示的过程。数据分析的目的在于将隐藏在一大堆看似杂乱无章的数据背后的有用信息提取出来，总结出数据的内在规律，以帮助在实际工作中的管理者做出决策和判断。数据分析的意义在互联网行业，通过数据分析可以根据客户意向进行商品推荐以及有针对性的投放广告等。在网络安全方面，可以通过数据分析建立一个潜在攻击性的分析模型，监测大量的网络访问数据与访问行为，可以快速地识别出可疑网络的访问，起到有效的防御作用。在医学方面，可以实现智能医疗、健康指数评估以及DNA对比等。在个人生活方面，数据分析可以对个人生活习惯进行分类，为其提供更加周到的个性化服务等。在交通方面，可以根据交通状况数据与GPS定位系统有效地预测交通实时路况信息。在通信方面，数据分析可以统计骚扰电话，进行骚扰电话的拦截与黑名单的设置。数据分析是大数据技术中最重要的一部分，随着大数据技术的不断发展，数据分析将应用于各个行业。数据分析的意义例如，某公司2021年上半年销售收入，如图。作为企业管理者从中可能会得出结论：2021年上半年公司销售业绩稳步增长，公司运营状况良好。但是进一步分析发现，2021年上半年公司销售业绩持续稳步增长的同时，销售成本也大幅度增加，如图所示，公司运营状况是否良好呢？目前无法给出结论。数据分析的意义公司经营活动的目的是获得利润，管理者需要对经营活动进行毛利分析，才能确认“公司经营状况良好”结论是否成立。2021年上半年销售毛利对比毛利率，如图所示，从图中很容易看出3月至6月期间销售毛利额维持不变，毛利率持续下降，3月份下降幅度超过50%。如果这家公司当前的核心目标是提升市场份额，在此期间公司投入大量费用进行产品推广和促销，那么出现这样的毛利率下降就属于正常现象，符合公司扩大市场份额的短期目标。否则毛利率下降就是公司经营出现问题的预警信号，公司管理者应该在保证实现销售业绩增长的同时严格控制销售成本，以期获得更大的利润。数据分析方法侧重于在数据中探索发现数据特征和规律，它是对传统统计学假设检验手段的有益补充。探索性数据分析描述性数据分析是最基础、最初级的，例如，本月收入增加了多少、客户增加了多少、哪个单品销量好都属于描述性数据分析。描述性数据分析验证性数据分析已经确定使用哪种假设模型，通过验证性数据分析来对你的假设模型进行验证。数据分析方法以建模理论为主，包括回归分析法、聚类分析法、相关分析法、矩阵分析法、判别分析法、主成分分析法、因子分析法、对应分析法、时间序列分析法等；高级分析类以基础的统计分析为主，包括对比分析法、同比分析法、环比分析法、定比分析法、差异分析法、结构分析法、因素分析法、七问分析法等;统计分析类数据挖掘类以机器学习，数据仓库等复合技术为主。数据分析方法对比分析法是对客观事物进行比较，以达到认识事物的本质和规律的目的并做出正确的评价。同比分析法是按照时间即年度、季度、月份、日期等进行扩展，用本期实际发生数与同口径历史数字相比，用以揭示发展水平以及及增长速度。七问分析法又叫5W2H分析法，简单、方便，易于理解、实用，富有启发意义，广泛用于企业管理和技术活动，对于决策和执行性的活动措施也非常有帮助，也有助于弥补考虑问题的疏漏。漏斗分析是基于业务流程的一种数据分析模型，也就是说一定是存在着业务的前因后果、前后关联关系的，它能够科学反映用户行为状态以及从起点到终点各阶段用户转化情况，进而可以定位用户流失的环节和原因。常用数据分析方法数据分析步骤123明确目的数据分析获取数据数据处理45678分析报告数据应用数据展现验证结果数据可视化概述2PART02数据可视化概念数据可视化基本原理：技术上，数据可视化最简单的理解，就是数据空间到图形空间的映射。如右侧图所示，一个经典的可视化实现流程，是先对数据进行加工过滤，转变成视觉可表达的形式（VisualForm），然后再渲染成用户可见的视图（View）。数据可视化是以图示或图形格式表示的数据。让决策者可以看到以直观方式呈现的分析，以便他们可以掌握困难的概念或识别新的模式。数据可视化构成要素是由n维属性和m个元素组成的数据集所构成的多维信息空间数据空间是指利用一定的算法和工具对数据进行定量的推演和计算；数据开发指对多维数据进行切片、块、旋转等动作剖析数据，从而能多角度多侧面观察数据；数据分析是指将大型数据集中的数据以图形图像形式表示，并利用数据分析和开发工具发现其中未知信息的处理过程。数据可视化数据可视化应用工具MicrosoftExcel是Microsoft为使用Windows和AppleMacintosh操作系统的电脑编写的一款电子表格软件。Excel数据可视化由Excel衍生而来的PowerBI，整合了ExcelPowerQuery，PowerPivot，PowerView和PowerMap等一系列工具，堪称微软第二次伟大的发明PowerBI数据可视化Tableau是一款完全的数据可视化软件，专注于结构化数据的快速可视化，使用者可以快速地实现数据可视化并构建交互界面，只需将数据直接拖放到工具簿中，通过一些简单的设置就可以获得想要的可视化图形Tableau数据可视化Python是一款开源的编程语言，他利用大量的函数库高效的实现各种应用功能。Python语言的特点是简单、高级、面向对象、可扩展性强、开源免费、可移植性强、函数库丰富、可嵌入性强。因此，Python这种编程语言在数据可视化应用中也有很好的表现。Pyhton数据可视化数据可视化技术的基本思想数据可视化技术的基本思想是将数据库中每一个数据项作为单个图元元素表示，大量的数据集构成数据图像，同时将数据的各个属性值以多维数据的形式表示，可以从不同的维度观察数据，从而对数据进行更深入的观察和分析。数据可视化与信息图形、信息可视化、科学可视化以及统计图形密切相关。当前，在研究、教学和开发领域，数据可视化乃是一个极为活跃而又关键的方面。“数据可视化”这条术语实现了成熟的科学可视化领域与较年轻的信息可视化领域的统一。数据可视化主要是借助于图形化手段，清晰有效地传达与沟通信息。但是，这并不就意味着，数据可视化就一定因为要实现其功能用途而令人感到枯燥乏味，或者是为了看上去绚丽多彩而显得极端复杂。数据可视化的作用数据可视化在工业工程领域的应用，实现了“所见即所得”，通过建模渲染等技术将抽象的符号转化为三维图形，辅助设计师表达，可更为精准地呈现零配件细节，大大降低了出错概率。数据可视化的应用，则将地图打造成为一个虚拟真实的世界，通过放大缩小改变镜头焦距，实现了宏观和微观事物的辨别，带给用户以身临其境般的沉浸感，进一步便捷了现代化生活。数据可视化在教育教学领域的应用，支持学生更为直观地了解知识本身，并借助形象化的图表、图像，帮助其消化理解。同时，课堂数据可视化，还建构了教学关联的课堂数据，通过即时反馈、全局展示、动态累积等多举措并行的方式，表征课堂动态，并由此发现问题，促进了教学改进的良性循环。数据可视化在医学领域的应用，最为常见的当属三维图像可视化，其本身类属于生物医学图像处理技术，如CT、PET等，两者结合辅以可视化手段处理，可以帮助医生更为精准地定位病变体属性，包括大小、形态以及空间位置等，并可分辨其与周围生物组织的关系，从而提升了诊疗效果。地理气象教育教学生命科学工业工程数据可视化流程在进行可视化之前，一般需要把需要可视化的数据进行分类，便于后续根据不同的数据类型进行不同的映射，从而保证映射的准确性。数据分类图形语法是通过图形元素（Geometry）、图形属性（视觉通道）和到数据字段的映射形成的。映射过程一般涉及两个不同的维度，即采用图形元素和视觉通道可分别描述可