知识点数据可视化概述拓展

第1章数据可视化拓展主要内容数据可视化的基本流程数据可视化身边案例优秀案例展示一、数据可视化的基本流程1、数据采集2、数据处理和变换3、可视化映射4、人机交互5、用户感知1、数据采集数据采集是数据分析和可视化的第一步，俗话说“巧妇难为无米之炊”，数据采集的方法和质量，很大程度上就决定了数据可视化的最终效果。数据采集的分类方法有很多，从数据的来源来看，可以分为内部数据采集和外部数据采集。1、数据采集（1）内部数据采集：指的是采集企业内部经营活动的数据，通常数据来源于业务数据库，如订单的交易情况。如果要分析用户的行为数据、APP的使用情况，还需要一部分行为日志数据，这个时候就需要用「埋点」这种方法来进行APP或Web的数据采集。（2）外部数据采集：指的数通过一些方法获取企业外部的一些数据，具体目的包括，获取竞品的数据、获取官方机构官网公布的一些行业数据等。获取外部数据，通常采用的数据采集方法为「网络爬虫」。1、数据采集以上的两类数据采集方法得来的数据，都是二手数据。而在市场调研和科学研究中，常常需要一手数据，需要通过调查和实验来采集数据。2、数据处理和变换数据处理和数据变换，是进行数据可视化的前提条件，包括数据预处理和数据挖掘两个过程。一方面，通过前期的数据采集得到的数据，不可避免的含有噪声和误差，数据质量较低；另一方面，数据的特征、模式往往隐藏在海量的数据中，需要进一步的数据挖掘才能提取出来。2、数据的处理和变换常见的数据质量问题包括：（1）数据收集错误，遗漏了数据对象，或者包含了本不应包含的其他数据对象。（2）数据中的离群点，即不同于数据集中其他大部分数据对象特征的数据对象。（3）存在遗漏值，数据对象的一个或多个属性值缺失，导致数据收集不全。（4）数据不一致，收集到的数据明显不合常理，或者多个属性值之间互相矛盾。例如，体重是负数，或者所填的邮政编码和城市之间并没有对应关系。（5）重复值的存在，数据集中包含完全重复或几乎重复的数据。2、数据的处理和变换正是因为有以上问题的存在，直接拿采集的数据进行分析or可视化，得出的结论往往会误导用户做出错误的决策。因此，对采集到的原始数据进行数据清洗和规范化，是数据可视化流程中不可缺少的在大数据时代，我们所采集到的数据通常具有4V特性：Volume（大量）、Variety（多样）、Velocity（高速）、Value（价值）。如何从高维、海量、多样化的数据中，挖掘有价值的信息来支持决策，除了需要对数据进行清洗、去除噪声之外，还需要依据业务目的对数据进行二次处理。常用的数据处理方法包括：降维、数据聚类和切分、抽样等统计学和机器学习中的方法。一环。3、可视化映射对数据进行清洗、去噪，并按照业务目的进行数据处理之后，接下来就到了可视化映射环节。可视化映射是整个数据可视化流程的核心，是指将处理后的数据信息映射成可视化元素的过程。可视化元素由3部分组成：可视化空间+标记+视觉通道3、可视化映射-可视化空间数据可视化的显示空间，通常是二维。三维物体的可视化，通过图形绘制技术，解决了在二维平面显示的问题，如3D环形图、3D地图等。标记，是数据属性到可视化几何图形元素的映射，用来代表数据属性的归类。根据空间自由度的差别，标记可以分为点、线、面、体，分别具有零自由度、一维、二维、三维自由度。如我们常见的散点图、折线图、矩形树图、三维柱状图，分别采用了点、线、面、体这四种不同类型的标记。3、可视化映射-标记数据属性的值到标记的视觉呈现参数的映射，叫做视觉通道，通常用于展示数据属性的定量信息。常用的视觉通道包括：标记的位置、大小（长度、面积、体积...）、形状（三角形、圆、立方体...）、方向、颜色（色调、饱和度、亮度、透明度...）等。「标记」、「视觉通道」是可视化编码元素的两个方面，两者的结合，可以完整的将数据信息进行可视化表达，从而完成可视化映射这一过程。3、可视化映射-视觉通道4、人机交互可视化的目的，是为了反映数据的数值、特征和模式，以更加直观、易于理解的方式，将数据背后的信息呈现给目标用户，辅助其作出正确的决策。但是通常，我们面对的数据是复杂的，数据所蕴含的信息是丰富的。如果在可视化图形中，将所有的信息不经过组织和筛选，全部机械的摆放出来，不仅会让整个页面显得特别臃肿和混乱，缺乏美感；而且模糊了重点，分散用户的注意力，降低用户单位时间获取信息的能力。常见的交互方式包括：（1）滚动和缩放：当数据在当前分辨率的设备上无法完整展示时，滚动和缩放是一种非常有效的交互方式，比如地图、折线图的信息细节等。但是，滚动与缩放的具体效果，除了与页面布局有关系外，还与具体的显示设备有关。（2）颜色映射的控制：一些可视化的开源工具，会提供调色板，如D3。用户可以根据自己的喜好，去进行可视化图形颜色的配置。这个在自助分析等平台型工具中，会相对多一点，但是对一些自研的可视化产品中，一般有专业的设计师来负责这项工作，从而使可视化的视觉传达具有美感。4、人机交互（3）数据映射方式的控制：这个是指用户对数据可视化映射元素的选择，一般一个数据集，是具有多组特征的，提供灵活的数据映射方式给用户，可以方便用户按照自己感兴趣的维度去探索数据背后的信息。这个在常用的可视化分析工具中都有提供，如tableau、PowerBI等。（4）数据细节层次控制：比如隐藏数据细节，hover或点击才出现。4、人机交互5、用户感知可视化的结果，只有被用户感知之后，才可以转化为知识和灵感。用户在感知过程，除了被动接受可视化的图形之外，还通过与可视化各模块之间的交互，主动获取信息。如何让用户更好的感知可视化的结果，将结果转化为有价值的信息用来指导决策，这个里面涉及到的影响因素太多了，心理学、统计学、人机交互等多个学科的知识。二、数据可视化案例分析数据可视化听起来距离我们很遥远，但是其实经过上面的介绍，我们能够发现，数据可视化其实就在我们身边。二、数据可视化案例分析——身边的案例篮球赛的投篮点统计：实验的数据处理：Origin，matlab等软件作图二、数据可视化案例分析——身边的案例约翰霍普金斯大学的新冠疫情可视化统计：二、数据可视化案例分析——身边的案例三、案例展示——优秀案例按年龄组划分的美国人口百分比这是如何以令人信服的方式呈现单个数据集的好例子。PewResearch创建了这个动画，以显示人口统计数据随时间的变化。这种类型的微内容很容易在社交上分享或嵌入到博客中，从而扩展了内容的传播范围。美国风图：它实时显示了美国所有当前的风速和方向。这是直观设计的一个很好的例子：速度由缓慢或快速移动的线条表示，方向由线条移动的方向表示。三、案例展示——优秀案例谷歌感恩节航班：这是一种在给定时间内，将太空中移动的东西进行可视化的好方法。这个由Google趋势提供支持，该趋势跟踪了感恩节前一天飞往美国的航班。从第一天开始，随着时间的推移像电影一样播放，显示在全国各地移动的航班。在没有显示任何数字的情况下，观众可以看到一天中哪些时段更适合国际航班，国内航班以及往返全国不同枢纽的航班。三、案例展示——优秀案例U.S.GunDeaths：在这个案例中，每一条线的灰色代表是一个人原来可以活到多少岁，但因为枪支却提前死亡了，死之前用桔色表现。一开始只是一两条线来让用户说明线条的含义，然后突然加快速度若干线线条一起出现，每条线条的颜色汇集在一起，从而直观的表现出因为枪支死亡的是中青年。三、案例展示——优秀案例“ListentoWikipedia”是对维基百科最近更新数据的视觉和声音展示网站。用声音表示增加或删除词，不同的音调代表不同的编辑量。绿色圆圈表示未注册的贡献者在编辑，紫色圆圈表示自动机器人在编辑。所有的用户都会产生一些小噪音，而每个编辑者会有一个特别的声音。三、案例展示——优秀案例“TheRefugeeProject”是阐