大数据可视化技术与应用 课件 第2章 数据可视化基础、拓展

第2章数据可视化基础可视化流程原始数据数据分析准备好的数据过滤重点数据可视映射几何数据渲染绘制图像数据可视化流程数据采集可视化的对象是数据，而采集的数据涉及数据格式、维度、分辨率和精确度等重要特性，这些都决定了可视化的效果。数据处理和变换原始数据中含有噪声和误差，还会有一些信息被隐藏。可视化之前需要将原始数据转换成用户可以理解的模式和特征并显示出来。可视化流程可视化映射让用户通过可视化结果去理解数据信息以及数据背后隐含的规律。将数据的数值、空间坐标、不同位置数据间的联系等映射为可视化视觉通道的不同元素，如标记、位置、形状、大小和颜色等。因此可视化映射是与数据、感知、人机交互等方面相互依托，共同实现的。用户感知可视化映射后的结果只有通过用户感知才能转换成知识和灵感。用户从数据的可视化结果中进行信息融合、提炼、总结知识和获得灵感。数据可视化可让用户从数据中探索新的信息，也可证实自己的想法是否与数据所展示的信息相符合。可视化设计工具和原则可视化数据组织与管理工具可视化设计原则可视化数据组织与管理工具分布式文件系统分布式文件系统是指文件在物理上可能被分散存储在不同地点的节点上，各节点通过计算机网络进行通信和数据传输，但在逻辑上仍然是一个完整的文件。用户在使用分布式文件系统时，无须知道数据存储在哪个具体的节点上，只需像操作本地文件系统一样进行管理和存储数据即可。文档存储文档存储支持对结构化数据的访问，一般以键值对的方式进行存储。文档存储模型支持嵌套结构。例如，文档存储模型支持XML和JSON文档，字段的“值”又可以嵌套存储其他文档。Mongodb数据库通过支持在查询中指定JSON字段路径实现类似的功能。可视化数据组织与管理工具列式存储列式存储是指以流的方式在列中存储所有的数据。列式数据库把一列中的数据值串在一起存储，然后再存储下一列的数据，以此类推。列式数据库由于查询时需要读取的数据块少，所以查询速度快。因为同一类型的列存储在一起，所以数据压缩比高，简化了数据建模的复杂性。但它是按列存储的，插入更新的速度比较慢，不太适合用于数据频繁变化的数据库。它适合用于决策支持系统、数据集市、数据仓库，不适合用于联机事务处理（OLTP)键值存储键值存储，即Key-value存储，简称KV存储。它是NOSQL存储的一种方式。它的数据按照键值对的形式进行组织、索引和存储。键值存储能有效地减少读写磁盘的次数，比SQL数据库存储拥有更好的读写性能。可视化数据组织与管理工具图形数据库当事物与事物之间呈现复杂的网络关系（这些关系可以简单地称为图形数据）时，最常见例子就是社会网络中人与人之间的关系，用关系型数据库存储这种“关系型”数据的效果并不好，其查询复杂、缓慢，并超出预期，而图形数据库的出现则弥补了这个缺陷。关系数据库关系模型是最传统的数据存储模型，数据按行存储在有架构界定的表中。表中的每个列都有名称和类型，表中的所有记录都要符合表的定义。用户可使用基于关系代数演算的结构化查询语言（StructuredQueryLanguage,SQL）提供相应的语法查找符合条件的记录，通过表连接在多表之间查询记录，表中的记录可以被创建和除，记录中的字段也可以单独更新。可视化数据组织与管理工具内存数据库内存数据库（MainMemoryDatabase,MMDB）就是将数据放在内存中直接操作的数据库。相对于磁盘数据，内存数据的读写速度要高出几个数量级。MMDB的最大特点是其数据常驻内存，即活动事务只与实时内存数据库的内存数据“打交道”，所处理的数据通常是“短暂”的，有一定的有效时间，过时则有新的数据产生。所以，实际应用中采用内存数据库来处理实时性强的业务逻辑。可视化设计原则数据筛选原则可视化展示的信息要适度，以保证用户获取数据信息的效率。数据到可视化的直观映射原则设计者能够在可视化设计时预测用户在使用可视化结果时的行为和期望，就可以提高可视化设计的可用性和功能性，有助于帮助用户理解可视化结果。设计者利用已有的先验知识可以减少用户对信息的感知和认知所需的时间。视图选择与交互设计原则简单的数据可以使用基本的可视化视图，复杂的数据则需要使用或开发新的较为复杂的可视化视图。可视化设计原则美学原则可视化设计者在完成可视化的基本功能后，需要对其形式表达（可视化的美学）方面进行设计。有美感的可视化设计会更加吸引用户的注意，促使其进行更深入的探索。适当运用隐喻原则用一种事物去理解和表达另一种事物的方法称为隐喻（metaphor)，隐喻作为一种认知方式，参与人对外界的认知过程。颜色与透明度选择原则颜色在数据可视化领域通常被用于编码数据的分类或定序属性。有时，为了便于用户在观察和探索数据可视化时从整体进行把握，可以给颜色增加一个表示不透明度的分量通道，用于表示离观察者更近的颜色对背景颜色的透过程度。谢谢大家第2章数据可视化拓展主要内容空间场数据可视化地理数据可视化时变数据可视化树结构可视化图结构可视化空间场数据可视化

空间场数据根据空间的维度与属性值的特征共同命名多元结构→属性值多维结构→空间的维度湿度数据——三维标量场风场数据——三维矢量场

核磁数据——三维张量场空间数据可视化单元格结构与在空间中进行采样的方法息息相关，进行采样时单元格的划分策略称为栅格常见的采样策略包括以相同间隔采样的均匀栅格，非均匀分布的直线型栅格，基于地理坐标的采样等虽然空间场数据通过采样的形式获取，但它的值并非对应某个特定的点，而是对空间中一定范围的度量，所有的采样连续且相邻的分布在整个空间域中地理数据的可视化地图投影：将地理信息数据投影到地球表面的方法地图投影是地理数据可视化的基础•目的是将球面映射到某种曲面上，将球面上的每一个点与平面某点建立对应关系，即实现球面的参数化地理数据的可视化常见的地图投影方法墨卡托投影——等角度投影地理数据的可视化常见的地图投影方法墨卡托投影——等角度投影地理数据的可视化常见的地图投影方法阿尔伯斯投影——等面积圆锥投影地理数据的可视化常见的地图投影方法方位角投影地理数据的可视化对象属性信息的表达：对不同类型的地理数据使用不同种类的表达方法时变数据的可视化随时间变化，带有时间属性的数据称为时变数据主要分为两类以时间轴排列的时间序列数据：股票走势图、奥运会的日程不以时间为变量，但具有内在的排列顺序：文本、DNA测序时变型数据特点实际应用中量大、维数多、变量多，而且类型丰富，分布范围广泛时变数据的可视化时变化数据的可视化涉及三个维度：表达、比例和布局时变数据的可视化表达维度线性以典型的阅读方式呈现内容；将时间数据作为二维的线图显示；x轴表示时间、y轴表示其他的变量。径向将时间序列编码为弧形；沿圆周排列；适合呈现周期性的时变型数据。比如：南丁格尔玫瑰图。网格和日历相对应；一般采用表格映射的方式。螺旋可用条形、线条或数据点、沿着螺旋路径显示。随机两类：1、基于排版形式的随机；2、时间曲线的随机，使相似的时间点彼此接近。时变数据的可视化比例维度比例维度（按时间顺序）可以被用来表示事件的顺序，或者事件的持续时间。相对顺序是指存在一个基线事件在时间零点，可以被用在多时间线的对比。对数的比列从按时间的前后顺序排列的比例转换而来，强调了最早的或最近的事件，对数比例适用于长范围或不均匀的事件布局。次序，次序比例中连续事件之间的距离是相等的，只表达事件的顺序。次序+中间时长，这种形式可以用来表示长时间和不均匀分布的事件。时变数据的可视化布局维度单一时间线多个时间线分段时间线，在这种形式中，一个时间线被有意义的进行划分，进行另一种形式的比较。多个时间线加上分段时间线，指不同属性时间线加上分割的时间段，可以进行多种形式的比较。树结构的可视化树结构：表达个体间的层次关系树结构的可视化树结构表达方法：结点链接法：结构清晰空间嵌套填充法：有效利用空间混合方法：既结构清晰又有效利用空间图结构的可视化并不具有自底向上或自顶向下的层次结构表达的关系更加自由和复杂社交网络、电话网络、邮件网络、合作网络等图结构的可视化节点链接法(Node-Link)