大数据分析与应用_数据可视化基础

1、数据可视化基础内容提纲可视化介绍数据科学高维数据可视化什么是可视化？定义定义 使某物、某事可见的动作或事实；对某个原本使某物、某事可见的动作或事实；对某个原本眼睛不可见的事物形成一副可感知的心理图片眼睛不可见的事物形成一副可感知的心理图片或视觉的过程或能力；一副因此而形成的图片或视觉的过程或能力；一副因此而形成的图片. .绘制出可见图片的动作或过程绘制出可见图片的动作或过程. .可视化通过使用电脑，对数据进行交互的可视表达以增强认知 Card, Mackinlay Shneiderman 98 通常被认为是一个生成图形图像的过程，实为认知过程形成某个物体的感知图像强化认知理解 可视化的目的是洞

2、悉，而非图像洞察：发现，决策，解释，分析，探索，学习4可视化的应用范围数据分析技术数据挖掘，数据库查询，机器学习可视化尤擅于探索性数据的分析不知道里面有什么没有一个预先的探索假设想知道存在那些疑问I see what youre saying 我明白你的意思Seeing is believing 眼见为实A picture is worth a thousand words 一图胜千言5为什么我们需要可视化揭示想法和关系揭示想法和关系形成论点或意见形成论点或意见观察事物演化的趋势观察事物演化的趋势总结或积聚数据总结或积聚数据存档、汇整存档、汇整信赖、信任、求真信赖、信任、求真传播知识传播知识探

3、索性数据分析探索性数据分析为什么我们需要可视化回答问题做出决定在上下文里看数据扩充记忆和内存空间支持图形化计算寻找模式展示论据讲故事激发智力和洞察力可视化的三个功能记录信息记录信息成像、蓝图设计、支持对信息的推理和分析支持对信息的推理和分析过程与计算数据推理反馈与交互信息传递信息传递共享与说服协作与修正突出数据的重要部分信息记录 绘图：月亮周期绘图：月亮周期伽利略于1616年关于月亮周期的绘图/sci/observations/moon.html信息记录摄像：月亮周期数据推理：4个数据集X均值 = 9.0 Y均值 = 7.5 最小二乘法回归线方程 y

4、 = 3 + 0.5x误差的平方和 = 110.0X值的方差的回归和 = 27.5均方误差的误差和 (相对于回归线) = 13.75相关系数 = 0.8211数值表示1 2 3 410.0, 8.04 10.0,9.14 10.0, 7.46 8.0, 6.58 8.0, 6.95 8.0,8.14 8.0, 6.77 8.0, 5.7613.0, 7.58 13.0,8.74 13.0,12.74 8.0, 7.719.0, 8.81 9.0,8.77 9.0, 7.11 8.0, 8.84 11.0, 8.33 11.0,9.26 11.0, 7.81 8.0, 8.4714.0, 9.9

5、6 14.0,8.10 14.0, 8.84 8.0, 7.046.0, 7.24 6.0,6.13 6.0, 6.08 8.0, 5.254.0, 4.26 4.0,3.10 4.0, 5.39 19.0,12.5012.0,10.84 12.0,9.13 12.0, 8.15 8.0, 5.567.0, 4.82 7.0,7.26 7.0, 6.42 8.0, 7.915.0, 5.68 5.0,4.74 5.0, 5.73 8.0, 6.891213回答问题Gallop, Bay Horse “Daisy” Muybridge 1884-86其他记录设备Mareys sphygmogra

6、ph脉波计脉波计, , 脉搏记录脉搏记录仪仪from Braun 83支持推理分析: 挑战者号案例 1986年1月28日，美国“挑战者”号航天飞机在升空以后不久爆炸，全世界的人们在电视机前目睹了这一悲壮的情景。这一事件不仅再次向世人表明人类科学技术进步的艰巨与困难，也揭示了复杂组织内部正式的传播系统是何等脆弱。这一灾难的直接起因是两个O形橡胶圈的故障，它们是由犹他州的莫顿塞奥科公司（Morton Thiokol）生产的，用来密封发射器上固体燃料箱上的接缝。“挑战者”号点火升空后，由于气温太低，发射器上的橡胶圈无法按照设计要求迅速膨胀以弥合部件之间的缝隙，导致大量燃气外泄，在主燃料箱上烧穿了一个

7、洞，使这一最先进的航天工具变成了一副燃烧的棺材。在这一显而易见的技术问题背后，人们要追问的是组织决策问题：决策者是否知晓相关技术信息？为何以及在何种情况之下做出了发射决定？也许我们不能将所有问题归咎于传播故障，但是正如“挑战者”号事故调查总统委员会的报告所说:“信息沟通渠道的障碍导致做出了发射的决定，这一决定建立在不完全甚至是使人容易误解的信息基础之上”（转引自Conrad, 2001）。确实，决策失误往往是组织的结构、传播习惯等多种问题积累的结果。支持推理分析决策：Challenger; 由Morton Thiokol传真到 NASA的13页纸中的2页 Tufte 1997支持推理分析Tuf

8、te教授绘制的演示低温如何摧毁O形密封圈 Tufte 97支持推理分析Tufte教授绘制的演示低温如何摧毁O形密封圈 Tufte 97上下文中数据理解上下文中数据理解: : 霍乱流行霍乱流行1854 John Snow Tufte 1983扩充记忆和内存空间: : 乘法计算乘法计算 34 34x 72x 72 68 682380238024482448图示化计算图示化计算: : 水的蒸发水的蒸发Johannes Lambert 采用图来研究水蒸发与温度的关系 Tufte 1983图示化计算图示化计算: : 视觉证据视觉证据奇数的和：1 + 3 + 5 + 7 + 9 = 52Pythagore

9、an 定理定理中国古代的剖切证明寻找模式寻找模式: : 纽约天气纽约天气New York Times 1981展示论据:出口与进口Playfair 1786信息表达双螺旋模型 Watson and Crick 53生理卫生 1918可视化研究的挑战越来越多不可见数据模拟数据数字城市规划流体模拟可视化研究的挑战越来越多不可见数据实测数据Sloan digital sky 传感器网络传感器网络Hill 数字摄像仪可视化研究的挑战越来越多不可见数据信息快速传播可视化研究的挑战越来越多不可见数据20022002年年5 exabytes5 exabytes新信息新信息

10、 Lyman 03Lyman 0320062006年年161 exabytes Gantz 07161 exabytes Gantz 07需要新的更好的工具和算法以传播信息需要新的更好的工具和算法以传播信息注意力“What information consumes is rather obvious: itconsumes the attention of its recipients. Hence awealth of information creates a poverty ofattention, and a need to allocate that attentionefficie

11、ntly among the overabundance ofinformation sources that might consume it.”Herb Simonas quoted by Hal VarianScientific AmericanSeptember 1995可视化研究的目标理解可视化是如何传递给人们的理解可视化是如何传递给人们的人们感知和理解什么？可视化是如何对应于数据的智能模型的？开发能有效创造可视化的原理与技术开发能有效创造可视化的原理与技术 增强认知与感知增强可视化与数据的智能模型之间的联系1. 1. 数据与成像模型数据与成像模型Bertin, Graphics a

12、nd Graphic Information Processing 19812. 2. 好的和坏的可视化好的和坏的可视化谬误的可视化与其修正效果3. 3. 感知感知感应功能的心理物理学 Stevens 614. 4. 交互交互FilmFinder Ahlberg 945. 5. 空间布局空间布局London 地铁 Beck 336. 6. 树与图树与图兴趣度树Heer & Card, 20047. 7. 颜色颜色Cynthia Brewer /faculty/c/a/cab38/ 8. 8. 协同可视化协同可视化Sense.us He

13、er 079. 9. 设计原理设计原理测试三种组装仪器的有效性Heiser 0410. 10. 形状的表意性绘制形状的表意性绘制Lumbosacral and Sacro-iliac fusionRussell Drake, medical illustrator,Mayo Foundation, 1932.11. 11. 结构的表意性绘制结构的表意性绘制Principal Organs & Vascular SystemLeonardo da Vinci ca. 1490上：世界上第一副流场可视化效果-达芬奇下：表意性可视化NASA X38数据12. 12. 摄像摄像Shadowgraph of a .22-caliber bullet in flightTaken by an MIT freshman in 1962, in Edgertons lab. NASA X38数据的模拟物理摄像实验的可视化效果。(a) 二维平切Schlieren效果； (b)60度刀角情况下的Schlieren效果； 圆形Schlieren效果；(d)Shadowgraphy效果13. 13. 过程与动作可视化过程与动作可视化穿着纱丽 Mijksenaar 99舞蹈步骤的可视化 Tufte 9014. 14. 动画动画Outsi