大数据及数据可视化分析

1、大数据及数据可视化分析汇报内容一、相关背景二、可视化分析介绍 三、目前相关工作信息爆炸科学数据爆炸Sloan Digital Sky SurveyATLUM / Connectome ProjectBig Data（抽样大数据(big data)，指的是所涉及的数据信息量规模 巨大到无法通过目前主流软件工具，在合理时间内 达到撷取、管理、处理、并整理成为帮助企业经营 决策更积极目的的资讯。(在维克托迈尔-舍恩伯格及肯尼斯库克耶编写的大数据时代中大数据指不用随机分析法 调查）这样的捷径，而采用所有数据的方法）“数据是新的石油。”-Andreas Weigend（Amazon前首席科学家）“当时时

2、变幻的、海量的数据出现在眼前，是怎样一 幅壮观的景象？在后台注视着这一切，会不会接近上 帝俯视人间星火的感觉？”大数据是如此重要，以至于其获取、储存、搜索、共 享、分析，乃至可视化地呈现，都成为了当前重要的 研究课题。Big Data特点（4V）PB-EB-ZBVolume 数据量大大数据的起始计量单位Variety 类型繁多包括网络日志、音频、视频、图片、地理位置信息、科学、医学等多类 型数据，对数据处理能力提出了更高要求。Value价值密度低 信息海量，但价值密度较低价值高 只要合理利用数据并对其进行正确、准确的分析，将会带来很高 的价值回报。处理速度快，时效性要求高。区分于传统数据Vel

3、ocity 速度快时效高挖掘最显著的特征。对大数据的关注越来越多的政府、企业等机构开始意识到数据正在成为组织最重要的 资产，数据分析能力正在成为组织的核心竞争力。1、2013年3月22日，奥巴马政府宣布投资拉动大数据相关产业发展，将 “大数据战略”上升为国家意志。2、2012年,联合国发布大数据政务白皮书。3、最为积极的:众多的IT企业IBMPC软件和服务大数据分析软件(全新业务增长点)。百度、腾讯、阿里巴巴数据为王Big Data相关内容大数据技术从多种类型数据中，快速获得有价值信息的能力大数据工程大数据的规划建设运营管理的系统工程大数据科学大数据网络发展和运营过程中发现和验证大数据的规律及

4、其 与自然和社会活动之间的关系大数据应用大数据与云HalVarian,Googles Chief Economist The McKinsey Quarterly,Jan 2009“将来几十年中，处理数据的能力将会成为至关重要的 技术理解数据、加工数据、提取数据价值、可视化 数据、与数据交流。因为现在我们的确拥有无处不在 的、可自由获取的数据。”“The ability to take datato be able to understand it, to process it, to extract value from it, to visualize it, to communicate

5、 it thats going to be a hugely important skill in the next decades,. because now we really do have essentially free and ubiquitous data.”汇报内容一、相关背景二、可视化分析介绍 三、目前相关工作可视化(Visualization)利用计算机图形学和图像处理技术，将数据转换成图形或图像在屏幕 上显示出来，并进行交互处理的理论、方法和技术。涉及到计算机图形学、图像处理、计算机视觉、计算机辅助设计等多 个领域，成为研究数据表示、数据处理、决策分析等一系列问题的综 合

6、技术。虚拟现实技术:以图形图像的可视化技术为依托科学可视化 信息可视化 数据可视化可视化样例treemap可视化样例：地图Konya town map,Turkey,c.6200 BCAnaximander of Miletus,c.550 BCMilestones Project http:/www.math.yorku.ca/SCS/Gallery/milestone/记录信息分析推理 证实假设 交流思想可视化的作用可视化的作用：记录信息Galileo Galilei,1616Leonardo DaVinci,ca.1500引用：The History ofVisual Communica

7、tion The Galileo Project,Rice UniversityWilliam Curtis (1746-1799)记录信息E.J.Muybridge,1878可视化的作用：记录信息Photo Finishes: Information Rich Roger von Oech感知海洋.avi可视化作用：记录信息后现代主义新闻可视化的作用：分析推理HalleysWind Map,1686Planetary Movement Diagram,c.950可视化的作用：分析推理W.Playfair,1786W.Playfair,1801可视化的作用：分析推理M.Wattenberg,2

8、005可视化的作用：抽象London Subway Map,1927Harry Beck,1933NewYorkTimes,2010可视化的作用：展示隐含模式E.Tufte,Writings,Artworks,NewsC.J.Minard,1869可视化的作用：展示隐含模式E.Tufte,Visual Explanations,1997John Snow,1854可视化的作用：展示隐含模式NYTimes可视化的作用：展示隐含模式可视化的作用：传播思想WoundsOtherPreventableF.Nightingale,CrimeanWar,1856可视化的作用：传播思想可视化的作用：传播思想

9、Hans Rosling,TED 2006可视化的作用：传播思想Aaron Koblin, TED可视化的作用：传播思想Aaron Koblin, TED可视化目标：信可视化目标：达可视化目标：雅汇报内容一、相关背景二、可视化分析介绍 三、目前相关工作所做的相关工作University of Maryland (Visiting Scholar,2013.4-2014.4)1、研修内容与形式Davinci（Data visualization,computing,and interaction）Lab研究内容： 科学可视化；大数据表示、处理与交互在研项目：大脑神经可视化，医学信息、生物信息的可

10、视化与交互应用：协助诊断治疗、病因推导ABI Development: PathBubbles for Dynamic Visualization and Integration of Biological Information(NSF Award Number:1260795 $400,007.00)GV: Small: Collaborative Research: Supporting Knowledge Discovery through a Scientific Visualization Language(NSF Award Number:1302755 $173,593.00）

11、41Project ExampleSource：Effects of Stereo and Screen Size on the Legibility of Three-DimensionalStreamtube Visualization42Sample： PICTURES浅层应用Gephi Gnuplot Tulip用散点图和平行坐标图对一个4维数据进行可视化困惑与尝试Mutual Information、causality、visual clutter、HumMod44蝙蝠飞行数据Department of Ecology and Evolutionary Biology at Brow

12、n UniversityThe marked bats were flown in either Harvard University Concord Field Station Wind Tunnel in Bedford, MA or in a flight corridor at Lubee Bat Conservancy in Gainesville, FL.452、启发与研究以蝙蝠飞行数据及研究方法为基础，SAX+BOP+集成学习方法离散化、网络化、可视化方法Weka、Python、Gnuplot、Tulip46Experiment 1:SAX+BOP+Ensemble4748Experiment 2:时间序列的离散化、网络化 与可视化Duality between Time Series and Networks (Andriana S. L. O. Campanharo,etc.)49网络及可视化结果样例时间序列数据503、下一步工作计划参数选定对特征提取、机器学习、可视化效果的影 响；大规模数据应用效果；与实际应用的结合（ECG、 EEG等医学数据）51Clustering and hierarchical graphsExplore multi-level graphs with Gephi by facilitating exploration and