数据可视化技术解读

1、 数据可视化技术解读IT与领导和业务的沟通神器目 录 TOC o 1-3 h z u HYPERLINK l _Toc535522055 1.数据可视化是什么 PAGEREF _Toc535522055 h 3 HYPERLINK l _Toc535522056 1.1.大数据可视化的基本概念 PAGEREF _Toc535522056 h 3 HYPERLINK l _Toc535522057 2.功能与形式 PAGEREF _Toc535522057 h 4 HYPERLINK l _Toc535522058 3.快速的解读 PAGEREF _Toc535522058 h 4 HYPERL

2、INK l _Toc535522059 4.数据可视化产生生产力 PAGEREF _Toc535522059 h 4 HYPERLINK l _Toc535522060 4.1.选择合适的图表类型 PAGEREF _Toc535522060 h 6 HYPERLINK l _Toc535522061 4.2.易用的、多维度的交互分析 PAGEREF _Toc535522061 h 7 HYPERLINK l _Toc535522062 4.3.预警功能 PAGEREF _Toc535522062 h 8 HYPERLINK l _Toc535522063 5.大数据可视化的实施 PAGEREF

3、 _Toc535522063 h 8 HYPERLINK l _Toc535522064 5.1.需求分析 PAGEREF _Toc535522064 h 9 HYPERLINK l _Toc535522065 5.2.建设数据仓库/数据集市的模型 PAGEREF _Toc535522065 h 10 HYPERLINK l _Toc535522066 5.3.数据抽取、清洗、转换、加载(ETL) PAGEREF _Toc535522066 h 10 HYPERLINK l _Toc535522067 5.4.建立可视化场景 PAGEREF _Toc535522067 h 11 HYPERLI

4、NK l _Toc535522068 6.大数据可视化的挑战分析 PAGEREF _Toc535522068 h 11数据可视化是什么广义上，可视化无处不在。网站是数据可视化, 背后是数据库密密麻麻的数据表, 到了浏览器就是浅显易懂的页面；淘宝是商品的可视化, 上面有价格、发货地种种过滤器；微信是实时数据的可视化, 围起了你的社交网络, 让你一眼看到最新的消息流。狭义上的数据可视化, 更多是纯图形去代表数据, 也有很多分类。大数据可视化的基本概念数据空间。由n维属性、m个元素共同组成的数据集构成的多维信息空间。数据开发。利用一定的工具及算法对数据进行定量推演及计算。数据分析。对多维数据进行切片

5、、块、旋转等动作剖析数据，从而可以多角度多侧面的观察数据。数据可视化。将大型数据集中的数据通过图形图像方式表示，并利用数据分析和开发工具发现其中未知信息。舆论有时候会制造一些新的名词：大数据、 o2o、云计算, 也包括数据可视化, 但看起来日新月异的变化背后, 是我们的认识稳定而缓慢的变化, 真正改变三观的创新其实不多。小学的教科书里就有折线图, 后来有了excel可以在电脑里画, 这几年你打开某某大数据产品, 长得还是差不多, 只是点一下会有交互存在。功能与形式有时, 数据可视化给人的感受是 真厉害！然后, 然后就没有然后了也有人说, 你就一美工, 有啥用呢？虽然我们工作也经常做show为主

6、的可视化, 但长期而言, 可视化最好是一种有用的东西。快速的解读不同的感官获取的速度和效率是不一样的, 面对一张密密麻麻的数据表, 你可能很难判断最大的数字在哪里, 但你给加个颜色就一目了然：哪里最大, 哪里最小, 趋势怎样。如果我们把数据信号转化成感觉, 你看上面的表格的时候, 你先认知了表格的数字, 再转化成数字信号, 远不如看颜色一目了然。这点很像GPU和CPU的关系, GPU处理图形超快, 但处理逻辑多的任务就歇菜了, CPU可以处理复杂的任务, 但复杂的画图就累瘫了, 存在意味着合理, 合理意味着该用啥就用啥。数据可视化产生生产力数据可视化之所以会大受欢迎，其原因不仅在于能带给用户良

7、好的的视觉效果，更因为它能够产生生产力，形成数据驱动闭环，主要包含以下几个阶段：技术人员运用技术手段将需求分析、基础数据整合、数据计算等操作结合到一起进行数据可视化，实时监控数据的变化情况。用户能够使用这些可视化图表，进行分析、对比等操作，定位业务问题。之后再结合业务变动提出新的需求。技术人员将用户访问数据与新的业务需求结合，重新进行数据整合、分析、计算，循环往复下去。如下图所示：图1. 数据驱动闭环实现用数据可视化的方式不断驱动业务的提升，产生生产力、创造收益。如何使数据可视化产生生产力满足这一目的的前提在于：创造出都能读懂、易于操作、能够提前预警的图表。关键因素有以下几点：选择合适的图表类

8、型选择图表的时候，许多人认为基本图表太过简单，不够高端大气，因而更倾向选择复杂的图表类型。实际上越简单的图表越容易理解，对用户的友好程度越高。只要能够高效清楚地传达业务含义，就应该优先选择。要想让受众读懂图表所表达的业务含义，就要选择合适的图表类型。在选择时，首先需要清楚的知道不同图表的优劣以及它们适合的应用场景；除此之外尽量选择一些简单的、易于理解的图表类型。但这不意味着不能选择复杂的图表类型，有的图表虽然看起来比较复杂，但是却能很好的反映一些业务场景，再辅助一些文字说明等其他手段，降低用户的使用难度，也未尝不可。选择图表时，以业务为基础。只要能够清晰地表达业务数据背后含义，不让用户产生歧义

9、，都值得考虑。易用的、多维度的交互分析随着数据类型的多样化，数据间的关联关系也越来越复杂。仅仅展示单维度的数据，是无法让用户轻易发现数据之间的联系、挖掘出更多业务价值的。同样，若是交互方式过于复杂，也只会增加用户的使用难度而已，不利于业务长期发展。因此易操作的、多维度的交互分析对于数据可视化来说必不可少。多维度的分析方式有很多种，以下是常见的几种：钻取：将汇总数据拆分到更细节的数据；在维的不同层次间的变化，从上层降到下一层。上卷：钻取的逆操作，即从细粒度数据向高层的聚合。切片：选择维中特定的值进行分析。切块：选择维中特定区间的数据或者某批特定值进行分析。筛选：通过不同的维度或者类别过滤出用户想

10、要的数据。联动：若干个相关联的图表，一个图表发生变化，其他的也会跟着发生变化。有选择的将不同交互方式进行结合，能够发挥出更强大的作用。再辅助高效灵活的追加合并、拖曳式操作进行数据的挖掘分析，就可以帮助用户快速定位问题，释放劳动力，提升效率，不再需要程序员花费大量精力在日志文件中寻找问题的原因。同时通过各类数据的横向、纵向对比，业务人员能够从中挖掘出更多的业务需求，创造更大的商业价值。预警功能数据可视化除了能够帮助定位已有的问题，更大的价值是能够及时预警。一旦数据出现异常或者是提前预定义的一些条件被满足时，警报就会被触发，提前预警。通过设置报警方式、报警策略、报警等级等等，根据紧急程度用不同的方

11、式通知特定的人群。这样在问题发生之前，就能预先做好防护措施；或者在问题发生的时候，能够及时通知负责人，尽快解决问题。这样不仅能缩短反馈周期（发现问题找到责任人定位问题解决问题），也能降低对用户的影响，提升用户对产品的信任度，很好的降低业务损失。大数据可视化的实施大数据可视化的实施是一系列数据的转换过程，如下图所示：我们有原始数据，通过对原始数据进行标准化、结构化的处理，把它们整理成数据表。将这些数值转换成视觉结构(包括形状、位置、尺寸、值、方向、色彩、纹理等)，通过视觉的方式把它表现出来。例如将高中低的风险转换成红黄蓝等色彩，数值转换成大小。将视觉结构进行组合，把它转换成图形传递给用户，用户通

12、过人机交互的方式进行反向转换，去更好地了解数据背后有什么问题和规律。从技术上来说，大数据可视化的实施步骤主要有四项：需求分析，建设数据仓库/数据集市模型，数据抽取、清洗、转换、加载(ETL)，建立可视化分析场景。需求分析需求分析是大数据可视化项目开展的前提，要描述项目背景与目的、业务目标、业务范围、业务需求和功能需求等内容，明确实施单位对可视化的期望和需求。包括需要分析的主题、各主题可能查看的角度、需要发泄企业各方面的规律、用户的需求等内容。建设数据仓库/数据集市的模型数据仓库的模型是在需求分析的基础上建立起来的。数据仓库建模除了数据库的ER建模和关系建模，还包括专门针对数据仓库的维度建模技术

13、。维度建模的关键在于明确下面四个问题：哪些维度对主题分析有用?如何使用现有数据生成维表?用什么指标来度量主题?如何使用现有数据生成事实表?数据抽取、清洗、转换、加载(ETL)数据抽取是指将数据仓库需要的数据从各个业务系统中抽离出来，因为每个业务系统的数据质量不同，所以要对每个数据源建立不同的抽取程序，每个数据抽取流程都需要使用接口将元数据传送到清洗和转换阶段。数据清洗的目的是保证抽取的原数据的质量符合数据仓库的要求并保持数据的一致性。数据转换是整个ETL过程的核心部分，主要是对原数据进行计算和放大。数据加载是按照数据仓库模型中各个实体之间的关系将数据加载到目标表中。建立可视化场景建立可视化场景是对数据仓库中的数据进行分析处理的成果，用户能够借此从多个角度查看企业的运营状况，按照不同的主题和方式探查企业业务内容的核心数据，从而作出更精准的预测和判断。大数据可视化的挑战分析大数据可视化面临的挑战主要指可视化分