浅谈大数据战略在财政管理中的作用

PAGE11-一、大数据定义分析师早起定义的大数据：资料量（Volume）、资料传输速度（Velocity）、资料类型（Variety）。在此基础上衍生出真实性（Veracity）等V系列。大数据并不是崭新的概念，几十年前科学家就在处理每秒上PB的巨量资料。近几年才出来“大数据”概念，是因为现今要处理的资料量更庞大、资料产生跟处理速度更惊人、资料来源更多样，于是处理、储存大量资料的新技术跟工具快速发展，新技术诞生后，开发者跟使用者需要一个更专业的名词来与之前的科技做出区别，于是‘大数据’诞生了。因此，大数据不只是指资料，也指这些用来分析，处理巨量资料的新兴科技。过去的资料大部分是人工手工记录下来交易资料，现在则是机器替我们记录下来的交易资料，除此外还有人们跟事物、企业间的互动资料，最终都是通过机器自动生成、累积下来的观察资料。大数据是由交易、互动、观察资料所组成的资料型态。大数据定义为：以前因为科技所限而忽略的资料。即暗数据。也有人认为大数据只是商业智慧和商业分析演化后的新字眼。大数据是在多样的或者大量的数据中，迅速获取信息的能力。必须在尽可能短的时间内发掘出价值。大数据的核心能力是发现规律和预测未来。大数据是任何超过了一台计算机处理能力的数据量。搜集行为数据，进一步挖掘分析，就可以发现大量隐藏在大量细节背后的规律，依据规律，预测未来。利用大数据技术（搜集和分析数据的技术），能够广泛采集各种各样的数据类型，进行统计分析，从而预测未来。大数据分析工具（开发预测模型和规范模型），用于分析数据。大数据时代，我们可以分析更多的数据，有时候甚至可以处理和某个特别现象相关的所有数据，而不再依赖于随机采样。随着业务的不断扩张和历史数据的不断增加，数据量的增长是持续的数据量大，TB，PB，乃至EB等数据量的数据需要分析处理。

2.要求快速响应，市场变化快，要求能及时快速的响应变化，那对数据的分析也要快速，在性能上有更高要求，所以数据量显得对速度要求有些“大”。

3.数据多样性：不同的数据源，非结构化数据越来越多，需要进行清洗，整理，筛选等操作，变为结构数据。

4.价值密度低，由于数据采集的不及时，数据样本不全面，数据可能不连续等等，数据可能会失真，但当数据量达到一定规模，可以通过更多的数据达到更真实全面的反馈。大数据是指需要通过快速获取、处理、分析以从中提取价值的海量、多样化的交易数据、交互数据与传感数据。集成共享、交叉复用、智力资源知识服务能力。数据量大，目前一般认为PB级以上数据看成是大数据。种类多，包括文档、视频、图片、音频、数据库数据等。速度快，数据生产速度很快，要求数据处理和I/O速度很快真实性，数据是完整的和可信任，并能自信的用它来做出关键的决定的能力的组织。大数据所涉及的技术：分布式文件系统、大规模并行处理数据库、分布式数据库、可扩展的存储系统，数据挖掘电网，云计算平台，互联网。可视化分析、数据挖掘算法、预测性分析、语义引擎、数据质量和数据管理。大数据的真正意义并不在于大宽带和大存储，而在于对容量大且种类繁多的数据进行分析并从中萃取大价值。需要新型的处理方式去促成更强的决策能力，洞察力于优化处理。大数据是互联网发展到现今阶段的一种表象或特征而已，没有必要深化它或对它保持敬畏之心，在以云计算为代表的技术创新大幕的衬托下，这些原本很难收集和使用的数据开始容易被利用起来了，通过各行各业的不断创新，大数据会逐步为人类创造更多的价值。不能用大数据去改进一个业务，应该是用大数据做一件以前做不了的事情。如果把大数据比作一种产业，那么这种产业实现盈利的关键，在于提高对数据的加工能力，通过加工实现数据的增值。大数据：理论，大数据特征、大数据价值、大数据现在和未来、大数据隐私技术，云计算、分布式处理技术、存储技术和感知技术的发展来说明大数据从采集、处理、存储到形成结果的整个过程。实践，实践是大数据的最终价值体现。分别有互联网的大数据，政府的大数据，企业的大数据和个人的大数据四个方面展现的美好景象及即将实现的蓝图。大数据=海量数据+分析软件+挖掘过程软件是大数据的驱动力、引擎，软件改变世界。大数据的特性：数据量巨大、实时性要求高、主要用于预测、更关注价值型。大数据是如何产生的：移动互联网、社交网络、电子商务等几大拓展了互联网的边界和应用范围。大数据获取来源：企业内部数据，内部数据是我们所能获取的最成熟、最易于理解的数据，这些数据是通过多年的企业资源规划、主数据管理、商业智能应用和其它吸相关工作收集整理而来，并经过了整合和标准化。利用分析技术解读这些来自客户交易、业务往来、事件和电子邮件的内部数据能够为组织提供有价值的洞察。用户在线的每一次点击，每一次评论，每一个视频点播，也是大数据的重要来源。互联网企业之所以取得令人瞩目的成绩，其核心的本质就是包括用户网络操作的大数据，进行记录和分析。大数据在公共服务方面的应用，客观的市政数据，是消除争端，维系公民社会的最佳纽带。伴随着各国政务的数字化进程，以及政务数据的透明化，公民将能准确了解政府的运作效率，这是不可逆转的历史潮流，同时也是大数据最大的应用领域之一。大数据特点：数据量巨大，全球在2010年正式进入ZB时代，IDC预计到2020年，全球将总共拥有35ZB的数据量。多变性：结构化数据、半结构化数据和非结构化数据。如今的数据类型早已不是单一的文本形式，订单、日志、音频，能力提出了更高的要求。价值型：沙里淘金，价值密度低。以视频为例，一部一小时的视频，在连续不间断监控过程中，可能有用的数据仅仅有一两秒。数据的价值’提纯’是目前亟待解决的难题。时效性：实时获取需要的信息。大数据区分于传统数据最显著的特征。如今已是ZB时代，在如此海量的数据面前，处理数据的效率就是企业的生命。大数据是那些超过传统数据库系统处理能力的数据。它的数据规模和传输速度要求很高，或者其结构不适合原本的数据库系统。为了获取最大数据中的价值，我们必须选择另一种方式来处理它。二、大数据在财政管理工作中的应用对财政数据进行挖掘分析，既要求熟悉财政管理和国库业务，也要对大数据技术有相当程度的了解。且海量数据的收集、保存、维护、共享及研究等任务，都面临越来越大的挑战。我们从财政部门已经掌握的数据着手，联通财政各部门内部各信息系统，整合公共授权中心数据、财政数据交换中心银行收付数据、财政平台数据、资产管理数据、国债管理数据、现金管理数据、财政决算数据、各级财政数据等信息，并对这些数据进行充分加工和科学分析，自主研发新疆财政数据分析平台，为领导决策的科学化、规范化、精细化提供依据。（举例说明）1.实现数据集中和智能检索。将财政各部门各信息系统以及与财政相关的其他单位的各信息系统之间的相关数据集成和整合到一个数据仓库平台体系，为各层管理者和决策者提供全面、有效、集成、一致的数据，促进数据综合质量的提升和信息资源充分共享。满足报表、数据、文件等各种信息的智能检索，提高工作效率。2.实时播报财政收支明细和实时监控各项财政资金的运行情况。通过交换中心实时播报，建立起自治区、地（市）、县三级贯通的资金监管链条。它不仅能实时监控每一笔资金的执行情况，还可以跟踪挖掘到使用明细和最终支出信息，及时掌握了资金的落实情况。保障了财政资金的安全和规范使用。3.财政收支分析系统。财政收支分析系统主要从收入和支出两个方面做分析。通过建立数据分析模型和数据分析主题，对当年和历年的非税系统数据，财政平台系统中预算数据、执行数据、工资统发数据、政府采购数据、财政决算数据、各级财政数据等采用对比分析、结构分析、增量分析及预测分析等方法，完成部门预算执行进度、功能科目支出、用途支出、项目资金支出、三公经费支出和三农支出重点项目支出、收入完成情况、收入变动原因等规律进行挖掘和分析，并对收支趋势进行预测，定期向财政各业务处提供全疆各类资金的收支情况分析图表。对中央专项、上级拨付资金、重点专项等，实现实时监控，跟踪项目资金的流向，资金在途时间等的监控分析。四、大数据应用在财政管理工作中的展望1.建立跨系统、跨层级、跨年度的多维分析体系。实现从收入、预算到决算的完成关联对比分析，展现多层次财政数据，完整反映收支层次和结构，按项目类别和支出结构展示财政支出概况，并能跟踪到收支明细和最终信息。2.实现财政数据分析多样化展现。通过静态与动态图表、以图文并茂的方式展示财政数据信息。让使用者更直观的掌握财政业务和经济动态，提高财政管理效率。3.扩大数据搜集范围，建立各级财政部门的横向、纵向数据衔接与共享。大数据的使用要求我们必须摒弃孤立工作的理念，更多的进行跨部门合作。数据以及更为重要的数据分析结果必须进行分享，我们要逐步开展财政与海关、审计、统计、社保、卫生等部门的横向数据共享，建立各级财政部门的纵向数据衔接。加强财政收入分析、财政支出绩效评