探析大数据时代政府统计工作的机遇与挑战

1、研究生课程考核答卷学期 2015 至2016 学年第一学期科目应用统计分析年级2015级专业企业管理学号2015005094姓名胡媛媛得分 教师(签字):探析大数据时代政府统计工作的机遇与挑战胡媛媛内容摘要 伴随着“Internet+“技术的发展，“大数据”时代已经正式到来。它是一种运输数据、应用数据的社会化数字形态。作为一种以大量数据应用著称的方法论，政府统计工作在“大数据”时代也面临着机遇与挑战。通过借力“大数据”对信息化建设的优势，从优化统计机构设置、推进统计业务数据化，提高数据挖掘分析能力、完善统计数据发布等方面加快推进政府统计的改革。文章从介绍大数据的起源切入，简要阐述了大数据时代下

2、政府统计的优势，对大数据时代政府统计工作面临的机遇与挑战展开分析，并在此基础上就如何紧随大数据的时代潮流，深化政府数据改革创新提出一些建议和看法。旨在为相关人员基于大数据时代政府统计的优势的大数据时代政府统计的机遇与挑战研究适用提供一些思路。关键词大数据 政府统计 数据分析Abstract With the development of the "Internet +" technology, the time of "big data" is comeing. It is a socialization digital form which can t

3、ransportation and application data. As a kind of methodology famous for its large amounts of data application, the government statistical work is faced with both opportunities and challenges in the era of "big data". The reform of government statistics accelerated through from the advantag

4、e of "big data" for information construction and optimization statistical institutions. Article expounds the advantages of government statistics in the time of "big data" briefly from the introduction to the origin of big data, and then analyzes the opportunities and challenges f

5、acing to the government statistical work under the era of big data, then article puts forward some suggestions and views on the basis of the data,to provide some ideas which based on the advantage of the era of big data statistics. Key words Big data Government statistics The data analysis现阶段，政府统计工作

6、在我国得到越来越高的重视，尤其是在建设、健全我国特色社会主义市场经济大环境下，受体制、经济架构和思维挂念等急剧转变影响下，政府统计工作的普及势必会转变为一种发展趋势。在大数据时代下，就政府统计发展来说，即面临着挑战，又存在着机遇，挑战指的是当前政府统计各类方法难以有效适用大数据，机遇指的是基于统计学，大数据展开数据处理、分析，实现大数据具备可视化特性1。因此，需要在“大统计”的世界里学习、掌握、比较、选择、运用和创新统计理论和统计方法，以适应大数据时代的发展及其带来的挑战。大数据将促进“大统计”，而“大统计”也应该在大数据时代为人类社会的发展和进步作出新的贡献。一、大数据理论概述（一）“大数据

7、”的起源在医学领域面对心脏病的风险监控，Massachusetts Institute of Technology（MIT）、密歇根大学联合一家心脏病医院创建了一个计算机的基于大型数据库的模型，完成对心脏病患者的风险监控。模型覆盖了在该医院就诊的心脏病患者所有时期心电图数据，通过对大量的数据进行分析，可以预测患者未来时期（如一年内）心脏病病发几率。2对比过去医生只通过不到一分钟的时间分析患者心电图数据，这一模型预测的准确度远超过去，较少的数据会使医生对心脏病患者的再度发病率缺乏判断能力。而现在通过计算机模型对大量累积数据的分析，提升对导致心脏病患者再度发病率的高风险指标判断力，以达到高效预防心

8、脏病患者再次发病。以上是关于应用“大数据”的一个例子，预示着“大数据”离现实生活并不遥远。“大数据”的应用就在我们身边，比如我们利用互联网进行在线交易时，我们的购买记录、偏好、乃至付款常用银行卡、家庭电话等私人日常相关数据都将在数据库中以二进制符号的形式存储。在这种背景下，“大数据”统计开始引起越来越多的关注。对比以前无法用系统全面数据进行量化的人类行为，如今互联网+时代下社交网络上的消费者所有行为在网上都有记录数据，如果能获取这些符号化的数据，便可量化、预测大众的行为模式以及偏好特点。所谓“大数据”并不是简单的存储的海量数据，而是对伴随着互联网加时代下出现的大量社会化数据（非结构化、半结构化

9、数据）的结构处理分析的方法论。作为一种以“数据”为主的方法论，特别要注意“大数据”的核心价值并不体现在数据量多少。如果没有“大数据”的分析，生活中的海量数据本身简单的罗列并没有太大意义。我们要利用“大数据”就是通过使用分析关系、计算、预测等方法对数据进行深度挖掘，通过社交网络提供的海量数据寻找有价值信息，从而帮助消费者更好的认识自己的行为，并为生产者更好的了解用户需求，寻找市场提供新路径。（二）大数据的特点 1、海量数据(Volume)数据量如今已经从TB跃升至EB。例如，一份来自互联网数据中心的报告称，预计到2020年，全球数据量将达到之前的50倍。我们用一个形象的例子来证明EB的数据存储量

10、到底有多大：截止至目前为止，历史上所有人类说过的所有的话语的数据总量大约是5EB。然而如今的大数据规模仍在不断增长变化，数据来源、范围多种多样。 2、多样化数据类型 (Variety)。我们普遍认为大数据多样性主要是由于互联网的搜索记忆功能，这一说法比较片面。造成多样化的海量数据类型主要因素有很多，诸如：更新的多结构数据、社交媒体通讯工具数据记录、互联网搜索等。如今的数据由于数据多样化也可以分为结构化、非结构化数据两类，其中又以非结构化数据为主。单一文本形式的数据几乎不存在了。3、处理数据速度快(Velocity)作为大数据显著区别于传统数据分析的特征，大数据分析近乎实时处理，移动创建数据速度

11、快，同时基于优化的计算机软件性能，可以通过创建实时数据流，提升处理数据的效率。 4、数据价值利用率低 (Vcracity)虽然大数据数据量大，但随着而来的是大量无用信息。如路口安装的视频监控在公安民警需调取所拍摄录像办案工作时,大部分由录像所呈现的片段都与案件无关，虽然有用数据转瞬即逝，但却对办案具有很大作用。我们可以说是大浪淘沙却又弥足珍贵，如何从海量数据中选取利于自己的数据是一门艺术与学问。二、我国政府统计工作在大数据时代下优势（一）高价值数据可供利用一般情况下，政府统计数据的来源有两种：一类是来源于各地统计机构通过普查、抽样调查等手段收集再经由加工处理转换为各类官方的信息资料。另一类则是

12、一些行政记录来源于不同部门、机构乃至个人。政府统计的历史久远，过去很长时间政府都采取由手工统计，经由几代人的努力，如今互联网时代下，如今电子计算机进行的统计工作分类明确，使统计部门得到科学的、庞大的记录社会发展的数据。大数据中经日积月累的月统计、季度统计以及年度统计获得的数字是大数据的基础。而政府统计部门通过大规模的系统普查、各式各样的抽样调查以及数据信息共享等收录了大量精确的暗示国民经济动向的信息数据。大数据时代的到来，为政府统计带来了大量高利用率的数据。（二）可持续更新维护的数据现阶段，政府统计体系包含：作为主体地位的定期抽样调查、周期性调查，辅以全面采调查、重点调查等方法，同时结合有效行

13、政记录等信息。周期性普查又包含：全国人口普查（十年）、全国农业普查以及全国经济普查（五年）;定期抽样调查内容则包含：人口、企业绩效监测、餐饮住宿记录、劳动力数量等;全面系统调查报表应用范围包含：零售商类、工业、邮电业、建筑业、房地产开发业等一系列统计调查行业2。由此可以看出现阶段我国政府统计在专业调查规模之上形成了一种特定的政府采集工作模式，也就是利用互联网将采集的原始数据向全国数据中心直接传输，与此同时统计部门中的各个层级可同步共享各项数据。大数据时代的到来，使政府统计有可持续更新维护数据的能力。（三）数据拓展空间大如今我国政府统计工作的方式主要以填报统计表为主，形式上较之从前并无太大变化，

14、类似互联网统计的与大数据统计相关的手段鲜有使用。大数据时代的来临，政府统计的方方面面在互联网行政信息记录空间上有着更大的扩展领域，同时又为引入金融交易等层面数据统计提供可能。此外，互联网数据库中有很多隐藏数据，例如我们可以根据采集互联网用户搜索历史记录数据来判断相关于用户的健康状况数据。信用状况数据、财产状况数据、消费品偏好数据等。4可以说只要能获取海量的数据，应用统计学便可以此为基础进行展开的数据处理与分析。大数据时代的到来，为政府统计工作提供了较大的数据拓展空间。三、政府统计工作在大数据时代下面临的机遇与挑战（一）大数据时代下政府统计工作的机遇互联网加技术、云计算技术的迅猛发展，使线上交易

15、成为可能，实时电子监控为其提供保障。全球数据量空前巨大，变化方式多样莫测。如我们在前一章所讨论的，随着大数据时代的到来，为政府工作创造了可以利用的、诱人的潜在优势，也为统计工作带来了各种机遇： 1、政府统计工作的效率得到大幅提升对比传统的经常出现低频率、滞后性等问题的政府统计方法，如今的大数据依靠它实时性数据处理方式、高价值数据等为统计工作带来的优势，在消除传统政府统计方法出现的低效率、滞后问题的同时，可以极大提高政府统计工作的效率，并促进政府统计工作中统计数据更加精准、具备时效性。例如：在政府经济统计部门对消费者物价指数(CPI)的统计时，由于发布CPI的频率要按月发布，通常会导致滞后情况。

16、我国一般选择在每月的9号发布上月的CPI统计数据，与此同时，我国政府统计网站根据对市场价格的动态收集与整理，可以提供实时在线价格指数，以便大众了解最新鲜的数据。同时实时数据的整理还在一定程度上促进发布频率，旨在实现有效分析市场的通货膨胀规律5。2、政府统计信息化建设得到大力促进随着大数据时代的到来，云计算成为一种流行的软数据处理技术。先进的数据处理尖端技术可以实现高效的数据分析。因此，政府统计信息化建设在大数据时代下的要求极高。如今的政府统计工作开始全面更新数据理念，不断改革创新信息化建设环节。不仅促进了政府统计工作中的信息化建设，还促使政府在数据采集工作的软、硬件技术及手段的水平都得到了全面

17、的发展与提升。3、政府统计工作设计趋于标准化现如今在大数据时代背景下，行政记录越来越趋于电子多元化，政府工作网站种类、数据的收集越来越繁多，电子化企业（如电商）关于其自身经营记录信息保持激增。当政府统计部门工作时，为确保有效的整合利用大数据，在面对海量的信息化数据时促使统计部门不得不开始制定关于互联网数据信息的更合理、规划的标准。（二）大数据时代下政府统计工作的挑战大数据的这场巨大变革中，带给政府统计工作部门优势与机遇，这使表面看来政府统计工作者似乎拥有扮演先驱者的有利的条件。然而确切的说，伴随着无限优势的机遇，大数据时代下政府统计工作的挑战也随着而来，也就是说政府统计工作者要开始思考并应对传

18、统统计工作的方法制度与当下盛行的大数据并不接轨并行的问题。 1、弱化的政府统计部门工作职能现如今的政府统计部门俨然不再同过去传统的统计部门一样是仅有的大量数据拥有者。由于互联网技术的迅猛发展，凡是经由物联网传递的数据，如居民日常消费信息、企业工厂生产销售信息等，都被网络数据库所记忆。同时这些被存储于网络服务器内的海量数据再经过云计算数据分析技术对各项数据潜在价值展开挖掘，这已经成为一种必然的趋势。6海量数据在为政府工作部门工作提供便捷的同时，对传统的政府统计工作权威地位造成很大冲击，也是目前政府统计部门工作职能将要面临的巨大挑战。2、冲击了政府统计部门的传统工作制度随着大数据对数据分析挖掘技术

19、的不断完善，各类的数据信息咨询产业也渐渐崛起，为了使现阶段政府统计机制可以满足新时代发展需求，从而使巨大的转变出现政府统计部门的工作制度上。不同于传统的政府统计工作的对象、途径及内容，现今政府统计工作部门通过流媒体数字化以及网络行政商业记录等方法扩大了统计工作中数据信息采集的范围，使政府统计部门工作制度面临着巨大的挑战。3、尚待提升的政府统计部门处理数据能力大数据时代下对海量数据信息的处理技术有严格要求，传统政府统计工作部门所拥有的数据分析技术水平仍无法达到大数据要求的数据挖掘分析技术。鉴于此，我国政府统计部门工作时的数据分析水平要不断发展与完善，以达到专业精确的政府统计；同时政府相关统计部门

20、内部要开展统计分析工作人员专业数据分析能力的培训，加强培训力度，提升工作人员自身数据分析挖掘能力，旨在培训能完成数据分析的高水平专业统计分析人员。换言之，我国政府统计部门工作者面临的数据挖掘分析，是对于部门内部专业统计分析人员的分析数据能力巨大的挑战。同时团队协作在大数据背景下也显得尤为重要，由于数据分析优化量很大，对不同专业人才的能力要求也不尽相同，这便要求政府统计部门在工作中不仅要培养专业的数据分析人员还要打造优化的具有专业分析数据能力的人才团队7。4、对数据质量要求更高的政府统计工作大数据在促进全社会的海量数据同步共享的发展过程中，过去政府官方统计将不再是公共统计数据信息仅有的途径，社会

21、大众对于数据信息的需求质量、层次及细化等程度急剧升高。政府统计的数据质量高低很大程度上由政府统计数据的全面、效率、规模以及公信力等决定。大数据并非就是对数据信息展开盲目的收集，即便收集了再多的数据，倘若这些数据并非是政府统计所需要的，如此便会导致前期收集来的数据信息，变成一堆“数据垃圾”8。鉴于此，为了避免这一情况发生，务必要充分分析政府统计工作需求，再对自身存在价值的数据展开收集、归纳，如此方可实现大数据的有效收集应用。总而言之，在大数据时代下，就政府统计发展来说，即面临着挑战，又存在着机遇，挑战指的是当前政府统计各类方法难以有效适用大数据，机遇指的是基于统计学，大数据展开数据处理、分析，实

22、现大数据具备可视化特性。为了实现政府统计工作的有效开展，务必要不断专研研究、总结经验，全面分析大数据时代政府统计的优势，充分认识大数据给政府统计带来的机遇、大数据给政府统计带来的挑战，积极促进政府统计工作的有序规范开展。基于此，本文对大数据时代下政府统计工作提出一些改革性建议。四、借力“大数据”对政府统计工作的改革建议统计应当借助于“大数据”所带来的优势机遇，主动顺应数据社会化的趋势，加快推进政府统计的改革。根据“大数据”时代下政府统计工作的可能会遇到的挑战，当前可以从优化统计机构设置、推进统计业务数据化，提高数据挖掘分析能力、完善统计数据发布等方面着力。（一）优化统计机构设置大数据背景要求统

23、计机构的各项工作要必须走专业化道路，制度设计部门要研究数据获取来源、可信度、成本等项目，按照用户的需求设置指标；数据采集部门的任务是开拓更多可用的数据来源，并对数据流进行实时监测，保证数据流的通畅和清洁；数据分析部门则通过专业化的分析手段进行科学分析，而后由专业化的营销部门将数据产品传递给社会用户。只有按照统计数据生产流程设定机构，并进行网络化管理才能保证数据生产的科学性。目前按专业、部门条块分割的方式会造成大量数据的交叉重叠，方法制度不统一，数据质量良莠不齐，这一机构设置模式亟待优化。此外，根据“联网直报”等四大工程的显示，网络技术对人工的替代导致地方统计机构职能做出调整，由以前的催报、加工

24、汇总、审核等职能转化为质量控制，而其他职能均可由技术实现。可见在“大数据”背景下，国家与地方统计机构关系及设置也面临调整。（二）扎实推进统计业务数据化对于目前的统计来说，与“大数据”时代的最大差距在于“数据化”，具体讲包括调查对象行为的数据化以及调查业务的数据化。调查对象的数据化运作是采集获取数据的基础。在数据化管理时代，企业更重视自身的业务模式的数据化，不少企业已经建成了从原材料到销售品一体化的数据跟踪体系，每一项业务流程都有数据记录可查。我们要加快推进互联网进程，帮助社会形成生产、物流、交易等环节的数据化，并将这些数据通过互联网系统搜集、存储起来。比如在超市收银机上加装统计采集装置，以保证

25、每一笔交易的数据及时传送到统计数据平台，以提供给社会消费、价格调查等指标使用，加快行政数据的共享。投资、房地产、服务业统计等数据可从税务、工商、银行等部门的行政记录中获取，可以实现多部门数据的交叉验证，保证数据的准确与真实。住户调查方面，改变依赖调查对象记账的采集方式，比如可以使用住户的银行卡交易数据替代记账中的收入和支出，一些居民用电、水、气等消费记录也可以帮助我们更好地控制数据质量。调查业务的数据化主要是针对统计调查的质量控制。目前“联网直报”采取 IP 定位控制、修改痕迹保留等方式就是这一理念的现实应用。比如为了保证每个采价员按照“三定原则”进行采价，可以对每台采价器进行数字化定位，其采

26、价的时间、地点、数据情况可以即时传到服务器，即可进行监测。未来的统计数据采集可能就是联网的测量仪来进行，统计业务的数据化管理显得尤为重要。（三）提高数据挖掘分析能力“大数据”的概念来源于互联网，其要求的数据分析已经远非目前的统计数据处理技术能够实现。我们可以举个形象的比喻：在大数据时代到来之时，传统的社会学、统计学从业者，面对半道杀出来的计算机背景的互联网数据挖掘者，就好比波兰骑兵面对德国坦克一样脆弱。9对于统计来说，“大数据”还处于概念和社会趋势意义上，我们所要面对的大量、复杂的行政记录、商业交易数据实际上是结构化的海量数据，我们要能从这些海量数据中提取隐含的关系、模式和趋势等信息和知识供统

27、计使用。目前，结构化的海量数据挖掘已有比较完善的方法论和挖掘工具及算法，在一些商业调查领域已经开始发挥作用10。为了在未来的数据竞争中站稳脚跟，我们必须在数据挖掘等现代分析能力上下工夫。（四）完善统计数据发布统计最终是为用户服务的，发布对用户有价值的统计数据才是统计存在的意义所在。数据的多少并不是关键，即使海量的“大数据”对不需要的用户也是信息负担10。因此，我们需要提高数据发布的针对性，发挥数据的最大信息价值。目前我们发布的数据主要是为满足党政领导的需求为主，以社会需求为辅。这种需求模式对于统计而言是有局限性的，容易自我封闭。未来，我们需要通过更为详细的数据挖掘技术，从抽象的“社会公众”里分辨出具体的数据用户，将要明确哪些人想了解哪些数据，将他们最需要的数据信息传递给他们。因此，在大数据的生产模式下，生产哪些数据、调查发布哪些数据不是由“上级部门”指派或依照传统惯例，而是根据用户的真实需求来决定11。在发布数据的形式上，数据可视化、人机交互、机器智能等先进的技术已经逐步应用到统计、计算机及商业领域，包括“智慧城市”等应用已经逐步成为现实。以