大数据与政府治理现代化课件

1、大数据与政府治理现代化讲座的内容什么是大数据？大数据时代给我们提供了什么机遇？政府治理的现代化一、什么是大数据？大数据（Big data）通常用来形容大量的非结构化和半结构化的数据，这些数据在下载到关系型数据库用于分析时会花费过多时间和金钱。大数据与海量数据（large-scale data or vast data）有区别，后者是结构化和半结构化的交易数据，大数据包括交易和交互数据集在内的所有数据集，其规模和复杂程度超出了常用技术按照合理的成本和时限捕捉、管理及处理这些数据集的能力。大数据由海量交易数据、海量交互数据和海量数据处理等三大趋势汇聚组成。数据量大：至少达到PB 级别。从 GB-T

2、B-PB-EB-ZB-YB。如： 2006 年，个人用户才刚刚迈进 TB 时代，全球一共新产生了约 180EB 的数据；在 2011 年，这个数字达到了 1.8ZB；2020年，将再扩大50倍。挖掘实时性：数据的价值是建立于对数据的实时分析基础之上的，不同于“决策支持”时代的批量式数据分析，要在数据产生的同时挖掘其价值并实时推荐给客户。数据类型多：每年诸如邮件、图片、视频、微博、帖子、手机呼叫、网页点击、地理位置信息等非结构化数据增长率达 80%。社交网络UGC；物联网地理；电商点击。价值密度低：“低”是针对特定的用户而言的。如物联网视频，在连续不间断的监控录像中，可能对某一客户有用的数据只有

3、一两秒。UGC的灌水数据也有类似特点。“大数据”研究受到重视：美国2012年3月，美国奥巴马政府宣布投资2亿美元启动“大数据研究和发展计划”，这是继1993年美国宣布“信息高速公路”计划后的又一次重大科技发展部署。美国政府认为大数据是“未来的新石油”，将“大数据研究”上升为国家意志，对未来的科技与经济发展必将带来深远影响。一个国家拥有数据的规模和运用数据的能力将成为综合国力的重要组成部分，对数据的占有和控制也 将成为国家间和企业间新的争夺焦点。“大数据”研究受到重视：中国工信部发布的物联网“十二五”规划上，把信息处理技术作为4项关键技术创新工程之一提出来，其中包括了海量数据存储、数据挖掘、图像

4、视频智能分析，这都是大数据的重要组成部分。而另外 3 项关键技术创新工程，包括信息感知技术、信息传输技术、信息安全技术，也都与大数据密切相关.结论:数据是资源，网络就是生产力。大数据背后的商业机会网民自身在网络中的足迹、点击、浏览、反馈，直接真实地展示个人的性格、偏好、意愿等的一系列数据，对之进行分析，可以帮助企业拥有感知市场、感知用户的能力，以便企业对生产、市场、销售做出更科学的决策，包括目标消费人群的细分和精准营销等。eBay通过数据挖掘精确计算出广告中的每一个关键字为公司带来的回报。通过对广告投放的优化，2007年以来，eBay产品销售的广告费降低了99%，而顶级卖家占总销售额的百分比却

5、上升至32%。大数据背后的商业机会大数据背后的商业机会二、大数据时代提供了什么机遇？2007年，已故的图灵奖得主吉姆格雷（Jim Gray）在他最后一次演讲中描绘了数据密集型科研“第四范式”（the fourth paradigm）的愿景。大数据正在推动科学研究向除了以观察和实验为代表的经验研究、以逻辑分析为代表的理论研究和以模型为代表的计算机仿真研究以外的以大数据的挖掘和分析为代表的研究第四范式过渡。大数据对传统研究方法形成了挑战面对PB级别的巨大规模的数据，所有的模型和假设可能都是错误的，藉助智能数据挖掘技术，我们可以做到没有模型和假设就可以分析数据，将数据丢进巨大的计算机机群中，只要有相

6、互关系的数据，统计分析算法就可以发现过去的科学方法发现不了的新模式、新知识甚至新规律。观察各种复杂系统得到的大数据，直接反映的往往是一个个孤立的数据和分散的链接，但这些反映相互关系的链接整合起来就是网络：基因数据构成基因网络，脑科学实验数据形成神经网络，万维网数据反映出社会网络。大数据为我们带来了什么？大数据往往以复杂关联的数据网络这样一种独特的形式存在，因此要理解大数据就要对大数据后面的网络进行深入分析。大数据面临的科学问题本质上可能就是网络科学问题，复杂网络分析应该是数据科学的重要基石。网络数据科学应发现网络数据与信息产生、传播、影响背后的社会学、心理学、经济学的机理以及网络信息涌现的内在

7、机制，同时利用这些机理研究互联网对政治、经济、文化、教育和科研的影响。大数据带来了社会科学研究的新曙光过去几个世纪主宰科学研究的方法一直是“还原论”，将世界万物不断分解到最小的单元。通过解构复杂系统，还原论带给我们单个节点和链接的理论。但作为一种科研范式，还原论已经快走到尽头。尽管对单个人、单个基因以及单个原子等了解得越来越多，但我们对整个社会、整个生命系统、 物质系统的理解并没有增加很多，有时可能距离理解系统的真谛更远了。而网络理论则通过组装这些节点和链接，帮助我们重新看到整体。大数据的本质：对复杂性的解析大数据研究是对数量巨大的数据做统计性的搜索、比较、聚类和分类等分析归纳，因此继承了统计

8、科学的一些特点。统计学关注数据的相关性或称关联性，所谓“相关性”是指两个或两个以上变量的取值之间存在某种规律性。严格来讲， 统计学无法检验逻辑上的因果关系。大数据时代新的研究范式：镜像作用对于开放复杂的巨系统，传统的因果分析难以奏效，原因在于系统中各个组成部分之间相互有影响，可能互为因果，因果关系隐藏在整个系统之 中。现在的“因”可能是过去的“果”，此处的 “果”也可能是别处的“因”，因果关系本质上是一种相互纠缠的相关性。互联网上传播的各种非结构化或半结构化的数据。其背后是相互联系的各种人群组成的网络及网络之间的关系。获得巨大数据和处理这些数据的统计工具的可能性提供了理解世界的一条完整的新途径

9、。PB让我们说：相互关系已经足够。Sequoia1小时的运算量需要67亿人夜以继日工作320年才能完成，是为美国核能安全局研制的超级计算机，用于核武器的实验仿真。最近在Sequoia处于检测阶段没有完全启动主要程序的期间，科学家们进行了人类心脏的仿真，名为Cardioid的模型能够仿真7小时以上的人类心脏活动，可以测试药物或是电击等外界刺激对人类心脏的影响。Cray日前发布了其最新研制的超级计算机，能达到10万万亿次的运算速率，比中国最快的天河1号A快将近40倍，是日本King（京）的10倍，是IBM sequoia的6倍。仿真依靠超计算：一种新的研究方法的融合社会治理的复杂性：复杂科学最基本

10、的概念是具有适应能力的、主动的个体，简称主体。这种主体在与环境的交互作用中遵循一般的刺激反应模型，所谓适应能力表现在它能够根据行为的效果修改自己的行为规则，以便更好地在客观环境中生存。由这样的主体组成的系统，将在主体之间以及主体与环境的相互作用中发展，表现出宏观系统中的分化、涌现等种种复杂的演化过程。经济学中的进展：从传统经济学到演化经济学实证的社会科学解决了什么？卡尔曼的观点1: 政策到个人取向（定量分析）2：个人取向到个人行为（定量分析）3：个人行为到政策宏观结果（基于主体建模）4：政策到政策结果（定量分析）第四范式的解决方案第一范式：理论研究（定性）第二范式：实验研究（定量）第三范式：仿

11、真研究（计算机）第四范式：大数据研究结论：大数据时代社会科学研究将面临对传统方法颠覆性的挑战，新的研究范式即将建立，一个社会科学研究的全新时代即将到来。对社会科学研究的启示：以往的社会科学研究的短板： 数据匮乏； 有限数据的质量。大数据时代对社会科学研究的的机遇： 解决了数据匮乏问题； 用有效的挖掘技术来解决数据质量问题。大数据分析的特点容许数据的容错性；样本=全体；相关性分析比因果关系更重要。大数据研究的能力建设对事件的感知能力对问题的分析能力对过程的建构能力对数据的抓取能力三、政府治理的现代化大数据时代使政府进入到了精准管理的情景十八届三中全会： 重大理论创新：国家治理体系和治理能力 的现

12、代化中国政府角色的变迁：统治、管理、治理 全能政府分化出市场分化出第三部门俞可平的观点：“治理”是上个世纪末兴起的新政治概念，它不同于“统治”的概念；从统治走向治理，是人类政治发展的普遍趋势。治理体制和治理行为主要体现国家的工具理性，无论在哪一种社会政治体制下，无论谁上台执政，都希望自己治下的国家有良好的治理。“少一些统治，多一些治理”，是21世纪世界主要国家政治变革的重要特征。五个标准：从政治学理论看，统治与治理主要有五个方面的区别：一，权威主体不同，统治的主体是单一的，就是政府或其他国家公共权力；治理的主体则是多元的，除了政府外，还包括企业组织、社会组织和居民自治组织等； 二，权威的性质不

13、同，统治是强制性的；治理可以是强制的，但更多是协商的； 三，权威的来源不同，统治的来源就是强制性的国家法律；治理的来源除了法律外，还包括各种非国家强制的契约； 四，权力运行的向度不同，统治的权力运行是自上而下的，治理的权力可以是自上而下的，但更多是平行的； 五，两者作用所及的范围不同。统治所及的范围以政府权力所及领域为边界，而治理所及的范围则以公共领域为边界，后者比前者要宽广得多。现代化的标准是什么？ 现代化是一个系统的变革，一定是政府管理在理念、行为和方法（工具）上的统一。大数据分析为政府治理在方法和工具上提供了可能。 当前现代化的背景： 全球化 数字化 智能化当前现代化的技术支持大：大数据

14、物：物联网移：移动通讯云：云技术现代化的起源现代化是起始于欧洲文艺复兴运动的一场人类的伟大历史进程，它是对人的本质认识再造了一个全新的人类社会的进化模式，其过程是通过宗教改革、资产阶级革命、工业革命形成了近代以来的现代化进程。这一进程促使了法治政府和法治国家的建立，进而为人类社会建立了一套现代化的行为规则。现代化的理论基础人本主义 以人为本，人的权利，后来的福利主义理性主义 对规则的尊重，依法治国。为什么治理能力如此重要？十八届三中全会将“国家治理体系和治理能力”两者放在一起，作为全面深化改革的总目标。这里所说的“国家治理体系和治理能力”，其实指的是一个国家的制度体系和制度执行能力。国家治理体

15、系和治理能力是一个有机整体，推进国家治理体系的现代化与增强国家的治理能力，是同一政治过程中相辅相成的两个方面。有了良好的国家治理体系，才能提高国家的治理能力；反之，只有提高国家治理能力，才能充分发挥国家治理体系的效能。现代化的国家治理能的基础是什么？现代信息技术为国家治理的基础性制度建设提供了非常好的技术条件。以大数据为例，大数据的产生有三种方式：一是被动产生，在系统运营阶段产生;二是主动产生，在用户原创阶段产生;三是自动产生，在感知式系统阶段产生。这也是大数据产生的根本原因。结论：数据是公共政策制定的基础，在大数据基础上的政策模拟和仿真为政策执行和评估提供了可能。IT技术架构在政府架构的定位

16、服务规划战略解读和业务能力分析平台实施1平台实施2平台实施nIT架构规划技术平台实施IT运维管理系统管理应用管理网络管理战略和业务制定战略实施举措治理结构规划实施保障体系IT蓝图规划实施路线规划现状评估IT战略明晰技术架构管控体系应用架构数据架构1123承接服务规划确定的战略发展目标指导未来IT技术的详细设计、建设和管理IT技术架构规划方法IT技术架构工作方法与设计原则技术架构规划设计参考模型知识库、项目经验、架构咨询方法论业务架构确定业务范围及功能组件、服务功能及关系应用架构技术架构设计方案数据架构数据资源、模型及约束分析借鉴成功经验最佳实践技术评估平台结构、功能、部署等新技术云计算、移动应用、内存计算等技术架构深化设计技术架构实施、测试、上线大数据引起的挑战：首先是大数据集成;其次是大数据分析，即对实时数据的需求分析。大数据到底大不大，跟处理能力是密切相关的。索引结构的局限和先验知识的缺乏都是面临的问题。再次是数据公开与隐私保护的矛盾。大数据中很多信息可能都与个人的生活方式、消费方式密切相关，所以在对其进行分析的时候，根