大数据与政府治理现代化

1、大数据与政府治理现代化大数据与政府治理现代化 哈尔滨工业大学管理学院哈尔滨工业大学管理学院公共管理学报公共管理学报主编主编米加宁米加宁 教授教授讲座的内容讲座的内容o什么是大数据？什么是大数据？o大数据时代给我们提供了什么机遇？大数据时代给我们提供了什么机遇？o政府治理的现代化政府治理的现代化一、什么是大数据？一、什么是大数据？u大数据（大数据（Big dataBig data）通常用来形容大量的非结构化和半）通常用来形容大量的非结构化和半结构化的数据，这些数据在下载到关系型数据库用于分结构化的数据，这些数据在下载到关系型数据库用于分析时会花费过多时间和金钱。析时会花费过多时间和金钱。u大数据

2、与海量数据（大数据与海量数据（large-scale data or vast datalarge-scale data or vast data）有区别，后者是结构化和半结构化的交易数据，大数据有区别，后者是结构化和半结构化的交易数据，大数据包括交易和交互数据集在内的所有数据集，其规模和复包括交易和交互数据集在内的所有数据集，其规模和复杂程度超出了常用技术按照合理的成本和时限捕捉、管杂程度超出了常用技术按照合理的成本和时限捕捉、管理及处理这些数据集的能力。大数据由海量交易数据、理及处理这些数据集的能力。大数据由海量交易数据、海量交互数据和海量数据处理等三大趋势汇聚组成。海量交互数据和海量数据

3、处理等三大趋势汇聚组成。u 数据量大：至数据量大：至少达到少达到PB PB 级别。级别。从从 GB-TB-PB-GB-TB-PB-EB-ZB-YBEB-ZB-YB。如：。如： 2006 2006 年，个人年，个人用户才刚刚迈用户才刚刚迈进进 TB TB 时代，时代，全球一共新产全球一共新产生了约生了约 180EB 180EB 的 数 据 ； 在的 数 据 ； 在 2011 2011 年，这个年，这个数 字 达 到 了数 字 达 到 了 1.8ZB1.8ZB；20202020年，年，将再扩大将再扩大5050倍。倍。u 挖掘实时性：挖掘实时性：数据的价值是数据的价值是建立于对数据建立于对数据的实时

4、分析基的实时分析基础之上的，不础之上的，不同于同于“决策支决策支持持”时代的批时代的批量式数据分析，量式数据分析，要在数据产生要在数据产生的同时挖掘其的同时挖掘其价值并实时推价值并实时推荐给客户。荐给客户。u 数据类型多：数据类型多：每年诸如邮件、每年诸如邮件、图片、视频、图片、视频、微博、帖子、微博、帖子、手机呼叫、网手机呼叫、网页点击、地理页点击、地理位置信息等非位置信息等非结构化数据增结构化数据增长率达长率达 80%80%。社交网络社交网络UGCUGC；物联网物联网地理；地理；电商电商点击。点击。u 价值密度低：价值密度低：“低低”是针对是针对特定的用户而特定的用户而言的。如物联言的。如

5、物联网视频，在连网视频，在连续不间断的监续不间断的监控录像中，可控录像中，可能对某一客户能对某一客户有用的数据只有用的数据只有一两秒。有一两秒。UGCUGC的灌水数据也的灌水数据也有类似特点。有类似特点。“大数据大数据”研究受到重视：美国研究受到重视：美国u 20122012年年3 3月，美国奥巴马政府宣布投资月，美国奥巴马政府宣布投资2 2亿美亿美元启动元启动“大数据研究和发展计划大数据研究和发展计划”，这是继，这是继19931993年美国宣布年美国宣布“信息高速公路信息高速公路”计划后的计划后的又一次重大科技发展部署。又一次重大科技发展部署。u 美国政府认为大数据是美国政府认为大数据是“未

6、来的新石油未来的新石油”，将将“大数据研究大数据研究”上升为国家意志，对未来上升为国家意志，对未来的科技与经济发展必将带来深远影响。一个的科技与经济发展必将带来深远影响。一个国家拥有数据的规模和运用数据的能力将成国家拥有数据的规模和运用数据的能力将成为综合国力的重要组成部分，对数据的占有为综合国力的重要组成部分，对数据的占有和控制也和控制也 将成为国家间和企业间新的争夺焦将成为国家间和企业间新的争夺焦点。点。“大数据大数据”研究受到重视：中国研究受到重视：中国u 工信部发布的物联网工信部发布的物联网“十二五十二五”规划上，把规划上，把信息处理技术作为信息处理技术作为4 4项关键技术创新工程之项

7、关键技术创新工程之一提出来，其中包括了海量数据存储、数据一提出来，其中包括了海量数据存储、数据挖掘、图像视频智能分析，这都是大数据的挖掘、图像视频智能分析，这都是大数据的重要组成部分。重要组成部分。u 而另外而另外 3 3 项关键技术创新工程，包括信息项关键技术创新工程，包括信息感知技术、信息传输技术、信息安全技术，感知技术、信息传输技术、信息安全技术，也都与大数据密切相关也都与大数据密切相关. .结论结论: :数据是资源，网络就是生产力。数据是资源，网络就是生产力。大数据背后的商业机会大数据背后的商业机会u 网民自身在网络中的足迹、点击、浏览、反馈，网民自身在网络中的足迹、点击、浏览、反馈，

8、直接真实地展示个人的性格、偏好、意愿等的直接真实地展示个人的性格、偏好、意愿等的一系列数据，对之进行分析，可以帮助企业拥一系列数据，对之进行分析，可以帮助企业拥有感知市场、感知用户的能力，以便企业对生有感知市场、感知用户的能力，以便企业对生产、市场、销售做出更科学的决策，包括目标产、市场、销售做出更科学的决策，包括目标消费人群的细分和精准营销等。消费人群的细分和精准营销等。u eBayeBay通过数据挖掘精确计算出广告中的每一个通过数据挖掘精确计算出广告中的每一个关键字为公司带来的回报。通过对广告投放的关键字为公司带来的回报。通过对广告投放的优化，优化，20072007年以来，年以来，eBay

9、eBay产品销售的广告费降产品销售的广告费降低了低了99%99%，而顶级卖家占总销售额的百分比却上，而顶级卖家占总销售额的百分比却上升至升至32%32%。大数据背后的商业机会大数据背后的商业机会大数据背后的商业机会大数据背后的商业机会二、大数据时代提供了什么机遇？二、大数据时代提供了什么机遇？u2 0 0 72 0 0 7 年 ， 已 故 的 图 灵 奖 得 主 吉年 ， 已 故 的 图 灵 奖 得 主 吉姆姆格雷（格雷（Jim GrayJim Gray）在他最后一）在他最后一次演讲中描绘了数据密集型科研次演讲中描绘了数据密集型科研“ 第 四 范 式第 四 范 式 ” （ t h e f o

10、u r t h t h e f o u r t h paradigmparadigm）的愿景。）的愿景。u大数据正在推动科学研究向除了以大数据正在推动科学研究向除了以观察和实验为代表的经验研究、以观察和实验为代表的经验研究、以逻辑分析为代表的理论研究和以模逻辑分析为代表的理论研究和以模型为代表的计算机仿真研究以外的型为代表的计算机仿真研究以外的以大数据的挖掘和分析为代表的研以大数据的挖掘和分析为代表的研究第四范式过渡。究第四范式过渡。大数据对传统研究方法形成了挑战大数据对传统研究方法形成了挑战u 面对面对PBPB级别的巨大规模的数据，所有的模型和假设级别的巨大规模的数据，所有的模型和假设可能都

11、是错误的，藉助智能数据挖掘技术，我们可可能都是错误的，藉助智能数据挖掘技术，我们可以做到没有模型和假设就可以分析数据，将数据丢以做到没有模型和假设就可以分析数据，将数据丢进巨大的计算机机群中，只要有相互关系的数据，进巨大的计算机机群中，只要有相互关系的数据，统计分析算法就可以发现过去的科学方法发现不了统计分析算法就可以发现过去的科学方法发现不了的新模式、新知识甚至新规律。的新模式、新知识甚至新规律。u 观察各种复杂系统得到的大数据，直接反映的往往观察各种复杂系统得到的大数据，直接反映的往往是一个个孤立的数据和分散的链接，但这些反映相是一个个孤立的数据和分散的链接，但这些反映相互关系的链接整合起

12、来就是网络：基因数据构成基互关系的链接整合起来就是网络：基因数据构成基因网络，脑科学实验数据形成神经网络，万维网数因网络，脑科学实验数据形成神经网络，万维网数据反映出社会网络。据反映出社会网络。大数据为我们带来了什么？大数据为我们带来了什么？u 大数据往往以复杂关联的数据网络这样一种大数据往往以复杂关联的数据网络这样一种独特的形式存在，因此要理解大数据就要对独特的形式存在，因此要理解大数据就要对大数据后面的网络进行深入分析。大数据后面的网络进行深入分析。u 大数据面临的科学问题本质上可能就是网络大数据面临的科学问题本质上可能就是网络科学问题，复杂网络分析应该是数据科学的科学问题，复杂网络分析应

13、该是数据科学的重要基石。重要基石。u 网络数据科学应发现网络数据与信息产生、网络数据科学应发现网络数据与信息产生、传播、影响背后的社会学、心理学、经济学传播、影响背后的社会学、心理学、经济学的机理以及网络信息涌现的内在机制，同时的机理以及网络信息涌现的内在机制，同时利用这些机理研究互联网对政治、经济、文利用这些机理研究互联网对政治、经济、文化、教育和科研的影响。化、教育和科研的影响。大数据带来了社会科学研究的新曙光大数据带来了社会科学研究的新曙光u 过去几个世纪主宰科学研究的方法一直是过去几个世纪主宰科学研究的方法一直是“还原论还原论”，将世界万物不断分解到最小的，将世界万物不断分解到最小的单

14、元。通过解构复杂系统，还原论带给我们单元。通过解构复杂系统，还原论带给我们单个节点和链接的理论。单个节点和链接的理论。u 但作为一种科研范式，还原论已经快走到尽但作为一种科研范式，还原论已经快走到尽头。尽管对单个人、单个基因以及单个原子头。尽管对单个人、单个基因以及单个原子等了解得越来越多，但我们对整个社会、整等了解得越来越多，但我们对整个社会、整个生命系统、个生命系统、 物质系统的理解并没有增加物质系统的理解并没有增加很多，有时可能距离理解系统的真谛更远了。很多，有时可能距离理解系统的真谛更远了。u 而网络理论则通过组装这些节点和链接，帮而网络理论则通过组装这些节点和链接，帮助我们重新看到整

15、体。助我们重新看到整体。大数据的本质：对复杂性的解析大数据的本质：对复杂性的解析u 大数据研究是对数量巨大的数据做统计性的大数据研究是对数量巨大的数据做统计性的搜索、比较、聚类和分类等分析归纳，因此搜索、比较、聚类和分类等分析归纳，因此继承了统计科学的一些特点。继承了统计科学的一些特点。u 统计学关注数据的相关性或称关联性，所谓统计学关注数据的相关性或称关联性，所谓“相关性相关性”是指两个或两个以上变量的取值是指两个或两个以上变量的取值之间存在某种规律性。之间存在某种规律性。u 严格来讲，严格来讲， 统计学无法检验逻辑上的因果统计学无法检验逻辑上的因果关系。关系。大数据时代新的研究范式：镜像作

16、用大数据时代新的研究范式：镜像作用u 对于开放复杂的巨系统，传统的因果分析难以奏效，原对于开放复杂的巨系统，传统的因果分析难以奏效，原因在于系统中各个组成部分之间相互有影响，可能互为因在于系统中各个组成部分之间相互有影响，可能互为因果，因果关系隐藏在整个系统之因果，因果关系隐藏在整个系统之 中。现在的中。现在的“因因”可能是过去的可能是过去的“果果”，此处的，此处的 “ “果果”也可能是别处的也可能是别处的“因因”，因果关系本质上是一种相互纠缠的相关性。，因果关系本质上是一种相互纠缠的相关性。u 互联网上传播的各种非结构化或半结构化的数据。其背互联网上传播的各种非结构化或半结构化的数据。其背后

17、是相互联系的各种人群组成的网络及网络之间的关系。后是相互联系的各种人群组成的网络及网络之间的关系。u 获得巨大数据和处理这些数据的统计工具的可能性提供了理解获得巨大数据和处理这些数据的统计工具的可能性提供了理解世界的一条完整的新途径。世界的一条完整的新途径。PBPB让我们说：相互关系已经足够。让我们说：相互关系已经足够。uSequoia1小时的运算量需要小时的运算量需要67亿人夜以继日工作亿人夜以继日工作320年才能完成，是为美国核能安全局研制的超级计年才能完成，是为美国核能安全局研制的超级计算机，用于核武器的实验仿真。算机，用于核武器的实验仿真。u最近在最近在Sequoia处于检测阶段没有完

18、全启动主要程处于检测阶段没有完全启动主要程序的期间，科学家们进行了人类心脏的仿真，名为序的期间，科学家们进行了人类心脏的仿真，名为Cardioid的模型能够仿真的模型能够仿真7小时以上的人类心脏活小时以上的人类心脏活动，可以测试药物或是电击等外界刺激对人类心脏的动，可以测试药物或是电击等外界刺激对人类心脏的影响。影响。uCray日前发布了其最新研制的超级计算机，能达到日前发布了其最新研制的超级计算机，能达到10万万亿次的运算速率，比中国最快的天河万万亿次的运算速率，比中国最快的天河1号号A快快将近将近40倍，是日本倍，是日本King（京）的（京）的10倍，是倍，是IBM sequoia的的6倍

19、。倍。仿真依靠超计算：一种新的研究方法的融合仿真依靠超计算：一种新的研究方法的融合社会治理的复杂性社会治理的复杂性：o复杂科学最基本的概念是具有适应能力的、主动的个体，复杂科学最基本的概念是具有适应能力的、主动的个体，简称主体。这种主体在与环境的交互作用中遵循一般的简称主体。这种主体在与环境的交互作用中遵循一般的刺激刺激反应模型，所谓适应能力表现在它能够根据行反应模型，所谓适应能力表现在它能够根据行为的效果修改自己的行为规则，以便更好地在客观环境为的效果修改自己的行为规则，以便更好地在客观环境中生存。中生存。o由这样的主体组成的系统，将在主体之间以及主体与环由这样的主体组成的系统，将在主体之间

20、以及主体与环境的相互作用中发展，表现出宏观系统中的分化、涌现境的相互作用中发展，表现出宏观系统中的分化、涌现等种种复杂的演化过程。等种种复杂的演化过程。o经济学中的进展：从传统经济学到演化经济学经济学中的进展：从传统经济学到演化经济学实证的社会科学解决了什么？卡尔曼的观点实证的社会科学解决了什么？卡尔曼的观点o1: 1: 政策到个人取向政策到个人取向（定量分析）（定量分析）o2 2：个人取向到个人：个人取向到个人行为（定量分析）行为（定量分析）o3 3：个人行为到政策：个人行为到政策宏观结果宏观结果（基于主体（基于主体建模）建模）o4 4：政策到政策结果：政策到政策结果（定量分析）（定量分析）

21、第四范式的解决方案第四范式的解决方案o第一范式：理论研究（定性）第一范式：理论研究（定性）o第二范式：实验研究（定量）第二范式：实验研究（定量）o第三范式：仿真研究（计算机）第三范式：仿真研究（计算机）o第四范式：大数据研究第四范式：大数据研究结论：大数据时代社会科学研究将面临对传统结论：大数据时代社会科学研究将面临对传统方法颠覆性的挑战，新的研究范式即将建立，方法颠覆性的挑战，新的研究范式即将建立，一个社会科学研究的全新时代即将到来。一个社会科学研究的全新时代即将到来。对社会科学研究的启示：对社会科学研究的启示：o以往的社会科学研究的短板：以往的社会科学研究的短板： 数据匮乏；数据匮乏； 有

22、限数据的质量。有限数据的质量。o大数据时代对社会科学研究的的机遇：大数据时代对社会科学研究的的机遇： 解决了数据匮乏问题；解决了数据匮乏问题； 用有效的挖掘技术来解决数据质量问题。用有效的挖掘技术来解决数据质量问题。大数据分析的特点大数据分析的特点o容许数据的容错性；容许数据的容错性；o样本样本=全体；全体；o相关性分析比因果关系更重要。相关性分析比因果关系更重要。大数据研究的能力建设大数据研究的能力建设o对事件的感知能力对事件的感知能力o对问题的分析能力对问题的分析能力o对过程的建构能力对过程的建构能力o对数据的抓取能力对数据的抓取能力三、政府治理的现代化三、政府治理的现代化o大数据时代使政

23、府进入到了精准管理的情景大数据时代使政府进入到了精准管理的情景o十八届三中全会：十八届三中全会： 重大理论创新：国家治理体系和治理能力重大理论创新：国家治理体系和治理能力 的现代化的现代化中国政府角色的变迁：统治、管理、治理中国政府角色的变迁：统治、管理、治理 全能政府全能政府分化出市场分化出市场分化出第三部门分化出第三部门俞可平的观点：俞可平的观点：o“治理治理”是上个世纪末兴起的新政治概念，是上个世纪末兴起的新政治概念，它不同于它不同于“统治统治”的概念；从统治走向治理，的概念；从统治走向治理，是人类政治发展的普遍趋势。治理体制和治是人类政治发展的普遍趋势。治理体制和治理行为主要体现国家的

24、工具理性，无论在哪理行为主要体现国家的工具理性，无论在哪一种社会政治体制下，无论谁上台执政，都一种社会政治体制下，无论谁上台执政，都希望自己治下的国家有良好的治理。希望自己治下的国家有良好的治理。“少一少一些统治，多一些治理些统治，多一些治理”，是，是2121世纪世界主要世纪世界主要国家政治变革的重要特征。国家政治变革的重要特征。五个标准：五个标准：o从政治学理论看，统治与治理主要有五个方面从政治学理论看，统治与治理主要有五个方面的区别：一，权威主体不同，统治的主体是单的区别：一，权威主体不同，统治的主体是单一的，就是政府或其他国家公共权力；治理的一的，就是政府或其他国家公共权力；治理的主体则

25、是多元的，除了政府外，还包括企业组主体则是多元的，除了政府外，还包括企业组织、社会组织和居民自治组织等；织、社会组织和居民自治组织等； 二，权威的性质不同，统治是强制性的；治理二，权威的性质不同，统治是强制性的；治理可以是强制的，但更多是协商的；可以是强制的，但更多是协商的； 三，权威的来源不同，统治的来源就是强制性三，权威的来源不同，统治的来源就是强制性的国家法律；治理的来源除了法律外，还包括的国家法律；治理的来源除了法律外，还包括各种非国家强制的契约；各种非国家强制的契约； 四，权力运行的向度不同，统治的权力四，权力运行的向度不同，统治的权力运行是自上而下的，治理的权力可以是运行是自上而下

26、的，治理的权力可以是自上而下的，但更多是平行的；自上而下的，但更多是平行的； 五，两者作用所及的范围不同。统治五，两者作用所及的范围不同。统治所及的范围以政府权力所及领域为边界，所及的范围以政府权力所及领域为边界，而治理所及的范围则以公共领域为边界，而治理所及的范围则以公共领域为边界，后者比前者要宽广得多。后者比前者要宽广得多。现代化的标准是什么？现代化的标准是什么？ 现代化是一个系统的变革，一定是政现代化是一个系统的变革，一定是政府管理在理念、行为和方法（工具）上的统府管理在理念、行为和方法（工具）上的统一。大数据分析为政府治理在方法和工具上一。大数据分析为政府治理在方法和工具上提供了可能。

27、提供了可能。 当前现代化的背景：当前现代化的背景： 全球化全球化 数字化数字化 智能化智能化当前现代化的技术支持当前现代化的技术支持大：大：大数据大数据物：物：物联网物联网移：移：移动通讯移动通讯云：云：云技术云技术现代化的起源现代化的起源o现代化是起始于欧洲文艺复兴运动的一场人现代化是起始于欧洲文艺复兴运动的一场人类的伟大历史进程，它是对人的本质认识再类的伟大历史进程，它是对人的本质认识再造了一个全新的人类社会的进化模式，其过造了一个全新的人类社会的进化模式，其过程是通过宗教改革、资产阶级革命、工业革程是通过宗教改革、资产阶级革命、工业革命形成了近代以来的现代化进程。这一进程命形成了近代以来

28、的现代化进程。这一进程促使了法治政府和法治国家的建立，进而为促使了法治政府和法治国家的建立，进而为人类社会建立了一套现代化的行为规则。人类社会建立了一套现代化的行为规则。现代化的理论基础现代化的理论基础o人本主义人本主义 以人为本，人的权利，后来的福利主义以人为本，人的权利，后来的福利主义o理性主义理性主义 对规则的尊重，依法治国。对规则的尊重，依法治国。为什么治理能力如此重要？为什么治理能力如此重要？o十八届三中全会将十八届三中全会将“国家治理体系和治理能力国家治理体系和治理能力”两两者放在一起，作为全面深化改革的总目标。这里所者放在一起，作为全面深化改革的总目标。这里所说的说的“国家治理体

29、系和治理能力国家治理体系和治理能力”，其实指的是一，其实指的是一个国家的制度体系和制度执行能力。国家治理体系个国家的制度体系和制度执行能力。国家治理体系和治理能力是一个有机整体，推进国家治理体系的和治理能力是一个有机整体，推进国家治理体系的现代化与增强国家的治理能力，是同一政治过程中现代化与增强国家的治理能力，是同一政治过程中相辅相成的两个方面。有了良好的国家治理体系，相辅相成的两个方面。有了良好的国家治理体系，才能提高国家的治理能力；反之，只有提高国家治才能提高国家的治理能力；反之，只有提高国家治理能力，才能充分发挥国家治理体系的效能。理能力，才能充分发挥国家治理体系的效能。现代化的国家治理

30、能的基础是什么？现代化的国家治理能的基础是什么？o现代信息技术为国家治理的基础性制度建设提供了现代信息技术为国家治理的基础性制度建设提供了非常好的技术条件。以大数据为例，大数据的产生非常好的技术条件。以大数据为例，大数据的产生有三种方式：一是被动产生，在系统运营阶段产生有三种方式：一是被动产生，在系统运营阶段产生; ;二是主动产生，在用户原创阶段产生二是主动产生，在用户原创阶段产生; ;三是自动产三是自动产生，在感知式系统阶段产生。这也是大数据产生的生，在感知式系统阶段产生。这也是大数据产生的根本原因。根本原因。o结论：数据是公共政策制定的基础，在大数据基础结论：数据是公共政策制定的基础，在大数据基础上的政策模拟和仿真为政策执行和评估提供了可能。上的政策模拟和仿真为政策执行和评估提供了可能。ITIT技术架构在政府架构的定位技术架构在政府架构的定位