北京市政务大数据平台顶层设计框架及应用方案

1、北京市政务大数据平台顶层设计框架及应用方案本文摘自穆勇在中关村大数据产业联盟上所做的演讲。演讲全文：今夭很荣幸有这样一个机会，和大家交流探讨大数据在政务领域的应用问题，我看 到群里有很多十分熟悉的朋友，所以交流起来也会比较轻松。有什么问题欢迎大家 提出，如果我讲的不对的地方，请不客气批评。一、大数据在政务领域应用的概述说起大数据技术的应用，首先是在互联网行业起步并逐步拓展到电信、金融、工业 等多个领域，产生了巨大的社会价值和产业空间，现正拓展到政务领域。（一）大数据技术在互联网行业的成功应用，那些地方是值得我们关注的第一，应该是思维观念和运作方式的变化，所谓的互联网思维，其核心理念包 括:体外

2、互动：邮件、电话、信件互动服务导引服务外包：购买服务简单服务让渡社会：众包自助服务边界开放：数据开放创造服务第二，是其技术演进，针对数据处理的技术首先是传统数据分析处理阶段，该阶段是面向结构化数据，非结构化处理效率低； 硬件成本高；平台兼容性差。其次是基于云计算的大数据处理阶段，该阶段总体有 了很大的改进和提升，主要体现在：具备结构化/非结构化混合分析的能力；基于消 费级硬件，不依赖高性能、高可靠性硬件，从而保障系统性能和可靠性；平台兼容 性好、扩展性高；进而业界又提出去ioe的思路。第三，是数据挖掘分析技术画像技术以及各类数据融合、分析、挖掘、预测等。这些都是政务领域需要学习与借鉴的。为此，

3、我认为：大数据在政务领域应用即包 括用新的思维、模式与技术来解决电子政务需求，也包括了政务大数据新的应用。对于第一个方面比较容易理解，对于第二个方面需要对政务大数据给出定义。有些 人认为政府没有大数据，只有传统的小数据或中数据。这个问题我们将在下一节专 门中进行讨论。政务领域是大数据应用崭新的领域，它将极大的改变政府的管理模式，有利于节约 政府投资、提高政府决策能力、提升公共服务和社会管理能力，开展大数据在政务 领域的应用是大势所趋，势在必行。同时，政务大数据本身也不同于其他领域或行 业的数据，其复杂程度和需求的多样化比互联网行业大的多，也难的多。（二）政务大数据的定义及特点按照政府管理的数据

4、来源和种类，可以分为下三类：第一类业务数据：业务办理过程屮采集和产生的数据。第二类民意社情数据：对社会企业个人对象进行统计调查获得的数据。第三类环境数据：通过物理设备采集获得的气象、环境、影像等数据。在以前的电子政务建设阶段，政务信息资源开发利用更多的是集中在前两种类型和 结构化数据上，而对第三类数据，特別是实时的、非结构化、半结构化数据的开发 利用相对较少。随着政府业务在互联网、移动互联网、物联网等领域广泛和深入的 应用，第三类数据的数据量和价值都在迅速增长，相关数据处理技术也逐步成熟。 便于区别不妨把包含第三类数据的政务信息资源叫做是政务大数据。政务大数据与其他领域大数据相比具有鲜明的特点

5、： 体积大，增速高：涵盖经济社会管理的方方面面，数据积累量巨大。每年处理的数 据呈指数级增长。种类多，价值大：以宏观经济基础数据为例：涵盖经济、社会、医疗、环境、工农 业、教育、旅游等社会关键领域数据，具有极为重耍的社会和经济价值。垄断性，难获得：政府部门及公共企事业单位采集数据有些是专营的业务，一般企 业是采不到，也买不到。通过以上可以看出，政务大数据同传统数据相比，不仅包括结构化数据，更包括大 量非结构化数据，且具有数据量大、应用价值大、速度快、种类繁多等特点。我们要高度重视大数据应用对政务工作止在带來和将要带來的各种影响，充分认识 推进大数据应用的必耍性和紧迫性，加强顶层设计，分专业分步

6、骤实施。开展政务领域的大数据应用首先是观念、思路的转变，转变电子政务建设主体，由 政府营造创新发展环境，引导企业为主体开展电子政务建设，同时，我们政府也需 要在实际工作中给予支持和指导，一方面采用给予适当的政府补贴和协助优秀电子 政务解决方案的推广应用等方式，帮助初创企业快速成长；另外，在社会服务领域， 政府退到后台，提供数据和基础服务，让企业直接面向社会提供贴近需求的服务。 大数据在政务领域的应用可以涉及到政务领域方方面面，今天因为时间有限，就领 导决策、社会管理、公共服务等几个方面做简单说明。领导决策 大数据的包容性将打开政府各部门间、政府与公众间的边界，信息孤岛现象人幅消 减，数据共享开

7、放成为可能，而数据开放使得公众更多的参与决策，这势必直接影 响组织怎样作决策、谁来决策，甚至将改变决策过程和结果，同样会带来如下本质 的改变：直觉的判断被迫让位于精准的数据分析，人类必须依靠数据作决策，甚至将决策权 完全交给数据。公众多途径参与，必将深入影响政府决策。社会管理政府数据与互联网数据相结合，分析艾滋病。公共服务通过对政府面向市民的互动数据的分析，为市民提供更精细化和个性化的服务，如 对政府呼叫屮心海量非结构化的语音数据、服务过程和服务问题的分析处理，深度 挖掘客服语音数据价值，可以更好的支撑服务和营销，进一步改进政务呼叫屮心工 作。另外通过大数据搜集和分析民众关心的问题，包括舆情、

8、口碑等。为市民提供 更好的服务。二、政务大数据应用基础和前提 开展政务大数据应用”需要具备哪些基础工作和必备条件。在政务领域开展大数 据应用并不是从零开始，我们各级政府开展电子政务工作已经多年，在很多领域 都做了很多工作,为政务大数据应用奠定坚实的基础，归纳起来有以下几个方面: 在信息资源管理的规章、制度、标准方面，国家和北京市政府相应制定并出台一系 列规章制度，如关于加强信息资源开发利用工作的若干意见（中办发200434 号、中华人民共和国政府信息公开条例（国务院令第492号，2007）、关于 加强政务信息资源管理的若干意见（京信发2009j2号）、北京市信息化促进条 例（2007）,第三章

9、为信息资源开发利用、政务信息资源共享交换平台管理办 法（京信办发2008j13号）等。强化政务信息资源管理的基础工作，如为加强电子政务基础工作，2006年市信息办 发布关于加强部门电子政务基础工作的通知，要求全市各部门按照“四清两统一” 要求，做好业务、服务和信息资源梳理与目录编制工作等基础工作。信息资源基础建设设施方面，包括建立了完善的市共享交换平台、物联网应用支撑 平台、移动管理平台、政务云、四大基础库、各类重要信息系统及信息资源库350 余等基础设施及核心业务信息方面工作。这些工作为开展政务领域大数据应用奠定坚实的基础。三、北京市市级大数据平台顶层设计框架大数据在政务领域应用，区别于以往

10、重要一点是:更加强调的事政务大数据的开放和 共享，一是委办局之间政务数据资源的共享，二是面向社会公众开放政务数据资源。政府部门及相关公共企爭业不但要尽可能地开放数据资源，还要以购买服务或资源 换投资等方式引入政务应用与服务，发挥社会与市场的力量改善政府服务能力。政 府数据的开放共享是大数据在政务领域应用的条件或前提。一些单位，如北京、上 海分别建立了专门的网站，汇集各政府部门可开放的、有经济和社会利用价值的数 据资源，为社会企业或个人服务开发者提供各类实时与非实时数据的下载和服务， 1=1前已经取得了一些的成效，并举办了推广活动。如北京市政务数据资源网，成功 举办了“2014年北京市政务数据资

11、源网应用创意大赛”，得到了社会公众广泛的关注, 也涌现出了“晒公益平台”、“优质幼儿园、中小学招生地图”、“掌上交通综合信息服 务”等一批优质服务产品。作为北京来说我们已经有了共享交换平台、物联网平台还有政府数据开放网站等重 要的信息化基础设施，为什么还需要重新规划一个市级的大数据平台？它与现有的 这些平台和系统是什么关系？与各委办局的大数据应用系统乂是什么关系？这是由 他的功能定位来确定的。这个平台不同于以往的共享交换平台，强调的是数据的融 合、使用、落地。有些数据比如涉及政府内部数据如人口数据、医保数据等是买不 到的。还有视频数据不是可以随便安摄像头采集的。还强调了对现有平台、系统及 数据

12、资源的调度管理。（一）平台定位及与其他系统关系与委办局大数据应用系统关系：首先，各委办局或区县可以按照自身业务需要建设 大数据系统，也可以为市级大数据平台提供部分数据，并可以从市级政务大数据平 台获取各类大数据资源。其次，各专项大数据应用是在各委办自己大数据应用系统 中完成。活平台单个委办局大深度应用； 知识化应用臨雾翳北京市委办局大数据平台xx区xx县趨据平 台台外部企事业单位与现有信息化基础设施与系统关系：市级政务大数据平台充分利用原系统和平台已 经实现的功能，并融合现有数据和新数据，具有现有系统无法实现的海量数据快速 处理能力。政务内网政隽外网互联网北移动破平台北京市 市题 策信息市平台

13、信鼠资眸 享嫌平台人口法人据库*data网站ws之窗警动互联网物联网应用 站平台局专皿 数据族 t9设备目髯地理三间交通设备目髯交通（二）市级政务大数据平台的功能目标提供各类数据的融合与共享服务；提供空间、法人、人口基础融合数据资；提供大 数据冃录的注册、发布、查询、获取、应用等服务。向各委办局大数据应用平台提供大数据服务支撑，通过首都之窗、data网站等办公 门户向政府部门和社会公共提供数据使用服务。为需求单位提供大数据处理通用接 口及工具，并统一实现与外部数据的接入服务。通过物联网平台、互联网平台、共 享交换平台等信息化基础设施和系统汇集、存储、分析相关数据资源。强调了对各 类数据的处理能

14、力，包括对结构化的、非结构化的、咅频、视频、包括各种结构的 数据处理能力，特别是有来自于物联网的实时数据，和互联网的日志数据等。下面我们来看一下，市级大数据平台的业务模型框架、数据模型框架、技术模型框 架。（三）总体功能架构 1政务数据即服务、g1s多系统融合数据离性能分析择 于移动终端的信息交互与服务大现樓城市级场盘快速建欖数据可视化分析工具平台扩展与服务api大数据数据管控数据检索 图您识別与信患提取数据融合场益的敌据关联数据安金数据安全控制工龔施质就改善工貝政务数据资源池3e结构化数据檢索数据质塑监测与评价数据安全监测与评价数据实体构建元散据橫型数据编排关联数据过橫数据演化数据实体回溯数

15、据共享与交换物联网支撑平自信息共享交换平會大数据平台管控大数据基础运行环境大数据18础基于内存的迭运彳轲境代计算框架址于流处理的 英时计算框架统一调度监控运维政务云合外部数据互联网物联网孰库人口法人（四）核心功能（1）对基础库、物理网数据、互联网数据、外部数据的采集汇聚。（2）对以结构化数据为主的传统数据的融合处理。（3）对以非结构化、音频、视频等新型数据为主的融合处理。（4）数据质量管控：通过对数据，应用，系统综合管理，构建标准化、流程化、自 动化、一体化的数据管理体系。（5）跨平台调度实现数据互联互通,统一管控:提供跨系统跨平台的任务调度功能， 与各子系统紧密接合，涵盖接口子系统、维护子系

16、统、云平台、接口分发平台。（五）技术架构数据治理数据标准数据质量数据安全数据监控数据调度非结构化结构化示范应用政务大数据平台的技术架构采用混搭模式，一方面不改变已有的原始数据的存储和 管理方式，另一方面，采用大数据新技术处理原有方式不能处理的新数据，重点是 对非结构化、新数据的处理。厂实时计算平台 （妙了mppfcs' （高储密眸）据管控据计算平台r oltp t躺储）粗粒度索引动态扩展sql优化资源管理大琢联fi®解据 流丿首先，各委办局通过市级大数据平台可以实现数据的共享和融合，并在此基础上开 展各自的大数据应用，如北京市有很多部门负责并参与屮小企业数的统计工作，如 地税

17、、海关、工商、经信委等，这些部门均有各自数据釆集的渠道和途径，但是北 京市到底有多少中小企业，每个部门都很难说清楚，也无法统一，对于这个问题， 通过市级政务大数据平台数据比对、分析、处理，再经过一定的算法得出大家一致 认可的统一的中小企业数和清单，并在此基础上进行数据分析、数据查重等融合处 理，使得原有单纯交换來的数据，产生了本质的变化。其次，市级政务大数据平台具备新数据、非结构化数据的处理能力。各单位不具备 通用数据的处理以及非结构化数据的处理能力和基础设施，而市级政务大数据平台, 充分利用市共享交换平台、四大基础库、一系列门户和网站实现数据的统一调度和 管理，促进数据交换和共享。综上所述，

18、市级政务大数据平台不仅可以自带基础数据，同时还可以汇集新数据如 咅频、视频等非结构化数据，并对数据进行分析、处理，可以为各委办局提供更有 价值的多维度的融合数据资源。四、智能交通大数据应用示范（-）新一代智能交通系统对数据整合需求交通共享交换数据中心（交通委与交管局）建设应列入日程，并统筹全市域的政府 交通路况信息发布；政府部门之间数据融合共享，各类数据包括交通领域、城市规 划、人口分布、法人及空间地理等数据融合共享，以从整体、系统上、研究缓解交 通拥堵、保护环境的治本措施；政府to企业；企业to企业数据共享机制，加大 交通数据资源向社会开放共享力度。（二）交通领域数据与其他相关数据融合1.

19、交通信息分散、碎片化情况市交通委掌握的浮动车实时路况信息、一卡通信息、道路基础设施等信息，主耍覆 盖范围五环内城市道路；交管局掌握的固定检测器实时路况信息、视频信息、交通 事件、事故、施工等信息，覆盖范围为环路及城市快速路；经信委及其他局掌握的 公众出行相关的地理空间、位置图层、应急物联网信息、人口、法人等信息；电信 运营商的信令数据及互联网等信息，覆盖范围为全市域；来自交通台的广播信息， 来自相关互联网微博、微信信息。2. 各类交通信息融合釆用最新的大数据融合处理技术，通过市级政务大数据平台，由大数据应用需求单 位负责具体实现各方数据的汇聚、加工融合与共享交换，形成更为全面、准确、及 时的完

20、整、全市域道路实时路况及出行位置信息服务。以上工作研究团队成员有亚信、北航、屮兴、数贝、太极等。现在正在搭建北京 市政务大数据平台及应用示范的原型系统。下而我们看一下基于这个平台我们做 的应用方案。（三）应用案例示范 示范1：交通多源异构数据融合模型一场景化的空间、时间、主题的数据融合弓的场景岀示范2：北京市屮心区域各公交站点的居住强度和就业强度北京市中心区域各公交站点的居住强度（左）和就业弓虽度（右）示范3：北京市地面公交高峰期客流量分布地面公交晚高峰客流聚集分布地面公交早高峰客流聚集分布示范4：城市范围出租车聚集分析widata= a -ju ml岀租车出发地热点 分布出租车目的地热点 分

21、布出租车数量变化2013-03-102013-03-132013-03-162013)3-192013-03-22示范5：天通苑住户流量分析u于一卡肯血日地如公交如*澄敏x城編号x域名你1土桥249720s472till1803216263北只348222包龙戏104430982352555东囚十条2078224般銀10396115425it泽6267mu1828726an1407s8大兴167227175694528立水桥399310將平232938116730256612沙河59311313sa8132lift1030s14东瞅21933me411215kcfrlr35234黄安门57716a*.140s35323171642936仪公村629418kittn1976737杠n1958919中关村2826938力橡1342-住户主耍通往市38个区域-仅有8个区域具有高聚集特征五、小结大数据政务应用环境和相关技术还不是十分成熟，具体表现在