北京市政务大大数据平台顶层设计框架及应用方案设计

1、标准实用文案北京市政务大数据平台顶层设计框架及应用方案一、大数据在政务领域应用的概述说起大数据技术的应用，首先是在互联网行业起步并逐步拓展到电信、金融、工 业等多个领域，产生了巨大的社会价值和产业空间，现正拓展到政务领域。（一）大数据技术在互联网行业的成功应用，那些地方是值得我们关注的第一， 应该是思维观念和运作方式的变化，所谓的互联网思维，其核心理念包括：体外互动：邮件、电话、信件互动- 服务导引服务外包：购买服务- 简单服务让渡社会：众包- 自助服务边界开放：数据开放- 创造服务第二，是其技术演进，针对数据处理的技术首先是传统数据分析处理阶段，该阶段是面向结构化数据，非结构化处理效率低；硬

2、件成本高；平台兼容性差。其次是基于云计算的大数据处理阶段，该阶段总体有了很大的改进和提升，主要体现在：具备结构化/ 非结构化混合分析的能力；基于消费级硬件，不依赖高性能、高可靠性硬件，从而保障系统性能和可靠性；平台兼容性好、扩展性高；进而业界又提出去 IOE的思路。第三，是数据挖掘分析技术画像技术以及各类数据融合、分析、挖掘、预测等。文档 这些都是政务领域需要学习与借鉴的。为此，我认为：大数据在政务领域应用即 包括用新的思维、模式与技术来解决电子政务需求，也包括了政务大数据新的应 用。对于第一个方面比较容易理解，对于第二个方面需要对政务大数据给出定义。 有些人认为政府没有大数据，只有传统的小数

3、据或中数据。这个问题我们将在下 一节专门中进行讨论。政务领域是大数据应用崭新的领域，它将极大的改变政府的管理模式，有利于节 约政府投资、提高政府决策能力、提升公共服务和社会管理能力，开展大数据在 政务领域的应用是大势所趋，势在必行。同时，政务大数据本身也不同于其他领 域或行业的数据，其复杂程度和需求的多样化比互联网行业大的多，也难的多。（二）政务大数据的定义及特点按照政府管理的数据来源和种类，可以分为下三类：第一类业务数据：业务办理过程中采集和产生的数据。第二类民意社情数据：对社会企业个人对象进行统计调查获得的数据0第三类环境数据：通过物理设备采集获得的气象、环境、影像等数据。在以前的电子政务

4、建设阶段，政务信息资源开发利用更多的是集中在前两种类型 和结构化数据上，而对第三类数据，特别是实时的、非结构化、半结构化数据的 开发利用相对较少。随着政府业务在互联网、移动互联网、物联网等领域广泛和 深入的应用，第三类数据的数据量和价值都在迅速增长，相关数据处理技术也逐 步成熟。便于区别不妨把包含第三类数据的政务信息资源叫做是政务大数据。政务大数据与其他领域大数据相比具有鲜明的特点：体积大，增速高：涵盖经济社会管理的方方面面，数据积累量巨大。每年处理的 数据呈指数级增长。种类多，价值大：以宏观经济基础数据为例：涵盖经济、社会、医疗、环境、工 农业、教育、旅游等社会关键领域数据，具有极为重要的社

5、会和经济价值。垄断性，难获得：政府部门及公共企事业单位采集数据有些是专营的业务，一般 企业是采不到，也买不到。通过以上可以看出，政务大数据同传统数据相比，不仅包括结构化数据，更包括 大量非结构化数据，且具有数据量大、应用价值大、速度快、种类繁多等特点。我们要高度重视大数据应用对政务工作正在带来和将要带来的各种影响，充分认 识推进大数据应用的必要性和紧迫性，加强顶层设计，分专业分步骤实施。开展政务领域的大数据应用首先是观念、思路的转变，转变电子政务建设主体， 由政府营造创新发展环境，引导企业为主体开展电子政务建设，同时，我们政府 也需要在实际工作中给予支持和指导，一方面采用给予适当的政府补贴和协

6、助优 秀电子政务解决方案的推广应用等方式，帮助初创企业快速成长；另外，在社会 服务领域，政府退到后台，提供数据和基础服务，让企业直接面向社会提供贴近 需求的服务。大数据在政务领域的应用可以涉及到政务领域方方面面，今天因为 时间有限，就领导决策、社会管理、公共服务等几个方面做简单说明。领导决策大数据的包容性将打开政府各部门问、政府与公众间的边界，信息孤岛现象大幅 消减，数据共享开放成为可能，而数据开放使得公众更多的参与决策，这势必直 接影响组织怎样作决策、谁来决策，甚至将改变决策过程和结果，同样会带来如 下本质的改变：直觉的判断被迫让位于精准的数据分析，人类必须依靠数据作决策，甚至将决策 权完全

7、交给数据。公众多途径参与，必将深入影响政府决策。社会管理政府数据与互联网数据相结合，分析艾滋病。公共服务通过对政府面向市民的互动数据的分析，为市民提供更精细化和个性化的服务， 如对政府呼叫中心海量非结构化的语音数据、服务过程和服务问题的分析处理， 深度挖掘客服语音数据价值，可以更好的支撑服务和营销，进一步改进政务呼叫 中心工作。另外通过大数据搜集和分析民众关心的问题，包括舆情、口碑等。为 市民提供更好的服务。二、政务大数据应用基础和前提开展政务大数据应用，需要具备哪些基础工作和必备条件。在政务领域开展大数据应用并不是从零开始，我们各级政府开展电子政务工作已经多年，在很多领域都做了很多工作，为政

8、务大数据应用奠定坚实的基础，归纳起来有以下几个方面：在信息资源管理的规章、制度、标准方面，国家和北京市政府相应制定并出台一系列规章制度，如关于加强信息资源开发利用工作的若干意见（中办发200434 号、 中华人民共和国政府信息公开条例（国务院令第492号，2007） 、关于加强政务信息资源管理的若干意见（京信发20092 号）、北京市信息化促进条例（2007），第三章为信息资源开发利用、政务信息资源共享交换平台管理办法（京信办发200813 号）等。强化政务信息资源管理的基础工作，如为加强电子政务基础工作，2006 年市信息办发布关于加强部门电子政务基础工作的通知，要求全市各部门按照“四清两统

9、一”要求，做好业务、服务和信息资源梳理与目录编制工作等基础工作。信息资源基础建设设施方面，包括建立了完善的市共享交换平台、物联网应用支撑平台、移动管理平台、政务云、四大基础库、各类重要信息系统及信息资源库350 余等基础设施及核心业务信息方面工作。这些工作为开展政务领域大数据应用奠定坚实的基础。三、北京市市级大数据平台顶层设计框架大数据在政务领域应用，区别于以往重要一点是: 更加强调的事政务大数据的开放和共享，一是委办局之间政务数据资源的共享，二是面向社会公众开放政务数据资源。政府部门及相关公共企事业不但要尽可能地开放数据资源，还要以购买服务或资源换投资等方式引入政务应用与服务，发挥社会与市场

10、的力量改善政府服务能力。政府数据的开放共享是大数据在政务领域应用的条件或前提。一些单位，如北京、上海分别建立了专门的网站，汇集各政府部门可开放的、有经济和社会利用价值的数据资源，为社会企业或个人服务开发者提供各类实时与非实时数据的下载和服务，目前已经取得了一些的成效，并举办了推广活动。如北京市政务数据资源网，成功举办了“2014 年北京市政务数据资源网应用创意大赛”，得到了社会公众广泛的关注，也涌现出了“晒公益平台”、“优质幼儿园、中小学招生地图”、“掌上交通综合信息服务”等一批优质服务产品。作为北京来说我们已经有了共享交换平台、物联网平台还有政府数据开放网站等 重要的信息化基础设施，为什么还

11、需要重新规划一个市级的大数据平台？它与现 有的这些平台和系统是什么关系？与各委办局的大数据应用系统又是什么关 系？这是由他的功能定位来确定的。这个平台不同于以往的共享交换平台，强调 的是数据的融合、使用、落地。有些数据比如涉及政府内部数据如人口数据、医 保数据等是买不到的。还有视频数据不是可以随便安摄像头采集的。还强调了对 现有平台、系统及数据资源的调度管理。（一）平台定位及与其他系统关系与委办局大数据应用系统关系：首先，各委办局或区县可以按照自身业务需要建 设大数据系统，也可以为市级大数据平台提供部分数据，并可以从市级政务大数 据平台获取各类大数据资源。其次，各专项大数据应用是在各委办自己大

12、数据应 用系统中完成。单个委办局大数据隼台颊应用:知识化应用外部企事业单位与现有信息化基础设施与系统关系：市级政务大数据平台充分利用原系统和平台 已经实现的功能，并融合现有数据和新数据，具有现有系统无法实现的海量数据 快速处理能力。政务内网政务外网互联网*9信息资遁共 享交接平台设备自动采北京市移动 政客平台各委办局专业大 数据应用基£1演遁数I |II I策信息 月鹿窸 蜿 I : -Mr 1.，iI9I I物联网应审支撑平台（二）市级政务大数据平台的功能目标 提供各类数据的融合与共享服务；提供空间、法人、人口基础融合数据资；提供 大数据目录的注册、发布、查询、获取、应用等服务。向

13、各委办局大数据应用平台提供大数据服务支撑，通过首都之窗、Data网站等办 公门户向政府部门和社会公共提供数据使用服务。为需求单位提供大数据处理通 用接口及工具，并统一实现与外部数据的接入服务。通过物联网平台、互联网平 台、共享交换平台等信息化基础设施和系统汇集、存储、分析相关数据资源。强 调了对各类数据的处理能力，包括对结构化的、非结构化的、音频、视频、包括 各种结构的数据处理能力，特别是有来自于物联网的实时数据，和互联网的日志 数据等。下面我们来看一下，市级大数据平台的业务模型框架、数据模型框架、技术模型 框架。(三)总体功能架构要系统愚合敬案高性能分析基于将举脚端的信生交互与眼弁大规模电市

14、毁死娼保速m模数里可视化分折工国平台犷腰与鞭舞AP【政菖数据资源池大数据数据管控故据希察型像识别与信里提取非结国化敢专检察股据标准化与建模数据实体就元赵源甲等雅揖黝合场址的数据关跋场里的敌客检索物联网支撑平台大数据基础运行环境大故据基础基于内存的连=丁三人代计算强数据陵豌数揖度E段工且数据度摄监测与评精收据安金鼓揩安全控副工具皎据安全曲舞与甲H数据腕排鼓想演叱数抠实体回温美破数据迎审早于流处理的实肘计电挈数据共享与交1ft信息然享女憧平台大数据平白管控晚一调度外部数据互联网. 物联网对秘 . 基配库人口 H颗(四)核心功能(1)对基础库、物理网数据、互联网数据、外部数据的采集汇聚。(2)对以结

15、构化数据为主的传统数据的融合处理。(3)对以非结构化、音频、视频等新型数据为主的融合处理。(4)数据质量管控：通过对数据，应用，系统综合管理，构建标准化、流程化、 自动化、一体化的数据管理体系。(5)跨平台调度实现数据互联互通，统一管控：提供跨系统跨平台的任务调度 功能，与各子系统紧密接合，涵盖接口子系统、维护子系统、云平台、接口分发 平台。(五)技术架构数据治理第据标推数据质量| 数据安全数据监控第I据调度数据共早与服务批量数据多主程融合库医疔融合库教育融合库示范应用实时数据镜像库共享镜像库交通融合庠视频数据旅时融合店标准资孤库柴城王尊 库互嵌网敷I r-t pf-据库音频效据文本数据_.政

16、日志数据外都串住等结构生+耕构化政务大数据平台的技术架构采用混搭模式，一方面不改变已有的原始数据的存储 和管理方式，另一方面，采用大数据新技术处理原有方式不能处理的新数据，重 点是对非结构化、新数据的处理。HadoopI低折值密度数据）数据管控据 流MPP数据处理 （高价值壁度结构化裁据厂实时谛算平台二（在线业诩据）列仃话仆 仆 仆 ZF数据计算平刍OLTPSQl优化TT首先，各委办局通过市级大数据平台可以实现数据的共享和融合，并在此基础上 开展各自的大数据应用，如北京市有很多部门负责并参与中小企业数的统计工 作，如地税、海关、工商、经信委等，这些部门均有各自数据采集的渠道和途径, 但是北京市

17、到底有多少中小企业，每个部门都很难说清楚，也无法统一，对于这 个问题，通过市级政务大数据平台数据比对、分析、处理，再经过一定的算法得 出大家一致认可的统一的中小企业数和清单，并在此基础上进行数据分析、数据 查重等融合处理，使得原有单纯交换来的数据，产生了本质的变化。其次，市级政务大数据平台具备新数据、非结构化数据的处理能力。各单位不具 备通用数据的处理以及非结构化数据的处理能力和基础设施，而市级政务大数据 平台，充分利用市共享交换平台、四大基础库、一系列门户和网站实现数据的统 一调度和管理，促进数据交换和共享。综上所述，市级政务大数据平台不仅可以自带基础数据，同时还可以汇集新数据 如音频、视频

18、等非结构化数据，并对数据进行分析、处理，可以为各委办局提供 更有价值的多维度的融合数据资源。四、智能交通大数据应用示范（一）新一代智能交通系统对数据整合需求交通共享交换数据中心（交通委与交管局）建设应列入日程，并统筹全市域的政府交通路况信息发布；政府部门之间数据融合共享，各类数据包括交通领域、城市规划、人口分布、法人及空间地理等数据融合共享，以从整体、系统上、研究缓解交通拥堵、保护环境的治本措施；政府TO企业；企业TO企业数据共享机制, 加大交通数据资源向社会开放共享力度。（二）交通领域数据与其他相关数据融合1. 交通信息分散、碎片化情况市交通委掌握的浮动车实时路况信息、一卡通信息、道路基础设

19、施等信息，主要 覆盖范围五环内城市道路；交管局掌握的固定检测器实时路况信息、视频信息、 交通事件、事故、施工等信息，覆盖范围为环路及城市快速路；经信委及其他局 掌握的公众出行相关的地理空间、位置图层、应急物联网信息、人口、法人等信 息；电信运营商的信令数据及互联网等信息，覆盖范围为全市域；来自交通台的 广播信息，来自相关互联网微博、微信信息。2. 各类交通信息融合采用最新的大数据融合处理技术，通过市级政务大数据平台，由大数据应用需求单位负责具体实现各方数据的汇聚、加工融合与共享交换，形成更为全面、准确、及时的完整、全市域道路实时路况及出行位置信息服务。以上工作研究团队成员有亚信、北航、中兴、数

20、贝、太极等。现在正在搭建北京市政务大数据平台及应用示范的原型系统。下面我们看一下基于这个平台我们做的应用方案。（三）应用案例示范示范1：交通多源异构数据融合模型场景化的空间、时间、主题的数据融合,主题1," 3sH iE 比四 7 "信息产*业区fr 产 f士 一"g , ; -13k :二一:Fja4 的场景 j积滞水一'品西碟一多发点,二L a.1 大型活早高峰时间目标路琏侬域POI主题1? 天气主18j-'''* 天个 1abhh£l出行场景 路况主噩路况4X空间示范2:北京市中心区域各公交站点的居住强度和就业强度北京市中心区域各公交站点的居住®度（左）和就业强度（右）示范3:北京市地面公交高峰期客流量分布地面公交晚高峰客飕集分布地面公交早高峰喜流聚集分布示范4:城市范围出租车聚集分析*lData ；Bl El出租车数量变化&，酎S 于 Ui*，灯T tvn1'w品逞口 , 1 ，r,. J L.X J ) Stftl 1v f? L 1 c & V出租车出发地热点I* 分布心.if.*ElP- '出租车目的地热点分布示范5:大通苑住户流量分析答干*目地公彳归国区域悸区域名密«£&#