数字孪生赋能智慧城市大脑建设方案相关 两份资料

智慧城市大脑建设方案“云-网-端”三大层次端侧实现群智感知、可视可控；网侧实现泛在高速、天地一体；云测实现随需调度，迭代学习智能操控的城市大脑是重点技术角度形成虚实对应、相互映射、协同交互的复杂巨系统，实现孪生城市的“六化发展”城市发展基于多源数据融合的城市信息模型是核心，城市全域部署的智能设施和感知体系是前提，支撑孪生城市高效运行的智能专网是保障，实现建设重点当前，以物联网、大数据、人工智能等新技术为代表的数字浪潮席卷全球，物理世界和与之对应的数字世界正形成两大体系平行发展、相互作用。数字世界为了服务物理世界而存在，物理世界因为数字世界变得高效有序，数字孪生技术应运而生，从制造业逐步延伸拓展至城市空间，深刻影响着城市规划、建设与发展。数字孪生因感知控制技术而起，因综合技术集成创新而兴。数字孪生城市是在城市累积数据从量变到质变，在感知建模、人工智能等信息技术取得重大突破的背景下，建设新型智慧城市的一条新兴技术路径，是城市智能化、运营可持续化的前沿先进模式，

也是一个吸引高端智力资源共同参与，从局部应用到全局优化，持续迭代更新的城市级创新平台。前言城市大脑总体设计第一章目录Contents城市大脑应用体系第二章城市大脑支撑体系第三章城市大脑数据治理体系第四章城市大脑运营体系第五章城市大脑总体设计Contents目录第一章数字孪生城市前提——全域布局的智能设施当前城市在感知业务领域，处于各自为政、条块分割、烟囱林立、信息孤岛的状态，数字孪生城市将针对不同的应用场景，统筹感知体系建设，统一采集汇聚，实现城市动态数据整合与共享，形成全域覆盖、动静结合、三维立体的规范化、智能化、全联接的感知布局，实现物理城市在数字城市的精准映射。全域布局智能设施空间布局通过规模部署信息杆柱、智能网关和边缘计算节点，采集数据信息，支持各种近距离及远距离通信协议标准，统一汇聚处理后上传统一物联网平台和城市大脑进行管理。空间维度上，可将感知载体和设施体系分为地上、地下、空中、水域感知体系进行布局.针对不同感知载体和设施特点，传输方式上，可采用无线为主或有线为主两种方式进行布局。标识体系和编码设计面对海量的物联网设备，有必要建立设备的统一编码标识，规范物联网标识体系，是实现物联网各领域信息互联、产业提升的重要前提条件。设备的统一编码标识IMSI，通过eSIM卡将IMSI与物联网设备绑定；城市级物联标识解析体系，实现不同标识之间的互联互通。物联设备连接管理平台城市物联网连接适配和管理平台：适应多语言、多操作系统的不同终端设备的接入和数据通讯。数字孪生城市支撑安全——高效运行的智能专网为支撑数字孪生城市的高效运行，满足城市各类智能化运行场景需求，保障城市全域空间布局的智能化设施感知信息流动，须建设地上地下全通达、有线无线全接入、万物互联全感知的城市智能专网，才能满足数字城市与物理城市虚实融合孪生并行的运行模式需求。提出网络新需求综合接入、融合指挥、城市感知、专网专用、资源共享、物理隔离接入智能专网推进

5G

网络的大规模商用、推进有线网络万兆接入、智能专网须全程全网支持

IPv6、智能专网应制定相应级别网域保护要求网络延伸增强一部分是政务外网及互联网的补充和延伸另有部分是出于对政务外网或互联网在某些功能或特性方面的增强数字孪生城市运行中心数字孪生城市端侧物联数据采集地上地下全通达、有线无线全接入、万物互联全感知的城市智能专网数字孪生城市重点——智能操控的城市大脑数字孪生城市通过城市大脑，汇聚与交融不同来源的数据，如实记录呈现城市动态，尽可能预见到政策干预对各个子系统的影响，充分考虑各种规避行为、时间延迟和信息损失等问题，将“自学习、自优化”功能融入城市管理过程之中，最终达到增加城市系统整体福利的理想效果。大脑凸显自主学习与集中调度数字孪生模式下城市大脑紧密围绕城市信息模型（CIM）和叠加在模型上的多元数据集合，充分运用人工智能和深度学习的技术来治理城市。PART

1一体三翼构建数字孪生城市大脑城市全要素数据治理、城市信息模型和人工智能支撑下的大脑平台，组成了数字孪生城市大脑。全域数据治理、城市信息模型、人工智能赋能PART

2创新全景全要素城市治理新模式城市画像、居民画像在数字孪生模式下才能实现。城市大脑实现运行管理“一盘棋”。PART

3数字孪生城市重点——智能操控的城市大脑（一）大脑凸显自主学习与集中调度城市信息模型+多元数据集合人工智能互联网云计算物联网大数据基本能力✓

数据涌动✓

知识发现✓

实施诊断✓

智能辨识✓

态势认知✓

模拟仿真✓

深度学习✓

自我决策✓

……数字城市物理城市✓

数据处理✓

资源调配✓

应急处置✓

策略制定城市层面全局统一调度和协

同，虚实互动，数字世界仿真，物理世界执行，不断优化。主要技术数字孪生城市重点——智能操控的城市大脑城市操作系统（深度学习+运营指挥）城市数据资产管理体系（数据汇集+开放共享）数字孪生城市模型（全域感知+虚实交互）城市大脑深度学习能力资源要素数字孪生载体（二）一体三翼构建数字孪生城市大脑三、人工智能模型一、全域多元数据✓

城市语义信息：城市要素的几何属性、自然属性、社会属性等✓

政府部门掌握信息✓

城市运行产生数据二、城市信息模型✓

信息加载在城市信息模型上✓

形成全景视图和各领域视图✓

提供感知、认知推理、执行、人机交互能力✓

进行跨部门、跨领域、跨区域即时数据处理数据提供决策依据智能分析量化指标智能操控反向控制实时感知虚实交互汇聚整合质量监控有序治理

建设思路——平台层17城市安全运行小脑交通小脑环保小脑平安小脑政务小脑教育小脑医疗小脑城市数据大脑城市大数据平台城市大脑由一个个可独立运行、思考的“小脑”组成，再将各个“小脑”的数据在“大脑”里进行整合、存储、交换、共享，通过信息汇聚应用聚合，信息处理智能分析最终实现数据可视化人工智能的智慧管理智慧决策。消防小脑统一整合数据平台数据存储平台数据交换平台数据共享服务平台养老小脑园区小脑商业小脑。。。深智城18小脑（执行层）~人工智能算法决策智慧管理智慧决策AIBI城市数据小脑建设思路——平台层城市大数据平台城市小脑建设应遵循“城市大脑”理念，打造建成一套完善的“感”“传”“知”“用”“控”城市小脑架构。末梢神经（感知层）神经网络（传输层）脑核（数据基础层）皮质层（决策层）城市小脑智慧城市建设思路——平台层城市时空CIM平台结合了空间信息和感知信息，合理搭建基础信息平台；通过城市大数据平台，整合不同部门间数据；基于标准的组件模型实现服务平台及其应用的设计和整合。综合融入了实景三维、BIM、3DGIS

、车联网、物联网、云计算、语义化等技术，实现室内室外、地上地下、覆盖全产业链的管理和服务。建设思路——网络层深智城21手机座机PC电视5G+WLANXDSLWIMAXIPIT内容应用终端接入内容应用移动固网IT手机GSM/GPRS移动语音/数据固话/PCPSTN/XDSL固定语音/数据PC互联网媒体ICT以往垂直的互不干涉的行业……向融合化发展CT城市ICT基础软网络SDN/虚拟化大数据/区块链技术云计算/人工智能技术建设思路——网络层深智城22城市物联网IPbackhaul水务公司燃气公司园区管理地产公司NLoRa/NB-

IWG物流公司IWGIoTLoRa/NB-IoT智能感知终端NSinfiLinkNMSLCSJSinfiBossMSP多业务平台仅仅需要通过一个平台，就能够与有线电话网PSTN和无线GSM移动网连接，提供不同的信令接入、语音、传真、数据和其它媒体的相容关服务。infiCombo能源公司安监安全交管中心多业务场景集成应用1….集成应用n虚拟运营商4G/5GLTE

4G/5GLTERPMARPMA无线局域网接入：RFID,WIFI、蓝牙运营商4g/5G网络低功耗广域物联网城市级物联网网络(混合组网方式)建设思路——网络层深智城23城市大脑–城市智慧治理中心运用智慧城市安全数据共享交换和调度技术，以时空信息为唯一标识，对所有城市治理数据进行融合、挖掘、应用和创新，并保持系统开放性，满足新基建智慧城市未来发展需求，从而为城市管理者提供高效的城市管理手段和途径，为城市提供优质服务和广泛的创新发展空间，为市民提供更好的生活品质。城市大脑建设预期收益IOC以大数据+AI为基础，实现平战结合的城市服务数据共享数据融合大数据政务旅游人口法人事件地理信息……AI应用……标签画像行为轨迹事件碰撞视频分析图像分析语音分析平台共享业务融合城市大数据分析决策支持常态化智能服务城市事件管理绩效评价应急态智能服务城市监测预警防患于未然城市应急联动指挥调度城市仪表盘，总体态势概览与感知大数据+AI态势感知决策分析事件管理应急指挥城市智能运营中心(IOC)监测预警运行指标AI标签画像AI图像分析AI语音分析AI数据集成数据治理数据分析数据挖掘数据安全数据开放应用使能平台事件碰撞AI 视频分析AI数据使能平台政府数据企业数据公民数据互联网数据物联网数据智慧城市数字平台智慧城市数字平台为IOC提供了数据和模型支撑城市大脑应用体系第二章Contents目录城市大脑应用平台架构城市大脑综合态势看板应用场景最佳实践系统截屏城市大脑综合态势看板–经济运行城市大脑综合态势看板–市场监督.社会管理城市大脑综合态势看板–公共服务.环境保护城市大脑综合态势看板–社会诉求城市体征诊断分析城市体征的特点系统整合是城市体征最重要的特征。首先体现在综合性上，城市体征涉及土地、设施、人口、资金、信息等多方面要素状况及要素之间互动状态，是综合的指标集合。其次还体现在城市体征系统内要素的层次性上，从最基层的单要素向上提炼、归类、汇总可得到同类或相关要素的一般运行状态，此外通过小的空间研究单元可以向上汇总到更大尺度的空间范围，以服务不同尺度的管理层级。其三，系统中的对象或要素具有联系性，人地互动、人与设施的交互、人与人的关联等都是城市体征系统的内在联系。城市的生命体征是动态与静态结合的。既有建设用地等相对长期稳态的体征，也有道路交通流量等瞬时变化的体征。对动态变化的关注使得城市体征不同与一般的城市特征，不仅能够评价城市的常态特征，还能够在更细的时空间尺度中展现和评价城市运行状况。城市体征的本质是表征城市运行状态的指标。这决定了其用以判读城市系统状态和病症的根本作用。多源城市治理数据，为城市体征的量化及可视化展示提供了条件。城市体征系统基于城市体征系统整合、动静结合的特点，从时间与要素两个方面分解和联结城市体征子系统。从人与地、静态与动态出发，可以将城市体征系统划分为城市人口系统、城市环境系统、城市活动-移动系统和城市运行系统四个子系统。四个子系统相互作用与影响，从而联结成综合、有机的城市体征系统。城市体征诊断分析系统突发公共事件应急指挥调度系统三大监测系统3城市大脑支撑体系第三章Contents目录城市大脑支撑平台架构前端运行支撑大屏可视化引擎支撑多模态、全空间时空数据大屏可视化城市大脑运行管理中心（应急指挥场所）大屏展示系统动景立体防控系统（三维视频融合监控）视频多源信息融合多维实景视频融合区域视频智慧巡逻报警智能联动实景历史视频回放监控视频结构化传统监控设备的现状，基本都是这种杂乱无序的多个小画面，监控人员无法迅速对兴趣目标进行视频画面的智能发现、跟踪、定位、快速处置。监控人员看得累、烦、懵。日常巡检单路浏览，费时费力。摄像头之间缺乏空间位置关联，监控画面孤立。系统以实景监控视频为基础，充分整合三维GIS系统、视频监控系统、人脸卡口、车辆卡口、电子围栏、GPS定位等多个系统；可实现监控区域内多源信息数据的融合，包括视频数据、人脸、车辆、建筑物；建筑物内结构、人员构成、设备运行数据、状况、传感器、温度等物联设备；可通过视频直接控制设备、空调、照明等设备开关。后端运行支撑传统地理信息系统支撑城市大脑应用力不从心地理信息云平台是构建城市大脑的基石二三维一体化地图服务云平台超融合数据模型和海量数据管理工具将多元数据融合处理为高效统一的超融合数据，支持超大规模二三维场景的快速构建和高速查询，支持丰富的粒子特效、光线追踪特效、辉光特效等超炫可视化效果，实现二三维一体化地理信息专业分析和应用。通用高效超炫规范支持tiff,jpg,png等主流空间影像数据，shp,dwg,tab等主流GIS矢量数据，3ds,osgb,obj等主流模型数据，ifc标准建筑信息模型数据的导入和管理。采用超融合数据模型，确保二三维地图服务、实时动态矢量切片、三维场景构建、二三维空间分析、超炫可视化的高速查询和快速渲染，通过四叉树和八叉树原理对数据实现高效存储和调取。支持丰富的水、火、雾、气、爆炸、游走等粒子特效，点、环境、球面、镜面、太阳等光特效，水波特效，飞线特效等超炫可视化效果；支持丰富美观的图表可视化效果。采用超融合数据模型规范，建立统一的时空基准，支撑海量数据应用和大数据时空分析应用，实现多源海量数据在Web和移动端的表达一致性、应用灵活性、高性能和规范性。融合通信应急指挥调度系统视频结构化系统占道经营

人群聚集

违章停车

明火检测

车牌识别

井盖丢失

入侵检测

积水检测

遗留物检测…动态计算管理容器云管与运维管理容器状态管理容器参数管理容器动态分配容器管理与调度容器管理与调度云服务管理与调度云服务运维监控资源运维监控云服务状态管理云服务权限管理云服务申请管理云服务管理与调度云服务运行情况监控云服务访问次数监控云服务自动化巡检云服务自动化预警云服务运维监控平台资源使用情况监控平台自身运维管理物理设施监控管理虚拟化设施监控管理资源运维监控弹性扩容动态分配监控预警自动化配置管理可视化基础资源监控容器管理系统运维监控系统城市大脑数据治理体系目录Contents第四章城市大脑数据治理结构数据治理关键技术数据区建立分布式数据区，实现各个委办局、区县的信息系统和数据资源的原始数据存储，采用建立数据区对数据接口进行标准化二次封装，替代建立数据前置区方案。实现“数据不搬家、数据不重写、不打破原有数据管理模式”，解决物理分散，数据不搬家问题。微服务总线建立微服务总线接管标准接口，按接口细粒度对数据资源进行管理，建立标准化共享交换通道。基于微服务架构所呈现的形态，微服务总线的建立，有效避免了服务交换过程中不可监督、不可视、不可追溯、不可控导致的数据滥用、冒用和复用。数据治理能力安全管理能力具备访问控制、安全认证以及高可用服务功能数据接入方式多样能力支持同步消息通道、异步消息通道、数据库通道和文件通道，以满足数据收集的需求统一身份认证体系能力分布式数据区系统为了确保不同角色的账号操作安全，需要支持统一的数据账号和权限体系，提高数据接入的安全性接口管控能力对数据接口进行封装，规范化、统一化、标准化的发布与管理服务交换能力对外提供服务的时候，只需要通过开放微服务总线的地址就可以让调用方统一的来访问我们的服务，而不需要了解具体提供服务的主机信息数据调度业务构成数据调度流程监督流程06数据资产管理流程01数据编目流程02共享交换流程05资源调度流程04资源上架流程03优化流程基于任务执行的监督流程保障全市数据目录规范化编目，实现一数一源为数据资产登记管理全生命周期管理提供保障保障数据资源有序上架基于专项工作特点实施调度保障保障数据资源有序共享交换数据服务闭环管理构建全市统一的数据资源目录体系，提供便捷的资源检索。根据不同角色业务侧重，提供满足不同业务工作的工作台。形成数据服务闭环以数据资源申请、审核、协调、共享流程为依托，实现业务工作串接。对数据进行评价，形成数据共享利用的闭环。免接口数据集成系统城市大脑运营体系目录Contents第五章城市大脑–三大运行模式城市大脑–日常模式城市大脑–汛期模式城市大脑–假期模式城市大脑–建设路径城市大脑建设演进路线遵循“统筹规划、急用先建、分步实施、整合资源”的原则有序开展。第二阶段：扩大数据接入覆盖，完善数据共享调度，开展区县中枢试点，全面实现城市治理微观监测、预警、告警，推进事件处置联动机制和城市治理决策支持机制完善支撑平台和应用系统建设指导区县社会治理中枢建设推进事件处置联动机制和城市治理决策支持机制第一阶段：基础平台搭建，形成城市大脑核心框架体系；配合初期业务开展，以监测数据接入、告警和展示为主，首先建设迫切需要的应用建设核心城市治理大数据平台和核心支撑平台建设应急指挥场所和应急指挥调度平台建设城市宏观运行监测和城市安全应急等急用应用，其中应急部分以防汛应急先行第三阶段：完善城市大脑产业生态，全面实现城市治理智慧化，向社会开放监测能力、分析能力和可公开数据资源，支持民生服务创新和产业发展实现城市大脑在跨部门、跨行业、跨领域的覆盖延伸依托城市大脑开展社会治理各领域的智慧创新应用建设全面推进区县中枢建设，充分利用大脑平台的计算能力、数据资源、算法服务，建设区县治理应用，并反哺大脑平台，形成全市一体化的城市大脑体系制作：睿利而行制作时间：2020年09月18日Thankyou！新型智慧城市大数据应用解决方案前言党的十八届五中全会强调“创新、协调、绿色、开放、共享”五大发展理念，为城市发展赋予了新的内涵。《中华人民共和国国民经济和社会发展第十三个五年（2016-2020）规划纲要》要求加快新型城市建设，建设智慧城市，为新型智慧城市建设提出了新的要求。针对智慧城市建设特征与面临的挑战，依托具有自主知识产权的核心技术、产品以及丰富的行业应用服务经验，提出“优政、兴业、惠民”的新型智慧城市建设理念，把新型智慧城市作为城市发展的全新模式，构建智慧城市新生态圈，拓展新空间，优化新治理，触达新生活，从而重构人与服务、人与城市、人与社会、人与资源环境、人与未来关系的可持续化经济社会发展新形态。新型智慧城市架构随着云计算、城市大数据、移动互联网等技术的发展，由城市运行产生的交通、环境、市政、商业等各领域数据量巨大，这些数据经过合理的分析挖掘可产生大量传统数据不能反映的城市运行信息，已成为智慧城市的重要资产。在城市大数据时代，数据信息之间的融合、关联、挖掘与应用是建设新型智慧城市的核心与基础。时间与空间是所有数据共有的唯一标识，所有数据都是在一定的时间与空间中产生的，与时间、位置直接相关联。因此，时间与位置信息是新型智慧城市建设中所有信息数据关联、融合的唯一指针。以城市多元、多时态信息为基础，在原有城市基础设施上，通过建设智慧城市时空信息云平台、北斗高精度位置服务云平台、城市大数据中心三大基础设施，将各类数据互联互通，为新型智慧城市提供精准、高效的时空位置服务，真正实现城市大数据时代城市由“信息烟囱”（信息孤岛）向“信息连通器”（信息共享互通）转变。新型智慧城市时空信息云平台智慧城市时空信息云平台，为智慧城市建设提供数据共享、应用支撑及LBS位置服务，是城市信息化不可或缺的基础性信息基础设施，在智慧城市建设中扮演着基础性、先行性角色，是其他信息共享交换与协同服务的载体，同时又提供智能化信息服务。智慧城市时空信息云平台通过提供基于位置的信息服务，带动个人消费、城市应用、行业应用和公共管理等领域的技术创新、业务创新和应用创新，为智慧管网、智慧管廊、智慧城管、智慧交通、智慧环保、智慧农业、智慧旅游等各智慧城市专业领域提供基础信息服务，是智慧城市发展的信息载体。新型智慧城市数据共享服务新型智慧城市应用支撑服务北斗高精度位置服务云平台基于北斗卫星导航定位技术建设的综合性高精度位置服务体系，吸纳所有与位置相关的资讯，为政府、城市和社会公众提供位置分析决策支持服务。新型智慧城市城市大数据中心对内搭建实现整合的一体化数据采集、数据资源管理和信息服务的业务服务平台，将不同来源、不同类型、不同应用的数据进行集中、规范、整合；对外提供统一的数据共享和信息服务，形成智慧城市的“知识库”。新型智慧城市公共信息服务平台新型智慧城市智慧城市运营中心运用城市大数据挖掘技术，以时空信息标签为唯一标识，对所有城市运营数据进行融合、挖掘、应用与创新，并保持系统开放性，满足新型智慧城市未来发展需求，从而为城市管理者提供高效的城市管理手段和途径，为城市提供优质服务和广阔的创新发展空间，为市民提供更好的生活品质。目录城市大数据分析平台综述1城市大数据分析平台总体架构2城市大数据分析平台演进路线3城市大数据分析平台一期实施重点4城市大数据质量管理平台5城市大数据管理分析类应用建设现状基本分析关注的内容存在的问题基本的现状城市数据仓库累积数据没有充分利用缺乏面向整个城市大数据的统一、完整的数据视图；缺乏支撑城市大数据日常业务运转的风险评估体系；缺乏城市大数据客户360度视图，人员行为分析和预测无法实现；缺乏面向城市大数据运营管理的关键绩效指标体系；……城市已建立面向整个城市业务的数据仓库，整合了前台业务运营数据和后台管理数据，建立了面向城市的管理分析应用；城市大数据已开展智慧园区、智慧社区和智慧市政等多种业务，积累了一定量的业务数据，同时也从人员管理、风险评级和经营规模预测等方面，提出了大量分析预测需求；……数据平台、数据应用、数据管控……基础数据平台和BI应用建设是未来一段时间的重点！数据平台整体架构；数据平台各层建设的标准；较成熟的金融业数据模型；数据质量治理；元数据管理；

数据标准建设数据整合；

数据应用建设；数据平台的软硬环境……城市大数据分析平台建设目标外部非结构化数据统一制定目标和分析模型统一划分分析主题统一设计数据模式统一规划分析方法统一部署技术基础统一定义BI应用自定义报表工具行＋列的简单定义方式多种格式报表社会决策层社会职能管控层各级业务操作层关注社会主要经营指标业务人员使用BI应用实现业务协作和创新BI分析工具智慧园区系统POP系统其他业务系统云数据推送平台已实现了主要城市及城市大数据系统数据清洗、整合，为未来城市大数据数据平台提供了丰富的数据源。通过数据平台和BI应用建设，城市大数据将搭建统一的城市大数据共享和分析平台，对各类业务进行前瞻性预测及分析，为社会各层次用户提供统一的决策分析支持，提升数据共享与流转能力采购管理系统查看职能部门的业务经营情况城市大数据分析平台建设预期收益2.加强业务协作实现分散在智慧园区、智慧社区、智慧市政等各个业务系统中的数据在数据平台中的集中和整合，建立单一的产品、客户等数据的城市级视图，有效促进业务的集成和协作，并为城市级分析、交叉销售提供基础3.促进业务创新城市大数据业务人员可以基于明细、可信的数据，进行多维分析和数据挖掘，为城市大数据创新（客户服务创新、产品创新等）创造了有利条件4.提升建设效率通过数据平台对数据进行集中，为管理分析、挖掘预测类等系统提供一致的数据基础，改变现有系统数据来源多、数据处理复杂的现状，实现应用系统建设模式的转变，提升相关IT系统的建设和运行效率5.改善数据质量从中长期看，数据仓库对城市大数据分散在各个业务系统中的数据整合、清洗，有助于城市整体数据质量的改善，提高的数据的实用性通过数据平台实现数据集中，确保城市大数据各级部门均可在保证数据隐私和安全的前提下使用数据，充分发挥数据作为城市重要资产的业务价值1.实现数据共享目录城市大数据分析平台综述1城市大数据分析平台总体架构2城市大数据分析平台演进路线3城市大数据分析平台一期实施重点4城市大数据质量管理平台5城市大数据分析平台总体架构历史数据查询数据交换平台应用集市数据区城市城市智慧园区智慧社区系统基金系统……系统城市内外部半结构化、非结构化数据城市大数据交换组件数据库数据交换组件数据区数据交换组件数据计算层城市大数据区沙盘演练数据区数据应用层实时数据区客户主题协议主题产品主题业务沙盘演练数据增值产品城市数据供应链数据增值产品数据区主题数据区……用户访问层客户汇总账户汇总机构汇总……社交媒体移动互联用户评价访问日志处理后城市大数据待处理城市大数据流程调度监控告警数据标准数据质量元数据数据安全流程调度平台……数据管控平台流程调度层数据管控层数据产生层数据交换层实时数据查询客户管理财务管理……外部用户贴源数据区……管理分析用户历史归档数据区IT人员风险管理城市大数据分析平台总体架构——数据产生层业务系统产生的结构化数据城市日常城市业务处理过程中产生的结构化数据，存储在关系型数据库中，如：供应商信息、采购信息、商品信息、销售流水……城市大数据日常业务处理过程中产生的结构化数据，存储在关系型数据库中，如：客户信息、账户信息、金融产品信息、交易流水……城市非结构化数据日常业务处理过程中产生的非结构化数据，存储形式多样，主要包括用户访问日志、用户投诉、用户点评……城市外部数据城市外部数据以非结构化为主，主要包括国家政策法规、论坛等互联网信息、地理位置等移动信息、微博等社交媒体信息……

源数据内容在本次项目实施中将采用以增量为主、全量为辅结合的方式获取源数据城市和城市大数据业务系统的数据增量数据识别、获取由云数据推送平台负责，云数据推送平台采用分析、对比源系统日志方式实现对于无法通过上述方式获取增量的源系统数据，则采用某一个时间范围内的全部数据作为增量初始数据加载均采用全量模式源数据增量城市大数据分析平台总体架构——数据交换层数据交换层设计目标传输组件是根据数据源存储的不同分类而设计的，本质是通过分析数据存储结构和数据存储库的特点来针对性的设计工具，以追求卓越的性能保证数据在平台内高速流转保证数据交换过程中不失真保证数据交换过程中不丢失保证数据交换过程安全可靠数据区数据交换组件数据库数据交换组件城市大数据交换组件城市大数据系统数据服务层外部城市大数据城市系统Hadoop元数据云数据推送平台数据平台导入临时区数据平台导出临时区NAS存储ETL程序区城市大数据分析平台总体架构——数据交换层NAS存储Hadoop集群元数据区数据平台ETL数据处理程序区数据平台临时数据区存储数据平台各个Hadoop集群的元数据信息，如：HDFS文件系统元数据社会数据交换平台每日获取运输局推送平台提供的业务系统变化数据，暂存在NAS临时数据区金融数据平台加工计算结果返回给业务系统，暂存在NAS临时数据区数据平台ETL加工处理程序（数据压缩、数据加载、各数据数据处理等）统一存储在NAS集群指定目录，各接口服务器通过文件系统Link建立映射城市大数据分析平台总体架构——数据交换层城市大数据交换组件城市非结构化、半结构化数据，如：音频、视频、邮件、Office文档、抵押品扫描件等城市外部非结构化、半结构化数据，如：微博、贴吧、论坛、用户点击流、用户移动位置等批量采集：城市大数据源以SFTP协议批量传输数据文件在线访问：开发Java或C应用，调用大据源API，或以网络平台爬虫方式抓取源系统非结构化、半结构化数据组件以实时和批量两种模式实现下列功能：数据采集数据传输到数据交换平台（接口服务器）NAS指定目录存储数据到数据平台城市大数据区指定HDFS目录定时抽取用户访问日志，加载到数据平台城市大数据区HDFS指定目录，MR程序加工处理开发网络爬虫程序，扫描用户微博，抓取用户微博内容，社交圈信息，存入城市大数据区处理对象实现技术实现功能应用场景城市大数据分析平台总体架构——数据交换层数据库数据交换组件城市业务系统产生的结构化数据，包括两大来源：城市城市业务数据，数据存储在Oracle、SQLServer、MySQL和MongoDB四类数据库城市大数据互联网城市大数据数据，数据存储在MySQL数据库Perl程序数据采集，调用Perl文件模块相关函数，轮询指定目录，获取数据文件数据核查，Perl执行文件级数据质量检查数据加载，调用HiveLoad数据命令，加载到数据平台临时数据区的HiveTable组件以实时和批量模式实现下列功能：数据采集，轮询NAS集群指定目录，获取数据文件（LZO压缩）数据核查，对数据文件进行质量校验数据加载，加载数据到临时数据区云数据推送平台连接智慧园区系统数据库，分析智慧园区MySQL数据库日志，识别增量数据，存储到金融平台NAS存储的指定目录，金融平台加载数据文件到数据平台临时区Hive表处理对象实现技术实现功能应用场景城市大数据分析平台总体架构——数据交换层数据区数据交换组件数据平台计算层各数据区贴源数据区主题数据区集市数据区沙盘数据区城市大数据区归档数据区Sqoop实现集市数据区与数据平台其他Hadoop数据区的数据交换Hadoop命令、Hive外部表、MR程序实现数据平台Hadoop数据区间的数据交换组件以批量方式实现下列数据交换功能：贴源数据区和主题数据区到集市数据区城市大数据区到主题数据区和集市数据区主题数据区、贴源数据区、集市数据区到沙盘数据区各个数据区数据归档数据集市的数据按照据生命周期规划，统一将过期数据归档到历史数据归档区处理对象实现技术实现功能应用场景城市大数据分析平台总体架构——流程调度层批量处理流程批量数据处理由流程调度层部署的自定义开发WorkFlow组件调度运行整个流程主要完成如下工作：获取业务系统结构化数据，存入临时数据区获取城市内外部非结构化数据，并进行结构化处理，存入主题或集市数据区按照贴源数据模型整合数据（标准化、数据更新/追加）按照主题数据模型整合数据并生成汇总数据加工计算后，结果交付到数据集市，支持分析类应用城市大数据分析平台总体架构——流程调度层实时数据处理流程实时数据处理强调的是实时或准实时获取并处理数据，通常采取消息队列等技术构建“数据流”整个处理流程由流程调度层部署的自定义开发WorkFlow组件调度运行整个流程主要完成如下工作：通过数据库数据交换组件获取增量数据，加载到实时数据区通过城市大数据交换组件获取非结构化数据，并利用Storm处理数据，加载到实时数据区针对实时数据区数据执行标准化处理和贴源整合城市大数据分析平台总体架构——流程调度层归档数据处理流程数据归档的对象包括业务系统数据文件、贴源数据区数据、主题数据区数据、城市大数据区数据和集市数据区数据数据按照生命周期规划存储到归档区Hadoop集群，归档后原数据区删除此数据整个处理流程由流程调度层部署的自定义开发WorkFlow组件调度运行整个流程主要完成如下工作：数据文件通过HDFS命令行copyfromlocal进行归档贴源、主题和城市大数据区通过HDFS命令行distcp或自定义开发的MR程序执行归档集市数据区通过Sqoop或数据库提供的Hadoop集成技术（如：外部表）执行归档城市大数据分析平台总体架构——数据存储层业务系统前日增量数据缓存数据，支持后续ELT数据处理数据内容主要用途数据模型保留周期用户

访问模式工作负载平台要求贴源数据模型保存最近7天数据贴源数据区和主题数据区批量作业访问无最终用户访问I/O敏感，连续小批量的数据抽取和加载少量量数据使用Hive的Load命令，大量数据使用MR程序与主题区/贴源区/集市区构成一个Hadoop集群（Hive）无单点故障，7×24小时+非工作日有限停机主题数据区、集市数据区和沙盘演练数据区批量作业访问无最终用户访问I/O敏感，日终批量ETL以ELT形式通过HiveSQL执行与主题区/贴源区/集市区构成一个Hadoop集群（Hive）无单点故障，7×24小时+非工作日有限停机贴源数据模型不保存历史业务系统前日快照数据和一段时间的流水数据数据标准化，为后续主题模型、集市和沙盘演练提供数据临时数据区贴源数据区城市大数据分析平台总体架构——数据存储层（续）城市内外部非结构化、半结构化数据采集并存储数据，进行结构化处理，最终得到结构化数据数据内容主要用途数据模型保留周期用户

访问模式工作负载平台要求数据按照HDFS文件存储建议保留1年集市区/沙盘区/增值产品区/主题区/归档区批量作业访问少量高级业务人员进行城市大数据分析MapReduce分布式计算，半/非结构化数据的结构化处理（包括文本检索、语义分词、图像识别、音频识别等）与主题区/贴源区构成一个Hadoop集群（HDFS）无单点故障，7×24小时+非工作日有限停机集市区/沙盘区/增值产品区/主题区/高时效区批量作业访问业务人员执行历史数据查询MapReduce分布式计算，HDFS命令实现Hadoop集群内归档，Sqoop实现数据库归档，通过Hive提供历史查询独立的Hadoop集群（HDFS+Hive）无单点故障，7×24小时+非工作日有限停机数据按照HDFS文件存储数据文件按照数据区划分目录，建议保留7年其他各数据区历史数据按数据生命周期规划归档平台过期数据，支撑历史数据查询城市大数据区历史归档数据区城市大数据分析平台总体架构——数据存储层（续）业务系统历史明细数据打破业务条线整合数据数据内容主要用途数据模型保留周期用户

访问模式工作负载可用性要求第三范式模型保留长期历史，需要根据主题细化主题区/集市区/沙盘区/增值产品区/归档区批量作业访问少量高级业务人员进行灵活查询、挖掘预测I/O敏感，日终批量ETL（合并、拉链、关联、汇总等等）以ELT形式通过HiveSQL执行，复杂处理使用MR定制UDF与城市大数据区/贴源区构成一个Hadoop集群（Hive）无单点故障，7×24小时+非工作日有限停机集市区/沙盘区/增值产品区/归档区批量作业访问少量高级业务人员进行灵活查询、挖掘预测I/O敏感，日终批量ETL（连接、聚合、汇总等等）以ELT形式通过HiveSQL执行，复杂处理使用MR定制UDF与城市大数据区/贴源区构成一个Hadoop集群（Hive）无单点故障，7×24小时+非工作日有限停机逆范式宽表依赖于集市数据需求对主题数据预加工后的结果数据针对应用需求进行数据预连接、预汇总，为集市提供数据主题数据区—明细主题数据区—汇总城市大数据分析平台总体架构——数据存储层（续）按沙盘演练需求，准备的明细或汇总业务数据为数据科学家的挖掘预测操作提供数据服务数据内容主要用途数据模型保留周期用户

访问模式工作负载可用性要求模型依赖于沙盘演练需求在整个沙盘演练周期内保留集市区/沙盘区/归档区批量作业访问少量高级业务人员进行灵活查询、挖掘预测I/O敏感，终批量ETL（合并、拉链、关联、汇总等等）以ELT形式通过HiveSQL执行，复杂处理使用MR定制UDF独立的Hadoop集群（HDFS）无单点故障，7×24小时+非工作日有限停机沙盘区/归档区批量作业访问决策人员、管理人员、业务人员访问I/O敏感型，BI工具提交的报表、查询、分析SQL命令和日终批量ETL（汇总、聚集等操作，以ELT形式通过SQL执行）基于开放平台的完全无共享

MPP数据库集群+内存数据库无单点故障，7×24小时+非工作日有限停机维度数据模型依赖业务需求面向城市管理分析类应用需求的汇总数据为客户、运营等管理分析主题和数据增值产品提供数据服务沙盘演练数据区应用集市数据区城市大数据分析平台总体架构——数据存储层（续）根据外部用户的数据使用需求数据平台加工计算的结果数据为部署在数据平台上的城市内外部增值产品提供数据支持数据内容主要用途数据模型保留周期用户

访问模式工作负载可用性要求应用模型，依赖于用户业务需求依赖于用户业务需求城市外部人员，如：京东客户通过自己部署在Paas平台上的应用访问I/O敏感型，BI工具提交的报表、查询、分析SQL命令和日终批量ETL（汇总、聚集等操作，以ELT形式通过SQL执行）独立的Paas平台，部署Hadoop集群无单点故障，7×24小时+非工作日有限停机城市业务人员高时效、高并发、高可靠性的联机交易类查询CPU敏感，BI工具或业务系统高并发、高时效查询，以及准实时连续ETL处理+SQL批量处理独立的内存数据库集群无单点故障，365×24小时不停机贴源数据模型依赖用户业务需求面向应用的业务系统快照数据和一段时间的交易流水为实时获准实时分析应用提供数据服务增值产品数据区实时数据区城市大数据分析平台总体架构——数据存储层数据流数据集成层操作型聚合数据临时数据区实时数据区公共汇总数据主题明细数据结构化数据非结构化&半结构化数据沙盘演练数据区实验室数据集市数据区POP自营数据贴源数据区城市大数据数据主题数据区客户管理集市财务管理集市运营管理集市风险管理集市……集市大物流系统数据供应链系统数据财务审计数据财务研发数据操作型明细据归档数据区城市大数据区源系统数据文件贴源数据主题数据集市数据高时效数据城市大数据增值产品数据区城市大数据分析平台总体架构——数据应用层城市大数据平台应用针对公检法查询需求、内外部审计需求和最终用户的历史交易查询需求，以贴源存储的归档数据为基础，实现的查询类应用历史查询类应用通常使用BI工具或自主开发实现客户经理等最终业务人员针对当前业务的发生（如：用户交易、用户访问日志），进行实时查询、分析的应用管理分析类应用主要实现了社会客户管理、运营管理、财务管理、风险管理、监管信息披露五大分析体系功能管理分析类应用通常采用套装软件和BI工具（MicroStrategy等）实现业务人员根据业务需求或自己对业务的理解，设计计算模型，准备各类明细或汇总数据，导入模型运算，验证业务结果沙盘演练类应用通常使用R语言在Hadoop分布式体系下实现城市大数据数据科学家根据自己对业务需求的理解或者对市场的判断，设计并运行模型，发掘数据价值，并封装成商业产品数据增值产品通常采用R语言和BI工具实现，面向城市内外部用户管理分析类应用1沙盘演练类应用3历史查询类应用4高时效类分析应用5数据增值类产品2实时分析类应用通常使用CEP、ESB等技术实现城市大数据分析平台总体架构——平台发展不同阶段对应应用工作负载复杂度城市大数据平台发展阶段划分操作为主阶段什么正在发生？动态数据仓库阶段

让正确的事情发生！分析为主阶段为什么会发生报表为主阶段发生了什么预测为主阶段将会发生什么？批量随机查询数据分析持续更新加载/短查询基于事件的动态触发数据量增长用户数增长查询复杂度增长ETL处理复杂度增长管理分析类应用历史查询类应用实时分析类应用沙盘演练类应用数据增值类产品城市大数据分析平台总体架构——管理分析类应用总账分析资产负债表分析损益表分析现金流量表分析财务指标分析盈利分析机构贡献度产品贡献度客户细分贡献度渠道绩效资产负债分析主要指标报告，如：净利息收入、净收入、净现值、市场价值等头寸报告现金流报告风险价值（VaR）计算财务预算与计划财务预算财务计划执行监控执行过程分析年末财务计划执行分析预测与场景分析业务规模预测收益预测……领导管理驾驶舱机构绩效考核客户经理考核客户经理工作量评估客户经理服务客户收益评估产品绩效考核业务量考核智慧园区业务智慧社区业务保理业务基金业务其它中间业务……渠道成本与收益……风险监控报表/信息披露流动性报表利率敏感性报表资本充足率报表……市场风险市场风险暴露值流动性管理、利率管理信用风险信用风险暴露值计算信用风险控制（贷前控制、贷中监控、贷后分析）操作风险异常交易预警后督差错检查……防欺诈/反洗钱定义欺诈交易模型可能性欺诈交易预警欺诈交易分布分析全面风险管理……目前监管机构没有明确要求客户单一视图公司客户信息管理个人客户信息管理同业客户信息管理目标客户搜索重点客户关怀客户风险客户异动客户客户细分个人客户细分公司客户细分客户行为分析客户轮廓分析产品交叉销售分析百分比分析渠道偏好分析营销活动管理营销活动规划营销活动定义营销活动执行营销活动苹果营销活动自动化渠道接口与集成流程自动化……客户管理运营管理财务管理风险管理监管披露示例城市大数据分析平台总体架构——数据访问层即席查询：通过即席查询工具或手工书写SQL语句，完成业务信息的即席查看多维分析：从多个维度灵活组合对目标值进行分析，常见功能包括上下钻取、透明钻取、旋转、分页、层钻、跨维钻取等主动问题发现：通过事件触发、规则匹配等方式发现城市运营中的问题，通过手机、邮件等方式报警决策层管理层业务人员即席查询静态报表多维分析仪表盘挖掘预测仪表盘：通过仪表盘及其它展现方式对城市关键绩效指标进行展示，为领导层决策提供直观的数据支持静态报表：按照预先定义格式，批处理报表，在线查询报表等Office集成：将分析应用嵌入到Office界面中，利用Office的方便、易用特性，降低用户使用难度问题发现Office集成Web服务挖掘预测：使用专业的软件工具，通过数理统计等高级统计分析算法，分析结构化、非结构化数据，通过数据模型去挖掘隐藏在数据中的价值数据科学家业务系统Web服务：将分析应用的功能发布为Web服务，注册在城市服务总线上，供其它业务系统或分析应用调用，获取分析结果多种展现形式满足各层级用户及应用系统使用需求城市大数据分析平台总体架构——数据管控层金融数据管控体系涵盖组织架构、评价与考核、管控流程、管控平台四个域。数据标准管理数据质量管理元数据管理工作流管理……组织数据与信息标准化委员会数据管理人数据所有人数据生产人数据使用人IT支持团队考核指标责任评价标准执行评价政策执行评价评价标准数据类型数据格式业务分类真实性定义及时性定义完整性定义技术元数据流程评价与考核流程考核指标建立/维护流程标准建立/维护流程组织建立/维护流程评价与考核业务含义一致性定义数据认责平台安全等级权限定义数据停用数据共享数据移动数据存储数据创建业务元数据管理元数据数据全生命周期数据安全管理数据标准数据质量元数据数据安全…………审计定义保留策略……城市大数据分析平台总体架构——数据管控体系运转机制管控组织数据管控委员会数据所有人数据认责人IT支持……管控流程数据接入流程数据变更流程数据授权流程数据退役流程标准/政策制定流程评价考核流程……评价与考核标准（数据标准、质量要求、安全要求）遵守标准所需要的政策政策与标准遵从考评定义……数据产生者数据使用者………流程支撑流程支撑制定管控平台工具支撑明确了数据管控过程中的组织结构、角色、职责等。管控组织除了要负责制定数据标准、质量、安全等要求外，还需要负责制定管控的相关流程和评价考核指标等内容。考评制定通过建立一些定性或定量的数据管控评价考核指标，去评估及考核数据相关责任人职责履行情况、数据管控标准及数据政策的执行情况等。规范了数据管控过程中，各个环节日常任务处理的运作模式，例如数据定义如何变更、数据冲突如何协调等。采用专门的技术平台支撑管控流程的自动化，发布管控组织制定的一些相关标准和规范，及时反映管控过程中存在的一些问题等。管控综合管理标准/规范管理流程管理考核仪表盘……元数据管理业务元数据管理技术元数据管理管理元数据分析……数据质量管理稽核规则管理数据稽核质量报告……工具支撑组织架构、评价与考核、管控流程、管控工具这四个域相互作用、相互支撑，提供对各信息系统数据的管控。城市大数据分析平台总体架构——数据管控组织数据管控组织是数据管控体系中最重要的因素，它负责定义和管理业务数据相关标准，制定遵寻标准所必须的政策，监测正在进行的数据管控行动。数据管控组织是否有完整与合理的角色定义、是否有高层领导的参与，是整个数据管控的成败的关键。典型的数据管控组织如下所示：数据管控负责部门岗位角色数据管控主导方信息管理委员会

数据标准管理员数据质量管理员数据产生部门数据管控参与方业务协调人数据分析员数据主管数据使用部门业务协调人数据分析员数据主管数据拥有部门业务协调人数据分析员数据主管数据管理部门运维组织实施项目组数据安全管理员数据管控经理元数据管理员城市大数据分析平台总体架构——数据标准管理消除一数多义，提升数据的唯一性、一致性，将逐步形成的数据标准纳入一个规范的管理流程中，进行数据标准的更新、发布、使用监督等工作。数据标准管理工作可以分为以下几个部分：数据标准建立和维护、数据标准执行、数据标准管理的考评。数据标准建立和维护数据分类数据结构关键业务对象关键代码数据维度代码映射客户类数据标准产品类数据标准。。。类数据标准数据标准执行数据标准管理的考评定性考评定量考评数据标准分析报告数据标准理念推广归档系统……ODS城市大数据分析平台总体架构——数据质量管理数据质量管理框架蓝图如下，其中数据质量提升是改进数据质量的手段和质量考评的目的：数据质量要求确认，根据业务要求制定和明确数据质量要求，同时也需要符合数据标准的要求；数据质量考评，对数据质量的量化评价制定数据质量问题解决方案，根据数据质量考评和日常工作中发现的数据质量问题，实施相应的措施，提升数据质量数据质量要求业务规则数据一致性要求数据完整性要求数据唯一性要求数据准确性要求数据及时性要求数据质量标准数据质量验证规则数据质量考核指标数据质量提升数据补录手工修正自动修正数据质量考评数据质量监控不定期数据质量检查数据质量分析报告城市大数据分析平台总体架构——元数据管理业务元数据：面向业务人员，从业务术语、业务描述、业务指标和业务规则等几个方面对数据进行描述管理元数据：面向数据管理人员，从运维管理的角度描述数据处理、数据质量和数据安全的状态信息技术元数据：面向技术人员，从数据结构和数据处理细节方面对数据进行技术化描述城市大数据分析平台总体架构——数据安全管理数据安全管理可分为数据安全分级管理和数据访问授权管理两个部分：数据安全分级：根据业务要求，制定一系列的数据安全分级标准和政策，为数据应用以及数据管理中实施数据安全保护和访问提供数据安全控制的基础。数据访问授权：数据访问授权的主要工作是根据数据安全分级标准，定义数据访问的授权方法及流程，建立基于数据安全分级的数据使用授权机制，实现数据访问和信息披露的安全。数据安全分级数据敏感度数据安全等级定义数据访问授权数据重要性数据使用需求数据使用者权责数据访问授权规则安全技术城市大数据分析平台总体架构——高阶工作流程业务数据规划管理高阶流程数据认责流程数据治理考核体系数据治理考核流程数据治理考核指标体系数据标准管理管理高阶流程数据标准建立流程数据标准维护流程数据质量管理管理高阶流程数据质量要求确定流程元数据管理高阶流程元数据变更流程数据安全管理管理高阶流程数据安全审批流程数据认责流程数据标准、质量、元数据、安全管理流程协调会议考核流程城市大数据分析平台总体架构——数据管控平台数据管控平台从总体上来说分为数据层、应用层、展现层三个主要层面，以数据层的数据库及相关基础系统为主要信息来源，通过应用层的运算处理，以不同的形式，不同的功能在展现层提供用户接口首页标准管理主菜单指标速递待办事项信息地图标准浏览标准维护工作管理流程管理绩效指标系统管理用户管理权限管理规范管理数据管控平台统一用户集成界面数据标准知识库数据管控平台知识库……元数据管理元数据采集……元数据知识库质量管理规则配置……质量稽核库数据层应用层展现层城市大数据分析平台总体产品框架非结构化/半结构化数据管理分析平台（X86MPP集群）京东业务系统结构化数据基础计算平台（贴源数据区+主题数据区+城市大数据区）（Hadoop集群+Hive）数据交换平台（自主开发交换组件+NAS存储）实时分析平台（内存数据库）沙盘演练平台（Hadoop集群）数据管控平台FTPSFTP/HTTP/APICopyfromloalQueue京东云数据推送平台增值产品平台（Hadoop集群）历史归档查询平台（Hadoop集群+Hive）Load（Hive）DistcpHQL+LoadDistcpDistcpHQL+LoadDistcpHQL+LoadSqoopSqoopSqoopMR流程调度平台目录城市大数据分析平台综述1城市大数据分析平台总体架构2城市大数据分析平台演进路线3城市大数据分析平台一期实施重点4城市大数据质量管理平台5城市大数据分析平台演进路线以基础平台搭建为主，配合城市大数据初期业务开展，应用建设从客户信息管理、风险管理和运营管理三方面开展搭建城市大数据处理平台和实时分析平台，应用方面开展实时分析和数据产品封装开展客户信息管理、信用风险评级和业务统计分析三类应用建设开展贴源数据整合，初步建立城市级数据视图，实现对管理分析类应用和实时分析类应用的支撑规划数据管控蓝图，初步实施数据质量和技术元数据管理2013年2014年——2015年2015年以后对城市价值的创造应管技业务分析框架基础数据平台数据管控体系应技管全面开展管理分析、实时分析和沙盘演练应用建设，初步展开增值数据产品开发工作全面开展城市大数据分析平台建设，引入更多数据源，丰富并完善平台数据区建设随着应用体系的搭建，完善数据质量和元数据建设，开展数据标准化工作应技管深化分析体系，形成深度智能化业务分析性能持续优化、数据平台持续完善、持续深化数据管控体系，形成城市大数据城市级的数据管控体系应技管一期2013.10当前位置未来持续优化提升阶段第一阶段第二阶段第三阶段城市大数据分析平台演进说明——基础数据平台阶段划分建设内容预期效果第一阶段搭建数据交换平台，部署NAS存储集群，设计并实施数据库交换组件和数据区交换组件搭建基础计算平台，设计并实施贴源数据区，以T+1频率整合城市和城市大数据数据搭建历史归档查询平台，归档城市和城市大数据数据文件搭建管理分析应用平台，部署MPP集群和BI分析应用环境搭建实时分析平台，部署内存数据库和实时BI分析环境实现了数据平台个数据区之间、数据平台与外部系统间的双向数据传输实现了业务数据按照贴源数据模整合实现了数据按照生命周期的归档管理实现了管理分析环境搭建实现实时分析环境搭建第二阶段数据交换平台增强和优化，包括：城市大数据交换组件设计实施基础计算平台增强，包括：引入更多的数据源，增强贴源数据区；设计并实施主题数据区，打破业务条线整合数据；设计并实施城市大数据区，实现城市内外部非结构化、半结构化数据加工、处理搭建沙盘演练平台实时分析平台增强和优化，包括：引入更多应用及相关数据源实现了基础数据一次存储、一次计算、多次使用建立了数据分析人员的实验环境，实现了用户自主用数为实时、准实时类分析用提供平台为封装、销售数据类产品提供了平台第三阶段基础计算平台持续增强和优化，引入更多的数据源、优化模型和ETL处理搭建增值产品平台，设计并实施增值产品数据区数据交换平台、沙盘演练平台、实时分析平台进一步增强和优化数据平台纳入尽可能多的城市内外部数据数据平台以最优的性能支持各类数据应用城市大数据分析平台演进说明——数据管控阶段划分建设内容预期效果第一阶段分析和梳理当前数据管理方面的成果和现状，数据管控蓝图和路线图设计，数据管控工作的组织、技术和流程高阶设计梳理城市大数据城市大数据平台ETL流程各环节的数据质量要求，指定数据质量检查规则、评价指标、管控流程，并落地实施数据质量管理系统梳理城市大数据城市大数据平台包含的技术元数据，如：数据字典、ETL任务、ETL流程、BI语义层等，制定相应的管控流程并落地实施元数据管理系统同步城市大数据分析平台ETL建设，实现了数据质量管理系统收集并整合了城市大数据所有技术元数据，实现了数据生命周管理、血缘分析和影响分析等功能第二阶段随着更多数据源的引入，进一步增强数据质量管理系统随着更多数据源的引入、更多平台的建立，梳理并整合更多技术元数据梳理城市大数据城市大数据平台包含的业务和管理类元数据，如业务术语、业务指标、业务定义等，制定相应的管控流程并落地实施元数据管理系统开展基础类数据标准建设，基础数据标准、管控流程、评价指标、落地策略完善了数据质量管理体系，实现了问题及时发现、及时解决实现了城市大数据全方位的元数据管理，打通了业务和技术元数据关联关系为城市大数据数据平台建设提供了基础类数据标准第三阶段数据质量管理持续优化并增强元数据管理持续优化并增强基础类数据标准逐步落地实施开展指标类数据标准建设基础数据标准、管控流程、评价指标、落地策略通过完善的数据管控体系，提升数据质量、避免数据二义性、建立数据间的血缘关系，使得业务人员可以方便、有效的使用数据，提高数据实用性城市大数据分析平台演进说明——应用体系阶段划分建设内容预期效果第一阶段开展客户信息管理建设，设计并实施个人客户和供应商360°视图、客户目标搜索、客户细分等功能开展风险管理建设，设计并实施供应商和个人客户风险评级模型开展运营管理建设，设计并实施智慧园区、智慧社区等业务条线业务量统计分析初步梳理实时、准实时分析需求，进行高时效分析应用试点可以方便的对个人客户和供应商进行分群，以及全方位信息查询和展示供应商和个人客户风险等级评定针对目前开展的业务进行经营情况统计分析搭建并验证高时效应用体系第二阶段随着城市大数据业务的展开，逐步开展管理分析体系的建设，本阶段重点为客户关系管理、运营管理等高级业务人员利用沙盘演练平台进行数据挖掘、预测和科学试验进一步树立实时、准实时分析需求，深化开展高时效分析应用开始梳理市场上的数据应用需求，尝试封装增值数据产品通过管理分析体系的建设、满足了城市大数据日常经营管理、决策分析和进一步提高价值创造力的需要实现了业务人员自主用数实现了高时效分析，与业务流程的整合实现了数据产品的封装，提升了数据价值第三阶段随着城市大数据业务的展开，进一步完善管理分析体系的建设，包括：市场风险管理、操作风险管理、财务管理等收集实时分析需求，进一步增强并优化实时分析应用体系增值数据产品设计逐渐成为重点，数据分析师收集城市内外部数据需求，设计更完善的增值数据产品通过管理分析应用体系建设进一步实现数据共享、业务协作与创新通过实时分析应用体系建设，实现城市大数据平台业务系统的交互，与业务流程的融合增值数据产品的开发进一步发挥的数据平台的数据价值目录城市大数据分析平台综述1城市大数据分析平台总体架构2城市大数据分析平台演进路线3城市大数据分析平台一期实施重点4城市大数据质量管理平台5金融城市大数据分析平台一期架构基础计算平台：基于Hadoop集群构建，按照业务条线、以贴源数据模型存储了业务系统明细数据数据交换平台：NAS集群实现了进出数据平台数据的暂存，业务数据交换组件实现了业务系统每日增量数据加载，数据区数据交换组件实现了基础计算平台与管理分析平台间的数据交换流程调度平台：自主开发的流程调度引擎实现整个数据平台的数据处理任务调度和运行管理分析平台：由X86分析型数据库集群、BI软件1J2EE应用构成，实现了面向应用的数据加工、管理、分析服务实时分析平台：由高档X86服务器组成的集群，实现高时效、高并发的实时、准实时类管理分析需求数据交换平台—平台逻辑架构POP金融城市大数据分析平台NAS集群物流财务供应链智慧社区……云数据推送平台云数据推送平台实现源系统数据一次获取获、按需分发。平台采用GoldenGate、JBUS、Flume等技术获取增量数据，存储在MySQL集群平台按照接口规范生成文件，LZO压缩后，通过FTP传输到NAS指定目录数据交换平台由FTP服务器、加载服务器和NAS存储组成，完成业务系统数据的获取、加载和归档FTP服务器：利用LVS构成的FTP集群，接收云数据推送平台处理后的数据，存储在NAS集群的指定目录加载服务器：部署ETL任务，实现指定目录的文件到达监控、文件级检核、数据加载（HiveLoad）到临时数据区，同时归档（copyfromlocal）历史数据区NAS集群：按照日期和源系统划分目录，缓存数据，支持日常数据交换和ETL…………LVS集群：FTP服务器#3加载服务器#1文件加载文件归档文件到达事件监控文件级检核加载服务器#4文件加载文件归档文件到达事件监控文件级检核LVS集群：FTP服务器#1LVS集群：负载均衡服务器…………数据交换平台—参与方责任划分设计并实施云数据推送平台；按照城市大数据接口定义，抽取业务系统数据；按照城市大数据接口规范要求，按时生成数据文件、控制文件和DDL文件，并通过FTP传输到NAS指定目录；若源系统有变更，则要求在变更前提供变更内容说明，升级平台版本，根据城市大数据更新接口规范提供数据；应及时解决接口数据提供过程中出现的问题；对于未尽事宜，应同城市大数据协商解决。云计算安装部署城市大数据城市大数据分析平台物理环境、应用软件，并进行基础设施运维；在业务系统数据库服务器安装并部署云数据推送平台客户端，并提供数据库访问。运维部门制定接口规范，并提交给云数据推送项目组；梳理业务系统数据字典，制定接口定义，并提交给云数据推送项目组；开发数据交换组件，从NAS获取数据并处理；对接收的数据提供验证功能，并返回验证结果到云数据推送平台；根据云数据推送平台提交的变更通知修改接口定义和数据交换组件；对于未尽事宜，应同云计算方协商解决。城市大数据针对城市大数据需求，指定接口人、提供文档；业务系统因版本升级等原因导致数据模型发生变化，及时通知云数据推送平台接口责任人。研发部门数据交换平台—业务系统数据抽取实现方式每张源系统表都对应一个独立的数据接口数据接口由数据文件和控制文件构成（文件命名和具体内容参见接口规范）文件统一采用UTF-8编码，统一存在在JSS指定目录（参见接口规范）如果在抽取周期内没有数据变更，云数据推送平台应该生成空的数据接口传输方式FTP传输