智慧城市一卡通大数据云平台建设方案_第1页
智慧城市一卡通大数据云平台建设方案_第2页
智慧城市一卡通大数据云平台建设方案_第3页
智慧城市一卡通大数据云平台建设方案_第4页
智慧城市一卡通大数据云平台建设方案_第5页
已阅读5页,还剩76页未读 继续免费阅读

下载本文档

版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领

文档简介

1、智慧城市一卡通大数据云平台建设方案智慧城市一卡通大数据云平台建设方案V3.0 日志提取等不同模式,能满足各种形式的数据源形式。/可以叠加不同的抽取规则,包括简单直接抽取、汇总抽取、交 叉查询抽取、一列到多行的抽取、重复数据选择规则抽取等。/比如临时数据明细记录,抽取时只需要按照年度、季度、月份、 日期汇总统计数据。/可以对数据进行验证,包括时间日期类型的有效性检查,地址 类信息的规格化处理(将省市县区的名称规范化),全角数字转换等。可以附加高级的数据验证。/可以附加脱敏去秘规则,比如最简单的身份证信息、姓名、电 话号码、银行卡号、信息中间加号保护个人隐私。/可以自定义或者导入数据字典转换,比如

2、数据源的IA代表结 婚,IB代表离婚,既可以自定义,也可以从数据源的代码表中匹配。/可以进行视图数据抽取,支持内连接、外连接和交叉查询的数 据源,然后对结果映射到目的表。抽取任务支持定时、条件驱动、手动等多种方式。/抽取任务可以浏览、监控,可以手工停止和删除。/历史抽取任务有记录,并带有数据抽取统计信息(抽取时间、 数据量、数据源、数据目的等信息)/数据抽取任务具备Web Service远程控制接口,可以通过编程 方式控制。4.1. 3分类业务数据浏览/抽取到的各业务基础数据,允许对数据进行基础浏览/浏览权限根据业务范围限制/浏览的内容、项目、形式,由各业务处室给出具体要求/浏览的方式,按照业

3、务处室、业务项分类导航/浏览的具体数据包括业务明细和简单汇总汇总数据可以按日期、地域或其他自定义条件分组汇总4. 1. 4统计汇总及数据挖掘/统计和挖掘部分包括三个主要功能,数据报表设计和制作工具, 数据报表库的浏览和检索,以及可视化数据展示客户端。/数据报表设计和制作工具在数据抽取服务获得的数据表的基 础上,经过数据建模,选择适合的数据向量,以便通过适合的数据钻 取,从而获得对业务评估就价值的参考数据,工具支持拖放式编辑。/数据报表库是设计和制作工具创建的所有数据挖掘报表的存 储仓库,可以按照自定义分类存储,具备浏览和检索能力,并能再次 通过报表涉及和制作工具修改编辑报表。/可视化数据展示客

4、户端,则是通过可定制的数据报表导航门户, 以分类图标的方式共用户查阅,同时支持桌面和手机,将负责的数据 挖掘分析结果,以简单的可视化图表形式展示,手机和移动设备的支 持,实现了数据随处可得。/数据报表分为在线和历史等不同类型,在线数据报表连接数据 抽取数据库,可以随着抽取数据的增加而发生变化,历史数据则统计 分析的是一定范围内不再变化的数据,可以脱离抽取数据库独立存在。“统计报表的结果可以导出不同的格式,方便存档或者嵌入各类 报告中。对统计和挖掘的数据结果,可以利用地图层数据叠加,实现地 图数据关联。地图显示服务可考虑用第三方免费地图平台服务。3. 4. 1. 5大数据管理需要建设满足海量城市

5、运行大数据分布式并行计算、多副本机制、 没有单点的高可靠体系架构,兼容Hadoop标准要求。支持结构化、半结构化、非结构化数据的管理和搜索。支持实时 及用户行为数据的高效管理和分析;支持PB级的海量数据管理。支持海量用户的高并发访问(千万 级用户、万级并发);充分释放硬件的潜力(多核、大内存等);大规 模部署的自动化和运行状态监控。创新的多检索引擎机制,提供开放 的二次开发接口。4.2性能需求1、应具有海量数据存储和管理能力,支持100G以上的总数据量 及30G以上的空间数据量的存储和管理。2、应具有良好的并发响应能力,整体响应性能在5s以内,正常 情况下并发访问量支持应不小于60o3、应具有

6、较强的用户容量,可以支持1000个用户。4、应具有完备的信息安全体系,能对登录用户的身份进行认证。5、应具有良好的数据安全保障机制,对数据采取集中管理和存 储的模式,数据库结构设计良好,具有迅速的数据检索能力。6、文本信息交换的响应时间应控制在Is以内。7、应具有高度的灵活性,能适应日常业务变更的需求,提供日 常系统管理和维护。8、正常工作状态下,系统响应速度:电脑终端的事、部件地理信息位置查询和定位时间不超过2s, 移动终端不超过3s;地图查询定位时间不超过3s,大数据接收信息时间不超过5s, 大数据中心对外发送任务时间不超过5s;本地信息查询响应时间不超过2s,服务器数据查询响应时间不 超

7、过3s;单次数据无线交换和传输时间不超过5s;文本信息交换的响应时间应控制在Is以内。10、网络通信质量稳定,信息传递成功率宜在99.9%以上;11、具有良好的数据安全保障机制,具有较强的容错能力和灾难 恢复能力;12、具有高度的灵活性,能适应日常业务变更的需求;3.5大数据应用现状与差距在现如今各大城市相继建设“智慧城市”的进程中,各种行业业 务系统,产生了大量的行业数据。以交通行业为例:交通数据容量大、增长快、结构多样化,不少 数据价值密度低,有待深入的处理挖掘。随着智能交通建设进程的逐 步推进,交通数据已经从稀缺走向了极大丰富,并带来了交通大数据 的严峻挑战:极大丰富的交通数据未能有效整

8、合,数据依类别、行业、部门、 地方被隔离,数据之间的关联性被遗忘,车辆运行状态作为最大的交 通信息源没有被充分利用,公众无法获取准确连贯的出行服务信息;数据来源众多,存储方式多样,数据类型复杂,包含大量视频、 图像等半结构、非结构化数据,并且数据无统一标准,在组织、融合、 清洗和转换这些数据时的难度较大;为深入挖掘交通数据的潜在价值, 需要一个数据管理平台来处理各种类型和规模的数据,该管理平台还 需要同时能处理结构化数据、半结构化数据和非结构化的数据。针对 高增长、规模日益庞大的交通数据,我们需要一种高效的大数据处理 技术,对交通数据进行快速有效的挖掘分析,从中提炼出高价值的信 息,并灵活支撑

9、日益增多的各类交通业务应用需求。作为XXX交通消费数据的拥有者,XXX 一卡通于2015年底开始 调研城市运行大数据平台的建设方案。计划在2016年底完成基础数 据中心的建设,并将“长安通卡交易数据接入基础数据中心,为城 市运行大数据平台提供基础数据。3.6项目建设的必要性6.1从产业发展需求角度分析建设城市运行大数据平台是产业升级的需要目前,各地的智慧城市项目正在如火如荼地推进中,城市运行大 数据的有效建设与合理应用,无疑是一个很好的有效载体和途径。建设城市大数据是创新创业的需要行业信息不通、数据壁垒保护,让许多系统、信息在各部门地区 间重复建设,造成资源利用效率下降、甚至效率极低等现象,形

10、成较 大的社会浪费。而这,对大数据创新创业无疑是极大和无形的掣肘。 在目前国家大力提倡大数据创新创业的大背景下,城市运行大数据建 设无疑能够较好破解行业信息孤岛问题。6.2从政府服务的角度分析政府提供公共服务、促进经济社会发展的职能发挥同样需要大数 据支持。政府掌握了大量关于人口、法人和城市空间地理等数据,提 供满足群众需求、针对性的公共服务需要对所掌握数据的精细分析。 凭借大数据,城市公共卫生、教育、城市规划、交通服务能够得到改 善,基于大数据分析结论的政府公共服务决策能够更好的满足市民需 求。3. 6.3从政府管理角度分析智慧城市建设已成为国内信息化建设的潮流,“智慧”的关键在于 对大数据

11、的研究,只有利用大数据分析,才能实现各行业信息系统有 效整合,实现跨部门的信息资源共享和业务协同,让政府的管理服务 效能提升,让民众感受到政府无处不在服务。政府另一项职能是促进 经济社会发展,如在经济异常波动时实施宏观调控,政府对大数据信 息的掌握和分析,直接决定了宏观调控的效果。第4章总体设计4.1设计思路XXX市城市运行大数据平台的基本设计思路:基于XXX及城市一 卡通公司现有的数据应用现状,制定数据归集接口规范,确定城投各 系统数据釆集与共享内容,先期以XXX 卡通进行数据归集,成功后 逐步将各业务公司的数据资源进行归集处理,建设基础数据库、主题 数据库、共享数据库和数据仓库,构建面向城

12、投集团及政府、社会公 众服务的城市运行大数据中心,基于此数据中心,逐步完善建设城市 体征指标、预警管理和应急处置、信息共享推送等服务性平台,面向 领导和社会公众提供全方位的服务。4.2设计原则XXX市城市运行大数据平台建设坚持“规划自上而下,保证整体 性;实施自下而上,保证可行性”、充分利用现有资源解决实际问 题的指导思想。在项目建设中遵循以下原则:(一)顶层设计,整体规划按照XXX市城投集团及各子公司信息化建设的总体部署和要求, 结合实际情况,在详细调研分析的基础上,充分利用、整合各种资源, 避免重复建设、资源浪费。(二)分步实施,试点先行依照整体规划,落实分步骤、分阶段实施,集中资金和技术

13、优 势,先行试点,跟进推广。(三)遵循标准,急用先建平台设计和建设须符合国家及省市行业的有关数据标准和技术 规范,功能须符合国家相关管理规范要求。在分期建设过程中,遵 循急用先建的原则,优先建设基础的、急需满足应用的系统。(四)实用先进,安全可靠平台要满足各机构的业务需要,要求成功案例和实用性,借鉴 国内外先进系统架构理念,采用成熟技术,追求性价比,保证系统 的安全性,数据的完整性、可靠性。(五)扩展性好,兼容性强为平台采用的技术、实现方法和软件架构留有升级发展空间, 保证日后性能、功能、结构的可扩展。同时须满足与行业内外多种 异构信息系统的兼容,实现与其它系统的信息交互,满足扩容和集 成需求

14、。4.3设计目标以现有的信息化基础设施为依托,基于XXX各业务数据,构建 XXX市城市运行大数据服务平台,以XXX城市一卡通为基础围绕集团 XXX子公司的现有各类业务系统数据进行整合归集,以城市运行大数 据中心的信息资源为核心,充分利用移动互联网、移动物联网和云 计算等先进技术,统筹建设面向城市运行管理、监测预警、应急指 挥、统计分析、辅助决策的大数据信息平台,运用信息和通信技术 手段感测、分析、城市运行核心系统的各项关键信息,基于城市运行 信息融合数据对包括民生、环保、公共安全、城市服务、工商业活动 在内的各种需求做出智能响应,实现城市智慧式管理和运行,进而为 城市中的人创创造更美好的生活,

15、促进城市的和谐、可持续成长,实 现智慧城市的信息化、系统化、程序化管理。4.4总体构架XXX市城市运行大数据服务平台是一个基于云计算、大数据技术, 以面向服务(SOA)并体现云计算模式的“五横三纵”的体系框架。 “五横”分别是基础资源平台、数据资源服务平台、数据支撑服务平 台、数据应用平台和数据门户服务,“三纵”为信息安全保障体系、 运维监控服务体系及政策法规标准规范作保障,总体框架如下图所示:4.5总体建设任务与分期建设内容5.1总体建设任务建设面向城市运行管理者和城市资源使用者的一个资源整合和 应用整合的大数据服务平台,基于XXX及一卡通公司,通过对城市供 热、供气、交通、通讯、安全保障等

16、城市基础运行业务信息和实时数 据进行整合,逐步将更多城市民生行业的数据进行整合归集,建设起 城市统一的实时运行态势和体征检测系统,提升城市运行综合管理水 平和应急处置效率。基于城市运行资源数据,构建XXX市城市运行大 数据中心,进行大数据分析,发掘数据的商业价值,提高数据的综合 使用率,使得城市管理更加趋于精准和髙效,使得百姓生活更加趋于 便利和快捷。5.2分期建设内容一期建设内容:完成项目调研、项目立项、数据中心建设、接入 1-2家城投集团内部企业数据,初步建成城市运行体征指标平台。二期建设内容:接入城投集团内部3-4家企业数据,完善城市运 行体征指标平台的功能,建设预警管理和应急处置平台。

17、三期建设内容:实现城投集团内部剩余企业数据接入,开始信息 共享平台的建设,并与城投集团外部企业数据平台进行对接。第5章项目建设方案5.1建设目标依托XXX及下辖一卡通、燃气、供水等XXX企业的信息化建设成 果,先期以XXX城市一卡通为基础面向集团XXX子公司的现有各类业 务系统数据进行整合归集,逐步建成以城市运行信息资源为核心的 集内部城市运行管理、运营监控、应急协调、辅助决策、民生服务 等服务为主的城市运行管理与服务的大数据平台,构建统一、标准 的城市基础数据中心,规范化城市运行管理数据交换和共享机制, 进一步规范、优化业务处理流程,实现城市运行统一管理与监测, 促进全市跨地区、跨行业、跨部

18、门的城市信息共享融合,保障信息 安全,为各级领导科学决策、业务协调和社会公共信息服务提供数 据支撑,实现安全互联互通、资源共享和业务协调,最终提高城市 运行管理的工作效率和质量水平。5.2建设规模该项目覆盖了 XXX各业务板块,含集团下辖XXX业务子公司。在XXX市城市一卡通公司的数据资源基础上,实现与下辖XXX业 务子公司的业务数据的归集、存储、备份、分析处理和利用。5.3建设内容建立统一的城市运行基础数据中心。整合现有城投集团公司下辖 的城市供气、供热、供水、地铁、公交、出租、市政建设、征地撤迁、 土地储备、交通燃气、停车管理等业务信息资源,构建一个安全、可 靠、稳定、高效的城市运行管理基

19、础数据中心,实现全市城市运行管 理信息资源的存储、备份、汇总、分析和利用。制定统一的数据标准, 提供统一的数据接入处理,建立实现数据分类安全保存的数据仓库, 根据各数据分析应用的要求,对外提供相关数据。数据中心建成后, 将实现数据统计、数据查询、数据挖掘、数据整理和数据分析。进一 步加强全市城市运行管理数据的归集管理与资源共享,通过动态监测、 数据采集、指标和模型分析,实现动态预测、预警,为科学决策提供 有效服务。建设城市运行体征指标平台。以城市运行数据为载体、依托现有 城市管理运行业务系统,统一规划,构建城市运行体征指标平台,面 向XXX下辖各业务子公司乃至其他与城市运行相关的企事业单位的

20、各类业务管理、公共服务类数据。实现协同办公、业务调度、综合服 务等基础应用,与现有各类业务系统的数据交换,以实现统一的数据 查询和数据分析,平台之间无缝对接,信息相互共享。基于城市运行 数据通过算法、模型进行抽象,将城市运行的复杂的体系转化成量化 的数据图形,让城市整体运行从模糊变得更加清晰,通过地理信息系 统,让管理者对城市的整体运行水平一目了然。通过指标体系逐层筛 选,可以发现城市运行过程中的薄弱环节,进而解决城市面临的风险 和问题。建设城市运行管理的预警管理和应急处置平台。通过对城市管网、 交通、人群分布、监控图像等领域实时或非实时信息进行加工处理, 结合预警规则和历史知识库积累,自动生

21、成预警信息,让管理者提前 应对可能发生的问题和事件,通过提前干预降低事件发生概率和影响。建设城市运行管理的信息共享推送平台。基于基础数据中心的基 础数据库和主题数据库资源,面向数据进行统计分析与数据挖掘,通 过方便易用、操作性强的人机交互界面,提供多维度数据分析功能, 为领导决策提供数据支持。可以通过微博、微信、电话、移动互联网 等各种渠道共享或推送事件信息。通过流程和规范,协调其它平台共 同处理问题。在处理过程中各平台之间可以共享实时监控事件发生位 置、视频图像、级别、影响、资源调度、处置进度等信息,科学调度 资源。5.4基础数据中心建设4. 1建设概述近年来信息产业发展模式和格局正在发生深

22、刻变革,信息技术正 在向泛在、融合、智能和绿色方向发展,大数据、云计算、移动互联 网应用等面向服务的商业模式创新,正在开辟新的产业增长点,大数 据产业生态环境正在加速构建,在此环境下政府的信息中心也正在或 逐步发生着职能的转变,从原来的纯信息化服务角色向信息化规划、 数据资源管理、领导辅助决策等方面的角色转变,新一代的数据中心 将成为承载上述角色职能的最佳选择。4.2功能定位充分利用现代信息技术,以城市运行数据资源体系建设为龙头, 以资源服务体系建设为重点,建成与业务深度融合、信息规范和共享、 应用深化和协同、服务高效和有力的应用数据服务一体化体系,适应 和促进业务需求的发展变化和业务流程的变

23、革,推进工作的专业化、 规范化和现代化,为行业发展提供全面准确的信息服务,把基础数据 中心打造成为新一代的数据管理、监测评价和服务推送中心。数据管理中心:是各类数据的汇集、集成、管理中心。主动适应 新形势、新任务、新要求,不断扩展数据采集手段、采集范围,及时、 全面地获取各类数据资源,实现各类数据资源的有效整合和统一管理, 为各级机构对数据的深度加工处理提供支持,为监测评价和服务推送 提供强有力的数据保障。监测评价中心:它与数据管理中心相衔接,不断建立和健全监测 和评价方法、制度。通过部门联合、部门协作,开展监测评价工作, 为各级政府机构、各级领导的宏观管理和决策提供意见、建议。服务推送中心:

24、按照“内外并重”的原则,利用灵活和有效的信 息服务机制,努力为各级机构、党政部门和社会公众提供全面、准确、 高效的信息服务。数据管理中心的作用是充分吸收和容纳业务发展相关的各类数 据资源,同时实现数据资源的整合与管理。监测评价中心的作用则是 充分利用各类数据资源,按照监测评价工作的需求,对各类数据灵活 组织和深度加工,充分挖掘数据的内在价值和增值价值。服务推送中心的作用以数据资源体系为基础,通过多种服务形式及手段为各级政 府机构、各级领导、社会公众提供优质的信息服务。5. 4.3基础设施要求XXX市城市运行大数据平台的数据库和数据应用服务系统以及所 涉及到硬件设备均依托现有资源进行建设和部署,

25、充分利用已有的机 房环境、基础网络(利用电子政务网和互联网接入)、支撑软件、数 据存储灾备、基础安全和基础运维等基础资源,不再投资建设基础设 施,缩短项目建设周期,节约信息化建设成本。5. 4.4数据标准规范5. 4. 4. 1标准规范遵循原则(一)有国家(行业)标准的,优先遵循国家(行业)标准;(二)即将形成国家(行业)标准的,争取在标准基本成熟时, 将该标准率先引入试用;(三)无国家(行业)标准,等效采用或约束使用国际标准;(四)无参照标准,按标准制定规范,自行进行研制;(五)制定标准规范时要考虑未来发展与变化。5. 4. 4. 2现有标准规范在标准编制过程中需要遵循的标准,主要指法律法规

26、相应文件。 主要包括:方针政策、法律(包括法律和司法解释)、法规(包括行 政法规和地方性法规)、规章(包括部门规章和地方规章)、规划、计 划和方案、规范性文件。国家已有标准规范中华人民共和国标准化法;信息公开条例;电子政务保密管理指南;涉及国家秘密的信息系统分级保护管理规范(BMB20-2007);涉及国家秘密的信息系统分级保护技术要求(BMB17-2006);信息安全等级保护管理办法;国家信息化领导小组关于我国电子政务建设指导意见;国家电子政务标准化指南总则;信息技术信息交换用汉字编码字符集基本集的扩充(GB18030-2000);信息交换用汉字编码字符集基本集(GB 2312-1980);

27、政务信息资源交换体系GB/T 21062. 2-2007;陕西已有标准规范陕西省电子政务基础资源共享实施办法;陕西省信息化基础资源综合服务平台建设规范;陕西省电子政务运维服务规范;陕西省人口基础信息数据库标准规范;陕西省法人单位基础信息数据库标准规范;陕西省地理信息公共服务平台标准规范;陕西省社会保障服务智能卡技术规范。5. 4. 4. 3标准规范体系框架本平台建设必须是标准化、规范化的,根据数据集成的结构体系 和技术要求,从实际应用出发,围绕其结构体系的共同特征,针对统 一术语定义、统一设计与实施方法、统一体系结构、统一信息分类编 码、统一空间定位、统一数据质量要求、统一数据描述、统一数据交

28、 换共享格式、统一接口规范、统一安全规范等问题,在遵从国家和省 级提出一系列标准规范和具体要求外,如不能够满足数据集成建设和 发展的要求,基于此建立符合城市运行的大数据标准规范。XXX市城市运行大数据标准规范建设,需要遵从国家电子政务标 准规范和相关的业务标准规范。根据国家电子政务标准的总体框架, 本项目城市运行数据标准规范体系框架由总体标准、数据交换与处理 标准、数据管理与共享标准三大部分组成,如下图所示:本期项目标准规范按照XXX市城市运行大数据集成标准体系框架分类的清单如下:体系分类类别成果名称总体标准术语标准XXX市城市运行大数据集成术语数据交换XXX市城市运行大数据数据采集与加载规范

29、数据交换与标准XXX市城市运行大数据数据转换格式标准共享标准数据处理标准XXX市城市运行大数据数据集成组件互操作规范数据管理数据管理XXX市城市运行大数据数据质量控制标准标准XXX市城市运行大数据共享信息分类与编码标准XXX市城市运行大数据共享与交换信息管理办法及规范1、总体标准术语标准包括制定XXX市城市运行数据集成涉及的行业、技术术语等规范。2、数据交换与共享标准包括为各种住XXX市城市运行数据集成提供支撑和服务的标准, 主要包括信息交换标准和数据处理标准。信息交换标准包括制定数据 釆集与加载规范和各数据源之间进行格式转换的标准;数据处理标准 包括XXX市城市运行数据集成各子业务系统组件互

30、操作规范。4、数据管理规范XXX市城市运行数据集成数据标准,包括数据管理规范、数据共 享接口技术规范等。4. 4. 4数据标准规范数据标准的制定主要包括数据指标的确定和编码、数据指标的分 类、数据指标的数据结构定义。数据指标是信息主体在特定业务领域内,具有的属性或者特征的 描述;数据指标分类是将信息按一定的原则和方法进行区分和归并, 建立分类标准和排列顺序;数据指标数据结构是关于指标数据类型、 长度等结构的规定。数据指标分类:首先,按照所属业务,把数据指标分为以下几类: 综合(通用)、XXX业务子公司的业务分类等。根据业务流程的情况, 还要分为若干子类。其次,按指标采集的级别,把数据指标分为:

31、诸 如企业经营指标类指标、设备监控类指标、客户服务类指标等几类。数据指标的编码:首先,对类别和子类进行编码,然后,再根据 数据指标的分类,对每一个数据指标进行编码,保证数据指标和编码 的一一对应,可以通过编码准确快速了解该数据指标所属的级别和业 务类别等。数据标准的规模:业务数据标准按每类1000个计算,为10000 个,共有数据指标10000个。按每个指标40字计算,为40万字,再 加上对重点指标的文字解释,应该在100万字左右。5. 4.5城市运行基础数据中心5. 4. 5. 1设计原则一、实用性原则:首先满足本项目多源、多专业、多时、多类 型、海量异构地理空间信息整合以及一体化组织和管理

32、与服务的需要;二、先进性原则:考虑技术进步和今后信息库的发展,主要体 现在技术规范、技术水平、数据库产品选择、设计方法釆用先进技术 等方面;三、标准化原则:符合相关的国际标准、国家标准和国家电子 政务标准,采用先进的标准设计技术,具有科学性和先进性。标准化 工作贯穿信息库建设的全过程,充分将信息库标准化的各项标准纳入 相应体系中,使标准一致和配套,构成一个完整、全面的整体,能方 便地通过体系表找到所需标准或了解标准状况;四、一致性原则:对信息进行统一,保证系统数据的一致性和 有效性;五、完整性原则:数据具有正确住和相容性,防止加入不合语 义的数据,对加入到数据库中的数据要有审核和约束机制;六、

33、规范化原则.数据库的设计应遵循规范化理论,对可冗余 的数据关系模式进行分解或合并(规范化),转换成高级范式;七、可扩展性原则:数据库结构设计应充分考虑发展需要、移 植需要,具有良好的扩展性、伸缩性和适度冗余;八、安全性原则。能对数据进行保护,防止非法用户使用数据 库或合法用户非法使用数据库,造成数据泄密、更改或破坏。要有认 证和授权机制。5. 4. 5. 2建设作用数据资源中心依据相关标准规范进行建设,在平台运行管理体系 以及安全管理体系的保障下平稳运行。通过业务系统数据资源的整合和接入,数据交换平台把数据划分 成一些可以管理的单位数据集合,这些数据单元共同构成了平台数据 的统一资源池,通过各

34、类数据集市和数据资源挖取、分类,为平台层 业务应用构建了面向决策分析、面向业务管理和面向公共服务的三项 核心业务内容:一、面向决策分析数据仓库是面向决策分析的,具有从各种数据源抽取教据,并对 教据进行清洗、聚集和转换等各种处理能力。数据仓库既是一个信息 资滋的存储机制,也是一个信息资源分析、处理的支持决策的系统。 政府组织的决策行为依赖于资源的良好组织,通过数据仓库的存储、 称理、挖拟分析最终析取出能江观和准确的供决策者决策的一套报表 体系。面向决策的分析除了建立与共享资源池的同步更新、只读的查询 数据库外,还要建立面向决策分析的数据集市,改变面向报表的统计 为面向指标的统计,以支持相关职能部

35、门和公众的信息查询;建立由 主题数据库为主的数据仓库,而不是由应用数据库抽取形成的数据仓 库,以支持政府有关部门和XXX各领导的辅助决策工作。二、面向业务管理业务管理系统担负着平台运营的重要责任,其中包括技术和业务 领域的管理、运营流程集成、服务模型、为业务系统提供数据共享和 最终的呈现。三、面向公共服务基于XXX各业务面向公共服务的体系中包含着大多数最终呈现出 来的服务功能及服务范畴,其中包含资讯信息、基于平台和服务机构 的服务、一些其它类型的线上和线上线下相结合的服务类型外,还包 括政务公开系统、信息平台及其它集成界面提供的综合服务。5. 4. 5. 3业务数据资源库集成数据资源库从逻辑上

36、分为输入区、输出区和管理区,具体包括输入资源中间库、输入信息资源库、输出信息资源库、信息资源管理库。5. 4. 5. 4输入资源中间库输入资源中间库主要是将各公司传输过来的数据分门别类的进 行保存,输入资源数据库以各子公司及其他行业为分类保存各公司 的原始数据,鉴于各子公司及其他行业的安全性要求,保存的数据 有可能是加密后的数据。输入资源中间库的数据不作为直接使用的数据,它要被解密、 校验、清理、整理之后才进入输入信息资源库而被业务系统使用。5. 4. 5. 5输入信息资源库输入信息资源库的数据是经过处理并符合信息资源目录的信息, 这些信息将作为以后各业务系统使用的委办数据的基础。输入信息资源

37、库的资源主要包括XXX各现有业务应用系统接入 以及对外其他行业业务集成接入(以后随着XXX各业务的增多,还将 扩展更多的业务集成和数据资源类别整合集成):业务应用系统数据资源类别同步方式同步周期输出信息资源库是用于存放符合城市运行数据资源目录要求,可以共享给各业务条线、上级部门和各子公司及其他行业的信息资 源。输出信息资源库的资源主要包括(以后随着业务的开展还将扩展 更多的输出资源):【可参考】业务类型数据资源内容同步方式同步周期质监管理工业企业基本信息名牌产品信息假冒伪劣产品信息宏观质量统计信息质量技术监督统计信息质量监督工业品企业档案与分类信 息工业品获证企业信息监督抽查业务信息定期检验信

38、息风险监测信息市县监管人员监督信息食品相关产品信息检验机构分类信息安检机构分类信息政策法律法规标准信息行政许可工业品获证企业行政审批企业产品标准申请实验室资质申请检验检测机构申报能源检验申请资质认证评审申报企业产品9000认证申报纤维检验申请标准认评法人库TBT预警库WTO预警库标准库检验机构信息特设管理特种设备信息气瓶信息电梯安全信息质量检验检测产品质量监督抽查产品质量安全强制检验全省重点监督的产品信息工业产品生产许可证信息产品质量检验机构信息机动车安全技术检验机构 资格信息计量管理热能表检测计量光学计量测试振动声学测试计量医疗电子测试计量环境计量化学计量气体流量液体流量工程流信息电子测量电

39、磁计量热工计量压力计量交通安全心称重计量5. 4. 5. 7信息资源管理库信息资源管理库主要是保存信息交换资源库应用所保存的数据, 包括资源目录管理、信息查询、系统管理等信息。5. 4.6城市运行信息资源库建设【可参考,进行数据分类】5461数据内容的来源城市运行信息资源库包括城市一卡通基础数据库、城市供气基础 数据库、城市供热基础数据库、城市供水基础数据库、城市交通基础 数据(公交、地铁、铁路、出租、汽车停放)、城市市政建设基础数 据库、城市征地拆迁基础数据库、土地储备基础数据库、交通燃气基 础数据库以及其他业务相关的辅助决策数据库、交换共享数据库和公 共服务数据库等。数据来源于以下几个方面

40、:一、重点行业领域企业依托互联网,使用部门已建信息系统将 基础数据、重点业务过程数据和重点统计分析数据接入至城市运行信 息资源数据库。二、XXX各依托互联网,基于数据交换共享系统,将其他民生 相关含的基础数据、业务数据、辅助决策数据以及公共服务信息交换 共享至城市运行信息资源数据库。三、社会公众依托互联网,通过建设的公共服务信息系统,实现投诉举报、建言献策、交流互动等信息存入城市运行信息资源数据 库。基于现有的存储资源,将城市运行基础数据集中存放,各子公司 及一卡通信息中心负责数据的校验、管理,负责数据存储的安全。XXX及各子公司可以通过XXX市城市运行大数据服务平台实时调 阅和查询城市运行各

41、类数据,进行全方位、多角度、细粒度的分析对 比,为城市运行发展态势和应急指挥决策提供基础数据支撑,全面提 升我市城市运行管理服务水平和大数据服务能力。5. 4. 6. 2数据质量保障XXX市城市运行大数据服务平台的系统数据库建设依据相应的基 础标准及规范、技术应用标准及规范、数据资源标准及规范、项目管 理与运行维护标准及规范,从数据采集、数据梳理、数据录入等业务 流程进行质量控制保障,确保建设过程有序可控。具体数据库内容建 设质量保障如下图所示:图5-1数据库内容建设质量保障图fillip ME扌支术冋用 标处仪人见池:标沖及人见范;竹Fl! T层规池 .共卓数擱5. 4. 6. 3业务数据流

42、程XXX市城市运行大数据服务平台的信息资源数据库通过数据库交 换中心为数据釆集、数据梳理、数据录入等业务流程提供支持,确保 数据质量,业务流程如下图所示:数据艇数据采集数据存储数据共享域 企数据抽取-数据录入采集原始数据库数据维护管理系统交换数据库数据质量管理系统标准数据库共享数据库数据共享与交换系统各类信息系统网络系统安全支撑系统主机与存储系统图5-2数据流程示意图5.464基础数据库人员信息数据库、质量管理和产品监督业务数据库、标准化基础数据库、法人数据库、地理信息数据库、96333电梯应急指挥数据库、名牌产品库、办公数据库等。基础支撑数矗主题数据库包括质量管理主题数据库、产品监督主题数据

43、库、应 急救援主题数据库、行政执法监查主题数据库、行政许可审批主题数 据库、特种设备主题数据库、统计分析主题数据库等,主题数据库随 着业务发展可进行随时增减。5. 4. 7数据资源库管理应用系统数据资源库管理系统主要是完成各业务系统、子公司及其他行 业提供的数据存储到数据资源库的解密、抽取、整理、转化的过程, 数据资源库管理软件的具体功能如下图:解密资源整合管理数据抽取数据更新目录编目规则验证数据清理式转化资源目录管理目录审核目录发布I数据资源库諫软件资源信息查询标准接口资源信息查询系统管理资源信息查询界面定制使用资源信息情况跟踪资源信息査询权限设習5. 4. 7. 1资源整合管理资源整合管理

44、主要是根据系统管理中设置好的规则将相关资源 保存到信息交换资源库中,并在业务系统数据和外部委办提供数据 发生变化的情况下,更新信息交换资源库。54711 数据抽取整理流程数据抽取整理主要针对输入区数据抽取和输出去数据抽取两 类。5. 4. 7. 1. 2 业务库数据抽取到输出库各业务数据分散于城投集团各业务条线系统中,信息交换资源库管理软件根据制定的业务规则、采集周期、资源目录,定期从各 业务数据库中抽取数据,业务数据经过资源整合管理的规则校验、 数据清理、数据格式转化等步骤,存储到输出信息资源库,已备提 供资源共享服务。其中,规则验证、数据清理、数据格式转化等规 则都在系统管理中进行了设置。

45、以下是业务库数据抽取到输出库的流程:一数据格式转化一5. 4. 7. 1. 3 业务数据抽取到输入资源库城投各子公司及其他行业的数据库业务数据或者是其他格式的 数据文件通过数据交换平台,传输到输入信息中间库中,中间库的 数据原封不动的以数据库的形式保存子公司及其他行业的数据。中 间库的数据经过资源整合管理的解密(如果子公司及其他行业提供的 数据是加密数据)、规则校验、数据清理、数据格式转化等步骤,存 储到输入信息资源库,已备业务系统使用。以下是数据抽取到输入信息资源库的流程:5. 4. 7. 1. 4 数据整合管理功能数据整理数据整理主要是根据系统管理中设置的抽取整理规则,对数据进 行整理工作

46、。数据整理主要由解密功能、规则验证功能,数据清理功 能、数据格式转化功能组成。解密功能:根据系统管理的数据抽取整合及更新规则设置的加密 算法,对数据进行解密。通常,解密功能主要是用在特定委办对数据 安全性要求很高的情况下需要使用的。规则验证功能:对数据的合法性进行校验,比如身份证的合法性 等,具体根据资源目录的要求进行验证。数据清理功能:数据清理功能主要是对空数据、不符合资源目录 的数据进行清理功能,可以由数据管理人员进行手工修改,或者是根 据系统规则自动修改。数据格式转化功能:数据格式转化功能主要是根据资源目录中对 数据格式的要求,将抽取的数据进行格式的调整,从而满足资源目录 的要求。数据更

47、新数据更新主要是根据设置的各业务系统的更新周期、更新范围对 业务系统提供的数据进行定期更新,更新的数据也是通过数据整理的 过程进行。各子公司及其他行业定期提供的数据也会引起数据更新,对于已 经在数据库中存在的子公司及其他行业的信息,将进行更新操作。5. 4. 7. 2资源目录管理资源目录管理是对外输出性信息资源数据元及输入性信息资源 数据元进行管理。资源目录编制者从各个业务系统中提取出数据的特 征信息,根据以往与子公司及其他行业形成的接口规范提取委办提供 数据的特征信息,以及提取出需要提供给其他子公司或是政府部门等 机构的数据信息。资源目录编制者将数据元信息编制成资源目录,维护到信息交换 资源

48、数据的管理区中,并编制分类视图供相关人员和机构使用。资源目录管理的流程为:目录编制人员编制目录,再由目录管理 人员审核目录,通过后进行资源目录的发布,发布后的资源目录可以 正常使用。资源目录管理的功能包括:目录编目、目录审核、目录发 布等。需要注意的是:资源目录的维护不会真的更新数据库的结构,需 要维护人员根据步骤和要求编制数据库更新脚本,同步更新数据库结 构。5. 4. 7. 2.1 目录编目目录编目是目录编制人员根据业务规范、业务接口规范等要求, 对需要保存到信息交换资源库的输入区、输出区的数据元进行整理, 并编制信息资源目录,同时可以针对不同的业务、子公司及其他行业 编制不同的目录视图,

49、提交审核。信息资源目录主要包含以下功能:数据元信息维护。针对元数据进行新增、修改、删除、导入、导 出等操作。数据元信息主要包含以下内容:中文名称、表内字段名、 内部标识码、数据类型、数据格式、值域、说明等。目录列表视图维护。主要是以业务系统、子公司及其他行业等对 象分别编制目录列表视图。通过该视图,可以清晰的查看不同业务系 统、不同子公司及其他行业提交和需要使用的数据元列表。目录列表 视图维护主要包括新增、修改、删除、查询、导出等操作。编制好的数据元和目录列表视图需要提交目录管理人员审核,审 核通过的目录可以发布使用。5. 4. 7. 2. 2 目录审核目录审核是在目录编目结束后,由目录编制人

50、员提交的,由目录 管理人员进行审核。符合相关规范的数据元,以及符合相关接口标准 的目录列表视图将可以通过审核,予以发布。5. 4. 7. 2.3 目录发布资源目录审核通过后可以向数据交换平台、政府部门、子公司及 其他行业等进行发布。发布的资源目录以分类为区分,数据交换平台 接收到发布信息后,可以通过配置、接口开发等过程,完成与其他系 统和委办之间的数据交换;资源目录管理者可以以目录树的方式组织 和展开审核通过后的资源目录;允许相关政府部门和子公司及其他行 业在授权的情况下,通过资源信息查询平台进行查询。5. 4. 7. 3资源信息查询信息交换资源库管理软件需要实现资源信息查询服务,通过提供 标

51、准的web service等接口方式,供子公司及其他行业使用,也可以 根据需要定制信息查询服务界面,供子公司及其他行业用户直接登录 系统进行查询。系统可以对使用资源信息查询服务进行使用情况记录, 为以后的计量计费奠定基础。5. 4. 7. 3.1 资源信息查询标准接口资源信息查询标准接口主要根据信息共享需求和规范的整理,对 各相关系统和机构最常用和使用最频繁的查询要求提供标准服务(如 WebSerice),资源信息查询标准接口的使用对象主要是仅需要知道查 询结果信息的部门和机构。使用者只需要通过调用标准服务接口,就 可以使用资源信息查询服务。随着信息化建设过程中,可以根据需要再增加资源信息查询

52、服务。 使用者在只用资源信息查询服务之前,需要在信息交换资源库中进行 登记,获取它所能共享的服务权限,在资源信息查询服务中,将会记 录使用者使用服务的次数、查询结果的记录数、查询结果的对象人数 等信息,作为以后计量计费的基础。5. 4. 7. 3. 2 资源信息查询界面定制资源信息查询界面定制的使用对象主要是需要通过界面输入查 询条件,并展示查询结构的部门或机构。针对这类对象,由于他们需 要的查询展示更具有个性化和特殊要求,因此将在和使用者进行需求 调研和交流沟通后,在数据资源目录的基础上定制查询界面和结果展 示界面,从而更好地满足其他部门和子公司及其他行业使用共享信息 的需要。使用者在通过查

53、询界面查询相关信息时,都会记录使用者使用服 务的次数、查询结果的记录数、查询结果的对象人数等信息,作为以 后计量计费的基础。5. 4. 7. 3. 3 使用资源信息查询情况跟踪查询跟踪主要根据使用者在使用共享信息过程中,由系统记录下 的使用者使用服务的次数、查询结果记录书、查询结果的对象人数等 信息进行跟踪,可以定期根据使用者的不同生成跟踪表,作为以后计 量计费的基础。5. 4. 7. 4系统管理5. 4. 7. 4.1 系统用户管理系统用户管理主要是针对使用信息资源交换库管理软件的用户 进行管理、权限分配。使用信息资源交换库管理软件的使用者主要包 括资源目录的编制、审核人员,资源信息查询服务

54、跟踪人员,资源抽 取整合规则制定人员等。系统用户管理主要包括用户的个人基本信息、权限信息等。5. 4. 7. 4. 2 数据抽取整合及更新规则设置数据抽取整合规则设置主要对业务系统数据根据资源目录要求 存入信息交换资源库的输出区过程中的验证规则、错误数据清理、数 据格式转化、加解密等规则的设定,并可以设定数据的更新规则,包 括更新周期、更新范围(全量或增量)等。资源整合管理将根据设置的数据抽取整合规则来进行数据的入 库操作。5. 4. 7. 4. 3 资源信息查询权限设置对资源信息查询服务的使用者进行管理,登记使用者的机构、部 门、业务系统、使用者用户名及密码、使用者IP地址或机器名等信 息,

55、并对使用者可以使用的资源信息查询标准接口或定制界面进行权 限分配。5.5城市运行体征指标平台5. 5.1建设概述基于城市运行体征的指标体系建设主要涵盖城市管理的以下五 个方面的关键指标:基础设施(环境保护、交通运输、水电气热、市 政设施);公共安全(社会公众、舆情社情、城管事件、社会组织); 公众服务(自然灾害、事故灾难、社会安全、公共卫生)。5. 5.2建设内容5. 5. 2. 1数据目录服务系统5. 5. 2. 2数据共享与交换服务系统5523数据开放开发服务系统5.6城市运行信息共享推送平台5. 6. 1建设概述5. 6.2建设内容5.7信息安全建设要求由于XXX市城市运行大数据服务平台

56、建设主要是针对XXX各子公 司的业务信息交换资源库的数据存储及其管理软件,因此本项目的安 全设计主要是针对存储数据的安全性来考虑的。在本项目的安全性设计中,主要通过以下三种方式来保证存储数 据的安全性:5. 7. 1基础安全XXX市城市运行大数据服务平台部署至陕西省大数据与云计算产 业示范工程所以依托的机房,XXX市城市运行大数据服务平台所需要 的基础安全如机房、网络、服务器、存储、系统软件安全由机房统一 提供服务,本项目不再进行建设,节省项目的建设资金。5. 7.2存储加密对信息交换资源库中的底层存储釆用现代密码算法进行主动保 护,根据需要选择多种加密算法进行数据保护,如对称加密算法(私 钥

57、密码体系)、非对称加密算法(公钥密码体系)、以及不可逆加密算 法进行加密,以防止数据文件、备份磁带的丢失所带来的泄密风险, 如果对数据库进行加密,便能够从根本上保证数据的安全,即时反向 解析数据文件,仍是加过密的乱码。5. 7.3三权分立在数据管理中,不允许大数据平台中心的数据库管理员拥有至高 无上的管理权限,不能无限制的看到所有的数据。在数据库管理中建 议采用数据库管理员、安全管理员、审计管理员三权分立的管理办法, 对特权用户进行有效的权利拆分,即时是数据库管理员,在未经安全 管理员授权时也无权访问经过加密的数据;审计管理员可以对安全管 理员的授权行为和数据库用户的数据访问行为进行审计和追踪

58、。5. 7.4应用绑定对于应用系统使用的合法数据库用户,普遍存在的一种现象是由 于人为因素或管理不善,用户名及口令很容易泄漏给第三方人员,他 们得到用户名和口令之后便可以通过命令行或管理工具等技术手段 直接访问经过加密的数据,批量窃取数据。通过应用绑定,将合法用 户和应用系统进行绑定,同一用户只能通过指定的应用系统访问到敏 感数据,前提是这些敏感数据已经是被加过密的。5.8运行维护建设要求5. 8. 1基础运维基于已有资源平台基础设施(含机房、网络、安全、支撑软件等) 日常运行维护由已有资源平台承担。5. 8.2业务运维XXX市城市运行大数据平台的业务运维服务包括:业务系统基础 环境(如网络节

59、点、主机和应用系统运行状态等)和业务系统内容(如: 人员角色分配、内容信息维护等)运维,其中业务系统基础环境运维 由XXX市城市运行大数据平台实施机构负责,业务系统运维由XXX市 城市一卡通公司或是平台应用提供商或是第三方运维服务商。第6章项目招标方案6.1招标范围为实现项目的规范化、标准化和制度化管理,提高工程建设的水 平和质量,增强项目资金的使用效率,本项目将根据中华人民共和 国政府釆购法、中华人民共和国招标投标法和陕西省政府办公厅 印发关于进一步加强政府采购管理工作的意见(陕政办发(2009) 35号)等有关规定,组织实施项目中勘察设计、设备釆购、软件开 发、系统集成及机房基础环境建设以

60、及工程监理的釆购。6.2招标方式根据国家和陕西省有关要求,对项目建设中勘察设计、设备釆购、 软件开发、系统集成、机房基础环境建设以及工程监理等适合以招标 方式采购的产品和服务,原则上进行公开招标采购。招标组织形式拟采用委托招标形式,委托有相关资质和专业领域 的招标代理公司进行招标组织工作。6.3招标组织形式本项目招标组织方式如下表所示:招标方式招标组织形不采用类别采购细项(公开招标式(自行招标招标形备注或邀请招标)或委托招标)式一、勘察设计1、可行性研究报 告(代项目建议 书)、初步设计 及投资概算公开招标委托招标二、软硬件采购及系统集成1、基础硬件设备公开招标委托招标2、基础软件公开招标委托

温馨提示

  • 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

评论

0/150

提交评论