《大数据平台架构建设方案》

1、大数据平台架构建设方案大数据平台逻辑上涉及数据源层、交换层、数据整合层、共享层和应用层五 个层次。其中，交换层、数据整合层和共享层是大数据平台核心层次,而数据 源层和应用层是与大数据平台密切相关的外围层次。1.定义帮慧城市大数据平台构建虚拟的城市空间和城市运行模型，通过相应 软件产品将数拥通过部门交换、业务采集等多种手段收集到数据中心， 并对数据进行分类、优化、存储，并对匕层专业应用提供数据支撑。2总体架构如卜图所小大数据平台逻辑上涉及数据源层、交换层、数据整合层、 共亨层和应用层五个层次。其中，交换层、数据整合层和共亨层是大数据 平台核心层次，而数据源层和应用层是与人数据平台密切相关的外围

2、层次。社:瑟理鳏 辻区公共氐男序1駐应融I；S! Monitor vl 0 L SI Worker vLO任保J 一,!1、一 J= J 'fas./J/芟Rm眸- i二 <ES J数据运行営遅（淸洗、比对、差阳溪 运行曲）磁业1的!3 5 5_ i®J数耀交换（作业肓理、伽行交换、运行监控）2.1数据源层数据源层是大数据平台范围之外的一层，它是一个虚拟的层次，在数 据源层中的各数据库原则上就是各部门的原始数据。这些数据可以存放 在人数据中心也可以存放在各部门数据中心；这些数据可以是存储在数 据库中的数据，也可以是存储到文件中的数据；还可以是声音、图片、 文件等非结构化

3、数据。这些数据为大数据平台提供基础数据源。2.2交换层由丁大数据平台拥冇复朵的数据來源，交换层的存在目的是消除各个 数据来源的数据库的界构性。由于数据源中的各种数据存放在不同的数 据库、不同的应用中，直接从业务系统中进行数据转换并不容易。交换 层将不同部门的业务系统中的数据抽取到统一的数据结构中，而数抑之 间的逻辑关系都与业务系统保持一致，人人降低了数据整介的复杂性。2. 3数据整合层数据蔡合层包括通过数据交换平台将各部门业务数据交换过來的原始 业务库和通过数据运行管理平台整合（清洗、比对等）后的人I、法 人、口然资源与空间地理、宏观经济以及面向需求的（如：低保、教育、 医疗、征信等）专题数据

4、库。其屮，数据运行管理平台是一个利用专业 工具并需要人为卡预的对数据持续更维护、分析和更新的管理平台。2. 4共享层共享层通过服务的形式对数据、分析模型和大数据平台的计算能力对 上层的业务应用的功能需求提供全方位支撐。2. 5应用层应用层和数拥源层-样是大数据平台范围之外的一层，本层次主要是 一些面向具体业务应用的需要人数据平台提供数据支撐的3、大数据平台软件建设3.1数据交换平台通过数据交换工具构建大数据平台交换层数据交换平台。实现跨区域、 跨网段、跨部门的数据实时交换、集成与共享。通过数据交换平台，按照统一的标准和规范，将各个部门的数据资源 汇总到数据整合层的原始业务库，各部门数据的汇聚和

5、传递，满足融合 数据库的基本数据需求，为政务协同、公共服务和辅助决策等捉供信 息交换和共享服务。数据交换的冃的是实现传输过程中的“不错、不丢、不屯” O数据交换系统核心的功能包括数据桥接了系统、消息总线系统、前逍交换了系统和交换管理监控子系统。用左头里忖殳金平台殳金平台壬臼百空播疫爭册1磁$婕仝心节Q护siETi.»nr昭0盼:颈桥疫矗欣业上誇If节亡馱亏幣种作业曷乂険苣祖(1) 交换桥接子系统桥接系统的功能完成部门业务系统信息库与前置信息库(或交换平台)Z间双向安全、可靠的信息交换，并实现数据格式转换。桥接实 括直接连接、通过网闸等尢时或实时传输。主要功能包括数据映昴誓游业务犀据提

6、取、数据抽取、过滤规则配這、数据转换、数据导出、数据导入、 监控管理等功能。(2) 消息总线系统消息总线系统即交换传输系统，作为前置交换系统之间的信息交换通 道，实现交换信息的打包、转换、传递、路由、解包日志服务等功能。 消息总线系统功能和特点如下：消息传送应支持HTTP协议；采用SOAP 1.2作为消息封装格式：提供消息寻址功能，支持信息路由功能；提供消息确认和消息选择性重发机制以实现前置交换子系统之 间安全的、可靠的信息传递功能；提供消息差错处理功能；支持各种主流操作系统；提供信息转换功能，支持基于规则配置的格式转换与内容转换 功能。(3) 前置交换子系统为确保各部门的原冇系统的运行不被资

7、源整合所影响，保障原系统的 数据安全，使用前置机作为各部门与数据交换平台进行数据交换的窗口， 一方面从各业务系统提取数据，向中心提交，另一方面从数据中心接收 数据，并向业务系统传递数据。前駅机应具备缓存交换数据，目数壇进 行过滤、加工和展现的功能。主要由网络通信系统、操作系统、万菱I舖 息库、前置交换环境、交换服务配置工具等组成。(4) 交换管理监控子系统交换监控/系统作为交换系统的中心管理模块，协同部门交换前置机 和中心交换前置机的运行并对交换系统的运行情况进行管理和监控。管 理监控子系统提供对整体的监控、业务域的管理、节点的管理、传输管理、 安全管理、路由管理、统计分析和日志服务等功能。I

8、'氏芥II xm <CfiI FI-I0PF*', XWMOT-亠9CS；3.2数据运行管理平台数据运行管理平台是为实现人数据平台数拯持续更新和平稳运行的一 系列软件和制度流程。为保证数据的动态准确性，需要对城市基础数据库的信息进行加工处理。数据加工处理流程如下图所示:方眾经理(1)数据清洗对各部门采集或交换来的数据按照基础数据的标准格式要求进行检查 整理，对不符合质量要求或者错误的数据进行更止，最终确保数据的 准确。数据清洗的冃的是数是保证数据库数据质量。(2) 数据比对对数据的字段、条件、合理数值范围、检查时段、预警方式等内容，按 照不同数据类型、数据来源、变动方式进

9、行单独或组合设置，由系统按照 设置的比对指标，对以基础数据库的信息进行综合比对分析，并生成比对 结果，并根据授权情况，将比对结果分类下发到相关部门，对数据进行核 查。核查后反馈的数据，将再次进入数据加丄环节。在核查过程中，系 统按照设置的监管指标对各部门核查信息进行综合分析，并心成监察结 果。(3) 异常数据反馈异常数据反馈实现数据采集、清洗、比对同数据采集部门形成互动， 将清洗和比对工作中发现的异常数据反馈给数据提供部门，提醒数坍萝供单位核实的同时，也帮助捉高部门自身业务数据准确性。三万案经理(4) 数据入库在数据入库时，配置定义入库规则和配宜定义入库流程，支持顺序入库, 并行入库。新增数据

10、字段在入库前，要完成新增信息资源冃录服务登记 工作，包括进行入库元数据和入库目录的编目、注册、发布、审核等工 作。3.3共享服务平台共享服务平台是共享层的具体实现。它通过城市数据H录(SD Catalog)实现对原始数据、融介数据、专题模型分析结果及专业计算 能力的发布、申请、审核与管理。城市数据目录(SD Catalog)城市数据冃录用于组织、存储、管理政务信息资源元数据，通过对元数 据信息的发布、查询、比位和管理机制，实现城市元数据的共亨。城市 数据H录是信息组织的一种方式：同时城市数据H录是管理资源实现共 亨的种工只。它是套标准化的城山元数据信息管理系统，为建设城 市数据中心提供数据发布共享的软件支撑。I射®:獨 心数据H录业务流程图4、大数据平台软件建设情况名称涉及软件是否完成说明数据交换平台数据交换开发工具(SI Stutio)完成交换平台建设时根据客 户实际网络环境和部门 条件，由此二款软件组合 根据数据交换平台，实现 数据的动态交换。数据交换执行服务(SIWorker)完成数据交换远程监 控管理系统(S1Monitor)完成数据运行笛理平台数据交换开发工具(SI Stutio)完成数据运行管理平台是根 据客户数据实际情况山 多款软件构成