DB54T 0419-2024 大数据平台 总体框架参考

ICS35.24054CCSL7854西 藏 自 治 区 地 方 标 准DB54/T0419—2024大数据平台 总体框架参考2024-11-18发布 2024-12-18实施西藏自治区市场监督管理局  发布DB54/T0419—2024DB54/T0419—2024PAGE\*ROMANPAGE\*ROMANII目 次前言 II范围 1规范性引用文件 1术语和定义 1总体要求 2平台总体框架 3基础设施层 3数据资源层 3业务应用层 3安全保障体系 4运维保障体系 4标准规范体系 4平台功能技术要求 4基础设施层 4数据资源层 4数据资源管理平台 4数据资源库 6业务应用层 7数字看板 7数据服务门户 7行业场景应用 7平台保障技术要求 7安全保障体系 7运维保障体系 8标准规范体系 8参考文献 9前 言本文件按照GB/T1.1—2020《标准化工作导则第1草。请注意本文件的某些内容可能涉及专利。本文件的发布机构不承担识别专利的责任。本文件由西藏自治区经济和信息化厅（自治区数据管理局）提出并归口。（自治区数据管理局责任公司、国家工业信息安全发展研究中心。青、贺赟、栾燕、杜洪涛、李云志、陶炜、蔡长亮。DB54/T0419DB54/T0419—2024PAGEPAGE10大数据平台总体框架参考范围的技术功能要求。本文件适用于规范指导西藏自治区大数据平台建设。规范性引用文件（包括所有的修改单）适用于本文件。GB/T34960.5信息技术服务治理第5部分：数据治理规范GB/T35295信息技术大数据术语GB/T38664.1信息技术大数据政务数据开放共享第1部分：总则GB/T38672信息技术大数据接口基本要求术语和定义GB/T35295、GB/T34960.5和GB/T38664.1界定的以及下列术语和定义适用于本文件。3.1大数据 bigdata大量数据集的数据。[来源：GB/T35295-2017，2.1.1]3.2公共数据 publicdata公共服务过程中收集、产生的数据。公共数据通常不包括组织专有的知识产权数据和商业秘密。3.3政务数据 governmentdata各级政务部门及其技术支撑单位在履行职责过程中依法采集、生成、存储、管理的各类数据资源。注：根据可传播范围，政务数据一般包括可共享政务数据、可开放公共数据及不宜开放共享政务数据。[来源：GB/T38664.1-2020，3.1]3.4大数据平台 bigdataplatform统筹安全的信息平台。3.5数据仓库 datawarehouse面向主题的、集成的、相对稳定的、反映历史变化的数据集合，用于支持管理决策。3.6数据治理 datagovernance数据资源及其应用过程中相关管控活动、绩效和风险管理的集合。[来源：GB/T34960.5-2018，3.1]3.7数据资源目录 dataresourcecatalog采用分类、分级和编码等方式描述数据资源特征的一组信息。总体要求西藏自治区大数据平台总体上宜满足以下要求：实用性——适合工作实际和业务需求，具有实用价值；据资源汇聚与服务能力，推进西藏自治区与国家、行业、地方、公众的数据共享交换和融合。有效性——保证各层级功能有效运行，实现公共数据可信流转；行持续监测和统一展示，为持续改进平台服务质量提供数据支撑。安全性保障平台安全可靠，确保数据不被窃取、篡改、破坏。通用性充分考虑与其他各类政企平台的数据资源共享和互通，并形成模块化应用。开放性换服务。平台总体框架西藏自治区大数据平台采用标准化、开放和高扩展的云计算架构，支撑对接国家政务大数据平台、自治区内行业部门数据平台、地市政务数据平台，以及各部门政务外网、互联网等多种业务服务。依据1所示：图1 西藏自治区大数据平台总体功能框架基础设施层源池，涉及互联网、政务外网、行业专网、视频网等业务领域。数据资源层数据资源库，为业务应用提供数据支撑。业务应用层用的底层数据支撑和通用能力支撑。安全保障体系护能力。运维保障体系设备，以及操作系统、数据库、中间件等通用软件的监控、应急和风险防范。标准规范体系准、信息安全类标准和应用与服务类标准等。平台功能技术要求基础设施层体系，具备包括但不限于以下能力：提供基于政务外网、互联网、政务云等网络环境，统一云资源接入与调度。满足大数据计算、存储、网络条件，为平台系统各层提供必要的基础环境，提供包含云计算、云存储、云安全及其他服务。以信创技术架构为主，配置国产密码设备，提升安全防护水平。据异地定时备份，确保数据的可靠性和多副本保存。数据资源层数据汇聚功能平台应具备但不限于以下数据汇聚基础功能：数据服务总线包括交换节点部署管理、交换作业管理、交换调度管理、交换监控（共享流程监控）管理。多源数据采集包括采集配置、批量采集、实时采集、采集节点管理、采集任务管理、数据对账、数据清洗处理等，通过与上云系统对接，实现与相关部门、单位间的数据共享。数据交换对接服务——提供基于数据资源目录的数据资源交换能力，实现数据采集、传输、转换、可视化配置；——通过前置机、接口、文件、线下等实施方式实现数据对接接入；/数据交换的方式与国家政务大数据平台交互，将数据回落到自治区本级平台，并与区内各级各部门通过数据标准，实现跨层级、跨应用、跨部门的数据调用；——数据接口的规划和设计可参考GB/T38672-2020规定的接口基本要求实施。数据融合处理包括数据融合集成、清洗规则管理、数据集成管理、融合统计分析等功能，将多源、异构的数据抽取到临时中间层后，进行清洗、转换、集成，最后加载到数据仓库中，成为联机分析处理、数据挖掘的基础。性能平台应达到但不限于以下性能：步、数据接口、消息队列、网页抓取和数据填报等方式；汇聚和多维分析等要求，数据逻辑分层宜采用数据仓库三层架构标准；应支持批处理、流处理计算框架，宜支持图计算、内存计算、批流融合计算及任务调度。数据资源管理平台应具备但不限于以下数据资源管理基础功能：数据资源规划务，包括数据缓冲、数据源、数据汇总、数据主题区等。存储计算支持分布式的文件存储、列式数据存储、结构化数据存储和图数据存储，支持对外数据及文件交换。数据资源库会治理、民生服务、市场监管、财政金融、兴边富民、生态环保、应急消防、文化旅游等主题库。数据资源目录——按照应编尽编的原则，建立全量覆盖、互联互通的自治区公共数据资源目录；——建立目录系统与各部门目录、各市目录实时同步更新机制，实现全区公共数据“一本账”管理。数据目录管理系统统一目录管理维护功能，包括数据目录管理、服务目录管理、应用目录管理、认证商目录管理等，明确数据权限和知悉范围。数据共享交换平台应具备但不限于以下数据共享交换基础功能：数据共享门户——依托数据资源目录，按照数据交换标准，实现数据资源跨部门、跨层级、跨区域数据资源的检索、申请、审批和使用的能力；据管理维护提供各子系统的统一入口。数据开放门户提供开放目录服务、开放数据服务、开放接口管理、工具服务、数据服务管理等功能。统一管控平台提供系统管理、权限管理、配置管理、日志管理、租户管理等功能。数据治理平台应具备但不限于以下数据治理基础功能：数据分类分级管理数据、社会开放数据。主数据管理为各级单位提供集成、全面、准确和及时的主数据服务和信息化基础工作的支持。元数据管理宜包括元数据采集、元数据目录、元数据信息管理、血缘分析、数据字典等功能。数据质量管理宜包括质量规则管理、质量任务管理、预警方案管理、问题管理、质量报告及稽核引擎等功能。数据分析挖掘平台应具备但不限于以下数据分析挖掘基础功能：基本分析功能服务。二次开发工具模、指标定义、报表定制等。数据可视化（地图、数据配置、素材中心等功能。数据资源库基础数据库如下：人口库务信息。法人基础库主要存储法人单位基础信息。电子证照库执（牌）照、鉴定报告、证明材料等文件。宏观经济库划、执行、监控、决策、检查评价等决策服务的支持。信用库依据《全国信用信息共享平台信用信息归集目录》和西藏自治区现状，采集和整理企业法人信息、社会机构法人信息、事业单位法人信息、自然人信息等信用信息。6.2.1.2 主题数据库生态环保、应急消防、文化旅游等行业主题类型的数据库。数字看板具备从业务视角、时间段、数据类型、宏观和微观层级等不同维度的数字化看板功能。数据服务门户可实现公共数据全网搜索，支撑分析决策，包括驾驶舱、搜索引擎等。行业场景应用行业场景应用宜包括但不限于以下功能：组件，为各应用系统提供基础、共性的能力支撑。成，提供网上预约、网上申请、网上查询、智能咨询投诉等相关服务。告、分析和应用服务能力。基于数据仓库，支持对公共数据的搜索，基于搜索引擎实现公共数据的快速检索定位。平台保障技术要求安全保障体系安全策划以“动态安全能力”为核心，结合大数据中心的业务系统实际需求，构建相关网络安全监测分析、安全框架——以安全策略为核心，以管理体系、技术体系和运营体系共同支撑的信息安全保障体系为框架，实现对政务云、网、安全的统一安全管理、统一技术管理、统一运维管理、统一安全接口管理；——体系还应覆盖法律法规合规性、安全风险管理、密码应用安全、信创安全。安全实施——设立专门的安全部门或人员，负责数据中心自身的安全以及对外提供安全能力；问题；——加强数据安全建设，通过体系建设、识别摸底、数据分类分级等能力，进行数据安全的保障；的相关要求。制度、人员管理、建设运行和应急处置等方面进行建设，符合密码应用安全性评估要求。运维保障体系服务的统一提供、使用、管理和运营运维管理。三级的统一运营和运维支撑。在管理上，实现统一集中的数字化云服务管理和交付，从全局角度实现资源的高效利用。标准规范体系标准建设目的是规范系统互联、业务协同、信息共享、集约建设等工作。体系，尤其是在基础数据和互联互通上实现全区统一。参 考 文 献GB/T35589-2017信息技术大数据技术参考模型GB/T33780.1-2017基于云计算的电子政务公共平台技术规范第1部分：系统架构GB/T33780.3-2017基于云计算的电子政务公共平台技术规范第3部分：系统和数据接口JR/T0237-2021金融大数据平台总体技术要求DB43/T2069-2021旅游资源大数据平台建设指南DB3205/T105