《城市更新与未来社区基础平台技术要求》征求意见稿

T/TMACXXX—202X城市更新与未来社区基础数据平台技术要求本文件确立了数字化基础数据平台（以下统称为平台）的架构，规定了功能、数据要求、接口要求、安全要求、应用环境以及应用服务。本文件适用城市更新与未来社区基础数据平台的构建、运行维护、安全管理。2规范性引用文件下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中，注日期的引用文件，仅该日期对应的版本适用于本文件；不注日期的引用文件，其最新版本（包括所有的修改单）适用于本文件。GB/T17798-2007地理空间数据交换格式GB/T22080-2016信息技术安全技术信息安全管理体系要求GB/T34079-2017基于云计算的电子政务公共平台服务规范第3部分：数据管理GB/T34960.5-2018信息技术服务治理第5部分：数据治理规范GB/T36073-2018数据管理能力成熟度评估模型GB/T36478-2018物联网信息交换和共享GB/T37043-2018智慧城市术语GB/T40689-2021智慧城市设备联接管理与服务平台技术要求DB23/T3304-2022大数据平台数据接入规范DB36/T1646-2022地理空间数据共享和交换规范DB52/T1540.2-2021政务数据第2部分：元数据管理规范YD/T3760-2020大数据数据管理平台技术要求与测试方法T/CAGIS2-2020空间三维模型数据服务接口3术语、定义和缩略语3.1术语和定义下列术语和定义适用于本文件。3.1.1元数据metadata定义和描述其他数据的数据。[来源：GB/T18391.1-2009,3.2.16]3.1.2断点续传breakpointresume在数据总线传输过程中，当遇到网络故障、传输资源短缺、入原始库积压时，状态总线记录接入数据中断点及数据接入中断状态，控制总线在数据计入所需网络、储存等资源可用时，从排队任务中重新启动断点续传任务，分配数据总线资源，从数据断点处接入后续数据，不需要从头开始数据传输，从而节约数据传输时间，提高数据接入效率。2T/TMACXXX—202X3.1.3数据治理datagovernance基于数据生命周期，进行数据全面质量管理、资产管理风险管理等统筹与协调管控的过程。注1：多学科视角下，数据治理需要解决数据权属关系问题，明确数据利益相关方的角系和工作任务,避免数据风险,提高数据质量,确保数据资产能长期有序地注2：信息技术视角下,数据治理指对数据进行管控,处置、格式化和规范化的过程。数理的基本要素。数据治理涉及数据全生命期管理,无论数据是处于静态,动态,3.2缩略语下列缩略语适用于本文件。BIM建筑信息模型（BuildingInformationModel/Modeling）GIS地理信息系统（GeographicInformationModel/Modeling）WMS网络地图服务（WebMapServices）WFS网络要素服务（WebFeatureServices）WCS网络覆盖服务（WebCoverageServices）S3M空间三维模型（Spatial3DModel）I3M索引三维场景（Index3DScene）DWL数据操纵语言（DataManipulationLanguage）DDL数据库模式定义语言（DataDefinitionLanguage）XML可扩展标记语言(ExtensibleMarkupLanguage)HTTP超文本传输协议（HypertextTransferProtocol）HTTPS超文本传输安全协议（HypertextTransferProtocolSecure）MQTT消息队列遥测传输协议（MessageQueuingTelemetryTransport）CoAP约束应用协议（ConstrainedApplicationProtocol）ADS应用数据层（ApplicationDataService）DWD明细数据层（DataWarehouseDetail）DWS汇总数据层（DataWarehouseSummary）ODS操作数据层（operationaldatastore）CDM公共维度模型层(commondatamodel)DAG有向无环图（DirectAcyclicGraph）4平台架构4.1平台设计原则4.1.1数据的一致性和标准性平台除遵循数据库设计的软件行业标准外，还应遵循国家、地方标准及行业的习惯性事实标准。此外，平台的建设中应充分考虑己建系统的数据，确保与现有数据的一致性和标准性。T/TMACXXX—202X4.1.2数据的实用性和服务性平台设计应充分考虑实际情况和应用特点，遵循“服务性与实用性并重的原则，通过数据整合与治理，数据高度可共享、和可根据实际需求不断灵活组合，为业务应用服务，数据质量高，保证数据的实用性。4.1.3数据的独立性和可扩展性设计时应做到数据具有独立性，独立于应用程序，使平台的设计及结构的变化不影响程序，反之亦然。另外，数据库设计应考虑其扩展性能，使得系统增加新应用或新需求时，不至于引起整个平台结构的大变动。4.1.4数据的安全性通过设计合理和有效的备份和恢复策略，确保平台遭遇突发事故时，能在最短的时间内恢复。同时，通过做好对平台的访问授权设计，保证数据不被非法访问。4.1.5数据的分级管理机制根据用户访问平台的角色，将用户分为多个角色，分别赋予角色访问数据的权限和使用平台功能的权限，严格控制角色登录，实现数据的分级管理。4.2平台整体架平台整体架构包含四个模块和两个体系，见图1，四个模块分别为应用系统模块、中枢模块、中台模块以及基础设施模块，两个体系为标准规范体系和安全管理体系。基础数据平台以数据中台为基础结合高性能三维数字引擎技术、多源数据集成技术、数据融合分析技术、数据标准化技术等进行构建，并依托标准规范体系与安全管理体系进行平台运营维护和数据安全管理。4T/TMACXXX—202X标准规范体标准规范体系基础平台基础平台图1平台整体架构图4.3功能架构平台服务功能包括但不限于数据收集、数据处理、数据集成、数据管理、数据发布、数据共享、数据储存等，见图2。本平台所有数据与应用层在线交互时应通过API接口由数据交互规范与数据交付标准约束。 图2平台功能架构图T/TMACXXX—202X5平台功能标准5.1数据收集数据收集功能要求如下：a)应提供数据导入功能，支持结构化数据、非结构化数据和半结构化数据导入；b)应支持离线数据导入和实时数据导入；c)应提供自动定时导入数据功能；d)应支持数据传输过程中的断点续传；e)应支持对数据的DML的抽取，抽取内容包括insert、update、delete语句的解析和内容抽f)应支持对数据库DDL的抽取，抽取内容包括但不限于数据库空间、用户、角色、视图、函数、索引、约束等，对关系型数据库的全量采集和增量采集；g)应支持多节点文件接力传输功能，实现多节点文件传输；h)应支持过期文件数据接入系统中间数据缓存功能；i)应支持多通道数据传输；j)应对收集数据进行清洗，清洗数据包括但不限于，缺失数据、错误数据、重复数据等；k)对于实时数据收集，应提供收集数据的关键信息、唯一性信息的日志储存和查询统计；应提供数据同步检查和校验功能，并输出详细日志；应支持一定时间范围的收集状态统计，包括对数据更新状态、联通状态、数据量、校验等情况统计；l)对于批量数据收集，应提供周期性计入信息查询和统计，支持格式异常数据查询和统计；m)宜提供开放的数据导入API；n)宜提供图形界面实现数据导入功能。5.2数据集成数据集成功能要求如下：a)应保证实体的每次出现都指派一个唯一标识符；b)应确认哪些实体是相通的，并将该实体的各次出现合并起来；c)应明确字段结构，尽量保证字段的一致性，其中包括但不限于字段名称、字段数据类型、字段数据格式、字段单位、字段取值范围等；d)应尽量避免数据重复入库；e)数据包括但不限于空间数据、实时数据、资产数据等。这些数据入库时应转换为统一通用的标准格式，应可进行可视化浏览，应可用统一接口服务。其中，工程数据中的三维模型整合转换时应进行轻量化处理，以便于在其他平台中进行超大模型三维可视化浏览。6T/TMACXXX—202X5.3数据储存5.3.1应提供数据储存功能，支持结构化数据、非结构化数据和半结构化数据储存。5.3.2应提供与关系型数据库、其他文件系统之间交换数据或文件的功能。5.3.3应支持与时序数据库的实时数据交换。5.3.4支持分布式文件储存，实现以下功能：a)应支持文件系统基本操作，包括上传、下载、读写、复制、移动、删除、重命名、权限修改等；b)应提供数据块多副本储存、恢复功能；c)宜支持文件快速检索功能，支持数据资源的统一检索、编目、增加和删除操作；d)宜支持或数据压缩储存功能。5.3.5支持分布式列式数据储存，实现以下功能：a)应支持以键值形式储存数据的功能；b)宜支持基于表、列族和列的用户权限管理功能，权限管理操作包括读、写、创建等。5.3.6支持分布式结构化数据储存，实现以下功能：a)宜支持结构化数据的分布式储存，保证数据储存的可扩展性和一致性；b)宜提供API实现数据的各类查询工作；c)宜支持多表关联。5.3.7支持分布式图数据储存，实现以下功能：a)宜支持有节点及边组成的数据模型；b)宜支持图查询，支持单节点、多节点多层关系的扩先查询；c)宜支持图遍历，支持最短路径、最优路径便利查询；d)宜支持图分析。5.4数据处理5.4.1基本要求数据处理功能除应符合GB/T38673-2020中6.4的内容外，还应符合5.4.2~5.4.7的要求。5.4.2数据提取非结构化数据提取非结构数据提取应符合以下要求：a)应根据非结构化数据包含的索引格式，在集群中提取相应数据并形成结构化数据保存于关系型储存中；b)应遵从数据标准，根据预设不同数据类型的相应提取策略和规则，加载相应的提取模块进行非结构化数据的提取处理。结构化数据提取T/TMACXXX—202X应遵从数据标准，根据预设的结构化数据提取策略和规则，对原数据中的各类数据进行关键信息提取。对象化提取对象化提取应符合以下要求：a)应遵从数据标准，根据对象提取规则对数据主题进行对象化处理；b)应支持对象特征自动提取，根据对象特征自动建模，利用并行分布式计算资源，对数据进行对象化提取、储存对象数据、更新对象数据；c)应对对象化结果数据，通过对象化去重，消除冗余数据；d)应对制定数据来源数据进行标识的操作，在对象化提取环节，应将标识提取到对象化数据5.4.3数据清洗不符合数据类型：a)缺失的数据；b)错误的数据；c)重复的数据。非结构化数据清洗：a)文本数据清洗可通过分词、预料标注、字典构建、关键词识别等技术，根据相应的非结构化数据特点进行数据建模，去重；b)图片数据清洗可通过意图找图技术进行图片去重；c)音频数据清洗可通过MD5值校验和音频对比分析进行去重；d)视频数据可通过关键帧抽取，通过意图找图、语音识别、MD5值校验等技术进行去重。结构化数据清洗：a)应遵从数据标准，根据业务规划对冗余数据进行过滤，根据不同的去重规则和方法对数据进行去重扁顶，去除重复冗余数据；b)可通过定义过滤规则，使用流式SQL和表达式，按条件对数据进行重新组合和二次加工。5.4.4数据标识数据标识具备以下功能要求：c)应支持离线和在线标识；d)应根据预设的策略和规则对数据进行标识；e)宜对数据进行标识化可以增加数据维度，拓展数据的属性，提供建立与数据之上的抽象。5.4.5数据纠错为了确保数据的准确性和可靠性，数据纠错功能需要达到以下要求：8T/TMACXXX—202Xa)应对进入各类资源库、主题库和业务库的数据进行准确性认定；b)应针对有误策略执行回滚操作，并对相应数据进行纠错。5.4.6策略配置管理为了实现高效的数据管理和处理，平台需要支持灵活的策略配置管理，具体要求如下：a)应支持各类数据文件的同步、异步、多借点间文件接力传输；b)应支持对文件、文件夹、文件夹下制定文件传输等功能；c)应支持对数据文件的全量、增量传输，对中间过期文件的压缩、清理，及文件的多副本储存；d)应支持实时数据交换机加工，实现数据库、文件、JSON、XML及MQ、TLQ等之间的相互交换功能；e)应提供调度任务实时可视化监控；f)应提供事件触发调度功能，包括但不限于文件就绪触发、变化日志触发、HTTPS等接口或URL调度时间触发，支持操作系统shell脚本，和数据库系统的shell命令和SQL脚本调度功能等；g)应提供流程调度组件，包括采样分流组件和任务编排组件，实现多任务的并行、串行、混合调度；h)宜支持按年、月、周、日、小时、分钟、秒定时调度，可选制定有效时间内调度。5.4.7任务调度为了确保数据处理任务能够按照预定的时间和顺序被执行，平台的任务调度功能应满足以下要a)应支持任意种类、任意数据结构、任意目标库的数据提取传输；b)支持Kafka、webservice等消息处理机制，支持流式和离线处理；c)应支持任意类型的数据融合任务配置，在保证数据安全的基础上，根据传输策略，进行数据传输和储存；d)应支持过滤、融合规则自定义，包括但不限于字符串操作、字符串替换、字符串截取、NULL值替换、数据类型转换、正则处理、公式计算，以及对关键字段控制、重复、异常等问题数据过滤规则等；e)宜支持基于数据元的异构数据自动解析，并能按业务场景进行自定义配置。5.5数据管理数据治理功能中的数据采集规范宜依照GB/T36225.3-2021进行规范，其他功能要求如下：a)应提供可靠的数据应用规范，支持数据应用流程管理、数据应用审查、数据应用发布等；b)应支持数据质量分析和预警，甄别数据优劣程度，对质量较差数据进行清理，对长期不用数据进行清洗和归档；T/TMACXXX—202Xc)应支持通过预定规则进行数据稽核，稽核发现的问题按照预定规则自动治理或者生成任务工单进行处理，并生成稽核报告；d)应支持对数据属性标签标注功能，包括但不限于单个和批量标注标签，标签的增加、删除和修改等；e)应支持数据血缘关系管理，可自动生成和维护数据血缘关系地图；f)应支持敏感数据识别、标记和脱敏，脱敏类型包括但不限于替换、截断、掩码、重排、日期偏移、取整等；g)应支持数据资源目录动态管理，包括但不限于梳理、编制、审核、发布等；h)应支持对不完整数据、错误数据、重复数据进行统一标识、对比、清洗、整合和转换等操作[27]。5.6数据发布数据发布功能要求如下：a)管理者应通过共享交换功能发布目录内容，提供数据目录内容查询检索、目录导航、目录下载和目录订阅服务，以及目录服务接口等；b)管理者应通过共享交换功能发布参与共享和交换的本平台数据文件，提供数据的查询检索、快速浏览和数据下载服务；c)当参与共享交换的数据文件有更新时，管理者应将数据更新情况及时反馈给数据使用者；d)管理者应通过共享交换功能将融合后的数据发布成相应的信息服务，使用者可以通过共享交换功能进行在线调用。5.7数据共享5.7.1在线方式为了促进数据的实时共享与交换，当网络条件允许时，推荐采用以下在线方式进行数据共享：a)通过网络在线调用、访问数据服务接口的方式或在线上传、下载的方式，实现数据共享和交换；b)在线方式适用于网络联通环境下对数字化文件或服务接口进行共享和交换的场合。5.7.2离线方式考虑到不同网络环境下的需求及非数字化文件的共享需要，离线数据共享方式应遵循以下规定：a)通过对移动设备进行拷贝和对纸质文件进行复制，实现数据共享和交换；b)离线方式适用于不同网络环境下、需要签收确认或对非数字化文件进行共享和交换的场合，提供者通过离线拷贝的方式，人工将数据提交到数据平台。5.7.3共享内容共享的数据内容应包括但不限于工程数据、地理数据等。T/TMACXXX—202X5.7.4数据共享安全保障数据共享的安全要求包括但不限于以下内容：a)应可设定授权服务的有效期，并支持授权时间延期；b)应遵循数据共享最小化原则，仅对业务必须的数据进行共享授权；c)应对敏感数据进行脱敏，并对相应的操作进行记录；d)应对数据交换两端进行用户身份鉴别或者身份认证；e)应保证数据通信过程中的保密性和完整性；f)在数据导入过程中，应检验数据质量，质量检验内容应包含空间参考系、数据的完整性、逻辑一致性等质量元素。5.7.5数据共享使用安全要求数据使用的安全要求包括但不限于以下内容：a)使用或存储依法应当予以保密的数据或者数据服务时，按照保密有关法律、法规规定执b)应对访问数据处理系统、服务器操作系统、数据库系统、备份系统的管理员进行身份鉴c)应对服务器系统、数据库系统等重要系统设置用户访问控制策略，阻断对应用、系统等的任何非授权访问，提出告警、并记录审计日志；d)应支持溯源数据的采集和存储，对关键溯源数据进行备份，并采取安全措施对溯源数据进行保护；e)应对数据存储环境进行分域分级设计，设置存储机制将数据分域分级储存，并建立数据冗余一致性控制策略；f)制定数据备份策略，设置数据恢复策略，在数据恢复过程中进行完整性校验；g)提供者应基于国家相关法律法规对数据使用和分析处理的相关要求，建立数据使用监管机制，约束数据需求方对共享数据的正当使用。6数据要求6.1元数据要求6.1.1元数据采集为了确保元数据的全面性和准确性，元数据采集应满足以下要求：a)元数据采集应能够适应异构环境，支持从传统关系型数据库和大数据平台中采集数据产生系统数据加工处理系统和数据应用报表系统的全量元数据，包括过程中的数据实体（系统、库、表、字段的描述）以及数据实体加工处理过程中的逻辑；b)平台元数据系统应支持人工输入，允许人工的增、删、改、查及发布。6.1.2元数据维护为了保持元数据的质量并确保其有效管理，元数据维护应具备以下功能：T/TMACXXX—202Xa)元数据维护应提供对元数据的增加、删除和修改等基本操作。对于元数据的增量维护，应能保留历史版本信息；b)元数据的维护应可通过服务封装的形式向各系统的其他模块提供数据维护接口。6.1.3.元数据变更管理为了确保元数据变更的可追溯性和版本控制，元数据变更管理应实现以下功能：a)元数据变更管理应能进行版本管理，对不同时期进入元数据库的统一实体的元数据进行管理。基本功能应能显示同一实体的元数据的修改历史。b)元数据变更在最新元数据中的改动不影响定版元数据的正常使用；同时应每次发布都有版本留痕，支持个版本对比分析。6.1.4.数据检核为了保证元数据的一致性和完整性，平台需要实施严格的数据检核，具体要求包括：a)元数据应保持其一致性。一致性检核用来检验来源系统元数据以及元数据之间信息是否一致的功能，应能帮助管理人员分析出元数据管理平台与来源系统之间的差异，辅助管理人员更好的维护原数据管理平台。b)元数据应有良好的属性填充情况。属性填充率检核是用来检验选定范围内元数据属性的填充情况，方便用户了解某些重要元数据的属性填充情况。c)元数据的组合关系应符合元模型中设置的组合和被组合关系。组合关系检核用根据元模型中设置的组合和被组合关系对元数据进行检查，查找出不符合元模型定义的组合关系的元数据，例如找出没有与任何数据库表建立组合关系的字段。6.1.5.血缘管理为了追踪数据间的依赖关系及其影响范围，血缘管理功能应达到以下要求：a)平台数据间血缘关系应能清晰反应数据间的关系，包括但不限于：组合关系、依赖关系、数据流向拓普信息；b)当平台数据需要进行调整时，用户应能通过血缘分析，根据目标数据资源的影响范围制定数据资源的调整策略。6.2三维数据要求三维数据参数要求应根据GB/T51447-2021、ISO16739-1:2018IFC标准体系和DD2015-06等标准内容进行规范。7接口要求7.1接口标准平台接口标准宜参考GB/T38672-2020第6章内容进行规范，具体要求如下：7.1.1总体要求各类接口应满足如下总体要求：a)开放性：符合产业习惯，兼容主流开原接口，减小接口定制化带来的重新设计、适配成本；b)易用性：尽可能设计成抽象程度高、屏蔽底层实现、语法易理解的接口；c)扩展性：统一接口可通过增加函数、操作符、语句等形式支持新的功能。T/TMACXXX—202X7.1.2平台应用接口要求为了确保平台应用接口的开放性、易用性和扩展性，接口设计应满足以下要求：a)应支持多种数据来源（业务系统、数据库、文件等）、多种数据类型（例如业务相关数据、监控数据）、多种数据格式（结构化、半结构化、非结构化等）的数据访问；b)应支持按照大数据采集楼村规则进行数据采集；c)应支持接口运行情况（如主要函数调用时延）的监控，能及时发现错误、产生告警信号；d)宜支持多种数据访问接口实例的定时（例如按天、小时、分钟等）调用启动；e)宜支持对接常用数据库采集工具、主流日志采集工具；f)宜支持对接基于系统应用服务接口实现数据采集的工具；g)接口生成宜不收业务系统的开发语言、所处环境、系统形态等限制；h)流数据分析接口要求包括：1）应基于SQL扩展支持流数据的查询和分析；2）应支持流和表、流和流的链接；3）应提供流的聚合查询，只支持常见的聚合函数（如汇总、均值、最大、最小4）应支持基于时间窗口的聚合查询；5）应支持基于时间窗口的模式识别、复杂时间分析；6）应支持基于时间窗口的地理数据分析；7）应支持多种时间窗口，包括但不限于跳跃窗口、滑动窗口、会话窗口；8）宜支持基于时间窗口的进行流的连接。i)图数据分析接口的要求包括：1）应兼容主流开源接口，支持标签属性图数据模型；2）应支持基本的图操作，包括但不限于增加或删除顶点、增加或删除边，增加、删除或修改顶点或边的属性，支持关联删除，定义属性类型等；3）应支持定点查询、路径查询、子图查询和全图查询；4）应支持查询图拓扑结构的基本指标，包括但不限于中介中心度、紧密中心度等；5）宜提供主流开发语言接口。j)日志分析接口的要求包括：1）应兼容主流开源组件接口；2）应提供人工智能分析能力，包括但不限于关联分析、异常问题识别等；3）应支持复杂报表分析。包括但不限于来源分析、热点页面、平均响应时长等；4）应支持对相关指标进行预警设置。5）数据同步接口的要求包括：T/TMACXXX—202X6）宜支持一个系统一次录入，其他公用信息系统的相同数据同步写入；7）宜支持跨系统在业务层面信息的互通互联工作；8）宜支持跨系统共享共用的数据。7.1.3平台开发接口要求为了便于开发者集成和扩展平台功能，平台提供的开发接口应满足以下要求：a)应支持业界常用接口，兼容主流开原接口，支持系统集成；b)应支持海量数据的分布式离线计算，支持MapReduce计算模型，支持数据的读取、分发、聚集、输出等处理功能c)应提供内存计算的多种语言开发接口（例如Scala，Java），提供高度抽象算子构建分布式数据处理应用；d)应支持分布式文件存储的文件操作(包括但不限于文件创建、读取、写人、删除、文件状态信息查询等)及文件夹操作(包括但不限于文件夹创建、删除、状态信息查询、内容统计信息查询等)；e)应支持分布式文件系统设置，包括但不限于设置访问权限、设置文件所有者、设置访问时间或者修改时间等；f)应支持关系型数据库的DDL、DML操作，支持标准SQL;g)应支持多维分析数据库以标准SQL.查询和分析；h)应支持海量全文检索，提供结构化、非结构化文本的多条件检索、统计和报表生成；i)应支持自定义函数的定义、加载、使用机制；j)应支持海量结构化数据的交互式OLAP分析；k)宜支持分布式内存计算框架接人多种数据源(例如HDFS、HBase、Hive），支持离线计算程序平滑转接；l)宜支持分布式列式存储不同类型素引(例如主键素引、组合索引、全文素引)的创建、查询、重建。7.1.4平台管理接口要求为了便于平台的管理和运维，平台管理接口需要满足以下要求：a)应支持大数据组件的安装部署、支持升级配置(包括但不限于查询可升级的版本、需配置的参数等)；b)应支持用户管理，包括但不限于增加、删除、修改用户，增加、删除、修改角色、用户权限控制等；c)应支持监控告警，对资源使用情况、资源运行状态等进行监控，并提供多种展示方式,支持健康检查；T/TMACXXX—202Xd)应支持各类日志的收集和存储，包括但不限于运行日志操作日志；e)应支持标准管理协议(例如SNMP)，提供RESTAPI.CLI等交互方式[21]。8安全要求8.1用户管理用户管理要求如下：a)应对登录用户进行身份标识和鉴别，保证用户身份标识唯一性；b)用户身份鉴别信息应满足一定的复杂度要求，并定期更换；8.2权限管理权限要求如下：a)应按照权限最小化原则为用户配置权限；b)应允许同一租户内存在多个组织的用户，机构层级不受限制；c)应允许集团下属企业拥有独立的应用环境、用户空间和数据空间；d)数据及业务流程应可夸跨租户管理。对应未来社区项目应用，也可按照项目创建租户；e)应支持基于证书或Token的服务鉴权；f)应提供多种策略的数据备份或恢复选项；g)应支持用户行为审计管理。8.3日志管理日志管理要求如下：a)应提供记录系统操作日志功能，记录用户的重要操作；b)应保证系统操作日志无法删除、修改或被覆盖；c)操作日志应包括日期、时间、操作者信息、操作类型、操作描述和操作结果等；d)应提供对系统操作日志进行统计、查询、分析计生呈报表的功能。8.4数据安全数据安全要求除应符合以下标准外，还应符合中国铁建城市更新与未来社区数字化安全导则全部a)应提供数据储存加密功能，支持数据库及数据加密；b)应提供系统敏感数据加密传输功能，并且加密密钥可被替换；c)宜支持数据列级的数据加密。9应用环境9.1软件环境9.1.1微服务治理架构采用SpringCloud架构，治理组件：a）服务注册中心：Nacos；T/TMACXXX—202Xb)服务奖集合熔断：Sentinel；c)API网关：SpringCloudGateway；d)负载均衡：Ribbon。9.1.2开发框架后端框架使用Springboot；前端框架使用Vue.js，ElementUI.js，iView.js。9.1.3消息中间件主要采用Kafka，局部涉及RabitMQ。9.1.4数据库关系数据库：PostgreSQL；聚合分析数据库：Druid；空间数据库：PostGIS组件；时序数据库：TDEngine；边缘数据库：influxDB。9.1.5边缘计算架构实现主要使用Balena，边缘端接入管理选用RedNode，边缘端OS采用YoctoLinux，边缘端数据可视化选用Grafana，边缘端数据库采用influxDB。9.1.6大数据分析聚合数据储存选用ApacheDruid，BI分析选用Kylin，ETL及机器学习选用MLSQL，数据可视化选用MetaBase。9.1.7三维可视化GIS后端选用GeoServer,GeoTools,PostGIS;GIS/BIM前端采用Cesium.js9.2硬件环境私有云本地部署。9.3网络环境千兆光纤和千兆局域网。10应用服务10.1数据分析服务10.1.1支持数据查询，实现以下功能：a)应提供通过标准的数据库连接接口进行查询的功能；b)应提供通过RESTAPI查询接口进行查询的功能；c)应提供建立数据索引的功能，达到查询加速的效果；d)应支持精确查询和模糊查询功能。10.1.2支持机器学习，实现以下功能：a)应提供数据集管理功能，可将数据划分为训练集、验证集和测试集：b)应提供机器学习模型导人和导出功能；c)应提供常用机器学习算法；T/TMACXXX—202Xd)宜支持集成第三方机器学习算法。10.1.3支持统计分析，实现以下功能：a)应提供基本数值统计，如最大值、最小值、求和、总数等统计量；b)应提供数据集中趋势统计，如平均数、中位数、众数等统计量；c)宜提供数据离散程度统计，如极差、方差、标淮差等统计量；d)宜提供随机变量关系的统计，如协方差、相关系统等统计量。10.1.4支持离线数据分析，实现以下功能：e)应支持结构化查询语言；f)应支持分布式计算或并行计算等计算框架；g)宜支特对海量工作任务的切分和分布式调度。10.1.5支持流数据分析，实现以下功能：a)应提供按时间切片进行批量处理的功能；b)应支持基于事件触发或者采样的流式处理；c)宜支持实时流上的数据统计；d)宜支持流式数据的排序；e)宜支持与静态表之间的关联；f)宜支持多个数据流的关联处理。10.1.6宜支持交互式联机分析，实现以下功能：a)通过结构化查询语言对数据进行分布式的联机分析，如OLAP等；b)通过结构化查询语言对数据进行即席查询；c)利用可视化中间件对数据分析结果进行显示；d)在交互式分析过程中定义计算公式和参数配置；e)在交互式分析过程中自动保存和回退；f)在交互式分析过程中对分析结果的保存和发布；g)基于在线联机分析的交互式数据分析。10.2数据可视化服务10.2.1常规数据可视化服务具备以下功能：a)应支持使用常规图标展示数据，如表格、柱状图、饼图等；b)宜支持第三方数据可视化工具API。10.2.2三维数据可视化服务具备以下功能：a)应支持BIM与GIS深度融合，提供基于Web的空间数据管理与展现、交互操作服务；b)应提供BIM构件级交互操作功能，支持模型的标注、刨切、组装和拆卸操作；c)应提供2D/3DGIS标准服务(WMS、WFS、WCS)，支持多种数据源(包括:倾斜摄影、遥感T/TMACXXX—202X影像、矢量地图、点云、高程)的发布管理，支持动态维护图层数据；d)应提供基于几何量值的空间分析(包括日照、淹没、土方等)以及图上测量(包括距离、面积、周长、坡度等)；e)应提供视频融合服务，支持将多视频流投射到三维场景，实现上帝视角的三维监控；f)应支持2D图纸与3D模型的关联绑定，提供二、三维联动操作功能；g)借助3DTiles文件格式，利用多层级瓦片技术，宜支持流畅的大场景Web渲染；h)借助Gltf文件格式，将模型动画植入应用，宜支持数据驱动的仿真展现；i)宜支持沉浸式漫游路线定义和上帝视角漫游路线定义；j)宜支持VR及AR应用。T/TMACXXX—202X参考文献[1]GB/T17798-2007地理空间数据交换格式[2]GB17859-1999计算机信息系统安全保护等级划分准则[3]GB/T18391.1-2009信息技术元数据注册系统（MDR）第1部分：框架[4]GB/T20269-2006信息安全技术信息系统安全管理要求[5]GB/T20270-2006信息安全技术网络基础安全技术要求[6]GB/T20271-2016信息安全技术信息系统通用安全技术要求[7]GB/T22080-2016信息技术安全技术信息安全管理体系要求[8]GB/T22239-2019信息安全技术网络安全等级保护基本要求[9]GB/T22240-2020信息安全技术网络安全等级保护定级指南[10]GB/T25069信息安全技术术语[11]GB/T28181-2016公共安全视频监控联网系统信息传输、交换、控制技术要求[12]GB/T31916-2018信息技术云数据存储和管理[13]GB/T34079-2017基于云计算的电子政务公共平台服务规范第3部分：数据管理[14]GB/T3496