DB5120T 29.4-2024感知信息共享应用规范 第4部分：物联感知平台数据共享规范

35.240.01L70DB5120DB5120/T29.4—20242024-12-12发布2024-12-27实施资阳市市场监督管理局发布IDB5120/T29.4—2024前言 II 2规范性引用文件 3术语和定义 4数据管理 5服务支撑 6数据共享方式 7数据共享技术 8数据共享频率 9数据分享方式 10数据安全管理 参考文献 IIDB5120/T29.4—2024本文件提出了物联感知数据共享的总则和框架，为物联感知数据共享的顶层设计、数据共享环境、数据共享服务支撑及数据共享安全机制提出了要求。本文件为下列工作提供了重要指导：——物联感知数据共享现状自我评估，物联感知数据共享体系的建立；——物联感知数据共享和过程的明确，物联感知数据共享实施落地的指导；——物联感知数据共享相关的软件或解决方案的研发、选择和评价；——物联感知数据共享能力和绩效的内部、外部和第三方评价。本文件按照GB/T1.1-2020《标准化工作导则第1部分：标准化文件的结构和起草规则》的规定起草。请注意本文件的某些内容可能涉及专利。本文件的发布机构不承担识别专利的责任。本文件由资阳市政务服务管理局提出并归口。本文件起草单位:资阳市政府政务服务和公共资源交易服务中心、资阳市大数据服务中心、资阳乾耀信创科技有限责任公司、成都工贸职业技术学院、四川省职业技能鉴定指导中心。本文件主要起草人:刘桄序、刘光乾、李天祥、胡颖梅、李沙、杨建康、张亚琴、戢昕蕾、曾毅伟、邵柏华、袁嘉、邓森林、彭国林、任良华、陈杜宇、刘云峰、卓先德、夏荣、张润泽、郑雪梅、李强、邓谊樱。1DB5120/T29.4—2024感知信息共享应用规范第4部分：物联感知平台数据共享规范1范围本文件规定了物联感知平台数据共享规范，包含术语和定义、数据管理、服务支撑、数据共享方式、数据共享技术、数据共享频率、数据分享方式、数据安全管理内容。本文件适用于资阳市行政区域内政务组织、非政务组织和个人拥有可能接入的物联感知及视频采集端的要求管理和使用。2规范性引用文件下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中，注日期的引用文件，仅该日期对应的版本适用于本文件；不注日期的引用文件，其最新版本（包括所有的修改单）适用于本文件。GB/T2260中华人民共和国行政区划代码GB/T22239信息安全技术网络安全等级保护基本要求GB/T28181公共安全视频监控联网系统信息传输、交换、控制技术要求GB/T36620面向智慧城市的物联网技术应用指南GB/T36478.1物联网信息交换和共享第1部分：总体GB/T36478.4物联网信息交换和共享第4部分：数据GB/T37024信息安全技术物联网感知层网关安全技术要求GB/T37093信息安全技术物联网感知层接入通信网的安全要求GB/T38624.1物联网网关第1部分：面向感知设备接入的网关技术要求GB/T38606物联网标识体系数据内容标识符GB/T38656特种设备物联网系统数据交换技术规范GB/T40688物联网生命体征感知设备数据接口GB/T40687物联网生命体征感知设备通用规范GB/T42196公安物联网视频图像元数据分析技术要求GB/T42197公安物联网视频图像内容元数据描述规范GB/Z41294物联网应用协议受限应用协议（CoAP）技术要求3术语和定义2DB5120/T29.4—2024以上“规范性引用文件”中所引用标准界定以及下列术语和定义适用于本文件。元数据Metadata定义和描述其他数据的数据。数据元标记Dataelementtag数据元目录中数据元的唯一标识。数据元字典Dataelementdictionary列出并定义了全部相关数据元的一种信息资源。数据元长度Metadataelementlength数据元值中字符的数目。参与物流感知领域范围内数据标准体系建设工作的各公共管理和服务机构、技术支持单位，即数据资源的提供方、管理方、建设方、使用方、运营方、监管方等。用于共享和开放数据资源的数据库。标签Label用于揭示数据资源内容和特征的标志体。数据挂接Datadocking将数据资源与数据资源目录对接的过程。任务调度Taskscheduling将数据使用方的数据获取需求转化为数据共享或数据共享能够识别的数据内容。3DB5120/T29.4—20243.10数据共享平台Datasharingplatform将数据进行共享的信息化平台。3.11在数据库或数据存储空间中，专门存放物联感知数据的数据的集合。4数据管理4.1数据汇聚数据汇聚是对物联网系统采集的数据进行汇聚，包括未经处理的实时数据和经过物联网系统处理的数据。数据汇聚要求如下：a）应支持结构化数据、非结构化数据、半结构化数据和GIS数据等形态；b）应支持多路并行采集数据的能力；）；d）应支持基于消息和文件的传输方式。消息传输应支持异步和同步消息传输机制，应支持低时延、高并发的消息传输能力。文件传输应支持大规模文件传输和数据压缩、解压机制；e）应提供可靠的数据传输机制，如断点续传和加密等，确保传输数据不丢失、不泄露，保障数据传输前后的一致性；f）应提供实时数据的复杂事件处理能力，支持基于时间序列的流式数据的处理，支持对内存中动态数据的计算分析，可支持数据的、分组、关联、计算、模式识别等功能，以便实时跟踪和分析数据流中的事件信息，及时做出响应。4.2合规性检查合规性检查是对汇聚的数据进行检查，要求如下：a）应对数据进行检查，保证数据的准确性和完整性；b）应提供数据校验功能，如空值检测、长度检查、数值范围检查、表达式校验等；c）可依据数据的重要性及敏感程度将数据划分不同的级别，实行分级处理或者按照相应规则进行处理。4.3数据处理数据处理包括但不限于数据挖掘、数据加工和数据整合，要求如下：a）数据挖掘应支持多种算法，包括关联分析、聚类分析、分类分析、异常分析、特异群组分析和演变分析等；b）数据加工应实现数据的特征识别、提取和转换；c）数据整合应实现多源数据按对象、事件、位置和时间等维度进行关联和集成。4.4数据标准化设备和物联感知平台通信的数据形态分为三种：4DB5120/T29.4—2024物模型数据，设备上报数据、下发数据符合物模型数据格式，则直接按物模型定义数据格式存储和推送。a）原始数据，采用消息透传的形式进行推送。b）编解码转换数据，平台通过编解码插件将设备原始数据解析为产品物模型定义的标准JSON数据格式后，再进行后续处理。c）平台提供了编解码脚本定义功能，支持在线开发数据编解码JavaScript脚本以实现设备二进制数据和平台JSON格式的转换。对于NB-IoT设备可支持图形化编辑方式以降低开发成本。物联感知平台数据编解码转换构架见图1。图1系统总体结构图5服务支撑5.1目录订阅与推送数据需求方可通过目录订阅的方式获取所订目录的推送信息。目录订阅与推送要求如下：a）应基于数据需求方的角色开放相应的目录，并提供相应的操作权限。数据需求方可通过检索进行目录的发现和订阅操作；b）应为数据需求方提供设置所订阅目录的时域和频域参数的功能，应提供数据需求方数据获取接c）应提供目录订阅的查看、退订、暂停、重启、更新等功能；d）所订阅目录发生更新（版本升级、资费变动、服务暂停／重启、服务停止等）或异常事件（数据源异常、存储异常、加工处理异常、无法发送／接收异常等告警或预警信息等）时应及时向数据需求方发送信息推送。5.2目录查询与展示目录查询与展示要求如下：b）应提供多维度的目录检索服务，数据需求方可通过多条件查询获取符合要求的目录信息；c）应根据目录内容，提供多维度的目录展示；d）应提供友好、易用的展示界面。5DB5120/T29.4—20245.3数据提供数据提供要求如下：b）应向数据需求方提供获取所订阅目录的数据接口；c）应根据数据需求方的角色和权限，对其提供相应的服务保障。5.4实时数据订阅与推送平台可向特定用户提供实时数据的订阅与推送管理功能。a）应支持统计数据及分析结果的下载、导出等功能；b）应提供数据的多维度分类统计报表；c）应支持自定制的统计周期，包括日报、周报、月报、年报、实时报等。6数据共享方式各单位应用系统利用数据共享平台进行数据共享，须完成与数据共享平台的对接工作。数据共享平台按数据共享类型提供不同的数据共享方式：6.2下级部门数据共享到上级部门提供数据库接入方式、文件接入方式、WEB服务接入方式。下级部门提供本地数据源的数据库连接信息/文件地址信息/web服务信息、数据元信息、数据质量校验规则，数据共享平台按数据提供方的相关信息配置数据共享ETL任务，将物联感知数据共享到上级部门专题库中。各提供方可按业务需要自行组合选择，同一数据元建议只采用一种数据共享方式，初次数据共享为全量数据，此后改为增量数据共享。6.3上级部门数据分享给下级部门提供文件分享方式(定期批量）、WEB服务分享方式（实时交互）。上级部门将数据元信息发布到数据资源目录，并提供相关数据的分享方式；下级部门按实际需求提交数据分享需求（数据分享方式、分享数据元信息）到数据共享平台，数据共享平台配置数据分享ETL任务，将数据分享到文件系统或WEB服务供下级部门使用。下级部门可按业务需要自行组合选择，同一数据元建议只采用一种数据分享方式。在上述两种数据共享方中，数据提供方负责数据资源目录整理、协助数据质量校验规则制定、提交数据共享及数据分享需求；数据建设方主要负责数据共享平台开发、数据共享ETL任务开发。6.4数据共享物联感知平台向上通过应用接口组件，共享数据服务，快速为各应用共享交换数据；向下实现各类终端协议标准化，物模型的标准化，为城市数字孪生提供坚实的数据标准基础。通过建设物联感知平台，规范并牵引提供城市设备的联接和管理，支持海量多源异构的城市级实时信息资源的聚合、共享、共用。为城市打造一个高效、便捷、安全、舒适的智慧感知空间。以《国家促进智慧城市健康发展的指导意见》等为指导建设物联感知平台系统，实现面向全市全域感知、资源共享、统筹管理、协同管理，支撑全市形成有序、运转更加高效的管理机制。物联网子系统通过政务外网和互联网通过HTTP/HTTPS接入物联感知平台的软网关前置机，通过软6DB5120/T29.4—2024网关前置机的物联网数据点位转换，转换为物联感知平台标准的物模型格式，对接至统一的物联感知平感知设备产生的数据可通过物联感知平台以消息、接口等方式通过ROMA集成后对外提供或转发给数据资源一体化平台进行数据共享。7数据共享技术7.1数据库接入方式数据库接入方式是指物联感知数据共享到参与方专题库时，数据共享平台直连物联感知数据库并定期全量/增量将数据更新到数据共享平台前置库，经过数据质量规则校验后，再将数据写入参与方专题库。适用范围：a）对于存储在数据库中的库表。b）对于数据量较小的库表。增量更新说明：a）针对需共享至共享平台的数据，若参与方发现已共享的数据有误，需要修改，解决办法。b）每张表均有“记录时间戳”（当有错误数据时，不在原数据上作更改，直接新增一条正确记录，同时记录对应时间戳，共享到共享平台时一并交上来，需用时则选取时间戳最新的一条记录）。7.2文件接入方式文件接入方式指物联感知数据共享到参与方专题库时，参与方通过应用程序生成标准的csv格式文档，并共享到数据共享平台或指定文件服务器上以固定的路径进行存放。数据共享平台定期收割数据入库到数据共享平台前置库，经过数据质量规则校验后，再将数据写入参与方专题库。适用范围：a）数据以标准CSV格式存储的文件。b）对于数据量较大的库表。7.3WEB服务接入方式WEB服务接入方式是指物联感知数据共享到参与方专题库时，参与方按数据共享平台统一提供的WebServices或API接口规范开发接口，数据共享平台统一从参与方的服务接口抽取物联感知数据，并入库到数据共享平台前置库，经过数据质量规则校验后，再将数据写入参与方专题库。适用范围：a）数据共享频繁的业务系统。b）业务系统高度实时的在线数据。7.4设备直连平台接入设备具备IP通信能力，可以选择通过固定宽带或无线蜂窝网络等方式直接接入平台。接入平台有几种可选的方式：b）使用预集成模组接入：物联感知平台已经和海思、高通等主流模组芯片完成预集成，采用预集成的模组，只需简单调用几条模组AT指令，即可接入到物联感知平台；7DB5120/T29.4—2024c）使用平台API接入：基于物联感知平台的设备接入API，自行开发接入平台的功能逻辑代码，完成和平台的接入；MQTT规范的设备不做任何修改迁移到物联感知平台，同时平台推送给上层应用的数据能兼容设备原始格式，减少了设备端和上层应用的适配修改工作量可以把MQTT设备快速迁移到物联感知平台。7.5通过网关接入在物联网的场景中，存在大量弱设备不具备IP通信能力或无法直接连接平台。这类设备可以先通过RS485串口、ZigBee、蓝牙等近场线缆通信或无线通信方式接入物联网关，再由物联网关和物联感知网联网关可以继承物联感知平台的IoTDeviceSDK，降低开发难度和周期。7.6通过边缘计算平台接入在工业等复杂物联网场景中，存在数据采集频率高、数据量大、数据质量低等特点。在这种场景下，通常都会引入边缘计算平台，先将数据接入到边缘计算平台，在边缘计算平台完成数据的预处理再传送到物联感知平台。物联感知平台提供IoTEdge服务，IoTEdge可部署在边缘计算平台中，完成设备的接入、数据的预处理，同时还可以支持加载和管理第三方应用，通过应用实现客户定制化的数据处理需求。7.7通过子系统接入传统的物联网解决方案采用烟囱式的建设模式，所以现网存在大量老旧传感设备直接接入到一个个相互孤立的子系统。为了实现所有设备的统一接入管理，数据的融合互通，物联感知平台可以支持子系统接入。8数据共享频率8.1实时接口针对实时接口，实时获取数据。8.2文件接口针对文件接口（异步机制可根据实际业务需求确定共享频率，可选择按时/日/月/季度/年等更新频率，具体以实际业务需求为准。9数据分享方式9.1文件分享方式文件接入方式指参与方数据分享给其他参与方时，数据共享平台通过应用程序生成标准的csv格式文档，并共享到数据共享平台或指定文件服务器上以固定的路径进行存放。参与方定期收割数据入库到物联感知数据专题库。适用范围：对于数据以标准CSV格式存储的文件；对于需要参与方专题库定期分享给其他参与方的库表。9.2WEB服务分享方式8DB5120/T29.4—2024WEB服务接入方式是指参与方数据分享给其他参与方时，数据共享平台按统一的WebServices或API接口，将数据实时发布到对应的接口，其他参与方从对应服务接口获取实时分享数据，并汇聚到物联感知数据专题库。适用范围:需要实时获取参与方专题库数据。10数据安全管理10.1安全管理说明数据安全管理是数据共享过程的一个重要组成部分；针对数据共享平台，将共享内容根据数据的重要程度等进行不同的等级划分；在数据共享上基于上文提出且各方认同的数据共享方式，对共享及访问机制做严格的权限控制。10.2安全等级划分根据数据共享标准规范提出的数据信息，将数据安全进行不同级别划分，将数据安全分成三个等级：一级：包括涉及重要数据等。包括但不限于以下内容：针对一级数据安全，需做严格数据控制、脱敏操作，可通过数据共享平台，针对敏感数据进行脱敏操作，包括选择敏感字段、脱敏规则，选择内容加星号（*）和不返回敏感数据。二级：包括在有限范围内可公开的信息。三级：主要包括其他汇总数据或可公开信息，信息安全管理风险较低的数据。10.3授权访问控制数据访问授权，是指定义用户所属的角色或者功能，明确各类用户可访问的数据范围，并按角色或功能指定可以访问的数据对象。数据访问授权的主要工作：根据数据安全分级标准，定义数据访问的授权方法及流程，建立基于数据安全分级的数据使用授权机制，实现数据访问和信息披露的安全；通过管理层审批的数据访问授权结果的落实，确保敏感信息不被泄露和信息发布符合保密政策和相关法律要求。数据访问授权应该遵循以下原则：a）仅限于经过有关管理层审批的数据用户可以访问和使用数据；b）按照业务需求，允许数据用户以特定的方式访问，并赋予能够满足业务需求的最小操作权限；c）在数据的访问或使用过程中，数据用户必须严格遵守各项安全控制措施。数据授权规则示例表1：表1数据授权规则安全分级授权规则示例一级需要单位级领导层，或领导层任命的数据安全专员审批方可进行访问授权二级需要部门级领导审批通过方可进行访问授权三级需要业务专责/数据安全管理人员授权方可访问10.4数据安全监管数据安全监管从数据使用的角度对数据安全进行控制。数据安全监管，主要从事前、事中、事后三个环节，实现全过程安全管理。保证敏感操作审批、操作、复核各环节的全生命周期安全。9DB5120/T29.4—2024安全审批：数据安全预判是在共享过程中，关于数据安全问题提前准备的相关举措。主要措施包括：网络隔离：严格隔离生产网与办公网，子网间封闭高敏端口严格审批：对所有敏感操作进行事前申报、审批及备案流程。对于数据安全事件的审批，主要目的：a）能够较早的发现存在数据安全风险的操作事项，及早制定对应策略，规避数据安全风险；b）对于审批事项建立管理登记制度，便于后期对涉及数据安全的操作进行审查。c）安全监控、告警：建立实时操作监控，分级告警策略，主要包含如下内