DB54T 0290-2023高原地区 多源异构数据 采集要求

ICS35.240CCSL7054IDB54/T0290—2023前言 2规范性引用文件 3术语和定义 4多源异构数据采集系统概述 5数据采集 25.1数据采集过程 25.2数据采集地点和采集种类 25.3数据采集系统设计 25.4数据采集系统的高原环境适应性 36数据传输和存储 36.1数据传输和存储系统设计 36.2数据传输和存储系统的高原环境适应性 3DB54/T0290—2023本文件按照GB/T1.1—2020《标准化工作导则第1部分：标准化文件的结构和起草规则》的规定起草。请注意本文件的某些内容可能涉及专利。本文件的发布机构不承担识别专利的责任。本文件由西藏大学提出，西藏自治区标准化研究所归口。本文件起草单位：西藏大学、电子科技大学。本文件主要起草人：董志诚、杨阳、位纪伟、徐行、周恩治、汪政。DB54/T0290—2023随着适用于高原地区的智能传感器的快速发展，数据正以前所未有的速度增长和积累。有效的对高原地区多源异构数据进行采集、传输和存储是大数据分析和挖掘的关键步骤。高原地区多传感器，多平台监控是有效提升监控效率以及性能的重要手段。然而，如何将多源异构数据进行高效的分析利用，是多传感器、多平台监控面临的难题。本标准针对高原环境下（如强光照、高严寒、强风沙等），基于多传感器（红外、可见光、雷达波等），多平台（无人机、地面监控）获取的数据，规范高原环境下数据采集、传输和存储要求，从而实现多传感器、多平台异构信息的高效利用。本文件的起草单位经过现场调查研究，认真总结实践经验，针对西藏自治区的自然气候条件，在广泛征求意见的基础上完成了文件编制。1DB54/T0290—2023高原地区多源异构数据采集要求本文件规定了高原地区多源异构数据的采集、传输和存储的标准。本文件适用于高原地区多源异构数据的采集、传输和存储。2规范性引用文件下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中，注日期的引用文件，仅该日期对应的版本适用于本文件；不注日期的引用文件，其最新版本（包括所有的修改单）适用于本文件。GB/T11804电工电子产品环境条件--术语GB/T18459传感器主要静态性能指标计算方法GB/T22239信息安全技术网络安全等级保护基本要求GB/T25724公共安全视频监控数字视音频编解码技术GB/T28181公共安全视频监控联网系统信息传输、交换、控制技术要求GB/T35295信息技术大数据术语GB/T36100机载激光雷达点云数据质量评价指标及计算方法GB/T36625.1智慧城市数据融合第1部分：概念模型GB/T36625.3智慧城市数据融合第3部分：数据采集规范GB/T37025信息安全技术物联网数据传输安全技术要求GB37300公共安全重点区域视频图像信息采集规范GB/T37722信息技术大数据存储与处理系统功能要求3术语和定义GB/T11804、GB/T35295、GB/T36625.1、GB/T36625.3界定的以及下列术语和定义适用于本文件。3.1高原地区多源异构数据multi-sourceheterogeneousdatainplateauareas高原地区多种来源、不同类型、不同结构的数据统称。3.2多源异构数据采集系统multi-sourceheterogeneousdatacollectionsystem实现高原地区多源异构数据采集、传输、存储的硬件和软件的集合。4多源异构数据采集系统概述4.1多源异构数据采集系统包含原始数据采集、数据传输以及数据存储系统。4.2原始数据采集系统从采集地点获取多种类型的数据。数据经过传输后汇聚形成数据集，存储在数据系统中。4.3数据传输系统通过无线或有线的方式传输采集的原始数据。2DB54/T0290—20234.4数据存储系统对原始数据进行预处理并进行数据融合。图1多源异构数据采集系统概述5数据采集5.1数据采集过程5.1.1高原地区多源异构数据采集是利用各种数据采集装置采集数据并进行质量控制等操作的过程。5.1.2高原地区多源异构数据采集过程宜包括：a)数据源选择：明确数据采集地点和数据种类；b)采集方式选择：通过分析数据源类型，确定数据采集方式；c)数据标准化以及有效性分析：对采集的原始数据进行标准化处理，确保数据时效性，完整性。5.2数据采集地点和采集种类5.2.1数据采集地点数据采集地点应根据采集需求进行选择。5.2.2多源异构数据种类表1对多源异构数据的种类进行了总结，采集数据种类可能包括但不限于所给的数据种类。表1多源异构数据种类包括但不限于位置、速度、温度、湿度、压力等5.3数据采集系统设计5.3.1数据采集系统设计的目标是高效获取高质量的多源异构数据。3DB54/T0290—20235.3.2数据采集系统设计时宜对数据采集行为、采集数据内容进行评估，判断是否符合国家和地区法律法规要求。5.3.3数据采集系统的设计宜考虑采集数据的真实性和完整性。5.3.4数据采集系统的功能设计可参照GB/T36625.3中7.2.2的系统采集功能进行。5.3.5数据采集系统的安全性设计可参照GB/T22239和GB/T36625.3中的数据安全功能进行。5.3.6对数据质量的控制参照GB/T36625.3规定的数据质量控制原则执行，采集的数据宜满足以下质量指标：a)视频数据、图像数据和音频数据满足GB37300中所述质量指标；b)雷达数据满足GB/T36100中所述质量指标；c)传感器采集数据满足GB/T18459中所述质量指标。5.4数据采集系统的高原环境适应性5.4.1高原地区地理环境复杂，气候条件恶劣，针对高原地区的地理和气候条件采取针对性措施对于实现高效高质量的数据采集至关重要。5.4.2针对高原地区的地理和气候条件，设计数据采集系统时宜考虑以下措施：a)针对大温差、低气压、高紫外线照射环境的保护措施；b)应对大风天气条件的防抖动功能；c)针对大雨、大雪、冰雹、沙尘暴、雷电等气候条件的保护措施；d)针对大雨、大雪、大雾、尘雾等气候条件的数据采集增强；e)针对低光照、强光照、逆光、强紫外线等环境的数据采集增强；f)抗信号干扰。5.4.3高原地区电力资源稀缺、能源供应不稳定、网络基础设施建设不足，高原地区特殊的能源和网络条件是数据采集设计中需考虑的重要因素。5.4.4针对高原地区的能源和网络条件，设计数据采集系统时宜考虑以下措施：a)基于事件触发的数据采集；b)适合高原电力供应特征的节能保电方案；c)感知能源供应和网络传输状态，结合应用需求对同一目标的多源异构数据进行冗余数据去除；d)根据电力供应情况自适应调整数据采集质量。e)支持采集作业管理和调度，采集系统宜支持对作业启动、停止、暂停、恢复等操作。6数据传输和存储6.1数据传输和存储系统设计6.1.1数据传输和存储系统设计的目标是高效安全地传输和存储数据。6.1.2数据传输系统宜同时具备在有线、无线通信网络中的数据传输功能。6.1.3数据传输和存储系统宜具备对各类格式的数据进行编码、传输和存储的功能。6.1.4对数据传输和存储系统进行设计时建议参照以下标准：a)对多源异构数据的标识符编码可遵循GB/T36625.3中的数据编码规范；b)数据传输的安全性设计可参照GB/T37025所述的安全技术；c)数据存储功能设计可参照GB/T37722中规定的大数据存储子系统功能。6.2数据传输和存储系统的高原环境适应性4DB54/T0290—20236.2.1数据传输和存储系统设计应考虑高原地区电力资源保障不稳定、通信基础设施部署不均衡，数据安全性不高等重要因素。6.2.2针对高原地区的特殊条件，数据传输和存储系统宜采取以下措施：a)数据传输时根据网络传输状态对采集数据进行自适应编码压缩；b)数据传输针对网络状况不稳定的情况采取数据传输增强算法；c)数据传输和存储系统采取抗干扰、防止物理破坏、防止数据窃取和篡改的措施；d)数据存