智慧交通 物联网数据服务平台 数据管理通用要求DB50-T 1177 -2021

ICS35.040CCSL80

DB50重 庆 市 地 方 标 准DB50/T1177—2021智慧交通物联网数据服务平台数据管理通用要求20212021113020220301重庆市市场监督管理局发布DB50/T1177—2021DB50/T1177—2021DB50/T1177—2021DB50/T1177—2021目  次前言 II范围 1规范性引用文件 1术语和定义 1缩略语 2数据采集 2数据预处理 2数据存储 3数据交换 3数据处理 4数据分析 4数据服务 5II前  言本文件按照GB/T1.1—20201草。请注意本文件的某些内容可能涉及专利。本文件的发布机构不承担识别专利的责任。本文件由重庆市经济和信息化委员会提出并归口。本文件起草单位：重庆市城投金卡信息产业（集团）股份有限公司、中国电子技术标准化研究院、重庆市公安局、重庆市公安局交通管理局。IIII智慧交通物联网数据服务平台数据管理通用要求范围本文件适用于物联网数据服务平台中数据管理的设计、选型和验收。规范性引用文件（包括所有的修改单适用于本文件。GB/T35295-2017信息技术大数据术语术语和定义下列术语和定义适用于本文件。集群cluster一组相互独立的、通过高速网络互联的计算机或服务器。集群cluster一组相互独立的、通过高速网络互联的计算机或服务器。3.2RFID过车数据RFIDpassingdata车辆经过RFID读写器时，RFID读写器从经过车辆的电子牌中读取的数据信息。3.3结构化数据structureddata[来源：GB/T35295-2017，2.2.13]3.4非结构化数据unstructureddata不具有预定义模型或未以预定义方式组织的数据。[来源：GB/T35295-2017，2.1.25]3.5分布式计算distributedcomputing一种覆盖存储层和处理层的、用于实现多类型程序设计算法模型的计算模式。注：分布式计算结果通常加载到分析环境。MapReduce是数据分布式计算中默认的处理构件。[来源：GB/T35295-2017，2.1.22]1缩略语下列缩略语适用于本文件。API:应用程序编程接口（ApplicationProgrammingInterface）CPU:中央处理器（CentralProcessingUnit）GPU:图形处理器（GraphicsProcessingUnit）JDBC：Java数据库连接（JavaDataBaseConnectivity）LLRP：底层读写器协议（LowLevelReaderProtocol）RFID：射频识别（RadioFrequencyIDentification）SQL：结构化查询语言(StructuredQueryLanguage)数据采集概述数据采集是通过数据采集接口以主动采集数据方式或采集源定时推送数据方式获取原始数据。原始数据原始数据分为以下三类数据：业务数据：包括读写器、摄像头、道闸设备等获取的数据信息；c)其他数据：包括公共信息、政府信息等第三方数据。业务过程数据采集的业务过程包括：c)其他数据：包括公共信息、政府信息等第三方数据。业务过程数据采集的业务过程包括：静态数据采集：相关政府部门将公共信息、政府信息等第三方数据传输至数据服务平台；动态数据采集:读写器、摄像头、道闸设备等将采集到的业务数据传输至数据服务平台；读写器管理系统、摄像头管理系统等将采集到的故障信息、告警信息等管理数据传输至数据服务平台。功能要求数据采集功能要求如下：不同物理位置的采集节点应能够形成采集集群，可以进行统一的管理，例如采集数据的汇总、转发、扩容；应支持负载均衡，可平滑扩展；应支持不同类型规格的RFID读写器；RFID读写器应支持时间同步功能；RFID读写器应支持LLRP及其扩展协议；宜提供线性扩展功能。6数据预处理2概述数据预处理是对输入的原始数据进行解密、去重、清洗（校正、补齐）、转换等操作。功能要求数据预处理模块功能要求如下：应提供数据抽取、解密、去重、清洗、转换和加载处理功能；应提供按照需求将存放在分布式文件系统、数据库中的文件或数据进行抽取的功能；（的功能。数据存储概述数据存储是将来源不同的数据分别存入特定的数据库中以供抽取使用。功能要求数据存储模块功能要求如下：应提供数据上传、数据下载、目录查看、目录创建、目录删除、权限修改等操作的功能；API应提供对相应权限用户进行授权的功能；应提供专门区域存储第三方数据，以实现物理隔离；应具备关键节点（部件）高可用性设计与要求的能力；RFID应具备存储图片的原始数据至少三个月、图片的结构化数据至少一年的能力；应具备存储视频流数据至少一个月的能力；宜提供数据自动备份和手动备份功能；宜提供数据批量更新、删除等多种数据管理功能；宜提供流式的实时数据入库和实时查询功能。数据交换概述功能要求数据交换模块功能要求如下：3应简单易用，适合业务人员安装、配置、部署、监控、管理；应支持完全松耦合的数据交换架构；应支持多种数据抽取和数据处理模式；应实现平台管理中心对跨地域不同部门的交换设施、交换流程的远程配置与部署功能；应支持不同协议格式数据的交互；应支持数据质量控制：支持数据过滤、数据格式转换等功能；应支持分布式数据库、关系数据库和文本文件等数据源；SQL第三方数据交换时应遵守最小化原则（即在最小的范围内交换最少的数据）。数据处理概述扩展数据。功能要求数据处理模块功能要求如下：扩展数据。功能要求数据处理模块功能要求如下：CPU、内存、GPU应支持计算框架的水平扩展；应支持对全局资源的集中管理；应支持静态资源分配策略和动态资源分配策略；应提供匹配组织的层次结构，支持多层次的队列资源管理功能；应支持资源管理、作业调度和数据加载及各种分布式计算框架调度；应支持结构化和非结构化数据处理；应支持数据压缩与解压；应支持历史数据查询；宜具备支持按照任务间依赖关系自动调度任务，提高处理系统的自动化程度的能力；宜具备支持根据作业需求动态分配计算资源，自动管理回收资源的能力；宜具备支持自动完成作业调度；宜具备对复杂任务的调度的能力。10数据分析4概述功能要求数据分析模块功能要求如下：应实现低延迟，能够满足城市交通临界值监测；应实现分布式，各处理组件应是分布式的，而且处理延迟低；c）d）应保证每个消息至少能得