《深度学习驱动的智慧交通数据挖掘预测技术规范》

中国国际科技促进会发布ICS35.240.99CCSL73团体标准XDeeplearningdrivendataminingandpredictivetechnologyspecificationforigenttraffic(征求意见稿)在提交反馈意见时，请将您知道的相关专利连同支持性文件一并附上。IT/CIXXXX—XXXX 性引用文件 1 5智慧交通数据挖掘预测技术 26数据采样与预处理 27基于深度学习的挖掘算法 38智慧交通应用场景 59数据挖掘预测性能评估指标 7 T/CIXXXX—XXXX前言本文件按照GB/T1.1—2020《标准化工作导则第1部分：标准化文件的结构和起草规则》的规定起草。请注意本文件的某些内容可能涉及专利。本文件的发布机构不承担识别专利的责任。本文件由南方科技大学提出。本文件由中国国际科技促进会归口。本文件起草单位：南方科技大学、长春理工大学、中国第一汽车集团有限公司、北京大学、华为技术有限公司、重庆大学、浪潮集团有限公司、同济大学、中国检验认证集团深圳有限公司、深圳市骏嘉科技发展有限公司、深圳市铠硕达科技有限公司、深圳浑沌数字化实验室科技有限公司、深圳树米网络科技有限公司、汕头大学、吉林省卡思特科技有限公司、吉林省中云数讯股份有限公司、超智研发中心 (深圳)有限公司、碳猎研发中心(深圳)有限公司、深圳安视信息技术有限公司、苏州奇盈半导体科技有限公司、维旭长电科技(深圳)有限公司。本文件主要起草人：宋轩、尹渡、张博渊、邓捷文、邓锦亮、张凌宇、贾云健、张昕、宋小龙、刘妍、周时莹、李长龙、孙宗姚、王中一、谢奕、高亮、陈欣、陈瑶、袁飞。1T/CIXXXX—XXXX深度学习驱动的智慧交通数据挖掘预测技术规范1范围本文件确立了深度学习驱动下的智慧交通数据挖掘预测技术规范，规定了数据采样、预处理、挖掘算法、智慧交通应用以及数据挖掘预测性能评估指标的要求。本文件适用于基于深度学习的智慧交通数据挖掘预测技术规范。2规范性引用文件下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中，注日期的引用文件，仅该日期对应的版本适用于本文件；不注日期的引用文件，其最新版本(包括所有的修改单)适用于本文件。GB/T35295-2017信息技术大数据术语T/ZGCSC004-2022城市时空预测智能模型的数据要求3术语和定义GB/T35295-2017、T/ZGCSC004-2022界定的以及下列术语和定义适用于本文件。邻接矩阵adjacentmatrix用以表示交通图数据中不同节点的空间相关性权重的二维正方形矩阵。符合现实物理世界定义的距离评判标准。具有存在间隙的内核的卷积，为时间卷积网络的重要组成部分。损失函数lossfunction算法模型输出和观测结果之间的概率分布差异。道格拉斯-普克算法过拟合douglas-peuckeralgorithm将曲线近似表示为一系列点，并减少点的数量的一种算法。卡尔曼滤波kalmanfiltering一种利用线性系统状态方程，通过系统输入输出观测数据，对系统状态进行最优估计的算法。4缩略语下列缩略语适用于本文件。GPS:全球定位系统(GlobalPositioningSystem)APP：应用程序(Application)OD:起点-终点(OriginDestination)HMM:隐马尔可夫模型(HiddenMarkovModel)RNN：循环神经网络(RecurrentNeuralNetwork)LSTM：长短期记忆网络(LongShort-TermMemory)CNN：卷积神经网络(ConvolutionalNeuralNetwork)2T/CIXXXX—XXXXAttention：注意力机制(Attention)GCN：图卷积网络(GraphConvolutionalNetwork)TCN：时间卷积网络(TemporalConvolutionalNetwork)POI：兴趣点位置(PointofInterest)5智慧交通数据挖掘预测技术深度学习驱动的智慧交通挖掘预测技术规范中包含了数据采样层、数据处理层、挖掘算法层、应用场景层，具体见图1，能够在数据、计算和落地的整个数据流程过程中实现交通数据采集、预处理、挖掘算法计算特征、根据场景输出高精度高可靠性的解决方案，给智慧城市各个层面所面临的挑战与困难提供智能化和科学化的赋能支撑。图1人工智能驱动的产品生命周期价值链智能化管理系统架构6数据采样与预处理6.1数据采样来源6.1.1传统交通数据包括控制信号数据和路网数据等已结构化的数据。6.1.2开放数据如公交卡数据和车载GPS数据，具体为包括OD流和交通时间公交卡数据，其中应包括车辆的位置、密集度和速度的车载GPS数据。6.1.3监控设备数据3T/CIXXXX—XXXX数据形式为视频，数据内容应包括车辆的位置、密集度和速度，还有对车辆的识别。6.1.4传感器数据路边传感器数据、流动车辆传感器数据和广域传感器数据。传感器数据内容应与监控设备的数据内容相同。6.1.5APP数据包括了出行软件数据和社交媒体数据，其中社交媒体数据即在社交媒体中发布的地理信息。6.1.6其他数据如智能电网，数据内容应包括用电量信息。6.2数据预处理6.2.1轨迹压缩为减轻通信、计算和数据存储的成本损耗，对收集的轨迹进行压缩处理是常见的处理手段。轨迹压缩任务可以选择离线执行，也可以在线执行。离线时可采用Douglas-Peucker等算法；在线时可采用滑动窗口等算法。使用轨迹压缩前需根据情况规定误差范围，并明确压缩后的目标数据量大小。6.2.2数据清洗数据清洗可分为四个子问题：数据缺失，数据噪声，数据异常，和数据不均衡。a)数据缺失：数据缺失问题广泛存在，早期的处理方法是用固定值或上下文均值进行填充，现在多用RNN、HMM以及矩阵补全等机器学习方法填充。b)数据噪声：指与原数据无关的额外数据，应通过时域和频域的滤波方法(如卡尔曼滤波)来过滤噪声。c)数据异常：指那些在时空度量下与空间或时间邻域离群的数据，通常使用异常检测算法来修复异常数据，并在计算异常分数时需要明确异常分数的计算公式与临界值。d)数据不均衡：包括数据在分布和标签中存在的不均衡，如不同路段车流量在数据分布上的不均衡，和人与车辆标签在数据标签上的不均衡。应采取过采样、欠采样等采样技术解决。6.2.3地图匹配地图匹配是将位置数据关联到路网上的技术，是预处理中不可或缺的一步。地图匹配目前包含以下两大类技术：基于采样点的技术和添加额外信息的技术。基于采样点的技术包括点距离方法和路径距离方法，添加额外信息的技术包括添加几何、拓扑、概率、模型等方法。在进行地图匹配步时，应至少选用上述任一方法或类似的方法。6.2.4信息提取轨迹中针对信息的预处理包括停驻点识别和轨迹分割。停驻点识别通常通过时间信息确定，也可使用相应的停驻点检测算法。轨迹分割包括以时间信息、空间信息以及停驻点进行分割。如果下游任务有此类需要，则在数据预处理中需要进行此步骤。7基于深度学习的挖掘算法空间挖掘算法7.1.1卷积神经网络由于交通网络无法使用二维矩阵表达，许多研究者将不同时刻的城市交通网络转换成图像格式，因而使得卷积神经网络得以被用来提取每个时间片下网格数据中不同网格区域中的空间特征。与现实世界相同，每个网格与周边网格有所相连，周边网格的位置根据网格划分数据的经纬度来决定。根据特定的周边区域顺序与距离，不同位置的训练权重在卷积神经网络计算的过程中被体现出来。7.1.2图卷积网络4T/CIXXXX—XXXX传统的卷积神经网络只能处理欧式数据类型，而交通路网本质上也是非欧式的图关系，为处理非欧式数据计算设计的图卷积网络非常适合各类交通数据挖掘问题。图卷积计算方法主要有谱域图卷积和空域图卷积。谱域图卷积的定义为通过从图信号处理的角度引入滤波器来定义图卷积，其中图卷积运算被解释为从图信号中去除噪声。空域图卷积的定义为通过图卷积公式从邻居节点聚合节点特征。交通数据的空间关系复杂，也使得图卷积网络从普通构造逐渐发展演变出多种变体：a)单图卷积：最初始发展出的谱域图卷积或者空域图卷积版本；b)多图卷积：多种邻接关系作为图的空间表示，多个图卷积模块提取特征后聚合特征；c)自适应图卷积：固有的邻接关系作为交通数据的空间表示并不可靠，因而使用可学习的学习策略来重新学习邻接关系，进而输入到图卷积网络中提取空间特征；d)图注意力网络：为了防止固有邻接关系中错误信息对特征提取过程造成负面干扰，使用注意力机制去学习不受固有邻接关系影响的注意力分数，排除固有邻接关系的噪声的同时，也使得长远距离的图节点也有机会参与到空间特征提取过程中；e)动态自适应多图卷积：集成了多图策略，自适应学习策略和图卷积的一种综合体；f)偏微分图卷积：上述各类图卷积仅仅是考虑的空间层面的影响，未考虑到不同时间片的状态影响。引入偏微分使得不同时间片的图卷积操作可以上下文呼应，使得图卷积也变得可以持续学7.1.3空间注意力注意力一开始诞生于自然语言处理领域，而后被广泛应用其他领域。交通路网的相关性是高度复杂的，固有的邻接关系可能无法正确的表征路网节点的空间属性，因此空间注意力机制通过将特征维度和空间维度拉平计算分数，可以自适应地去挖掘节点之间的相关性权重。其核心要点是给不同的节点之间分配不同的权重以表征其重要性程度，并采用多头机制让学习到的权重更加多样，经过求和加权或者平均化来得到最终的空间特征。7.1.4多任务学习将空间上不同节点的时间序列预测任务视作不同任务，使用多任务学习从数据中挖掘出需要的信息，提取出通用的特征和不同节点的关联信息，最后对所有空间节点进行建模、训练和预测。7.1.5元学习将空间上的不同节点视作元学习中的不同单元，不同节点之间相互影响相互促进特征的学习。时域挖掘算法7.2.1循环神经网络循环神经网络RNN和它的变体LSTM，GRU等神经网络被设计以应对序列数据。为了提取交通数据中的非线性特征，循环神经网络可以从长时间序列中提取多时间步长周期的特征信号并且支持针对其中隐藏特征传递单元，遗忘单元等各个组合构件进行改造。循环神经网络的可塑性极高，支持跟各种其他方法论组合出新的模块，因而至今都在继续迭代。7.2.2时间卷积网络时间卷积网络TCN本质上是堆叠的多层CNN层，不同于RNN等循环神经网络需要等待时间片一个个计算特征，TCN可以并行计算所有时间步的数据特征，而后通过膨胀卷积堆叠连接，加速计算速度的同时也保持有较长的感受野，可以输入任意步长的时间序列。7.2.3时间注意力类似于空间注意力机制，但将空间注意力机制中的特征纬度与空间维度拉平替换为特征纬度与时间纬度拉平计算分数，获得不同时间片的时间特征，聚合后由多头机制求和加权或者平均化来得到最终的时间特征。基于架构的挖掘算法7.3.1基于循环网络类的架构5T/CIXXXX—XXXX很多算法在RNN的基础上，加入各种变体单元如GCN，GatedCNN，Attention等，尽管依赖于不同的模块，但是都具备递归循环的隐藏单元和传递单元。7.3.2基于时间卷积网络类的架构由于该类网络是堆叠的门控卷积，在因果卷积连接上下层时可以加入各种变体单元如GCN，GatedCNN，Attention等，因此可以作为框架来包含其他时空模块和方法策略。7.3.3基于编码器解码器的架构适用于序列数据的编码器解码器架构，在同样为序列数据的交通时序数据上被广泛使用。使用编码器提取序列特征，使用解码器做预测，在编码器和解码器中设计组合各种时空特征提取模块。7.3.4基于Transformer的架构Transformer类模型不仅在计算机视觉和自然语言处理中火热发展，交通数据挖掘预测领域中同样衍生出许多变体模型。集成了多头注意力机制，注意力计算，编码器解码器和反向回馈层的Transformer架构，可以在其中各个组件中改造或者加入串并联方式的其他特征提取单元。7.3.5基于生成对抗网络的架构生成对抗网络同样适用于交通预测问题，由于交通路网复杂，通过生成出不确定的复杂状态，在判别模型中优化。将各类时空挖掘单元嵌入至生成对抗网络中，为之设计任务驱动的预测器，进行交通预测。7.3.6基于迁移学习的架构有部分交通预测场景会存在地区A数据充足，地区B不充足的情况，使用迁移学习架构在城市A中预训练得到模型，然后切换到地区B使用地区B的数据继承训练或微调。7.3.7基于联邦学习的架构考虑到隐私保护的需求存在，使用联邦学习架构，利用众包节点独立训练模型，最终预测全域的未来交通状态。再可以合理高效地在保护隐私安全的同时，维持模型的预测性能。基于特征的挖掘算法7.4.1特征分解与组合等同于自回归移动平均方法，许多深度学习方法将序列特征分解为周期，趋势等统计特征，进行学习、组合与预测。这类方法结合了深度学习和统计学的优点，使得深度学习方法能从复杂的交通场景中挖掘到多种特征模式。7.4.2时间特征组合为了充分利用历史数据中的有用信息，将年、月、星期、日、小时、分钟、秒、节假日/工作日等时间日期特征进行编码组合，联合交通特征输入到模型中，帮助模型挖掘出更准确有用的时间特征。7.4.3额外特征嵌入现实世界中，还有各种其他信息可以作为额外特征嵌入到特征纬度，如兴趣点位置(POI)、天气、经纬度、区域类型等。7.4.4记忆模块存储受LSTM的启发，在训练过程中从训练数据中提取出一些特征存储到记忆模块中，协助模型训练迭代和预测。8智慧交通应用场景交通管控场景6T/CIXXXX—XXXX8.1.1交通状态预测一般来说，交通状态是指交通流量、交通速度、行驶时间、交通密度等。交通流量预测、行程时间预测是交通状态预测的热门分支。8.1.2出行需求预测出行需求预测是指从用户角度对出租车、自行车、地铁、公交等交通服务的需求，估计未来需要交通服务的用户数量。对于企业而言，出行需求预测有利于合理高效分配资源，例如在高峰时段增加地铁班次，增加更多公交车指向服务热点，更好地管理出租车出租、拼车、自行车共享服务，并最大化他们的收入。对于个人而言，鼓励用户考虑多种交通方式，减少通勤时间，提升出行体验。出行需求预测可以分为两类，即区域层面的需求预测和出发地-目的地的出行需求预测。前者旨在预测城市各区域未来的出行需求，例如，预测城市各区域未来的出租车需求，或预测地铁系统的站级乘客需求，或预测城市各区域的自行车租赁需求。后者旨在预测从一个区域到另一个区域的出行需求数量。8.1.3交通信号控制交通信号控制是指随交通变化特性来指挥车辆和行人的通行，旨在正确控制交通信号灯，以减少车辆在道路交叉口的长期停留时间。交通信号控制可以优化交通流量，减少交通拥堵和车辆排放。交通信号最常通过固定时间、驱动或自适应控制方法进行规范化。固定时间的信号控制涉及一种重复模式，该模式不会随实时交通情况而改变，并且无论该区域的动态交通变化如何都会继续其周期。主动控制方法根据环路检测器的实时数据操作交通信号。8.1.4车辆订单分配车辆预约应用程序的关键组件是调度系统，旨在为司机和乘客提供最佳匹配。车辆订单分配的质量直接影响用户的体验以及车辆的运营效率，传统的调度系统按顺序向乘客派遣出租车，运用深度学习技术后的算法能最大限度地提高司机对每个订单的接受率。交通安全场景重大事故可能对乘客造成致命伤害，并在道路网络上造成长时间延误。因此，了解事故的主要原因以及事故对交通网络的影响对于现代交通管理系统至关重要。交通安全是公共安全不可或缺的一部分。交通事故不仅会导致交通拥堵，还会对车辆和道路基础设施造成损害，并可能造成人员伤亡，降低道路网络的效率。因此，监控交通事故对于避免财产损失和挽救生命至关重要。运用深度学习驱动的挖掘预测技术的场景主要包括检测交通事故、根据社交媒体数据预测交通事故、预测交通事故的伤害严重程度、预测事故预防等等。交通监控场景监控摄像头已广泛部署在城市道路上，产生大量图像和视频。大量数据造就了更加安全精准的交通监控系统，其中包括交通执法、自动收费和交通监控系统。运用深度学习驱动的挖掘预测技术的主要场景包括车牌检测、自动车辆检测、车辆减超速检测以及行人检测等等。路径规划场景8.4.1旅游路线规划旅游路线规划是旅游者准备行程的重要步骤。虽然用户可以搜索相关的旅游指南和游记，但它们提供的信息通常是非结构化的，并且因人而异。在这种情况下，非常需要一种自动的、交互式的旅游路线规划服务，以根据用户的喜好来规划定制的旅行。推荐旅游路线的流行方法是找到与给定背景相似的现有旅行，如空间邻近性、文本相关性和照片。例如，可以利用现有的出行，通过将热点区域与路线联系起来构建一个旅游网络，然后通过交通流量检测算法从网络中发现热门路线。8.4.2交通基础设施规划交通基础设施规划是获得良好交通运输效益的有效途径。道路网建设效益的好坏，不仅仅与建设的直接投资有关，而且与建设后发挥投资效益的程度有关。道路只有经过合理的规划，才能充分发挥投资7T/CIXXXX—XXXX效益，否则有的道路交通拥挤，交通量过于饱和，而有的道路交通较少，这样道路网的效益无法最大程度的发挥，造成经济效益和社会效益的损失。通过利用交通轨迹、交通流量以及交通状态等数据，我们可以检测“热点道路”作为推荐的公交车站。因此，政府可以根据推荐的网络建设城市道路，以减少道路连通分量的数量，完善交通运输基础设施的建设。商业定位场景8.5.1公共充电站选址随着国内电动车载具的发展，公共充电站需求日益增大，战略性地部署充电站和充电点成为城市规划者和电力公司面临的一个新兴且具有挑战性的问题。自然地，交通流量和车辆轨迹旅等交通数据在解决这个问题中起着重要作用。结合周边公共设施用途类别及位置信息、周边社区用能情况等数据，建立充电桩建设合理性评价分析模型，自动判断拟建设充电桩选址可行性，进一步优化充电桩位置布局，合理配置空间资源，提升充电桩利用率。8.5.2室外广告牌选址室外广告牌是否有效取决于他的内容设计，可见性以及放置的地理位置。其中地理位置被认为是最重要的因素。合理利用城市中的车辆轨迹数据、交通状态数据和流量数据，可以选择出室外广告牌最佳的放置位置，以最大化商业利润。9数据挖掘预测性能评估指标平均绝对误差该指标为对绝对误差损失的预期值，公式见(1)。i该指标为对绝对误差损失的预期值，公式见(1)。式中：yi——预测值；yi——预测值；N——预测节点个数。均方误差2式中：yi——