基于机器学习的智慧交通出行技术规范

中国国际科技促进会发布ICS35.240.99CCSL73团体标准XTechnicalspecificationsforsmarttransportationbasedonmachinelearning(征求意见稿)在提交反馈意见时，请将您知道的相关专利连同支持性文件一并附上。IT/CIXXXX—XXXX 性引用文件 1 5基于机器学习的智慧交通出行技术框架 16数据采样与预处理 27基于机器学习的特征学习 3 9基于机器学习的智慧出行应用场景 8 T/CIXXXX—XXXX前言本文件按照GB/T1.1—2020《标准化工作导则第1部分：标准化文件的结构和起草规则》的规定起草。请注意本文件的某些内容可能涉及专利。本文件的发布机构不承担识别专利的责任。本文件由南方科技大学提出。本文件由中国国际科技促进会归口。本文件起草单位：南方科技大学、长春理工大学、中国第一汽车集团有限公司、北京大学、华为技术有限公司、重庆大学、浪潮集团有限公司、同济大学、中国检验认证集团深圳有限公司、深圳市骏嘉科技发展有限公司、深圳市铠硕达科技有限公司、深圳浑沌数字化实验室科技有限公司、深圳树米网络科技有限公司、汕头大学、吉林省卡思特科技有限公司、吉林省中云数讯股份有限公司、超智研发中心 (深圳)有限公司、碳猎研发中心(深圳)有限公司、深圳安视信息技术有限公司、苏州奇盈半导体科技有限公司、维旭长电科技(深圳)有限公司。本文件主要起草人：宋轩、陈纪元、王宏俊、杨华民、王兴山、赵卫东、朱津萱、谢洪彬、张浩然、张家祺、冯德帆、宋歌、张嘉晖、李昊洋、吴季泫、陈孙兵、陈天乐、张凌宇、贾云健、张昕、宋小龙、刘妍、周时莹、李长龙、孙宗姚、王中一、谢奕、高亮、陈欣、陈瑶、袁飞。1T/CIXXXX—XXXX基于机器学习的智慧交通出行技术规范1范围本文件确立了基于机器学习的智慧交通出行技术规范，规定了数据采样、预处理、流程逻辑、智能决策、智慧交通出行应用以及性能评估指标的要求。本文件适用于基于机器学习的智慧交通出行技术规范，适合以机器学习技术为基础的智慧交通出行应用。2规范性引用文件下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中，注日期的引用文件，仅该日期对应的版本适用于本文件；不注日期的引用文件，其最新版本(包括所有的修改单)适用于本文件。GB/T35295-2017信息技术大数据术语T/ZGCSC004-2022城市时空预测智能模型的数据要求3术语和定义GB/T35295-2017、T/ZGCSC004-2022界定的以及下列术语和定义适用于本文件。邻接矩阵adjacentmatrix用以表示交通图数据中不同节点的空间相关性权重的二维正方形矩阵。符合现实物理世界定义的距离评判标准。注意力机制attentionmechanism通过额外的神经网络参数控制网络关注点的一种手段。4缩略语下列缩略语适用于本文件。GPS:全球定位系统(GlobalPositioningSystem)APP：应用程序(Application)OD:起点-终点(OriginDestination)HMM:隐马尔可夫模型(HiddenMarkovModel)RNN：循环神经网络(RecurrentNeuralNetwork)LSTM：长短期记忆网络(LongShort-TermMemory)CNN：卷积神经网络(ConvolutionalNeuralNetwork)Attention：注意力机制(Attention)RMSE：均方根误差(RootMeanSquareError)MAPE：平均绝对百分比误差(MeanAbsolutePercentageError)GCN：图卷积网络(GraphConvolutionalNetwork)TCN：时间卷积网络(TemporalConvolutionalNetwork)POI：兴趣点位置(PointofInterest)5基于机器学习的智慧交通出行技术框架2T/CIXXXX—XXXX以机器学习为基础的智慧出行技术规范中包含了数据采样层、数据处理层、机器学习层和智能决策层，具体见图1。该规范符合现代技术的要求和常规流程，可以为与广大人民群众日常生活紧密相连的如规划行程路线，选择交通方式，避开拥堵地段等等应用提供一个完整、统一、规范的标准，为智慧城市面临的挑战提供智能化和科学化的支持。图1基于机器学习的智慧交通出行技术体系6数据采样与预处理数据采样来源6.1.1传统交通数据包括控制信号数据和路网数据等已结构化的数据。6.1.2开放数据如公交卡数据和车载GPS数据，具体为包括OD流和交通时间公交卡数据，其中应包括车辆的位置、密集度和速度的车载GPS数据。6.1.3监控设备数据数据形式为视频，数据内容应包括车辆的位置、密集度和速度，还有对车辆的识别。6.1.4传感器数据路边传感器数据、流动车辆传感器数据和广域传感器数据。传感器数据内容应与监控设备的数据内容相同。6.1.5APP数据包括了出行软件数据和社交媒体数据，其中社交媒体数据即在社交媒体中发布的地理信息。6.1.6其他数据3T/CIXXXX—XXXX如智能电网，数据内容应包括用电量信息。数据预处理6.2.1轨迹压缩为减轻通信、计算和数据存储的成本损耗，对收集的轨迹进行压缩处理是常见的处理手段。轨迹压缩任务可以选择离线执行，也可以在线执行。离线时可采用道格拉斯-普克算法过拟合等算法；在线时可采用滑动窗口等算法。使用轨迹压缩前需根据情况规定误差范围，并明确压缩后的目标数据量大小。注：道格拉斯-普克算法过拟合是将曲线近似表示为一系列点，并减少点的数量的一种算法。6.2.2数据清洗数据清洗可分为四个子问题：数据缺失，数据噪声，数据异常，和数据不均衡。a)数据缺失：数据缺失问题广泛存在，早期的处理方法是用固定值或上下文均值进行填充，现在多用RNN、HMM以及矩阵补全等机器学习方法填充。b)数据噪声：指与原数据无关的额外数据，应通过时域和频域的滤波方法(如卡尔曼滤波，SG滤波法)来过滤噪声。注1：卡尔曼滤波是一种利用线性系统状态方程，通过系统输入输出观测数据，对系统状态进行最优估计的算法。注2：SG滤波法是一种对窗口内的数据进行加权滤波的算法，在滤波平滑的同时，能够更有效地保留信号的变化信息。息c)数据异常：指那些在时空度量下与空间或时间邻域离群的数据，通常使用异常检测算法(如概率密度估计法)来修复异常数据，并在计算异常分数时需要明确异常分数的计算公式与临界值。注：概率密度估计法是通过对时间序列中的点进行概率密度估计以确定异常变化点的方法。d)数据不均衡：包括数据在分布和标签中存在的不均衡，如不同路段车流量在数据分布上的不均衡，和人与车辆标签在数据标签上的不均衡。应采取过采样、欠采样等采样技术解决。6.2.3地图匹配地图匹配是将位置数据关联到路网上的技术，是预处理中不可或缺的一步。地图匹配目前包含以下两大类技术：基于采样点的技术和添加额外信息的技术。基于采样点的技术包括点距离方法和路径距离方法，添加额外信息的技术包括添加几何、拓扑、概率、模型等方法。在进行地图匹配步时，应至少选用上述任一方法或类似的方法。6.2.4信息提取轨迹中针对信息的预处理包括停驻点识别和轨迹分割。停驻点识别通常通过时间信息确定，也可使用相应的停驻点检测算法。轨迹分割包括以时间信息、空间信息以及停驻点进行分割。如果下游任务有此类需要，则在数据预处理中需要进行此步骤。7基于机器学习的特征学习特征处理7.1.1特征处理必要性在机器学习中，特征预处理是指对原始数据进行一系列处理步骤，以便于机器学习算法更好地处理数据。特征预处理的主要目的是为了提高模型的准确性和性能，并且可以帮助避免模型过度拟合或欠拟合的问题。7.1.2z-score均值化z-score均值化是一种常见的特征缩放方法，也叫标准化(Standardization)，它将原始数据进行线性变换，使得变换后的数据满足均值为0，标准差为1的正态分布。这种方法可以使得不同特征的数据具有相同的尺度，从而方便机器学习算法处理。z-score均值化的具体方法是：对于每个特征，计算其所有样本的均值和标准差，然后将该特征的每个样本数值减去均值，再除以标准差。4T/CIXXXX—XXXX7.1.3线性归一化线性归一化(也称为Min-MaxScaling)是一种常见的特征缩放方法，它将原始数据进行线性变换，使得变换后的数据在一定范围内，通常是[0,1]或[-1,1]之间。这种方法可以使得不同特征的数据具有相同的尺度，从而方便机器学习算法处理。线性归一化的具体方法是：对于每个特征，计算其所有样本的最小值和最大值，然后将该特征的每个样本数值减去最小值，再除以最大值和最小值之差。7.1.4标签编码标签编码(LabelEncoding)是一种常见的特征处理方法，它将分类变量(CategoricalVariables)转换为数字，从而方便机器学习算法处理。具体来说，标签编码将每个不同的分类值赋予一个唯一的整数标签。标签编码的优点是简单易实现，适用于一些算法的输入要求为数字的情况。7.1.5独热编码独热编码(One-HotEncoding)是一种常见的特征处理方法，用于将分类变量(CategoricalVariables)转换为数字，以便机器学习算法处理。独热编码的优点是可以处理分类变量，并且不会引入任何顺序偏差。此外，在某些机器学习算法中，独热编码也可以改善模型的性能。7.1.6时间特征组合为了充分利用历史数据中的有用信息，将年、月、星期、日、小时、分钟、秒、节假日/工作日等时间日期特征进行编码组合，联合交通特征输入到模型中，帮助模型挖掘出更准确有用的时间特征。7.1.7额外特征嵌入现实世界中，还有各种其他信息可以作为额外特征嵌入到特征纬度，如兴趣点位置(POI)、天气、经纬度、区域类型等。学习策略7.2.1集中学习策略集中学习策略(CentralizedLearningStrategy)是一种机器学习模型训练的策略，它是在一个中央服务器上进行的，其中所有的数据都被集中在同一地点，并由该服务器处理和存储。在这种情况下，模型可以访问所有数据，并使用更多的数据进行训练，从而提高模型的准确性和性能。集中学习策略的主要优点是可以更好地保护数据隐私，因为数据不需要离开服务器且数据可以被加密或脱敏，以减少泄露敏感信息的风险。7.2.2联邦学习策略联邦学习策略(FederatedLearningStrategy)是一种分散式学习策略，它允许多个设备或数据所有者在本地训练模型，并将本地模型的更新上传到中央服务器以进行全局模型的训练。在这个过程中，所有数据都保留在本地设备上，不需要将其上传到中央服务器，从而保护数据隐私。联邦学习在移动设备和物联网等场景中具有广泛的应用前景。7.2.3迁移学习策略迁移学习(TransferLearning)是一种利用已经训练好的模型来解决新的问题的机器学习策略。它的基本思想是将一个已经在一个任务上学习好的模型(源领域)应用到另一个相关任务中(目标领域)来提高目标领域的学习效果。迁移学习的优势在于可以利用已有的模型来减少新模型的训练时间和资源成本，同时可以提高模型的准确性和泛化能力。此外，迁移学习还可以解决数据集稀缺的问题，特别是在一些小样本学习的场景中。7.2.4元学习策略元学习(Meta-Learning)是一种学习如何学习的机器学习策略。它的基本思想是通过学习多个任务的共性和差异，来提高模型在新任务上的学习能力。元学习可以分为两种类型：基于模型的元学习和5T/CIXXXX—XXXX基于优化的元学习。元学习的优势在于可以通过学习多个任务的共性和差异，来提高模型的泛化能力和学习效率。元学习可以帮助模型快速适应新任务，并且可以在样本数量较少的情况下完成学习。7.2.5对比学习策略对比学习(ContrastiveLearning)是一种无监督的机器学习策略，它通过将同一样本的不同视图或不同样本的相似性进行比较，来学习数据的表示。对比学习可以分为两种类型：基于相似性的对比学习和基于差异性的对比学习。对比学习的优势在于可以在无监督的情况下学习数据的表示，从而可以减少数据标注的工作量。对比学习可以通过比较同一样本的不同视图或不同样本之间的相似性或差异性，来学习数据的内在结构和语义信息，从而可以提高模型的泛化能力和鲁棒性。7.2.6多路学习策略多路学习(Multi-TaskLearning)是一种机器学习策略，旨在通过让模型同时学习多个相关的任务来提高模型的泛化能力和效果。传统的机器学习算法通常只能解决一个任务，而多路学习则可以在同一个模型中同时解决多个任务。多路学习的优势在于可以将相关任务之间的共同点和差异点进行学习和利用，从而可以提高模型的泛化能力和效果，同时减少数据标注的工作量，节省时间和成本。学习方法7.3.1支持向量机支持向量机(SupportVectorMachine,SVM)是一种经典的监督学习算法，广泛应用于分类、回归和异常检测等领域。SVM的基本思想是在特征空间中构造一个最优超平面，将不同类别的样本分开。具体来说，SVM在训练数据中寻找一个超平面，使得在超平面上离它最近的样本点到该超平面的距离最大，这个距离被称为“间隔”(margin)。这个过程可以转化为求解一个二次规划问题，可以使用各种优化算法进行求解。7.3.2随机森林随机森林(RandomForest)是一种基于决策树的集成学习算法，可以用于分类、回归和特征选择等任务。随机森林是由多棵决策树组成的集成模型。在随机森林中，每棵决策树的训练数据是从原始数据集中随机采样得到的，同时每个节点的特征也是从原始特征集合中随机选择一部分特征进行评估，这样可以减少决策树的过拟合风险。在随机森林中，最终的分类结果是由所有决策树的结果投票决定的。7.3.3梯度提升树梯度提升树(GradientBoostingTree)是一种基于决策树的集成学习算法，通过将多棵决策树相加来提高模型的预测能力。与随机森林不同，梯度提升树是一种序列化的算法，每棵树都是在上一棵树的残差基础上构建的。在梯度提升树中，每棵树的训练数据是根据上一棵树的预测结果和真实值之间的残差来计算的。每棵树都是在减小上一棵树的残差的基础上构建的，因此最终的预测结果是所有树的结果之和。7.3.4Adaboost树AdaBoost树(AdaptiveBoostingTree)是一种集成学习模型，通过多个弱分类器的组合来构建一个强分类器。在AdaBoost树模型中，每个弱分类器的训练数据都是根据前一个弱分类器的错误率来确定的，即对错误分类的样本进行加权，以使得下一个弱分类器能够更加关注这些难分类的样本。7.3.5聚类算法聚类算法是一种无监督学习算法，它将相似的样本归为一类，不同的样本归为不同的类别。聚类算法主要用于探索数据的内部结构，寻找数据中的模式和规律，以及帮助人们理解数据的本质特征。常见的聚类算法有以下几种：a)K均值聚类算法：将数据集分成K个簇，每个簇由与其它样本距离最近的点组成；b)层次聚类算法：将样本逐层划分成簇，形成一个树形结构，可以按照需要截取不同的簇；c)密度聚类算法：根据数据点的密度来进行聚类，同一簇内的点密度要大于一定阈值，不同簇之间的密度要有明显差异；6T/CIXXXX—XXXXd)均值漂移聚类算法：基于样本点密度的梯度方向不断迭代，直到所有样本点都收敛到密度最大的点上；e)DBSCAN聚类算法：基于样本点的密度，将样本点分为核心点、边界点和噪声点，并通过核心点的连通性来划分簇。7.3.6EM算法EM算法(Expectation-MaximizationAlgorithm)是一种常见的统计学习方法，用于解决含有隐变量的概率模型的参数估计问题。其基本思想是，通过对数据进行观察，得到数据的概率分布，从而推断出模型的参数。EM算法分为两步，分别是Expectation步骤和Maximization步骤。7.3.7卷积神经网络由于交通网络无法使用二维矩阵表达，许多研究者将不同时刻的城市交通网络转换成图像格式，因而使得卷积神经网络得以被用来提取每个时间片下网格数据中不同网格区域中的空间特征。与现实世界相同，每个网格与周边网格有所相连，周边网格的位置根据网格划分数据的经纬度来决定。根据特定的周边区域顺序与距离，不同位置的训练权重在卷积神经网络计算的过程中被体现出来。7.3.8循环神经网络循环神经网络RNN和它的变体LSTM，GRU等神经网络被设计以应对序列数据。为了提取交通数据中的非线性特征，循环神经网络可以从长时间序列中提取多时间步长周期的特征信号并且支持针对其中隐藏特征传递单元，遗忘单元等各个组合构件进行改造。循环神经网络的可塑性极高，支持跟各种其他方法论组合出新的模块，因而至今都在继续迭代。7.3.9注意力神经网络注意力机制是一种类似于人类视觉系统的模式识别机制，可以用来指导神经网络在处理输入序列或图像时的关注度和权重。注意力机制的主要思想是在处理输入序列或图像时，网络能够有选择性地将注意力集中在相关的部分，而忽略无关的部分，从而提高模型的准确性和效率。基于这种思想，注意力神经网络(AttentionNeuralNetwork)就应运而生。它是一种基于注意力机制的神经网络模型，可以将注意力机制引入到神经网络的各个层级中，使得网络能够有选择地关注输入的不同部分，以此提高模型的表现能力。7.3.10TransformerTransformer类模型不仅在计算机视觉和自然语言处理中火热发展，交通数据挖掘预测领域中同样衍生出许多变体模型。集成了多头注意力机制，注意力计算，编码器解码器和反向回馈层的Transformer架构，可以在其中各个组件中改造或者加入串并联方式的其他特征提取单元。7.3.11图卷积神经网络传统的卷积神经网络只能处理欧式数据类型，而交通路网本质上也是非欧式的图关系，为处理非欧式数据计算设计的图卷积网络非常适合各类交通数据挖掘问题。图卷积计算方法主要有谱域图卷积和空域图卷积。谱域图卷积的定义为通过从图信号处理的角度引入滤波器来定义图卷积，其中图卷积运算被解释为从图信号中去除噪声。空域图卷积的定义为通过图卷积公式从邻居节点聚合节点特征。交通数据的空间关系复杂，也使得图卷积网络从普通构造逐渐发展演变出多种变体：a)单图卷积：最初始发展出的谱域图卷积或者空域图卷积版本；b)多图卷积：多种邻接矩阵作为图的空间表示，多个图卷积模块提取特征后聚合特征；c)自适应图卷积：固有的邻接矩阵作为交通数据的空间表示并不可靠，因而使用可学习的学习策略来重新学习邻接矩阵，进而输入到图卷积网络中提取空间特征；d)图注意力网络：为了防止固有邻接矩阵中错误信息对特征提取过程造成负面干扰，使用注意力机制去学习不受固有邻接矩阵影响的注意力分数，排除固有邻接矩阵的噪声的同时，也使得长远距离的图节点也有机会参与到空间特征提取过程中；e)动态自适应多图卷积：集成了多图策略，自适应学习策略和图卷积的一种综合体；7T/CIXXXX—XXXXf)偏微分图卷积：上述各类图卷积仅仅是考虑的空间层面的影响，未考虑到不同时间片的状态影响。引入偏微分使得不同时间片的图卷积操作可以上下文呼应，使得图卷积也变得可以持续学习。7.3.12图生成神经网络图生成神经网络(GraphGenerativeNeuralNetwork)是一类基于深度学习的图生成模型，用于生成符合特定条件的图结构。与传统的图生成方法相比，图生成神经网络能够自动学习特征表示和生成规则，不需要手工设计特征和生成算法，因此具有很大的灵活性和适用性。图生成神经网络主要包括基于图神经网络和基于变分自编码器(VariationalAutoencoder,VAE)的两类模型。基于图神经网络的模型是一种基于图卷积网络(GraphConvolutionalNetwork,GCN)的图生成模型，基于VAE的模型是一种基于概率模型的图生成模型。评价指标7.4.1RMSE均方根误差该指标对应于平方误差的预期值，公式见(1)。2RMSEy,=x1yi−i…………………(1)该指标对应于平方误差的预期值，公式见(1)。2式中：yi——预测值；yi——预测值；N——预测节点个数。7.4.2MAPE平均绝对百分比误差MAPEy,=xMAPEy,=x1yii………(2)式中：yi——预测值；yi——预测值；N——预测节点个数。7.4.3KL离散度KL=xxPKL=xxPx(logPx−logQ(x))……(3)式中：P(x)——P在x处的概率密度函数；Q(x)——Q在x处的概率密度函数。7.4.4交叉熵交叉熵是一种用来衡量两个概率分布之间相似度的度量方法。通常用来衡量分类模型的预测结果与真实标签之间的差异，公式见(4)。CE=−xxPxlogQx………(4)真实标签之间的差异，公式见(4)。式中：P(x)——P在x处的概率密度函数；Q(x)——Q在x处的概率密度函数。7.4.5精确率8T/CIXXXX—XXXX该指标是分类器预测的正样本中预测正确的比例，取值范围为[0,1]，取值越大，模型预测能力越好。公式见(5)。P=TP/(TP+FP)……(5)式中：TP——预测正样本正确；FP——预测正样本错误。7.4.6召回率该指标是分类器所预测正确的正样本占所有正样本的比例，取值范围为[0,1]，取值越大，模型预测能力越好。公式见(6)。R=TP/(TP+FN)……(6)式中：TP——预测正样本正确；FN——预测负样本错误8智能决策以个人习惯决策在智能决策中，个人习惯可以作为一种重要的决策依据。个人习惯是指在个人日常生活、工作中形成的一种习惯性的行为方式或思维方式，是个人经验、知识、情感等的综合反映。个人习惯作为一种重要的决策依据，在智能决策中具有重要的应用价值，可以提高决策的准确性和个性化程度。例如，在路线规划时，我们可以通过收集用户历史行驶数据来学习他们的个人偏好，包括他们喜欢的道路类型、行驶速度等。这些信息可以用于个性化路径规划，帮助用户更好地满足自己的需求。以资源分配决策以资源分配决策在智慧决策中是一种常用的策略，资源多的地方通常更受用户的青睐。例如在规划地铁出行的场景中，座位(空间)即是资源，智慧决策可以根据机器学习算法的预测结果，选择人流更少的路线以给予用户舒适的出行体验。以时间长短决策以出行损耗时间长度为决策指标。以距离远近决策以出行路线远近为决策指标。以最小损耗决策以最小损耗决策是另一种较为常见的决策选择，损耗的定义是多种多样的，比如出行中花费的金钱也为损耗。比如，在为用户推荐从A城市到B城市的交通工具搭配上，我们可以利用机器学习模型预测的未来价格波动，计算出最小金钱损耗的搭配给予用户参考。9基于机器学习的智慧出行应用场景路径规划路径规划是旅游者准备行程的重要步骤。虽然用户可以搜索相关的旅游指南和游记，但它们提供的信息通常是非结构化的，并且因人而异。在这种情况下，非常需要一种自动的、交互式的旅游路线规划服务，以根据用户的喜好来规划定制的旅行。推荐旅游路线的流行方法是找到与给定背景相似的现有旅行，如空间邻近性、文本相关性和照片。例如，可以利用现有的出行，通过将热点区域与路线联系起来构建一个旅游网络，然后通过交通流量检测算法从网络中发现热门路线。9T/CIXXXX—XXXX实时导航智慧出行可以通过传感器、GPS等技术，实时监测交通状况，并且通过机器学习技术对未来可能情况进行预测，为用户提供最快、最安全的路线导航。例如，可以通过观测现有车流量并计算未来可能发生拥堵的路段，从而引导用户提前