智联网汽车技术 课件 任务8 智能决策系统

驾驶场景识别项目三汽车决策控制系统任务8智能决策系统智能网联汽车技术课程导入场景识别技术是实现汽车自动驾驶的关键技术之一学习目标场景识别的概念01应用场景02实现方法02学习任务能够解释场景识别的概念，举例场景识别技术的应用场景01激活旧知对场景识别技术了解多少?知道它在汽车自动驾驶中的作用吗?探索新知驾驶场景识别的定义车辆自身驾驶任务和状态车辆外部环境的道路周边交通天气光照场景作为行驶环境与汽车驾驶情景的综合体现探索新知驾驶场景识别的定义场景驾驶汽车的决策驾驶汽车的感知不可预测性不可重复性不确定性探索新知驾驶场景识别的定义它通过车载传感器感知道路环境，并识别无人驾驶汽车当前所处的交通场景类型和细节信息。由于驾驶系统需要根据场景结果进行行为决策，所以场景识别的效果直接影响到自动驾驶的表现。场景识别的应用场景之一是道路场景识别探索新知驾驶场景识别的定义场景识别是指利用计算机等设备，对驾驶场景进行准确判断和认知。它是汽车智能驾驶的关键技术之一，对感知和决策控制都有重要影响。探索新知驾驶场景识别的方法1、基于视觉的场景识别这类方法容易受到环境变化的影响，造成错误匹配和识别失败。利用手工设计或深度学习等方式提取图像特征编码这些特征计算不同图像特征之间的相似度根据相似度判断是否为同一场景探索新知驾驶场景识别的方法2、基于图像的场景识别这类方法利用深度神经网络学习场景图像的高级特征表示，可以获得比手工设计特征更强的判别能力和抗干扰能力。目前基于深度学习的方法在场景识别领域已成为主流。探索新知驾驶场景识别的方法场景特征描述利用图像的像素信息进行建模先理解图像内容再进行建模A基于底层视觉特征B基于中层语义特征探索新知驾驶场景识别的方法A超声波雷达B激光雷达C摄像头DGPS模块由于在隧道或树林环境下，GPS信号会不稳定，因此GPS模块主要用于定位，而不用于场景识别。探索新知驾驶场景识别的方法障碍物感知提高安全性探索新知驾驶场景识别的方法仅仅依靠激光雷达和超声波雷达是不够的，因为不同的行车场景面临的情况各不相同，所以无人驾驶汽车还需要有场景识别的能力，根据识别结果预测可能发生的情况，尽量规避风险。探索新知驾驶场景识别的方法传统的计算机视觉算法通常根据图像序列进行计算,来获取场景信息并实现场景识别。但当场景变得复杂时,传统算法的识别效果会受到限制。探索新知驾驶场景识别的方法近年来，GPU技术和深度学习算法获得了长足发展，特别是卷积神经网络的提出，让深度学习在许多领域取得进步。基于深度学习的计算机视觉算法克服了传统算法的局限，可以通过对数据训练，识别不同物体，并进行场景判断，效果更佳。探索新知驾驶场景识别的方法01目前，抽道路场景的训练数据已经足够充分，可以实现很好的识别效果。02实际环境可能更为复杂，还需要积累数据和技术来提高对各种场景的识别能力。探索新知驾驶场景识别的方法深度学习具备从高维数据中提取复杂特征的强大能力，在场景识别领域具有很好的应用前景，是提高无人驾驶系统场景识别准确性和鲁棒性的重要研究方向。综上所述即时检测小测试你能举一个场景识别技术在自动驾驶中的应用实例吗？

场景识别让汽车可以根据场景情况作出驾驶决策小结场景识别是自动驾驶的重要技术，可以让汽车识别外部环境传统方法有局限，深度学习方法更准确谢谢观看THANKS智能网联汽车技术跟踪与导航项目三汽车决策控制系统任务8智能决策系统智能网联汽车技术主讲人：曾鑫课程导入汽车跟踪和导航系统能做什么呢？学习目标汽车跟踪导航系统的组成部分，解释数据是如何从移动终端采集，经网络传输到服务器，并在数据库中存储和处理的01学习任务完成对汽车跟踪导航系统组成、工作原理和算法的讲解01激活旧知导航系统是如何获取车辆位置信息的吗?图8-9系统物理架构图探索新知跟踪与导航的组成A移动终端B无线通信网络C跟踪导航服务器D数据库探索新知跟踪与导航的组成1、移动终端GPS模块AB环境感知模块GPS模块可以接收卫星信号，实时获取车辆的经纬度坐标，也就是车辆的位置数据。环境感知模块可以检测车辆的驾驶速度和方向。探索新知跟踪与导航的组成2、无线通信网络无线通信网络这里采用的是GPRS网络。它为移动终端和服务器之间提供了数据传输通道，可以将终端采集到的车辆位置、速度等数据安全可靠地发送到服务器。探索新知跟踪与导航的组成3、跟踪导航服务器服务器接收并解析终端发送来的数据，将其保存到数据库中。服务器还具有数据可视化功能，可以将采集到的车辆数据实时地可视化显示出来，实现车辆监控。探索新知跟踪与导航的组成4、数据库数据库负责存储服务器解析后的数据。服务器需要从数据库中提取数据进行处理，以实时跟踪车辆并规划导航路线。探索新知跟踪与导航如何工作PART1移动终端的采集PART2数据的网络传输PART3服务器的解析和存储移动终端安装在车辆上当车辆行驶时，终端的GPS模块会实时获取车辆的位置坐标，环境感知模块会检测车辆的速度和方向。终端将采集到的车辆位置、速度、方向等数据，通过GPRS网络安全传输到服务器。服务器接收到终端发送的数据后，会进行解析和处理。解析出车辆的位置坐标、速度等参数后，将这些数据存储到数据库中。探索新知跟踪与导航如何工作4、数据的处理和显示5、导航路线规划服务器从数据库中调用车辆的数据，结合地图可视化功能，在页面上实时显示出车辆的位置和移动过程，实现对车辆的监控跟踪。在确定车辆当前位置的基础上，服务器可以规划出车辆当前位置到目标位置的最优导航路线。探索新知如何实现跟踪与跟踪方法1、MeanShift算法这是一种基于颜色的跟踪算法。它会locks定目标的颜色特征，然后在后续的视频帧中找到与该颜色特征最接近的图像区域，从而锁定目标的新位置，完成跟踪。探索新知如何实现跟踪与跟踪方法2、卡尔曼滤波卡尔曼滤波结合跟踪，对目标位置进行统计预测和校正，以提高定位精度和跟踪稳定性。它预测目标的可能位置分布，并利用新采样修正预测，得到更准确的目标定位。探索新知如何实现跟踪与跟踪方法3、光流跟踪法光流跟踪是计算图像中所有点的移动速度和方向，判断物体运动情况的一种跟踪算法。它可以在无须提前知道目标的情况下，通过光流场计算实现目标跟踪。探索新知如何实现跟踪与跟踪方法4、其他算法粒子滤波跟踪、基于压缩感知的跟踪，以及支持向量机等机器学习方法。这些算法都在目标跟踪领域有着广泛的研究应用。探索新知如何实现跟踪与跟踪方法跟踪导航系统中使用了多种算法相结合的方式来提高跟踪性能。这些算法各有优势，能够实现鲁棒精确的目标跟踪，是这个系统的核心技术之一。即时检测小测试常见的跟踪算法有哪些呢？你们能举一些例子吗？小结它通过移动终端采集车辆数据，经网络发送到服务器，在数据库中存储并处理这些数据，从而实现对车辆的跟踪和导航。服务器数据库网络移动终端汽车跟踪导航系统谢谢观看THANKS智能网联汽车技术路径决策和异常处理项目三汽车决策控制系统任务8智能决策系统智能网联汽车技术主讲人：曾鑫课程导入A路径规划B速度控制C异常处理路径决策系统在复杂环境中的表现不佳。它可以在简单环境中规划出Smooth的路线，但一旦遇到复杂交通条件，就会容易陷入死循环，最终无法顺利完成导航任务。学习目标学习路径决策的三级架构，解释各层级的功能定位，并分析可能导致路径规划失败的原因，最终找出可行的优化思路01学习任务根据提供的路径决策系统框架图，描述各层级的功能，讨论如何提升系统在复杂环境中的规划能力01激活旧知我们平时开车的时候，如果来到一个陌生的地方，想要到达某个目的地，我们通常如何确定行驶的路径?先在导航软件中输入目的地不同路径的距离和预计用时对各条路径进行对比分析选择最合适的一条进行导航探索新知路径决策它主要负责根据环境信息智能规划车辆的驾驶路径。路径决策系统通常包含三级任务分工，分别是道路级、车道层级和行驶级。自动驾驶系统中非常关键的一个环节探索新知路径决策道路级路径决策系统需要进行全局的任务规划。这需要充分考虑目的地位置、道路条件、交通状况等多种因素，以确定从起点到终点的整体行驶路线。道路层需要处理诸如在高速路或一般道路行驶等战略性规划。探索新知路径决策车道级路径决策系统会根据道路级任务规划的结果，结合周边车辆和路况信息，确定车辆在当前车道内的具体轨迹。这涉及到更细致的车辆控制，比如变道、停车等操作。探索新知路径决策行驶级路径决策系统会根据前后车的距离和速度关系，做出具体的速度控制、转向等动作决策，以完成车道层规划的轨迹执行。探索新知路径决策从道路到车道到行驶，路径决策系统逐步进行从抽象到具体的过程，最终指导车辆完成导航任务。而其决策依据全部来自感知模块对环境信息的采集和处理。探索新知路径决策如果在这个复杂的决策流程中的任何一个环节出现问题，都会导致路径选择产生偏差，甚至导致决策系统失效。这需要我们从感知源头和算法水平不断优化，以实现更智能可靠的自动驾驶路径规划。探索新知异常处理异常处理是自动驾驶决策系统中另一个非常重要的模块。它主要负责在系统运行过程中出现异常时的安全响应。汽车在自动驾驶模式下,会遇到各种突发情况,比如车辆本身故障、传感器失效、算法错误等。这些都有可能导致系统失控,危及乘客安全。探索新知异常处理BA决策系统应对能力快速检测预测模型判断当前输出预期输出误差探索新知异常处理1、基于预测的异常检测技术通过建立系统的预测模型监测当前输出与模型预测输出之间的误差误差超过设定阈值，则判定为异常适用于有周期规律的异常检测自回归综合移动平均模型等进行时间序列预测探索新知异常处理2、基于聚类的异常检测技术这类技术通过无监督学习的聚类算法,根据样本之间的相似性对数据进行自动分类。数量极小的簇会被判断为异常数据。这类方法适用于样本数量巨大的场景。探索新知异常处理3、基于变分自编码的异常检测技术运用深度学习的编码器——解码器结构，对输入进行压缩编码，然后评估解码恢复的可能性。恢复程度低的则判定为异常样本，这种技术能处理样本相关性复杂的场景。实际应用中，可以根据具体问题，选择单一或混合使用多种异常检测技术，以提高系统的健壮性。探索新知异常处理由各种传感器采集的运行数据质量直接影响决策的效果。一旦出现数据缺失或异常，就需要进行处理以补充或校正数据。探索新知异常处理1、基于统计学的填补策略这类方法利用样本的统计特征如均值、众数等进行简单填补，或直接使用随机数填充，适用于小数据集中个别缺失值的处理。探索新知异常处理2、基于模型的多重填补法该策略使用多种模型重复预测缺失值，再整合结果作为最终填补值。通过多模型综合，能够提高填补效果。探索新知异常处理3、基于期望最大化算法的填补方法该方法通过假设数据符合某种分布，引入隐变量进行模型训练，以迭代方式预测缺失值。它可以处理大规模缺失，但收敛速度取决于具体数据。数据异常处理也需要根据实际情况选择策略。只有通过数据的质量控制，才能为后续的决策分析算法提供可靠的输入，确保系统的整体性能。探索新知异常处理在自动驾驶汽车的实际运营中，制造商需要针对可能出现的各种异常情况提出应对方案，这直接关乎到系统的安全性和可靠性。探索新知异常处理1、故障运行（failoperational）即使关键部件或控制系统发生故障，汽车也应具有在有限时间内保持运营的能力。这需要冗余系统进行故障补偿，确保继续执行导航任务。探索新知异常处理2、故障安全/故障降级（faildegraded）需要安全停止车辆。这可能需要车辆停在当前行驶车道上，或引导其移动到路边停车带。同时要避免产生二次事故。通过各种层次的应用响应，异常处理系统才能对复杂情况进行有效应对。这需要持续研发来提升自动驾驶汽车的安全性和智能化程度。系统无法维持正常运行时即时检测小测试当自动驾驶汽车进行路径选择时，如果前方道路出现交通事故导致临时封闭，这个异常情况下汽车应该如何更新路径规划？小结也要牢记安全第一的理念，只有智能但不冒进，自动驾驶才能真正服务社会。可以记住“三步曲”——感知采集、智能规划、故障应对，这是实现自动驾驶的关键。自动驾驶汽车异常处理自动驾驶汽车路径决策谢谢观看THANKS智能网联汽车技术有限状态机法项目三汽车决策控制系统任务8智能决策系统智能网联汽车技术主讲人：曾鑫课程导入A环境感知B规划决策C控制执行决策控制系统中，一个核心问题是如何设计汽车的决策模块，使汽车能根据不同的驾驶环境状况，做出正确的决策行为。学习目标理解什么是有限状态机，说明它的概念、组成、分类和应用方法。设计一个汽车决策系统的有限状态机模型01学习任务根据不同的驾驶场景，定义各种状态01根据事件条件设定状态之间的转移关系，以及各状态的动作执行模块02激活旧知自动驾驶汽车的核心系统包含哪些部件吗？它们各自的作用是什么？先在导航软件中输入目的地不同路径的距离和预计用时对各条路径进行对比分析选择最合适的一条进行导航探索新知概念有限状态机（Finite-StateMachine，简称FSM）又被称为有限自动机，是用于描述特定状态之间转移和动作转换的数学模型。探索新知概念1、总体的状态数量为有限个一个状态机系统不能包含无限多个状态，状态的个数是有限的。探索新知概念2、在任意时刻状态机都处于一个特定的状态下一个状态机在某一时刻只会处于一个状态，不可能同时处于多个状态。探索新知概念3、当特定的事件发生满足转移条件，触发了状态转移后，还会执行相应的动作导致状态机从一个状态转移到另一个状态的条件被满足时，就会发生状态转移；在转移的同时，状态机还会进行某个动作或操作。探索新知概念3、当特定的事件发生满足转移条件，触发了状态转移后，还会执行相应的动作当前是红灯时，当计时结束事件发生，就会由红灯状态转移到绿灯状态，并切换交通灯的颜色。一个交通灯状态机包含红灯、绿灯两个状态停车换道超车避让缓慢行驶状态机模型通过构建有限的有向连通图来描述不同的驾驶状态以及状态之间的转移关系，从而根据驾驶状态的迁移反应式地生成驾驶动作。探索新知组成状态A转移B事件C动作D探索新知组成用于描述对象的形态一个量，存在于整个过程之间，分别有初始状态、最终状态、转移后状态等，系统处于某种状态是由特定的事件触发所来决定的。状态描述了状态机在某一个时刻的情况。状态导致有限状态机状态发生变化的输入，通常是由特定的转换过程和特定的输入格式。事件是外部对状态机的刺激或触发。事件探索新知组成各个状态间可以相互切换的转换路径，特定的事件发生满足状态转换条件则就会在相应的状态之间进行转移。转移描述了在发生某事件时，状态从一个转到另一个的过程。转移表示状态转移后执行的具体操作行为，也是有限状态机不可以分割的一部分。动作发生在转移的同时。动作探索新知组成一个交通灯状态机，红灯是其中一个状态，计时结束是事件，从红灯到绿灯是转移，切换灯光颜色是动作，状态、事件、转移和动作共同构成一个状态机系统。探索新知分类串联式并联式混联式有限状态机状态分解探索新知分类1、串联式结构串联式结构的有限状态机系统，是指输出仅仅和系统状态有关，与输入信号无关。其子状态按照串联结构连接，状态转移大多为单向，不构成环路。串联式结构如一个程序流程图，从开始状态执行到结束状态，状态间线性连接。这种结构逻辑明确、规划推理能力强，但对复杂问题的适应性较差。联式结构的有限状态机状态组合逻辑输入状态寄存器输出逻辑输出并联式结构各子状态相对独立，根据不同输入激活不同状态。这种结构遍历状态广，模块性好，但系统缺乏时序性，状态划分容易出现灰色地带。探索新知分类2、并联式结构并联式结构是指输出与系统状态和输入均有关系的有限状态机。各子状态输入、输出呈现多节点连接结构，根据不同输入信息，可直接进入不同子状态进行处理并提供输出。并联式结构状态机原理图状态组合