嵌入式人工智能

2021嵌入式人工智能目录CONTENTESPart01软件体系Part02硬件体系Part03技术可行性Part04理论可行性Part05安全性3Part

01软件可行性4无人驾驶关键技术第一个问题是定位，自动驾驶需要的是厘米级定位。第二个问题是路径规划，自动驾驶的路径规划第一层是点到点的非时间相关性拓扑路径规划，第二层是实时的毫秒级避障规划。第三层是将规划分解为纵向（加速度）和横向（角速度）规划。第三个问题是车辆执行机构执行纵向和横向规划，也就是线控系统。第一个和第三个问题主要由硬件解决，下面将介绍无人驾驶路径规划算法。STEP0155已知无人驾驶车辆的几何形状和动力学模型，以及通过车载传感器采集到的周围环境信息，包括障碍物的分布及状态等。路径规划的任务就是根据接收到的信息，计算一条免碰撞且满足车辆动力学和几何约束的可行轨迹。并将规划结果输出至运动控制层，车辆根据规划轨迹实时给出合适的控制量，以实现车辆对轨迹的跟随。在一个空间中，车辆的所有状态集合称为其构形空间，用符号Ｃ表示，障碍物构形空间用表示，构形空间自由连续映射称为构形空间中的一条可行路径。车辆的状态空间是由状态方程和输出方程总和起来构成的一个完整的动态描述，是在构形空间上加上车辆所受的非完整约束条件速度、曲率维度等得到的。类似于构形空间，状态空间的起始构型、终止构型、障碍区域和自由区域可分别表示可行轨迹在构形空间中的投影就是可行路径。路径规划问题可用三元组来描述，路径规划算法就是根据一系列的状态输入量，找出由初始状态到达目标状态的可行轨迹。问题描述66传统的路径规划算法是研究人员多年来研究的最基本，最成熟的算法，这些算法原理简单易实现，并以得到广泛应用。本文着重介绍在无人驾驶车辆上得到较好应用的两类传统路径规划算法，分别是以Ａ＊算法为代表的基于图搜索的路径规划算法和以快速扩展树（ｒａｐｉｄｌｙｅｘｐｌｏ－ｒｉｎｇｒａｎｄｏｍｔｒｅｅ，ＲＲＴ）为代表的基于采样的路径规划算法。

1基于图搜索的路径规划算法基于图搜索的路径规划算法的基本思想是将状态空间通过确定的方式离散成搜索图，并用各种启发式搜索算法计算其可行解。Dijstra算法是一种经典的最短路径搜索算法，但其广度优先的性质会导致搜索太多无关节点。因此，在２０世纪６０年代Ｈａｒｔ等提出了启发式的Ａ＊搜索算法，其基本公式如下：

ｆ（ｎ＝ｇ（ｎ）＋ｈ（ｎ）（１）式中：ｆ（ｎ）为初始状态到目标状态的估计代价；ｇ（ｎ）为初始状态到状态ｎ的实际代价；ｈ（ｎ）为状态ｎ到目标状态的估计代价。虽然Ａ＊算法能有效解决最短路径问题，但其存在易陷入“死循环”、规划路径折点多、在动态环境中规划效果不佳等问题。2基于采样的路径规划算法与基于搜索的路径规划算法不同，基于采样的路径规划算法通过均匀随机采样的方法来探索高维状态空间的连通性。此类算法的最大特点有两个：１）无需对状态空间的自由区域进行建模；２）由于其随机采样的特点，搜索速度快，规划效率高，缺陷在于不能处理非完整约束动力学问题。典型的基于随机采样的算法是ＲＲＴ算法，该算法不要求状态之间精确连接，适合解决无人驾驶车辆在复杂环境下的路径规划问题。传统算法77传统算法88随着对各个交叉学科的研究，各类智能优化算法也被引入到路径规划领域，通过模拟自然界生物的行为规律实现优化的目的，智能优化算法具有自学习、自决定功能。近年来，典型的智能优化算法包括蚁群算法（ａｎｔｃｏｌｏｎｙｏｐｔｉｍｉｚａｔｉｏｎ，ＡＣＯ）、触须算法（ｔｅｎｔａｃｌｅａｌｇｏｒｉｔｈｍ）和智能水滴算法（ｉｎｔｅｌｌｉｇｅｎｔｗａｔｅｒｄｒｏｐｓ，ＩＷＤ）。智能优化算法99强化学习（ReinforcementLearning,RL）指无人驾驶车辆利用自身传感器不断与环境相互作用来获取未知环境的知识。其学习构架如图3所示。基于强化学习的算法强化学习的优势在于通过和环境交互试错进行在线学习，在行动和评价的环境中获得知识，对行动方案进行改进适应环境，以获得最优动作。常用的强化学习算法有瞬时差分法、Ｓａｒｓａ算法和Q-Learning算法。其中Q-Learning算法是最有效的与环境模型无关的算法，具有在线学习的特点。虽然强化学习在随机动态环境的路径规划中有较好应用，但如何加快算法收敛速度，降低空间复杂度，提升在环境中的学习能力，一直是研究的难点问题。文献提出基于近似动作空间模型策略选择的Q-Learning学习算法，文献提出双层强化学习的干扰决策算法来克服强化学习的缺陷。此外，基于神经网络的强化学习，可以改善存储空间不足的问题，通过神经网络来逼近Ｑ函数，在获得无人驾驶车辆的状态后不断更新Ｑ值，根据ＢＰ算法训练神经网络，最后完成路径规划。深度强化学习是通过深度学习方法获取图像的高层语义信息，并利用强化学习的方法来完成从环境的端到端的实时场景的路径规划。文献［５４］提出将近似核、神经网络和ＷｏＬＦ－ＰＨＣ（ｗｉｎｏｒｌｅａｒｎｆａｓｔ－ｐｏｌｉｃｙｈｉｌｌｃｌｉｍｂｉｎｇ）算法相结合，该方法提高了算法精确度，加快了运行速率。1010经典的路径规划算法、智能优化算法和基于强化学习的算法在一定程度上都可实现无人驾驶车辆的路径规划，但每种算法都有其优点及局限性。难以采用单一的算法实现动态环境下精准、安全可靠的路径规划。故将多种算法相结合，产生更加高效的优化算法是该领域研究的重点。文献提出将ＡＰＦ算法与改进的ＲＲＴ算法相结合进行实时路径规划，该算法利用人工势场法进行局部规划，当算法陷入局部极小值时，使用改进的ＲＲＴ算法自适应的选择临时目标点，使得搜索过程跳出局部极小点。当逃离局部极小点后，切换回人工势场法继续进行规划。该方法实现简单，能够适应环境的变化。文献将蚁群算法的全局路径规划特性与改进Ａ＊算法的局部滚动预测碰撞特性相结合提出一种双层规划算法。首先采用改进的蚁群算法规划出一条最优全局路径序列，若无人驾驶车辆在前进时滚动窗口内有动态障碍物存在，则探测障碍物信息（速度、方向），进行局部碰撞预测，然后根据相应碰撞策略采用动态Ａ＊算法规划出一条绕开当前范围内所有障碍物的局部路径。传统的Ｑ－ｌｅａｒｎｉｎｇ算法无环境先验信息，所有的初始状态值函数均相等或完全随机，每一步动作都是随机产生，从而导致路径规划效率低下，训练迭代次数过多。文献提出将引力势场和环境陷阱搜索结合作为先验信息初始化Ｑ值，避免复杂环境中斥力势场的冗余计算，防止陷入环境中的凹形陷阱，提高算法迭代速度，同时取消对障碍物的试错学习，缩小可行路径范围，使训练适用于真实环境。混合算法11综合比较文献[57]为基于动态反馈Ａ＊蚁群算法的平滑路径规划方法1212在无人驾驶车辆路径规划技术的研究中，确定起始位置的点到点的路径规划，已知环境下无障碍物的路径规划问题的研究都已较为成熟，未知环境下有障碍物的路径规划也取得了重大进展，但在每个具体规划算法中还存在一些不足，所以路径规划领域的重点依然是新的高效的路径规划算法和混合路径规划算法的研究。另外，考虑实时交通道路状况的路径规划等问题也将成为未来研究方向之一，具体表现有以几个方面。１）混合路径规划算法。如蚁群算法与智能水滴算法的结合，利用蚁群算法较好的实时性进行全局路径规规划再结合智能水滴算法，利用其启发式搜索的特点实现局部路径的规划。２）自适应动态规划。由于传统的基于系统模型的自适应规划，难以解决系统规模庞大、非线性高、变量多、因素复杂的无人驾驶车辆路径规划问题，因此基于数据和基于事件驱动的无模型自适应动态规划将成为解决该问题的一个新方向。３）结构化环境下的路径规划。城市结构化环境中交通规则的复杂性，交通参与者的多样性，感知信息的不确定性，以及环境信息的部分可观性等问题，都是未来无人驾驶车辆的路径规划研究的新挑战。

４）多车辆合作在动态环境中的路径规划。如何划分未知环境，如何对无人驾驶车辆进行分工，如何完成具有多检查点的任务，如何完成实时避障，如何设置车辆的体系结构及车辆间的通信方式等都将成为新的研究问题发展趋势13Part

02自动驾驶的硬件介绍14图中基本包含了自动驾驶研究所需要的各种硬件那么这么多传感器都会同时出现在一辆车上么？Introductiontohardwareforautonomousdriving15在前期算法预研阶段，推荐使用工控机（IndustrialPC，IPC）作为最直接的控制器解决方案。因为工控机相比于嵌入式设备更稳定、可靠，社区支持及配套的软件也更丰富。百度开源的Apollo推荐了一款包含GPU的工控机，型号为Nuvo-5095GC。控制器Introductiontohardwareforautonomousdriving16当算法研究得较为成熟时，就可以将嵌入式系统作为控制器，比如Audi和TTTech共同研发的zFAS，目前已经应用在最新款AudiA8上量产车上了。Github

ApolloAutoIntroductiontohardwareforautonomousdriving17工控机与汽车底盘的交互必须通过专门的语言——CAN。从底盘获取当前车速及方向盘转角等信息，需要解析底盘发到CAN总线上的数据；工控机通过传感器的信息计算得到方向盘转角以及期望车速后，也要通过CAN卡将消息转码成底盘可以识别的信号，底盘进而做出响应。CAN卡可以直接安装在工控机中，然后通过外部接口与CAN总线相连。Apollo使用的CAN卡，型号为ESDCAN-PCIe/402，如图。

CAN卡Introductiontohardwareforautonomousdriving18依靠GPS+IMU就可以知道自己在哪（经纬度），在朝哪个方向开（航向），当然IMU还能提供诸如横摆角速度、角加速度等更丰富的信息，这些信息有助于自动驾驶汽车的定位和决策控制。Apollo的GPS型号为NovAtelGPS-703-GGG-HV，IMU型号为NovAtelSPAN-IGM-A1。GPS和IMUIntroductiontohardwareforautonomousdriving19感知传感器分为很多种，包括视觉传感器、激光传感器、雷达传感器等。视觉传感器就是摄像头，摄像头分为单目视觉，双目（立体）视觉。比较知名的视觉传感器提供商有以色列的Mobileye，加拿大的PointGrey，德国的Pike等。激光传感器分为单线，多线一直到64线。每多一线，成本上涨1万RMB，当然相应的检测效果也更好。比较知名的激光传感器提供商有美国的Velodyne和Quanergy，德国的Ibeo等，国内有速腾聚创。感知传感器Introductiontohardwareforautonomousdriving雷达传感器是车厂Tier1的强项，因为雷达传感器已经在汽车上得到了广泛使用。知名的供应商当然是博世、德尔福、电装等。20Part

03技术可行性分析21自动驾驶系统的技术实现主要包含四个核心内涵，包括定位、感知、决策、执行四个部分，其中定位是决策和执行的前提。定位系统主要作用是确定车辆所处的绝对位置；感知层的主要作用是收集和解析出周围环境的信息；决策层基于对当前位置和周围环境的理解，做出实时的安全有效的执行计划；执行层则是按照决策层的计划进行。惯性导航：自动驾驶核心中的核心22定位系统主要是以高精地图为依托，通过惯性传感器（IMU）和全球定位系统（GNSS），来精确定位车辆所处绝对位置。其中，高精地图可以为车辆环境感知提供辅助，提供超视距路况信息，并帮助车辆进行规划决策。惯导系统是一种不依赖于外部信息、也不向外部辐射能量的自主式导航系统；而全球定位系统是通过卫星定位，在地球表面或近地空间的任何地点，提供三维坐标和速度的定位系统。二者的结合就可以取长补短，共同构成自动驾驶定位导航系统。惯性导航：自动驾驶核心中的核心23感知层主要功能是对环境信息和车内信息进行采集与处理，例如车辆的速度，方向，运动姿态和交通状况等，并向决策层输出信息。这一环节涉及到道路边界检测、车辆检测、行人检测等多种技术，所用到的传感器一般有激光雷达、摄像头、毫米波雷达、超声波雷达等。由于各个传感器在设计的时候有各自的局限性，单个传感器满足不了各种工况下的精确感知，想要车辆在各种环境下平稳运行，就需要运用到多传感器融合技术，该技术也是环境感知这一大类技术的关键所在。惯性导航：自动驾驶核心中的核心24决策层的作用在于接收来自车体自身感知器件以及来自车联网的网络虚拟空间信号，通过整合车载或云端处理结果，替代人类进行决策判断，输出车辆控制信号。例如在车道保持、车道偏离预警、车距保持，障碍物警告中，需要预测本车与其他车辆、车道、行人等在未来一段时间内的状态，并做出下一步动作决策。这项技术相当于自动汽车的“驾驶脑”，以算法为核心，并通过半导体等硬件技术对高速运算提供支持。惯性导航：自动驾驶核心中的核心25惯性导航在自动驾驶定位系统中具有不可替代性。惯导具有输出信息不间断、不受外界干扰等独特优势，可保证在任何时刻以高频次输出车辆运动参数，为决策中心提供连续的车辆位置、姿态信息，这是任何传感器都无法比拟的。GNSS+IMU方案是一种最常用的组成组合惯导系统的方案。GNSS在卫星信号良好时可以提供厘米级定位，但地下车库和城市楼宇之间等卫星信号丢失或者信号微弱的场景提供的定位精度会大大下降。惯导可以不依赖外界环境提供稳定的信号，但它会有累积误差。通过

IMU与GNSS信号进行融合后组成惯性组合导航系统，可以发挥两者优势，并规避各自劣势。通过整合

GPS与IMU，汽车可以实现既准确又足够实时的位置更新。GPS更新频率过低（仅有10Hz）不足以提供足够实时的位置更新，IMU的更新频率可以达到

100Hz或者更高完全能弥补GPS所欠缺的实时性。GPS/IMU组合系统通过高达

100Hz频率的全球定位和惯性更新数据，可以帮助自动驾驶完成定位。在卫星信号良好时，INS系统可以正常输出得到GPS的厘米级的定位；而卫星信号较弱时，惯导系统可以依靠

IMU信号提供定位信息。惯性导航：自动驾驶核心中的核心26车体控制是无人驾驶车辆的另一个核心问题，主要包括速度控制、方向控制和刹车控制等几个部分。通过分析驾驶员的驾驶行为不难发现，车体控制是一个典型的预瞄控制行为，驾驶员找到当前道路环境下的预瞄点，根据预瞄点控制车辆的行为。目前最常用的方法仍然是经典的智能PID算法，例如模糊PID、专家PID、神经网络PID等。安全是无人驾驶车辆成败的关键，目前常用的避障传感器包括激光雷达、微波雷达、视觉、超声传感器等。在高速公路环境下，由于速度较快，通常选用检测距离较大的微波雷达；在城市环境，由于环境复杂，通常选用检测角度较大的激光雷达。超声传感器由于检测距离较短，通常用在车身两侧。视觉方法最为灵活，价格也比较低廉，但立体视觉算法的可靠性和实时性仍有待进一步的提高。车体控制与安全以上三方面是无人自动驾驶车辆的基础，但无人驾驶作为一种新型的公交系统，还需要一些其它相关技术，例如：1)车辆调度，用于动态规划和协调系统中的多辆无人驾驶车辆；2)通讯系统，用于保证车辆和中央控制系统之间的通讯，以及车辆间的通讯；3)人机交互系统，用于乘客呼叫车辆和使用车辆。车辆呼叫一般可采用车站呼叫、短信呼叫、WEB呼叫、电话呼叫等多种方式，车辆使用一般采用类似电梯的操作方法。随着这些方法的完善和发展，自动驾驶汽车行业也会随之蓬勃发展。总结274.理论可行性28深度学习技术在自动驾驶领域取得了巨大成功，优点是精准性高，鲁棒性强，以及成本低。无人驾驶车辆商业化成为焦点和趋势。汽车企业、互联网企业都争相进入无人驾驶领域。谷歌（Ｇｏｏｇｌｅ）公司于２０１０年开始测试谷歌无人驾驶车辆（Ｇｏｏｇｌｅｄｒｉｖｅｒｌｅｓｓｃａｒ）。其定位是实现所有区域的无人驾驶，即无需任何人为干预的车辆驾驶。右图为其核心架构。目前已经测试了４８万ｋｍ，并获得了合法试验车牌。其他公司如特斯拉、沃尔沃、宝马等公司也对无人驾驶技术进行了深入的研究，其近期定位是实现高速公路上的高级辅助驾驶。同时，中国的百度、滴滴等公司也对无人驾驶进行了大量的研究。理论可行性29汽车行业是一个特殊的行业，因为涉及到乘客的安全，任何事故都是不可接受的，所以对于安全性、可靠性有着近乎苛刻的要求。因此在研究无人驾驶的过程中，对于传感器、算法的准确性和鲁棒性有着极高要求。另一方面，无人驾驶车辆是面向普通消费者的产品，所以需要控制成本。高精度的传感器有利于算法结果准确，但又非常昂贵（如激光雷达），这种矛盾在过去一直很难解决。

如今深度学习技术带来的高准确性促进了无人驾驶车辆系统在目标检测、决策、传感器应用等多个核心领域的发展。深度学习技术，典型的如卷积神经网络（ｃｏｎｖｏｌｕｔｉｏｎａｌｎｅｕｒａｌｎｅｔｗｏｒｋ，ＣＮＮ），目前广泛应用于各类图像处理中，非常适用于无人驾驶领域。其训练测试样本是从廉价的摄像机中取的，这种使用摄像机取代雷达从而压缩成本的方法广受关注。理论可行性30汽车行业对于行人的安全保障有着极高的要求。在自动驾驶领域，无人驾驶车辆必须具备通过车载传感器检测行人是否存在及其位置的能力，以实现进一步的决策。一旦检测错误则会造成伤亡，后果严重，所以对于行人检测的准确性要求极高。而行人检测这一核心技术充满挑战性，如行人姿态变化、衣着打扮各异、遮挡问题、运动随机、室外天气光线因素变化等等。这些问题都会影响到行人检测技术的准确性乃至可行性。

目前的基于统计学的行人检测方法主要分为２类： １）提取有效特征并进行分类； ２）建立深度学习模型进行识别分类。理论可行性1、行人检测31

1.１:基于特征描述与分类器的行人检测

通过先验知识建立的特征描述配合分类器进行行人检测是传统的主流方案，科研人员据此进行了大量的研究，提出了多种适用于不同环境的行人检测方法，如表１所示。理论可行性321.２：基于深度学习模型的行人检测手动标注图像特征已经有了很好的表现，能够应用到很多商业领域。但是深度学习在行人检测领域的表现和潜力，显然要远远好于传统方法，因为其能对原始图像数据进行学习，通过算法提取出更好的特征。基于深度学习的行人检测方法具备极高的准确率和鲁棒性。这对于无人驾驶领域的发展有着重要意义。Ｇｉｒｓｈｉｃｋ等于ＣＶＰＲ２０１４提出区域卷积神经网络（ｒｅｇｉｏｎ－ｃｏｎｖｏｌｕｔｉｏｎａｌｎｅｕｒａｌｎｅｔｗｏｒｋ，ＲＣＮＮ）模型曾达到最高准确率。Ｒ－ＣＮＮ引领了后期分类网络与卷积神经网络框架的发展，其实现步骤下图所示。理论可行性33

3Ｄ地图重建是自动驾驶领域最重要的技术之一。主流成功的无人驾驶车辆一般采用多线雷达作为３－Ｄ传感器来实现这项技术。但是雷达设备价格高昂，且仅能识别深度信息，无法获取纹理和色彩，对周围感知不足。针对这些问题，视觉领域研究者一直尝试使用摄像头来取代雷达，进行３－Ｄ重建。采用双目摄像头进行立体匹配，获取深度信息，是一个经典而思路清晰的方法：确定好两个摄像头的内外参后，依靠相似三角形定理，理论上可以轻易获得深度信息的结果。但是实际使用中，尤其是外景使用中，摄像头受到外界光线干扰过大，存在大量无效信息和噪声，所以其深度数值精度一直不好，一直只能作为雷达的辅助传感器。相比无人驾驶车辆常用的激光雷达测距，摄像头因为成本低、特征数量丰富等，随着采用孪生网络用于立体匹配的深度学习模型的提出，可以通过双目摄像头甚至单目摄像头获取物体高准确率的深度信息。理论可行性2、立体匹配34随着深度学习的兴起，深度学习理论与技术在控制领域也产生了重大影响。基于视觉传感器的自动驾驶方案得到了发展，由传感器获取数据到车辆的方向与油门开度的端到端技术已成为现实。目前存在３种主流方案，如右图所示。理论可行性3、端到端控制35Part

05安全性GoogleWaymo1.WhereamI？Waymo系统安全计划：设计保证安全2.What’sAroundMe？3.WhatWillHappenNext4.WhatShouldIDo？行为安全性车辆在道路上的行驶决策和行为。自动驾驶车辆也需要遵守交通规则，必须在各种驾驶情境（不论是该情景是预期内还是预期外的）为用户提供导航，确保驾驶安全性。Waymo运用各类功能性分析、仿真工具和路测，确保充分了解在业务设计领域内出现的各类挑战，并制定安全性要求，采用多管齐下的测试和验证过程。功能安全性确保Waymo车辆在系统存故障或失效时的安全操控，这意味着要建立备份系统和冗余机制来应对车辆的意外状况。例如，Waymo旗下的所有自动驾驶车辆均配备了辅助计算机（secondarycomputer），可在主计算机出现故障时代替其接管车辆的操控，实现车辆的安全停车（即：最小风险条件）。旗下各车辆均配备了备用转向及制动系统，整个系统还有其他多层冗余。碰撞安全性即耐撞性，是指车辆通过各种措施保护车内乘客的能力，借助结构性设计来保护车内人员，提供座椅约束装置（seatrestraints）及安全气囊，减轻车内人员的伤亡程度。在美国，碰撞安全性被纳入到美国联邦机动车安全标准（FederalMotorVehicleSafetyStandards，FMVSS）中，该标准由美国国家公路交通安全管理局（NHTSA）发布。为此，各大车企务必要证明其基础车型符合FMVSS的相关要求。Waymo所需的安全标准操作安全性指车辆和乘客之间的交互（人机交互）。当确保操作安全性后，Waymo才能确保为消费者带来自动驾驶车辆所提供的安全而舒适的体验。公司旨在打造安全的自动驾驶车辆，借助危险分析、现有安全标准、大量的自动驾驶测试及从各行业借鉴而来的最佳实践来实现。公司还将采取各项举措，如公司提供的前期试驾乘坐体验项目非碰撞安全性针对可能与车辆相互作用的人群，Waymo旨在提供身体上的安全防护。例如，电子系统或传感器所带来的危害，上述设备或将对乘客、汽车技工、驾驶员、急救人员或旁观者造成身体伤害。38运行设计域(operationaldesigndomain，简称ODD)是指自动驾驶系统可安全运行的条件。地理位置、道路类型、速度范围、天气、时间、国