自动驾驶算法与芯片设计

自动驾驶算法与芯片设计读书笔记模板01思维导图读书笔记作者介绍内容摘要目录分析精彩摘录目录0305020406思维导图设计芯片第章设计算法汽车功能传感器参考文献第章系统设计方法实例深度模型芯片检测车道本书关键字分析思维导图内容摘要内容摘要目前自动驾驶的一个发展趋势就是智能化。随着人工智能的飞速发展以及各种新型传感器的涌现，汽车智能化形成趋势，辅助驾驶功能的渗透率越来越高。这些功能的实现需要借助于摄像头、雷达、激光雷达等新增的传感器数据，其中视频处理需要大量并行计算。然而，传统CPU算力不足，而DSP擅长图像处理，对于深度学习却缺乏足够的性能。尽管GPU擅长训练，但它过于耗电，影响汽车的性能。因此，本书着眼于未来，认为定制化的ASIC必将成为主流。本书以自动驾驶的芯片设计为最终目标，来论述设计一个面向未来的自动驾驶SoC芯片的学术支撑和工程实践。本书共13章。其中第1章主要介绍自动驾驶目前遇到的挑战和研究方向。第2～6章重点讲述环境感知以及规划控制方面的算法设计；第7～10章重点讲述深度学习模型的优化和深度学习芯片的设计；第11章和第12章重点讲述具有安全功能的自动驾驶软件架构设计；第13章介绍5G车联网。读书笔记读书笔记工具书，都是浅浅的介绍概念，不懂的就翻翻了解个大概。这本书全貌，落地及关键问题都进行了介绍，比较全面的分析行业的过往的发展。目录分析1.1自动驾驶科技界现状1.3自动驾驶系统算法设计1.2自动驾驶设计的挑战第1章自动驾驶芯片的挑战参考文献1.4自动驾驶系统计算平台第1章自动驾驶芯片的挑战1.2自动驾驶设计的挑战1.2.1功能约束1.2.2可预测性约束1.2.3存储限制1.2.4热量约束1.2.5功率约束1.3自动驾驶系统算法设计1.3.1感知1.3.2决策1.3.3控制1.3.4安全验证与测试1.4自动驾驶系统计算平台1.4.1GPU1.4.2DSP1.4.3FPGA1.4.4ASIC2.1传感器2.2数据集2.33D物体检测方法2.4实战项目：3D物体检测第2章3D物体检测参考文献2.5未来研究展望第2章3D物体检测2.1传感器2.1.1摄像机2.1.2激光雷达2.33D物体检测方法2.3.1基于单目图像的检测方法2.3.2基于点云的检测方法2.3.3基于融合的检测方法2.4实战项目：3D物体检测2.4.1算法概述2.4.2点云预处理2.4.3网络结构2.4.4欧拉区域提议2.4.5锚盒设计2.4.6复角度回归2.4.7损失函数的构建2.4.8实验结果2.4.9训练细节3.1传统图像处理3.2实例：基于霍夫变换的车道检测3.3实例：RANSAC算法及直线拟合3.4基于深度学习3.5多传感器集成方案12345第3章车道检测3.6车道检测系统评估标准参考文献3.7实战项目：车道检测第3章车道检测3.2实例：基于霍夫变换的车道检测3.2.1霍夫变换3.2.2OpenCV车道检测3.3实例：RANSAC算法及直线拟合3.3.1算法思路3.3.2用Python实现直线拟合3.6车道检测系统评估标准3.6.1车道检测系统性能的影响因素3.6.2离线评估3.6.3在线评估3.6.4评估指标3.7实战项目：车道检测3.7.1概述3.7.2车道点实例网络3.7.3调整大小层3.7.4相同瓶颈层3.7.5下采样瓶颈层和上采样瓶颈层3.7.6损失函数3.7.7后处理方法3.7.8实验结果3.7.9测试部分4.1概述4.2传统自动驾驶的规划和决策层4.3集成感知和规划4.4交互行为感知和规划参考文献12345第4章运动规划和控制4.2传统自动驾驶的规划和决策层4.2.1路径规划4.2.2实例：路径规划Dijkstra算法4.2.3实例：路径规划A*算法4.2.4行为决策4.2.5运动规划4.2.6实例：运动规划4.2.7车辆控制4.2.8实例：模型预测控制4.2.9实例：PID控制4.3集成感知和规划实战项目：NVIDIA的端到端自动驾驶4.4交互行为感知和规划4.4.1合作与互动4.4.2博弈论方法4.4.3概率方法4.4.4部分可观察的马尔可夫决策过程4.4.5基于学习的方法5.1SLAM问题5.2自主驾驶的局限性5.3自动驾驶中的SLAM5.4自动驾驶中的地图表示参考文献12345第5章定位与建图5.1SLAM问题5.1.1基于滤波器的SLAM方法5.1.2基于优化的SLAM方法5.2自主驾驶的局限性5.2.1问题的提出5.2.2避免或减少漂移的影响5.2.3自动驾驶SLAM的评估标准5.3自动驾驶中的SLAM5.3.1重新定位和回环检测5.3.2先前构建的地图中的定位5.3.3建立和使用未来地图5.3.4利用当前地图资源5.4自动驾驶中的地图表示5.4.1公制地图模型5.4.2语义地图模型6.1最新的仿真器参考文献6.2仿真器实战：CARLA第6章自动驾驶仿真器6.1最新的仿真器6.1.1AirSim6.1.2Apollo6.1.3CARLA6.1.4UdacityAVSimulator6.1.5DeepTraffic6.2仿真器实战：CARLA6.2.1仿真引擎6.2.2使用CARLA评估自动驾驶方法7.1MobileyeEyeQ7.2NVIDIA7.3TIJacintoTDAx7.4实战项目：360度环景系统与自动停车系统7.5Qualcomm12345第7章自动驾驶芯片7.6NXP7.8Synopsys7.7XilinxZynq-7000第7章自动驾驶芯片7.2NVIDIA7.2.1NVIDIADRIVEAGX开发者套件7.2.2NVIDIADRIVE软件7.4实战项目：360度环景系统与自动停车系统7.4.1自动停车与停车辅助系统7.4.2使用JacintoTDA4VM处理器系列应对环视和自动停车的挑战7.4.3JacintoTDA4VMSoC8.1模型压缩和加速8.2AI模型效率工具包8.3未来研究展望参考文献第8章深度学习模型优化8.1模型压缩和加速8.1.1参数修剪和共享8.1.2低秩分解8.1.3转移/紧凑卷积滤波器8.1.4知识蒸馏8.2AI模型效率工具包8.2.1大规模节能AI8.2.2通过合作推进AI模型效率的研究9.1概述9.3中科院计算所的深度学习芯片系列9.2在CPU和GPU平台上加速内核计算第9章深度学习芯片设计9.4麻省理工学院的Eyeriss系列9.5谷歌的TPU芯片9.6近内存计算9.7DNN硬件的指标参考文献12345第9章深度学习芯片设计9.3中科院计算所的深度学习芯片系列9.3.1卷积神经网络简介9.3.2DaDianNao9.3.3ShiDianNao9.3.4寒武纪Cambricon-X9.4麻省理工学院的Eyeriss系列9.4.1卷积神经网络基本知识9.4.2Eyeriss9.4.3Eyerissv29.5谷歌的TPU芯片9.5.1TPUv19.5.2TPU指令集9.5.3TPU的心脏：脉动阵列9.5.4TPUv2/v39.5.5软件架构9.6近内存计算9.6.1DRAM9.6.2SRAM9.6.3非易失性电阻存储器9.6.4传感器10.1自动驾驶SoC设计流程10.2TI的JacintoSoC平台10.3Jacinto7处理器的功能安全特性10.4具有DNN和ISP的符合安全标准的多核SoC设计第10章自动驾驶SoC设计参考文献10.5实例：NVIDIA深度学习加速器第10章自动驾驶SoC设计10.3Jacinto7处理器的功能安全特性10.3.1功能安全10.3.2软件功能安全10.3.3安全应用部署10.4具有DNN和ISP的符合安全标准的多核SoC设计10.4.1ADAS图像识别SoC10.4.2DNN加速器10.4.3具有安全BIST控制器的ISP10.5实例：NVIDIA深度学习加速器10.5.1NVDLA介绍10.5.2FireSim10.5.3NVDLA集成10.5.4性能分析11.1概述11.2开源自动驾驶操作系统11.3使用开源软件开发自动驾驶技术的公司11.4汽车硬实时操作系统和框架11.5总结12345第11章自动驾驶操作系统11.2开源自动驾驶操作系统11.2.1LinuxRTOS11.2.2ROS中间件11.3使用开源软件开发自动驾驶技术的公司11.3.1百度11.3.2宝马11.3.3Voyage11.3.4TierIV11.3.5PolySync11.3.6PerroneRobotics11.4汽车硬实时操作系统和框架11.4.1BlackBerryQNX11.4.2EBrobinos和EBcorbos11.4.3IntegrityRTOS11.4.4NVIDIADriveWorksSDK12.1概述12.3基于SAEJ3016的组件架构设计12.2基于ISO26262的软件开发第12章自动驾驶软件架构参考文献12.4自动驾驶汽车的架构设计与实现第12章自动驾驶软件架构12.2基于ISO26262的软件开发12.2.1ISO26262简介12.2.2Synopsys软件产品组合12.2.3ASIL12.2.4软件架构设计12.2.5软件单元设计与实现12.2.6软件单元测试12.3基于SAEJ3016的组件架构设计12.3.1功能组件12.3.2AUTOSAR12.4自动驾驶汽车的架构设计与实现12.4.1硬件框架12.4.2软件系统架构12.4.3数据传输模块12.4.4自动驾驶测试报告13.1移动车联网13.2C-V2X如何改变驾驶13.3C-V2X的优势13.4C-V2X的工作原理第13章5GC-V2X简介13.6总结13.5C-V2X部署计划第13章5GC-V2X简介13.2C-V2X如何改变驾驶13.2.1避免碰撞13.2.2车队行驶13.2.3协作驾驶13.2.4队列警告13.2.5保护弱势道路使用者13.2.6支持应急服务13.2.7危险提前警告13.2.8越来越多