《汽车智能传感器技术与应用》全套教学课件

汽车发展历史与智能网联汽车技术路线智能汽车传感器应用技术01项目一认识智能网联汽车传感器与实训环境搭建02项目二认识与应用视觉传感器03项目三认识与应用超声波雷达04项目四认识与应用毫米波雷达05项目五认识与应用激光雷达06项目六认识与应用组合导航07项目七综合实践全套可编辑PPT课件思考讨论题（2分钟）一、课程导入课程导入汽车发展历史智能网联汽车（ICV）的技术链智能网联汽车的技术路线人类所有知识和技术进步都有前人的功劳，对于汽车究竟如何出现，如何发展，为何是当前的状态，值得我们思考和挖掘。本项目内容以介绍性知识为主，包括汽车发展历史、智能网联汽车技术链和技术路线等，请思考汽车的出现和发展给人类带来了什么样的影响？100年后的汽车会是什么样的呢？奔驰260d（1936年）奔驰VISION

AVTR概念车（2021年）二、汽车发展历史2.1汽车的概念中文汽车一词最早出现于我国唐朝天文学家僧一行（公元683-公元727）的描述：“激铜轮自转之法，加以火蒸汽运，名曰汽车”。现在人民日常提及的汽车，普遍指自动车（英式英语：car；美式英语：automobile；美国口语：auto），即本身具有动力得以驱动前进，不须依轨道或电缆，得以动力行驶之车辆。本节按“本身具有动力”的动力来源，通过简要描述从侧面了解汽车发展历史。课程导入汽车发展历史智能网联汽车（ICV）的技术链智能网联汽车的技术路线二、汽车发展历史2.2“发条”汽车1649年，德国的钟表匠汉斯•赫丘在前人的启示下，制成一辆用钟表发条做动力的车。该车行驶速度1.6km/h，每前进230m用人工上一次发条。发条汽车课程导入汽车发展历史智能网联汽车（ICV）的技术链智能网联汽车的技术路线二、汽车发展历史2.3“蒸汽”汽车“卡布奥雷”1769年，法国陆军工程师尼古拉斯.古诺发明了世界上第一辆蒸汽机车,这辆汽车被命名为“卡布奥雷”，车长7.32m，车高2.2m，车架上放置着一个大锅炉，前轮直径1.28m，后轮直径1.50m，前进时靠前轮控制方向，每前进12～15min需停车加热15min，运行速度3.5～3.9km/h。课程导入汽车发展历史智能网联汽车（ICV）的技术链智能网联汽车的技术路线二、汽车发展历史2.4“蓄电池电动”汽车1834年，美国发明家T.Davenport发明了世界上第一辆真正意义上的电动汽车，这辆电动汽车采用不可充电的简单玻璃封装蓄电池驱动，只能行驶一小段距离。1839年，苏格兰的罗伯特·安德森给四轮马车装上了电池和电动机，将其成功改造为世界上第一辆靠电力驱动的车辆。20世纪初期，内燃机的发展让纯电动汽车退出市场。课程导入汽车发展历史智能网联汽车（ICV）的技术链智能网联汽车的技术路线T.Davenport发明的电动汽车二、汽车发展历史2.4“内燃机”汽车1885年，卡尔·本茨（KarlFriedrichBenz，1844—1929）将自行车的后轮改成并行的两个轮子，将一台奥托内燃机置于后轴上，从而造出了全世界第一辆使用汽油内燃机的汽车，如图1.1所示。1885年的一天，本茨夫人将这辆三轮汽车开上了路，成为有记载的第一位驾驶汽车的人，这个时间比戴姆勒和迈巴赫发明出四轮汽车早了几个月。在戴姆勒去世后，两家公司有了很多的合作。1926年，它们新的主人决定将这两家竞争了40年的公司合并，成立了今天享誉全球的戴姆勒–奔驰公司。而戴姆勒的合作伙伴迈巴赫，则成了该公司旗下超豪华汽车品牌。课程导入汽车发展历史智能网联汽车（ICV）的技术链智能网联汽车的技术路线世界第一辆汽油内燃机汽车二、汽车发展历史2.5“新能源”汽车新能源汽车或替代燃料车，是指采用非常规的车用燃料作为动力来源（或使用常规的车用燃料、采用新型车载动力装置），综合车辆的动力控制和驱动方面的先进技术，形成的技术原理先进、具有新技术、新结构的车辆。新能源车包括四大类型：混合动力电动汽车（HEV）、纯电动车（BEV，包括太阳能车）、燃料电池电动车（FCEV）、其他新能源包括机械能（如超级电容器、飞轮、压缩空气等高效储能器）车等与非常规的车用燃料指除汽油、柴油之外的燃料，如天然气（NG）、液化石油气（LPG）、乙醇汽油（EG）、甲醇、二甲醚等。为了应付环保和石油危机，20纪70年代开始提倡新能源车，已经退出市场的“蓄电池电动”汽车重新得到重视，旨在减少或放弃“内燃机”汽车。1996年，由通用汽车生产和租赁的一款电动汽车EV1是史上由大型汽车制造商生产出的第一款现代量产和专门设计的电动汽车。1997年，混合动力乘用车丰田普锐斯开始发售，成为第一种量产的混合动力汽车，拉开了复兴电动车的序幕。在我国，规定新能源车包括三类：纯电动车（EV）、插电混合动力车（PHEV）、燃料电池车（FCEV）。课程导入汽车发展历史智能网联汽车（ICV）的技术链智能网联汽车的技术路线二、汽车发展历史2.6“智能”汽车从广义上来说，具备驾驶辅助功能的汽车都可以称之为“智能汽车”或“自动驾驶汽车”。更具体的，智能汽车是一种通过车载传感系统来感知车辆的状态和道路环境，自动规划行车路线并自主控制行驶到达目的地的车辆，是一种智能的移动终端。进入21世纪后，随着信息技术、动力电池技术、人工智能、物联网技术和5G技术等技术的发展，以特斯拉为代表的造车新势力极大地推动了新能源汽车尤其是电动汽车的发展，并向着“电动化、智能化、网联化、共享化”演进。按照国际通用标准，根据智能化程度的不同，自动驾驶汽车可以被分为5个等级：L1-辅助驾驶、L2-部分自动驾驶、L3-有条件自动驾驶、L4-高度自动驾驶、L5-完全自动驾驶（无人驾驶）。2017年7月11日，奥迪在西班牙发布了全球第一款实现L3级水平的量产车奥迪A8。课程导入汽车发展历史智能网联汽车（ICV）的技术链智能网联汽车的技术路线二、汽车发展历史2.6“智能”汽车目前，全球正处于普及L2和L3级别、实现L4级智能汽车的进程当中。根据我国发布的《新能源汽车产业发展规划（2021—2035）》，到2025年，高度自动驾驶汽车实现限定区域和特定场景的商业化应用，充换电服务便利性显著提高；到2035年，高度自动驾驶汽车将实现规模化应用。目前，智能汽车正在逐渐向人类走来并终将在我们这一代人实现，由于智能汽车具有智能化、网联化、节能环保、安全便捷等特点，是未来汽车发展的必然方向。它的出现、普及将彻底颠覆人们的出行方式，重新定义汽车的属性，将人们从驾驶中解放出来，并自动安全地将乘客送往目的地。课程导入汽车发展历史智能网联汽车（ICV）的技术链智能网联汽车的技术路线二、汽车发展历史2.7智能网联汽车智能网联汽车是近年逐渐普及和被接受的概念，中国汽车工业协会将智能网联汽车（IntelligentConnectedVehicle,ICV）定义为：搭载先进的车载传感器、控制器、执行器等装置，并融合现代通信与网络技术，实现车与X（人、车、路、后台等）智能信息交换共享，具备复杂的环境感知、智能决策、协同控制和执行等功能，可实现安全、舒适、节能、高效行驶，并最终可替代人来完成操作的新一代汽车。从定义可以看出智能网联汽车和智能汽车有较大的联系，如图1.2所示为智能网联汽车、智能汽车与车联网、智能交通等概念间的相互关系。可见，智能汽车隶属于智能交通大系统，而智能网联汽车则属于智能汽车与车联网的交集。课程导入汽车发展历史智能网联汽车（ICV）的技术链智能网联汽车的技术路线智能汽车、智能网联汽车与车联网等相互关系三、智能网联汽车（ICV）的技术链从技术发展路径来看，智能汽车分为3个发展方向：网联式智能(connectedvehicle,CV)、自主式智能(autonomousvehicle,AV)，及前二者的融合，即智能网联汽车(ICV)，如图1.3所示。智能汽车的三种技术路径课程导入汽车发展历史智能网联汽车（ICV）的技术链智能网联汽车的技术路线3.1智能汽车技术路径

三、智能网联汽车（ICV）的技术链智能网联汽车融合了自主式智能汽车与网联式智能汽车的技术优势，涉及汽车、信息通信、交通等诸多领域，其技术架构较为复杂，可划分为“三横两纵”式技术架构“：三横”是指智能网联汽车主要涉及的车辆、信息交互与基础支撑3个领域技术，“两纵”是指支撑智能网联汽车发展的车载平台及基础设施条件，如下图所示。课程导入汽车发展历史智能网联汽车（ICV）的技术链智能网联汽车的技术路线智能网联汽车“三横两纵”技术架构3.2智能网联汽车技术架构

三、智能网联汽车（ICV）的技术链车辆关键技术可以细分为以下4种。（1）环境感知技术，包括利用机器视觉的图像识别技术，利用雷达(激光、毫米波、超声波)的周边障碍物检测技术，多源信息融合技术，传感器冗余设计技术等。（2）智能决策技术，包括危险事态建模技术，危险预警与控制优先级划分，群体决策和协同技术，局部轨迹规划，驾驶员多样性影响分析等。（3）控制执行技术，包括面向驱动/制动的纵向运动控制，面向转向的横向运动控制，基于驱动/制动/转向/悬架的底盘一体化控制，融合车联网(V2X)通信及车载传感器的多车队列协同和车路协同控制等。（4）系统设计技术，包括电子电气架构技术、人机交互技术和智能计算平台技术，搭建基于车路云一体化的车辆平台架构，并建立自主可控的开发和应用生态等。课程导入汽车发展历史智能网联汽车（ICV）的技术链智能网联汽车的技术路线3.3车辆关键技术三、智能网联汽车（ICV）的技术链信息交互关键技术可以细分为以下3种。（5）专用通信与网络技术，包括车辆专用通信系统，实现车间信息共享与协同控制的通信保障机制，移动自组织网络技术，多模式通信融合技术等。（6）大数据云控基础平台技术，包括智能网联汽车云平台架构与数据交互标准，云操作系统，数据高效存储和检索技术，大数据的关联分析和深度挖掘技术等。（7）车路协同技术，包括智能车载技术、智能路侧技术、通信技术、云控技术等。课程导入汽车发展历史智能网联汽车（ICV）的技术链智能网联汽车的技术路线3.4信息交互关键技术三、智能网联汽车（ICV）的技术链基础支撑技术可以细分为以下5种。（8）人工智能技术，包括计算机视觉、大数据分析、机器人技术、语音识别与自然语言处理、云计算、AR/VR等。（9）安全技术，包括汽车信息安全技术、功能安全技术、预期功能安全技术，汽车信息安全测试方法，信息安全漏洞应急响应机制等。（10）高精度地图和定位技术，包括高精度地图数据模型与采集式样、交换格式和物理存储的标准化技术，基于北斗地基增强的高精度定位技术，多源辅助定位技术等。（11）测试评价技术，包括ICV测试评价方法与测试环境建设。（12）标准法规，包括ICV整体标准体系以及设计汽车、交通、通信等各领域的关键技术标准。课程导入汽车发展历史智能网联汽车（ICV）的技术链智能网联汽车的技术路线3.5基础支撑技术四、智能网联汽车的技术路线涉及智能网联汽车领域的不仅有传统和新兴的车企，还有相关的零部件供应商及跨界的科技公司。目前，智能网联汽车技术正处于快速发展探索阶段，在技术路线上存在多种可能，并没有一条大家都比较认同的路线。由于各个企业的经验、资金和技术水平等不同，所以各个企业都有自己倾向的技术路线。传统的车企倾向于通过技术的不断累积、测试数据的不断增加、场景的不断丰富，逐步从先进驾驶辅助系统过渡到半自动驾驶，最终实现完全自动驾驶。例如，现如今各大传统车企借助其在整车方面的优势，都积极推出配备有相应的驾驶辅助系统、部分自动化驾驶系统的车型。而某些跨界的科技公司则借助其在数据采集处理、算法、硬件平台、人工智能等方面的优势，直接跨越到高等级自动驾驶的阶段，如直接开发4/5级别的自动驾驶车辆，其直接目的就是要实现自动驾驶车辆的量产上市。课程导入汽车发展历史智能网联汽车（ICV）的技术链智能网联汽车的技术路线4.1技术路线主流方案四、智能网联汽车的技术路线4.1技术路线主流方案特斯拉以视觉为主导的方案目前，智能网联汽车在技术路线上主要有两种主流方案：一种是以视觉为主导的方案（如特斯拉Model3），通过相机或摄像头进行环境的感知，可以用于对物体的识别和追踪及车辆的定位。该路线使用的相机或摄像头价格低廉，安装方便，比较适用于自动驾驶车辆的量产。它的缺点就在于算法的复杂程度较高，容易受到极端天气的影响，在光线比较弱的情况下效果比较差。课程导入汽车发展历史智能网联汽车（ICV）的技术链智能网联汽车的技术路线360°前置、侧方和车尾摄像头，视野范围达360度250米强大的视觉处理能力，探测距离可达250米TeslaVision视觉处理系统能够探测附近车辆以降低碰撞风险，并辅助泊车四、智能网联汽车的技术路线4.1技术路线主流方案另一种是以激光雷达（LightDetectionandRanging，LiDAR）为主导（如谷歌Waymo）的多传感器融合方案，通过激光雷达进行障碍物的检测，借助激光雷达扫描的点云和高精地图的匹配实现车辆的定位。这种方案可以解决摄像头受光线影响的缺点，而且激光雷达的检测范围广，准确度高，算法的复杂程度相对较低。但是它也有缺点，激光的传播速度容易受到悬浮颗粒物的干扰，当空气中的悬浮颗粒物过大时，其准确性会大大降低。另外其价格昂贵，阻碍了自身的实际应用。不过对于坚持以激光雷达为主导的车企来说，它通过自主开发激光雷达，将成本降低了不少，例如，谷歌通过自研激光雷达成本降低超过90%，而华为自研96线激光雷达成本大约为数百美元，若是实现量产上市，激光雷达的价格还会进一步降低。课程导入汽车发展历史智能网联汽车（ICV）的技术链智能网联汽车的技术路线四、智能网联汽车的技术路线4.2特斯拉Model

3技术路线特斯拉Model3采用的是视觉方案，配置8个摄像头、1个毫米波雷达和12个超声波雷达。课程导入汽车发展历史智能网联汽车（ICV）的技术链智能网联汽车的技术路线传感器数量功能/作用前视主视野摄像头1视野能覆盖大部分交通场景，最大探测距离为150m前视窄视野摄像头（长焦距镜头）1视野相对较窄，适用于高速行驶的交通场景，并可以清晰拍摄远达250m的物体。同时，此镜头可以记录影像信息来实现行车记录功能前视宽视野摄像头（鱼眼镜头）1视野达120°，能够拍摄到交通信号灯、行驶路线上的障碍物和距离较近的物体，适用于城市街道、低速缓行的交通场景。最大探测距离为60m侧方前视摄像头290°角侧方前视摄像头位于车辆两侧的B柱上，最大监测距离为80m。其能够监测到高速公路上突然并入当前车道的车辆，在进入视野受限的交叉路口时也可提供更多的安全保障侧方后视摄像头2侧方后视摄像头位于车辆两侧的翼子板上，其最大监测距离达100m，能监测车辆两侧的后方盲区，在变道和汇入高速公路时起着重要作用后视摄像头1后视摄像头拥有50m最大监测距离，应用于复杂的泊车场景毫米波雷达1作为主要相机和图像处理系统的辅助传感器，用于识别前方障碍物，最大探测距离为160m超声波雷达12主要用于监控周围的区域，以及是否有车辆或其他物体存在的盲点，降低碰撞风险和辅助泊车，其最大有效测距为8m四、智能网联汽车的技术路线4.2特斯拉Model

3技术路线2021年5月，特斯拉宣布将取消北美版2021款Model3和ModelY的毫米波雷达传感器，只用8个摄像头和12个特斯拉实现辅助驾驶，成为视觉方案的技术路线上仅有的存在。课程导入汽车发展历史智能网联汽车（ICV）的技术链智能网联汽车的技术路线Model3视觉路线传感器布置方案四、智能网联汽车的技术路线4.3谷歌Waymo自动驾驶汽车技术路线摄像头有两个致命缺点：一是作用距离和测距精度不如毫米波雷达。二是容易受光照、天气等因素的影响。而毫米波雷达恰好可以弥补，但毫米波雷达不能成像，所以难以识别车道线、交通标志等元素。所以，绝大多数企业会采用摄像头+毫米波雷达的融合方案，来实现L2级自动驾驶能力，更准确地说是高级辅助驾驶系统（ADAS），比如自适应巡航、车道保持等功能。众所周知，一个系统想要变得可靠，关键原则是把这个系统做“冗余”。特斯拉的纯视觉路线其实不是主流，主流的技术路线还是以激光雷达为主、融合摄像头和毫米波雷达等多种传感器。目前，自动驾驶全球领先的无疑是谷歌Waymo。课程导入汽车发展历史智能网联汽车（ICV）的技术链智能网联汽车的技术路线四、智能网联汽车的技术路线4.3谷歌Waymo自动驾驶汽车技术路线从Waymo成立之时，就定下了一条“零容忍政策”——安全。正如其公司使命说的“让人和物更便捷安全的移动”。Waymo将这一理念融入到了其各项技术，主要体现在其虚实结合的路测、激光雷达以及冗余安全系统，通过这几项技术构建了其强大而可靠的安全体系。如下图所示是Waymo第五代自动驾驶平台安装在捷豹I-Pace车型上的示意图。课程导入汽车发展历史智能网联汽车（ICV）的技术链智能网联汽车的技术路线Model3视觉路线传感器布置方案四、智能网联汽车的技术路线4.3谷歌Waymo自动驾驶汽车技术路线车顶的360度的激光雷达，最远可以探测300m以外的物体，可以形成实时的车辆鸟瞰图，同时也能探测到路旁的骑行者和行人。长距离探测摄像头和360度摄像头，可以探测到更远的位置，让车辆可以识别更多重要的细节，如能探测到500m以外的停车标志。此外，探测车辆侧边的摄像头系统可以和侧向激光雷达配合使用，为WaymoDriver系统提供另一个视角，更准确辨认正在靠近车辆的物体。车辆侧边的侧向近距离激光雷达，分别安装在车辆周围的四个点。这四个激光雷达还能增加探测的视野范围，这样就能检测正在靠近车辆的物体。课程导入汽车发展历史智能网联汽车（ICV）的技术链智能网联汽车的技术路线Waymo无人车顶的激光雷达四、智能网联汽车的技术路线4.3谷歌Waymo自动驾驶汽车技术路线Waymo的视觉系统总共配置有29个摄像头，能够为WaymoDriver系统提供更高分辨率的图像，以及更广的视野。这些摄像头的视野也有所重叠，不会产生视野盲区。摄像头、激光雷达与清洁系统和加热装置组装在一起，能够在任何天气下都能保证正常运行。还有就是毫米波雷达，Waymo的新型高分辨率成像雷达分别安装在车辆的六个位置，可以追踪静态和动态的物体、还可以看到远处的小物体，对间隔较近的物体加以区分。毫米波雷达与激光雷达和摄像头形成互补，在特殊天气条件下就能更大程度发挥其功能。课程导入汽车发展历史智能网联汽车（ICV）的技术链智能网联汽车的技术路线Waymo无人车顶的激光雷达认识智能网联汽车环境感知技术智能汽车传感器应用技术一、课程导入环境感知技术是智能网联汽车的关键技术之一，而传感器又是智能网联汽车环境感知的硬件基础。智能网联汽车的环境感知传感器是区别于传统汽车最主要的表观特征，也占据了智能汽车成本增量的主要部分，主要包括激光雷达、毫米波雷达、视觉传感器和超声波雷达。课程导入环境感知传感器多传感器信息融合环境感知技术智能网联汽车传感器发展趋势自动驾驶技术思考讨论题（2分钟）一、课程导入你知道有哪些车企研发了自动驾驶产品吗？答：通用、福特、现代、特斯拉、蔚来、小鹏等。现代福特通用课程导入环境感知传感器多传感器信息融合环境感知技术智能网联汽车传感器发展趋势二、环境感知传感器2.1激光雷达激光雷达在自动驾驶车辆中有着非常重要的作用，它可以大范围、大角度、高精度地对周围环境进行扫描，然后对扫描得到的点云进行处理，实现对3D环境的实时建模。激光雷达在车辆定位、对象识别、对象追踪、环境感知和高精地图的创建等多个关键技术中都有着非常重要的作用。另一方面，激光雷达仍然面临一些问题和挑战。首先，目前其成本较高；其次，其工作时比较容易受到天气的影响，在大雨、浓雾和浓烟的环境中，激光的衰减大，传播的距离大受影响。第三，当激光雷达遇到高反射率的表面时，其测量精度也会受到影响。另外，当使用纯机械式激光雷达时，其扫描旋转频率深受机械结构的限制，最快的旋转速率大约为10Hz，限制了数据流的刷新频率，如果采用固态激光雷达，则需要配合使用多个激光雷达才能完成对周围环境的感知。课程导入环境感知传感器多传感器信息融合环境感知技术智能网联汽车传感器发展趋势激光雷达扫描周围环境二、环境感知传感器2.2毫米波雷达毫米波雷达在智能汽车中有着非常重要的作用，且无法被激光雷达、摄像头等其他传感器所取代，它的检测距离远，能够检测物体的速度、距离和方位，其抗天气干扰的能力强，价格便宜。虽然毫米波雷达检测精度不如激光雷达，且不能检测到物体具体的形状，但它具有明显的多普勒效应，可以检测其多普勒频移来实现对移动物体速度的测量；与相机相比其能够提供深度信息，可以直接测得物体的距离。毫米波雷达探测前方物体距离课程导入环境感知传感器多传感器信息融合环境感知技术智能网联汽车传感器发展趋势二、环境感知传感器2.3车载视觉传感器车载视觉传感器（或称车载摄像头）是一种能够获取环境图像信息的传感器，也是智能汽车中最重要的传感器之一。车载视觉传感器获取图像后，将光信号转化为图像模拟信号，并传送给专用图像处理系统，转变为数字化信号。最后对这些数字信号进行运算，以抽取目标特征，获得相应的识别信息。众所周知，特斯拉Autopilot系统是相机在智能网联汽车中应用的成功典范，该系统以摄像头为主传感器，不采用激光雷达方案，靠摄像头信息进行道路识别、交通标志识别以及车辆和行人的识别等。车载视觉传感器按照构成形式可分成单目摄像头、双目摄像头和全景摄像头等多种；按照其安装在汽车上的位置可以分成前视摄像头、后视摄像头、全景摄像头以及车内监控摄像头等。车载视觉传感器获取环境图像信息课程导入不同ADAS功能的汽车传感器布置方案环境感知传感器多传感器信息融合环境感知技术智能网联汽车传感器发展趋势总结二、环境感知传感器2.3超声波雷达超声波雷达（UltrasonicRadar）是通过发射、接收40kHz、48kHz或58kHz频率的超声波，根据时间差测算出障碍物距离的安全辅助装置，能以声音或者更为直观的显示器告知驾驶员周围障碍物的情况，解除了驾驶员驻车、倒车和起动车辆时前后左右探视所引起的困扰，并帮助驾驶员扫除了视野死角和视线模糊的缺陷。超声波雷达探测周围障碍物课程导入环境感知传感器多传感器信息融合环境感知技术智能网联汽车传感器发展趋势三、多传感器信息融合多传感器信息融合的分类随自动驾驶程度的递进，对汽车的性能要求也越来越高，环境感知的能力也需要相应的提高。单一的传感器难以满足自动驾驶复杂行驶路况信息的采集，因此多传感器信息的融合是实现自动驾驶的必由之路。多传感器信息融合的方式分为前融合和后融合。多传感器信息融合前融合后融合课程导入环境感知传感器多传感器信息融合环境感知技术智能网联汽车传感器发展趋势三、多传感器信息融合不同类型传感器都存在着不同的优劣势，单一的传感器难以满足复杂行驶路况信息的采集，因此多传感器信息融合是必由之路。多传感器信息融合的感知系统可以形成互补，有效应对现实世界中的光照，天气，路况各种复杂条件，以及在安全方面形成冗余设计。传感器融合分成两种：前融合和后融合。所谓的前融合，是指在原始层把各种传感器的数据融合在一起，实现原始数据的同步，前融合只有一个感知算法。而后融合，是指每个传感器各自独立处理生成目标数据，再由主处理器进行数据融合，涉及多个感知算法。激光雷达与视觉传感器的信息融合课程导入环境感知传感器多传感器信息融合环境感知技术智能网联汽车传感器发展趋势三、多传感器信息融合多传感器信息融合的分类1、前融合前融合只有一个感知算法，在原始层把各种传感器的数据融合在一起，实现原始数据的同步，包括空间同步和时间同步。前融合技术课程导入环境感知传感器多传感器信息融合环境感知技术智能网联汽车传感器发展趋势三、多传感器信息融合多传感器信息融合的分类2、后融合有多个感知算法，每个传感器首先各自独立处理生成目标数据，再由主处理器进行数据融合。后融合技术课程导入环境感知传感器多传感器信息融合环境感知技术智能网联汽车传感器发展趋势三、多传感器信息融合3.1前融合的优势相较于后融合，前融合的优势在于以下两点。（1）前融合将所有传感器的原始数据进行统一算法处理，降低了整个感知架构的复杂度和系统延迟；（2）许多后融合感知中被过滤掉的无效和无用的信息，在前感知路线中通过与其他传感器数据融合后进行综合识别，可以创建出一个更全面、更完整的环境感知信息，大大提高感知系统的稳健性。课程导入环境感知传感器多传感器信息融合环境感知技术智能网联汽车传感器发展趋势激光雷达与视觉传感器的信息融合三、多传感器信息融合3.2前融合的要求前融合对于提高感知系统的准确性和稳健性有不可比拟的优势，但是实现多传感的前融合对于软件、硬件、通信提出了更高的要求：（1）软件算法需求：各个传感器数据采集方式和周期相对独立，后融合向前融合转化需要实现数据空间和时间同步，控制时间误差需要在1微秒以内，100m外的物体距离精度要在3cm以内，这样需要主机厂在算法端给各个传感器提供时间校准和空间标定的功能。（2）芯片算力需求：整车所有传感器原始数据都汇集到中央计算平台进行处理，对于AI芯片的算力提出更高的要求。（3）数据通信需求：一是车载的传感器如毫米波雷达、摄像头、激光雷达等来自于不同硬件厂商，因为产品接口与商业协议等等问题，有些传感器无法获得原始数据；二是车内通信带宽需升级来支持多传感器数据的并发。多传感器前融合是长周期目标，目前还属于智能驾驶发展初期，传感器本身硬件升级还有长足空间。多传感器发展路径会趋向冗余再融合，在传感器搭载数量和性能升级的基础上，逐渐实现多传感器融合。课程导入环境感知传感器多传感器信息融合环境感知技术智能网联汽车传感器发展趋势三、多传感器信息融合3.2多传感器信息融合的分类3、前后融合对比相较于后融合，前融合的优势在于：前融合将所有传感器的原始数据进行统一算法处理，降低了整个感知架构的复杂度和系统延迟。后融合感知会过滤掉的无效和无用的信息，而前融合可通过这些信息与其他传感器数据融合后进行综合识别，感知系统稳健性更高。课程导入环境感知传感器多传感器信息融合环境感知技术智能网联汽车传感器发展趋势四、环境感知技术环境感知技术是智能网联汽车的关键技术，它通过安装在车辆上的传感器对道路、行人、车辆、信号灯、交通标志等因素进行识别。环境感知技术课程导入环境感知传感器多传感器信息融合环境感知技术智能网联汽车传感器发展趋势四、环境感知技术4.1道路识别技术道路识别技术指提取车道的几何结构、确定车辆在车道中的位置及方向、确定车辆可行驶的区域。道路识别技术课程导入环境感知传感器多传感器信息融合环境感知技术智能网联汽车传感器发展趋势四、环境感知技术4.2行人检测技术行人检测技术主要包括两种常用的方式，一是基于视觉的行人检测技术，通过一定的算法如方向梯度直方图（HistogramofOrientedGradient，HOG）与支持向量机（SupportVectorMachines，SVM）配合检测的方法实现行人识别；二是基于视觉和激光雷达融合的行人检测技术，激光雷达可以获得行人在二维平面的位置及其他状态信息，可以对目标进行较为精准的状态估算。通过激光雷达和摄像头数据的融合进行综合判断，可以提高系统的检测性能及检测精度。行人检测技术课程导入环境感知传感器多传感器信息融合环境感知技术智能网联汽车传感器发展趋势四、环境感知技术4.3车辆检测技术车辆检测技术与行人检测技术一样包括两种方式，基于视觉的车辆检测技术可分为基于车辆外观的检测方法和基于车辆运动的检测方法。基于车辆外观的检测方法从单帧图像中进行车辆检测，而基于车辆运动的检测方法使用连续帧的图像进行车辆检测。早期由于计算机和显卡的处理速度较低，车辆使用图像对称性和边缘特征进行检测。近年来，基于深度学习的目标检测算法取得了很大的突破，如基于候选区域的R-CNN系列算法和YOLO算法等，基于视觉的车辆检测技术得到长足的发展。车辆检测技术课程导入环境感知传感器多传感器信息融合环境感知技术智能网联汽车传感器发展趋势四、环境感知技术4.3车辆检测技术另一种车辆检测技术是基于视觉和激光雷达融合的，是最近几年发展起来的技术。激光雷达能够快速扫描平面的距离信息，并获得障碍物在扫描平面中的外轮廓，并且不受光照条件等因素的影响。两种传感器可以实现功能上的互补，在检测过程中需要将车辆坐标、激光雷达坐标和摄像头坐标进行数据统一融合并转换到同一坐标系下进行处理，其检测精度较高，是较为先进的技术。车辆检测技术课程导入环境感知传感器多传感器信息融合环境感知技术智能网联汽车传感器发展趋势四、环境感知技术4.4交通信号灯识别技术课程导入环境感知传感器多传感器信息融合环境感知技术智能网联汽车传感器发展趋势交通信号灯的检测与识别是无人驾驶与辅助驾驶必不可少的一部分，其识别精度直接关乎智能驾驶的安全。从颜色来看，交通信号灯的颜色有红色、黄色、绿色这三种颜色，而且三种颜色在交通信号灯中出现的位置都有一定的顺序关系。从功能来看，交通信号灯有机动车信号灯、闪光警告信号灯、道口信号灯、非机动车信号灯、左转非机动车信号灯、人行横道信号灯、车道信号灯、方向指示信号灯、掉头信号灯等。总体来说，交通信号灯识别技术大多是基于传统的图像处理方法，虽然目前也有用强学习能力的卷积神经网络去进行识别，但这类方法往往需要大量的训练样本避免过拟合的风险。截至目前的大多数方法都是在各种颜色空间中利用信号灯颜色的先验进行分割得到感兴趣区域，然后再通过信号灯所特有的形状特征和角点特征等进行进一步的判定。交通信号灯识别技术四、环境感知技术4.5交通标志识别技术课程导入环境感知传感器多传感器信息融合环境感知技术智能网联汽车传感器发展趋势交通标志是用文字或符号传递引导、限制、警告或指示信息的道路设施，是实施交通管理，保证道路交通安全、顺畅的重要标志，因此，交通标志的识别技术是智能网联汽车实现无人驾驶的一项重要技术。当前交通标志的检测方法主要有两种，一种是基于颜色特征和图形特征组合的识别技术，是目前较常用的技术，主要实现步骤包括图像预处理、交通标志分割、交通标志提取和识别结果匹配等步骤；另外一种是基于深度学习的识别技术，该技术让识别不再依靠具体固定的参数，而是通过一系列的条件判断让系统找到概率最大的目标，以此提升识别的准确度和灵活性，有效提高了交通标志识别的准确率及识别速度，是目前研究热点。交通标志识别技术五、智能网联汽车传感器发展趋势5.1集成化，微型化更进一步利用微电子机械系统（MEMS）技术和计算机辅助设计技术将微m数量级的敏感元件、信号处理器、数据处理装置封装在同一芯片上，传感器具有体积小、功能上的一体化、可靠性高等特点。课程导入环境感知传感器多传感器信息融合环境感知技术智能网联汽车传感器发展趋势集成化，微型化五、智能网联汽车传感器发展趋势5.2智能化，多功能化更显智能智能网联汽车上的智能传感器除了实现传感的基本功能之外，还具备自校准、自补偿等功能，更重要的是能够基于自身逻辑判断和信息处理能力，对采集的信号进行智能处理。课程导入不同ADAS功能的汽车传感器布置方案环境感知传感器多传感器信息融合环境感知技术智能网联汽车传感器发展趋势总结智能化多功能化五、智能网联汽车传感器发展趋势5.3多传感器融合趋势保持目前多传感器融合是MEMS中最热门的趋势，例如，九轴惯性传感器在一个封装内整合1颗3轴加速度计、1颗3轴陀螺仪和1颗3轴磁力计，同时具备优异的传感器性能和9自由度(DOF)惯性感应功能。课程导入环境感知传感器多传感器信息融合环境感知技术智能网联汽车传感器发展趋势九轴惯性传感器五、智能网联汽车传感器发展趋势5.1软件与算法将起到关键核心作用随着“新四化”趋势的发展，汽车电子构架不断革新，汽车硬件体系将逐渐趋于一致，汽车硬件上很难形成差异化，这时软件和算法就成为车企竞争的核心要素。通过微处理器中的智能算法将采集到的数据进行预处理，补偿，融合，计算，校正并实时输出符合精度要求的最终数据，如下图所示。在不同的智能传感器中会应用到不同的智能算法。智能算法是智能传感器数据处理和融合的核心，也是评价不同厂家产品性能的重要标准。智能算法课程导入环境感知传感器多传感器信息融合环境感知技术智能网联汽车传感器发展趋势认识实训平台智能汽车传感器应用技术一、课程导入大家都知道智能汽车传感器与感知系统实训平台有哪些功能吗？课程导入智能汽车传感器与感知系统故障诊断台架二、智能汽车传感器与感知系统实训平台2.1智能汽车传感器与感知系统实训平台整体结构课程导入智能汽车传感器与感知系统故障诊断台架本教材作为职业院校教材，以培养高素质技能人才为目的，采用项目化的方式开展理实一体化教学，建议搭建以下的实训环境和实训设备：一间能容纳40-50人的理实一体化的多媒体教室，以及6台及以上具有各种典型环境感知传感器、满足安装、测调和仿真等功能的实训平台，本教材开展的实训采用的是如下图的实训设备：汽车智能传感器与感知系统实训平台（后续简称实训平台），后续章节将使用它开展相关的实训教学，具体介绍可参考本教材提供的用户手册。二、智能汽车传感器与感知系统实训平台2.1智能汽车传感器与感知系统实训平台整体结构课程导入智能汽车传感器与感知系统故障诊断台架三、故障诊断台架2.1故障设置步骤课程导入智能汽车传感器与感知系统故障诊断台架此外，为方便学生进行故障诊断，本教材还配套了故障诊断台架（后面简称故障诊断台），如图1.9所示，左侧是诊断台实物图，右侧是其系统原理图，在原理图上提供相应的诊断接口，方便学生通过万用表、示波器等测量仪器来进行排故操作。三、故障诊断台架2.1故障设置步骤在实际操作过程中，要把诊断台的信号接口线和电源线与实训平台提供的信号线和电源线连接上。通过上位机的专用软件“智能网联汽车三位数字化仿真教学”可以设置故障码和消除故障码，故障类型主要是设置电源正负极的断路、信号线的断路和短路等。如果没有该故障诊断台，可以使用传统的故障设置方法，通过把相关引脚的连接线引出来，通过中间件（如面包板等）改变线路“开断短”状态，只要线路状态对学生不可见即可。有能力的院校教师可自行设计“诊断小黑箱”，以达到同样的测试诊断效果。课程导入智能汽车传感器与感知系统故障诊断台架三、故障诊断台架2.1故障设置步骤由于“智能网联汽车三位数字化仿真教学”（图标如下图所示）软件的故障设置在后续章节有通用性，在此简要介绍其设置步骤，后续章节将不再赘述。（1）硬件连接。确保实训平台和故障诊断台的诊断线束和电源线束连接正确，并接通电源。课程导入智能汽车传感器与感知系统故障诊断台架三、故障诊断台架2.1故障设置步骤（2）进入主界面。打开实训平台配套的电脑，在桌面找到“智能网联汽车三位数字化仿真教学”软件，双击进入软件主界面，单击主界面左侧“故障诊断”，可以看到智能传感器测试装调台架一共有5个传感器，分别是超声波雷达、毫米波雷达、组合导航、激光雷达和视觉传感器，“Running”代表各个传感器与软件连接上并正在工作，下方的“故障码”和“故障描述”在正常情况下的值是“Null”，要是有故障则会把相应的故障码和故障描述显示出来，如图1.11所示。单击右上角的圆圈箭头的图标可以进行“刷新”，在设置故障和消除故障时都需要先进行“刷新”才能读取最新状态；单击旁边的小甲虫图标可以进入故障设置页面，进行相关的故障设置。课程导入智能汽车传感器与感知系统故障诊断台架三、故障诊断台架2.1故障设置步骤（3）进入故障设置页面。单击小甲虫图标，需要管理员登录，密码是“6666”，如下图所示，输入后单击“登录”进入故障设置页面，如下图所示。课程导入智能汽车传感器与感知系统故障诊断台架三、故障诊断台架2.1故障设置步骤（4）设置故障。在故障设置页面可以设置超声波雷达控制器、毫米波雷达、组合导航、激光雷达和视觉传感器的故障，如下图所示，单击相应的卡片可以看到可以设置的故障。设置完成后，单击提交，返回主界面。课程导入智能汽车传感器与感知系统故障诊断台架三、故障诊断台架2.1故障设置步骤（5）查看故障设置情况。单击右上角“刷新”按钮，此时弹出信息框提示“读取成功”，同时在页面显示“超声波雷达控制器”为“Error”，故障码和故障描述如图所示，故障设置成功。课程导入智能汽车传感器与感知系统故障诊断台架三、故障诊断台架2.1故障设置步骤（6）清除故障。故障设置完毕，接下来可安排学生进行排故，锻炼学生排故思维和使用工具的能力。待其找到故障，提出正确的排故思路后，进行故障消除步骤：进入到故障设置页面，如图1.13所示，可以单击“全部解除故障”按钮，然后单击“提交”，即可清除故障，回到“故障诊断”页面，单击“刷新”，故障清除。课程导入智能汽车传感器与感知系统故障诊断台架三、故障诊断台架2.2其他合适的硬件环境对于没有该实训平台和诊断台的院校要开展教学，应当采购但不限于以下的设备：（1）具有足够的环境感知传感器：视觉传感器（单目、双目和远红外等），超声波传感器，毫米波雷达，激光雷达，组合导航等。（2）支持足够算法功能的工控机或PC机（具有图像处理芯片）：高精度定位、车道标识线检测、障碍物检测、动态物体跟踪、障碍物分类识别、行人识别和交通标志识别等。（3）支持第1点中提及的传感器的测试软件，满足测试和可视化等要求。（4）工具方面包括：常用工具一套、万用表、示波器、CAN分析仪和UBS转232串口线等。（5）其他配套支持（可选）：自带锂电池与稳压电源（支持设备可室内外移动）、WIFI天线和麦克风等。课程导入智能汽车传感器与感知系统故障诊断台架认识视觉传感器智能汽车传感器应用技术一、课程导入课程导入视觉传感器的概念车载视觉传感器车载摄像头的结构视觉传感器目前作为汽车基础的感知器件得到广泛应用：单车基本标配4~6颗摄像头，而新能源汽车及智能网联汽车则动辄10个以上。可以预见，未来智能网联汽车自动驾驶技术发展到L4阶段及以后，视觉传感器还将发挥重要角色，在数量上只增不减。二、视觉传感器发展历史当前讨论的视觉传感器主要是指通过对摄像机拍摄到的图像进行图像处理，来计算对象物的特征量（面积、重心、长度、位置等），并输出数据和判断结果的图像传感器。课程导入视觉传感器发展历史车载视觉传感器车载摄像头的结构二、视觉传感器发展历史如果要追根溯源的话，图像传感器的历史可以一直追溯到“小孔成像”现象：在一个明亮的物体与屏幕间放一块挡板，挡板上开一个小孔，在屏幕上会形成物体的一个倒立的实像。小孔成像现象的发现是早期光学研究中揭示光的直线传播性的最重要的证据之一，也是后世照相、幻灯等技术诞生的物理基础。课程导入视觉传感器发展历史车载视觉传感器车载摄像头的结构二、视觉传感器发展历史成书于战国中期（约公元前4世纪中叶以前）的《墨经》最早述及小孔成像现象。在《墨经》的“经下”和“经说下”两篇中记载了一系列关于光线成像、成影以及镜面反射规律的论述，是世界上最早的关于光学问题的论述，小孔成像问题就是其中一条，其中不仅描述了光线通过小孔在墙壁上形成倒立实像的现象，而且还讨论了成像机制，正确地指出形成倒像的根本原因在于光的直进性。课程导入视觉传感器发展历史车载视觉传感器车载摄像头的结构二、视觉传感器发展历史在西方，最早记载小孔成像现象的是希腊哲学家亚里士多德（公元前384—公元前322）。他在《问题集》（公元前4世纪后半叶）中记述了阳光穿过树叶或柳条制品的间隙在地上成像的现象，并提及暗盒的概念。课程导入视觉传感器发展历史车载视觉传感器车载摄像头的结构二、视觉传感器发展历史照相暗盒是一种利用穿过小孔进入暗室的光束来投射物体颠倒图像的光学设备，而该设备采用的机制与针孔照相机几乎相同。从16世纪起，照相机最终发展为一种集镜头、暗箱和反射镜于一体的设备，如下图所示，因为当时没有感光材料，主要被用作观赏影像或被艺术家用作绘制风景素描和肖像画的绘图辅助工具。课程导入视觉传感器发展历史车载视觉传感器车载摄像头的结构二、视觉传感器发展历史根据小孔成像现象形成的影像是无法被固定下来的，而且“照相暗箱”也不是什么“传感器”，直到人们发明了感光材料。1826年前后，法国人涅普斯在一块铅锡合金板上涂上白蜡和沥青的混合物，制成了一块感光金属板，并把它放进照相机内，在自家的阁楼上对着窗外曝光了8个小时，然后用薰衣草油把没有曝光硬化的白色沥青混合物洗掉，露出金属板的深黑色，得到了窗外景物的正像：左侧是鸽子笼，中间是仓库屋顶，右侧是另一座房子的一角。由于长时间曝光，两侧都留下了阳光照射的痕迹，这就是被认定为世界上的第一幅照片《窗外》，如下图所示，目前被保存在法国博物馆。尼埃普斯把他的方法称作“日光蚀刻法”。课程导入视觉传感器发展历史车载视觉传感器车载摄像头的结构二、视觉传感器发展历史1839年，法国发明家、艺术家和化学家路易·雅克·芒戴·达盖尔发明了达盖尔银版法，又称达盖尔摄影法，该方法利用镀有碘化银的钢板在暗箱里曝光，然后以水银蒸汽显影，再以普通食盐定影。此法得到的实际上是一个金属负像，但十分清晰而且可以永久保存。随后，达盖尔根据此方法制成了世界上第一台照相机，曝光时间需要20~30分钟。课程导入视觉传感器发展历史车载视觉传感器车载摄像头的结构二、视觉传感器发展历史1839年8月19日，法国政府宣布放弃对银版摄影术这项发明的专利，并公之于众。人们通常以这一天作为摄影术的开端。后来在1888年，美国柯达公司生产出了新型感光材料——一种柔软、可卷绕的“胶卷”，实现了感光材料的一个飞跃。课程导入视觉传感器发展历史车载视觉传感器车载摄像头的结构二、视觉传感器发展历史但是这里存在一个问题：从达盖尔的镀银摄影，直到胶卷时代的银盐感光材料，都会用到贵重金属：白银，也就是说，在使用白银制造摄影的感光材料（胶卷、胶片）以及拍摄之后冲洗加工的过程中，不仅会对环境造成污染，而且还在不断消耗着这种贵金属材料。如何摆脱摄影必须要使用贵重金属的困境？答案是“数字化”，也就是将光学图像信号转换为电信号。通常把能实现上述功能的装置称为图像传感器。课程导入视觉传感器发展历史车载视觉传感器车载摄像头的结构二、视觉传感器发展历史图像传感器的开端发生在1873年，科学家约瑟·美(JosephMay)及伟洛比·史密夫(WilloughbySmith)发现了硒元素结晶体感光后能产生电流。随着技术演进，图像传感器性能逐步提升。早期的图像传感器主要为真空电子器件，如摄像管（Vidicon）。摄像管主要由光电转换（光电变换与存储部分）和电子束扫描系统（阅读部分）组成。其中，光电转换系统利用光电发射作用或光电导作用，将摄像机镜头所摄景物的光影像在靶上转换为相应的电位分布图，而扫描系统使电子束在靶上扫描，将此电位分布图逐行逐点地转换为电信号。课程导入视觉传感器发展历史车载视觉传感器车载摄像头的结构二、视觉传感器发展历史20世纪60年代开始，先后有多种固态图像传感器（Solid-stateImageSensor）方案面世，其中最重要的是贝尔实验室1969年发明并于次年对外发表的CCD（ChargeCoupledDevice，电荷耦合元件）图像传感器，即数码相机的核心部件，将光线照射导致的电信号变化转换成数字电信号，使得其高效存储、编辑、传输都成为可能。发明了CCD的科学家维拉•博伊尔（WillardS.Boyle）和乔治•史密斯（GeorgeE.Smith）获得了2009年的诺贝尔物理学奖。课程导入视觉传感器发展历史车载视觉传感器车载摄像头的结构二、视觉传感器发展历史但是随着CCD应用范围的扩大，其缺点逐渐暴露出来。首先，CCD技术芯片技术工艺复杂，不能与标准工艺兼容。其次，CCD技术芯片需要的电压功耗大，因此CCD技术芯片价格昂贵且使用不便。为此，人们又开发了另外几种固态图像传感器，其中最有发展潜力的是采用标准CMOS（ComplementaryMetal-OxideSemiconductor，互补金属氧化物半导体元件）制造工艺制造的CMOS图像传感器。课程导入视觉传感器发展历史车载视觉传感器车载摄像头的结构二、视觉传感器发展历史课程导入视觉传感器发展历史车载视觉传感器车载摄像头的结构其实早在20世纪70年代初，国外就已经开发出CMOS图像传感器，除了在功耗和成本上占有优势外，由于信号容易受到噪声的干扰而导致成像质量不如CCD，因而一直无法与之相抗衡。直到20世纪90年代，随着超大规模集成电路技术的飞速发展，CMOS图像传感器可在单芯片内集成A/D转换、信号处理、自动增益控制、精密放大和存储等功能，大大减弱了系统的复杂性，降低了成本。随着图像品质的提升，CMOS在低功耗、高集成度和高速数据传输上的优势逐渐体现出来，因而重新成为研究和开发的热点，发展极其迅猛。近几年CMOS图像传感器的很多性能指标已经超过CCD图像传感器，市场上绝大部分的数字相机都采用它作为成像器件。2021年9月29日，长春长光辰芯光电技术有限公司推出1.52亿像素分辨率、全局快门CMOS芯片-GMAX32152，是当时市场上已知的分辨率最高的全局快门CMOS芯片。三、车载视觉传感器车载视觉传感器实际上是图像传感器在汽车上的应用，主流传感器主要包括CCD图像传感器和CMOS图像传感器。与传统的图像采集装置不同的是，当前许多汽车使用智能图像采集与处理器，其内部程序存储器可存储图像处理算法，并能使用PC机，利用专用组态软件编制各种算法下载到视觉传感器的程序存储器中，视觉传感器将PC机的灵活性、可编程逻辑控制器（PLC）的可靠性与分布式网络技术结合在一起，可以更容易地构成机器视觉系统。CMOS传感器CCD传感器课程导入视觉传感器的概念车载视觉传感器车载摄像头的结构三、车载视觉传感器3.1CCD传感器CCD（ChargeCoupledDevice）中文全称为电荷耦合元件。CCD图像传感器主要是由一个类似马赛克的网格、聚光镜片以及垫于最底下的电子线路矩阵所组成。CCD是一种特殊的半导体器件，能够把光学影像转化为数字信号。CCD上植入的微小光敏物质称作像素。一块CCD上包含的像素数越多，它提供的画面分辨率也就越高。CCD的作用就像胶片一样，但它是把光信号转换成电荷信号。CCD上有许多排列整齐的光电二极管形成光像素序列阵，能感应光线，如图2.3所示，并将光信号转变成电信号，经外部采样放大及模数转换电路转换成数字图像信号。CCD具有体积小和成本低的特点，广泛应用于扫描仪、数码相机及数码摄像机中。目前大多数数码相机采用的视觉传感器都是CCD。CCD传感器结构课程导入视觉传感器的概念车载视觉传感器车载摄像头的结构三、车载视觉传感器3.2CMOS传感器CMOS（ComplementaryMetal-OxideSemiconductor）中文全称为互补金属氧化物半导体，这是一种数字集成电路的标准CMOS工艺技术。CMOS图像传感器主要利用了半导体的光电效应，与CCD的原理相似，不同之处在于CMOS图像传感器嵌入了模数转换器等系统级芯片（System-on-Chip，SoC）来实现后处理功能，增加了传感器的复杂性，如图2.4所示。它则具有低成本、低功耗及高整合度的特点。现今车载摄像头主要应用的是CMOS传感器。CMOS传感器结构课程导入视觉传感器的概念车载视觉传感器车载摄像头的结构三、车载视觉传感器3.3CCD和CMOS图像传感器的差异课程导入视觉传感器的概念车载视觉传感器车载摄像头的结构（1）成像过程。CCD与CMOS图像传感器光电转换的原理相同，它们最主要的差别在于信号的读出过程不同。由于CCD仅有一个（或少数几个）输出节点统一读出，其信号输出的一致性非常好，而CMOS芯片中，每个像素都有各自的信号放大器，各自进行电荷-电压的转换，其信号输出的一致性较差。但是CCD为了读出整幅图像信号，要求输出放大器的信号带宽较宽，而在CMOS芯片中，每个像元中的放大器的带宽要求较低，大大降低了芯片的功耗，这就是CMOS芯片功耗比CCD要低的主要原因。尽管降低了功耗，但是数以百万的放大器的不一致性却带来了更高的固定噪声，这又是CMOS相对CCD的固有劣势。三、车载视觉传感器3.3CCD和CMOS图像传感器的差异课程导入视觉传感器的概念车载视觉传感器车载摄像头的结构（2）集成性。从制造工艺的角度看，CCD中电路和器件是集成在半导体单晶材料上的，工艺较复杂，世界上只有少数几家厂商能够生产CCD晶元。CCD仅能输出模拟电信号，需要后续的地址译码器、模拟转换器、图像信号处理器处理，并且还需要提供三组不同电压的电源同步时钟控制电路，集成度非常低。而CMOS是集成在金属氧化物的半导体材料上，这种工艺与生产数以万计的计算机芯片和存储设备等半导体集成电路的工艺相同，因此生产CMOS的成本相对CCD低很多。同时，CMOS芯片能将图像信号放大器、信号读取电路、A/D转换电路、图像信号处理器及控制器等集成到一块芯片上，只需一块芯片就可以实现相机的所有基本功能，集成度很高，芯片级相机概念就是从这产生的。随着CMOS成像技术的不断发展，有越来越多的公司可以提供高品质的CMOS成像芯片。三、车载视觉传感器3.3CCD和CMOS图像传感器的差异课程导入视觉传感器的概念车载视觉传感器车载摄像头的结构（3）速度。CCD采用逐个光敏输出，只能按照规定的程序输出，速度较慢。CMOS有多个电荷-电压转换器和行列开关控制，读出速度快很多，大部分500fps（1fps=0.304m/s）以上的高速相机都是CMOS相机。此外，CMOS的地址选通开关可以随机采样，实现子窗口输出，在仅输出子窗口图像时可以获得更高的速度。（4）噪声。CCD技术发展较早，比较成熟，采用PN结或二氧化硅（SiO2）隔离层隔离噪声，成像质量相对CMOS光电传感器有一定优势。三、车载视觉传感器3.3CCD和CMOS图像传感器的差异课程导入视觉传感器的概念车载视觉传感器车载摄像头的结构四、车载摄像头的结构车载摄像头的工作原理是目标物体通过镜头生成光学图像投射到图像传感器上，将光信号转变为电信号，再经过模数转换变为数字图像信号，最后由数字信号处理芯片进行加工，处理成特定格式的图像输出到下游需求方。课程导入视觉传感器的概念车载视觉传感器车载摄像头的结构四、车载摄像头的结构从车载摄像头的组成来看，主要包括镜头组（光学镜片、滤光片和保护膜等）、图像传感器（以CMOS为主）、独立在线编程（In-SystemProgramming，ISP）芯片、串行器、连接器以及算法等。课程导入视觉传感器的概念车载视觉传感器车载摄像头的结构四、车载摄像头的结构（1）光学镜头：负责聚焦光线，将视野中的物体投射到成像介质表面，根据成像效果的要求不同，可能要求多层光学镜片。（2）滤光片：可以将人眼看不到的光波段进行滤除，只留下人眼视野范围内的实际景物的可见光波段。图像传感器主要分为CCD和CMOS两种，在2.2节已经较为详细的描述，不再赘述。（3）ISP芯片：主要使用硬件结构完成图像图传感器输入的图像视频源RAW格式数据的前处理，可转换为YCbCr（YCbCr是一种常用的色彩编码方案）等格式。还可以完成图像缩放、自动曝光、自动白平衡、自动聚焦等多种工作。（4）串行器：将处理后的图像数据进行传输，可用于传输RGB、YUV（两者都是基本的色彩模型）等多种图像数据种类。（5）连接器：用于连接固定摄像头。课程导入视觉传感器的概念车载视觉传感器车载摄像头的结构选用视觉传感器智能汽车传感器应用技术一、课程导入车载摄像头的类型根据智能网联汽车需要完成的任务不同而有所不同，通常可以按照工作原理、安装位置进行分类。课程导入车载摄像头车规级性能要求视觉传感器的类型车载摄像头的特点及应用视觉传感器技术参数车载摄像头的选用标准二、视觉传感器的类型2.1按工作原理分类1、单目摄像头单目摄像机模组只包含一个摄像机和一个镜头。单目摄像头测距原理，是先通过图像匹配进行目标识别（汽车、行人和物体等），再根据目标在图像中的大小估算目标距离。松下车载单目摄像头单目摄像头模组课程导入车载摄像头车规级性能要求视觉传感器的类型车载摄像头的特点及应用视觉传感器技术参数车载摄像头的选用标准二、视觉传感器的类型2.1按工作原理分类1、单目摄像头优势：（1）系统结构相对简单，成本较低。（2）算法成熟度高。劣势：（1）无法对非标准障碍物进行判断识别。需要不断更新和维护一个庞大的样本数据库，才能保证系统达到较高的识别率。（2）视野取决于镜头，车载摄像头是定焦的，它无法像人眼一样快速变焦。（3）测距精度低。距离并非真正意义上的测量。课程导入车载摄像头车规级性能要求视觉传感器的类型车载摄像头的特点及应用视觉传感器技术参数车载摄像头的选用标准二、视觉传感器的类型2.1按工作原理分类2、双目摄像头人眼能够感知物体的远近，是由于两只眼睛对同一个物体呈现的图像存在差异，也称“视差”。物体距离越远，视差越小；反之，视差越大。双目摄像头测距原理与人眼类似，通过对图像视差进行计算，直接对前方景物进行距离测量；从视差的大小倒推出物体的距离，视差越大，距离越近双目摄像头测距原理双目摄像头课程导入车载摄像头车规级性能要求视觉传感器的类型车载摄像头的特点及应用视觉传感器技术参数车载摄像头的选用标准二、视觉传感器的类型2.1按工作原理分类2、双目摄像头测距步骤：相机标定——双目校正——双目匹配——计算深度信息（测距）课程导入车载摄像头车规级性能要求视觉传感器的类型车载摄像头的特点及应用视觉传感器技术参数车载摄像头的选用标准二、视觉传感器的类型2.1按工作原理分类2、双目摄像头优势：（1）没有识别率的限制，因为从原理上无须先进行识别再进行测算。（2）直接利用视差计算距离，精度比单目高。（3）无须维护样本数据库，因为对于双目没有样本的概念。劣势：（1）计算量非常大，对计算单元的性能要求非常高，这使得双目系统的产品化、小型化的难度较大。（2）双目视觉系统通过估计视差来测距，而视差是通过立体匹配算法得来的，立体匹配是计算机视觉典型的难题。（3）双目测距原理对两个镜头的安装位置和距离要求较多。标定难度大。课程导入车载摄像头车规级性能要求视觉传感器的类型车载摄像头的特点及应用视觉传感器技术参数车载摄像头的选用标准二、视觉传感器的类型2.1按工作原理分类3、三目摄像头三目摄像头诞生的目的是为了解决汽车前向测距的问题。三目摄像头其实就是三个不同焦距单目摄像机的组合，以对3个不同距离范围的障碍物进行摄影成像。例如特斯拉安装在挡风玻璃下方的三目摄像头，三个摄像头的感知范围由远及近，分别为前视窄、前视主及前视宽视野摄像头。特斯拉Autopilot2.0车载三目摄像头课程导入车载摄像头车规级性能要求视觉传感器的类型车载摄像头的特点及应用视觉传感器技术参数车载摄像头的选用标准二、视觉传感器的类型2.1按工作原理分类3、三目摄像头优势：（1）三目摄像头每个相机的视野不同，每个摄像头都能发挥其最大优势。在定位测距方面感知范围更大，也更为准确。劣势：（1）需要同时标定三个摄像机，工作量更大。（2）软件部分需要关联三个摄像机的数据，对算法要求很高。课程导入车载摄像头车规级性能要求视觉传感器的类型车载摄像头的特点及应用视觉传感器技术参数车载摄像头的选用标准二、视觉传感器的类型2.1按工作原理分类4、红外夜视汽车夜视系统是一种利用红外线技术辅助驾驶员在黑夜中看清道路的系统，可以提高行驶安全性，由于其核心部件价格高昂，目前尚未大规模普及，仅搭载于部分高端豪华品牌车型。按技术分类，红外夜视可分为近红外夜视和远红外热成像。课程导入车载摄像头车规级性能要求视觉传感器的类型车载摄像头的特点及应用视觉传感器技术参数车载摄像头的选用标准二、视觉传感器的类型2.1按工作原理分类4、红外夜视课程导入车载摄像头车规级性能要求视觉传感器的类型车载摄像头的特点及应用视觉传感器技术参数车载摄像头的选用标准二、视觉传感器的类型2.1按工作原理分类4、红外摄像头优势：（1）具有全天候工作的能力，不依赖场景的光照条件，凡是温度高于绝对零度的物体，都会辐射红外线。可显著降低夜间驾驶风险。（2）可以穿过烟雾且作用距离远。（3）能够显示物体温度场。劣势：（1）分辨细节能力差。成像无颜色，单色深浅度区别很小，不利于开发以颜色信息为基础的二维图像平面算法。且不能透过透明的障碍物，例如玻璃。（2）目前大多硬件系统功耗、成本都较高。（3）无法测得目标物体深度距离和速度信息。课程导入车载摄像头车规级性能要求视觉传感器的类型车载摄像头的特点及应用视觉传感器技术参数车载摄像头的选用标准二、视觉传感器的类型2.2按安装位置分类1、前视摄像头安装位置：通常安装在在前挡风玻璃、内后视镜处。前视摄像头一般简称为前摄像头。前视摄像头是ADAS的核心摄像头，用于测距、物体识别、道路标线等。前视摄像头处的摄像头数量并不固定，常见的是单目和双目摄像头，现今像特斯拉等车型使用的是三目摄像头。前视摄像头安装位置课程导入车载摄像头车规级性能要求视觉传感器的类型车载摄像头的特点及应用视觉传感器技术参数车载摄像头的选用标准二、视觉传感器的类型2.2按安装位置分类2、侧视摄像头安装位置：左右后视镜处或下方车身处。侧视摄像头主要是用于盲点监测（BSD），根据安装位置又分为侧前视和侧后视。目前大部分主机厂会选择安装在汽车两侧的后视镜下方的位置，未来可能取代后视镜。侧视摄像头安装位置课程导入车载摄像头车规级性能要求视觉传感器的类型车载摄像头的特点及应用视觉传感器技术参数车载摄像头的选用标准二、视觉传感器的类型2.2按安装位置分类3、后视摄像头安装位置：一般安装在尾箱或后挡风玻璃上。后视摄像头主要是用于倒车过程中，便于驾驶员对车尾后面影像的捕捉，实现泊车辅助功能。后视摄像头安装位置课程导入车载摄像头车规级性能要求视觉传感器的类型车载摄像头的特点及应用视觉传感器技术参数车载摄像头的选用标准二、视觉传感器的类型2.2按安装位置分类4、内置摄像头安装位置：无固定安装位置，通常方向盘、内后视镜上方、A柱或仪表显示屏处均有。由于现有自动驾驶仅仅位于L2和L3级，还需要驾驶员干预。这时就需要使用内置摄像头监测驾驶员驾驶状态。实现驾驶员监控系统（DMS）。现有的DMS解决方案主要是采用近红外摄像头的AI识别来完成。此外，还有部分厂商从DMS系统扩展到乘员监测系统（IMS），可以有效避免后排幼儿或儿童被遗忘在车内。内置摄像头安装位置课程导入车载摄像头车规级性能要求视觉传感器的类型车载摄像头的特点及应用视觉传感器技术参数车载摄像头的选用标准二、视觉传感器的类型2.2按安装位置分类5、环视摄像头安装位置：车辆前后车标或格栅以及集成于左右后视镜上。环视摄像头应用于全景式影像监控系统，可以识别停车通道标识以及监测道路情况和周围车辆状况。在图像处理器中进行以下流程：畸变还原→视角转化→图像拼接→图像增强，最终形成一幅车辆四周无缝隙的360度全景俯视图。环视摄像头安装位置课程导入车载摄像头车规级性能要求视觉传感器的类型车载摄像头的特点及应用视觉传感器技术参数车载摄像头的选用标准三、车载摄像头的特点及应用获取物体颜色，距离、纹理、深度、形状等信息量极为丰富实现道路检测、车辆检测、行人检测、交通标志检测等获取范围广相比于雷达，摄像头的本体结构和测试的复杂度都比较小，设计开发周期和成本都相对较低制作工艺简单在智能网联汽车中可以分为前视、后视、侧视、内视和环视。各自实现功能应用广泛随着电子化、信息化与人工技能技术的发展，小型化和嵌入式的视觉传感器得到了广泛应用，人们可以从车载摄像头中获得更智能的结果，即通过摄像头的视场感知驾驶环境。车载摄像头的优点包括：课程导入车载摄像头车规级性能要求视觉传感器的类型车载摄像头的特点及应用视觉传感器技术参数车载摄像头的选用标准三、车载摄像头的特点及应用A受天气、光照变化影响大，极端恶劣天气下摄像头的检测功能会失效B相比于激光雷达和毫米波雷达，摄像头的测距和测速性能差C摄像头采集到的数据