项目二任务1：认识视觉传感器（课件）

认识视觉传感器智能汽车传感器应用技术思考讨论题（2分钟）一、课程导入你知道有哪些领域会应用视觉传感器吗？答：分检、检测、计量、测量、定向等多个领域。康耐视推出彩色视觉传感器用于检测工作课程导入视觉传感器的缺点视觉传感器的概念视觉传感器的结构组成视觉传感器的类型视觉传感器的特点视觉传感器的应用总结视觉传感器的工作流程二、视觉传感器的概念视觉传感器是指通过对摄像头拍摄到的图像进行图像处理，对目标进行检测，并输出数据和判断结果的传感器。视觉传感器在智能网联汽车或无人驾驶汽车上的应用是以摄像头的形式出现，并搭载先进的人工智能算法，便于目标检测和图像处理。获取图像摄像头图像课程导入视觉传感器的缺点视觉传感器的概念视觉传感器的结构组成视觉传感器的类型视觉传感器的特点视觉传感器的应用总结视觉传感器的工作流程三、视觉传感器的结构组成视觉传感器主要由光源、镜头、图像传感器、模数转换器、图像处理器、图像存储器等组成。视觉传感器的结构课程导入视觉传感器的缺点视觉传感器的概念视觉传感器的结构组成视觉传感器的类型视觉传感器的特点视觉传感器的应用总结视觉传感器的工作流程三、视觉传感器的结构组成3.1镜头镜头的主要功能是捕捉图像并将其传递给相机中的图像传感器。摄像镜头通常由一组透镜组成，这是因为不同颜色的光由于波长不同所以经过单一凸透镜的屈光度（折射率）也不同，造成不同颜色的光焦点不同，无法在同一个屏幕上进行成像。课程导入视觉传感器的缺点视觉传感器的概念视觉传感器的结构组成视觉传感器的类型视觉传感器的特点视觉传感器的应用总结视觉传感器的工作流程三、视觉传感器的结构组成3.1镜头镜头的光学质量和价格各不相同，所使用的镜头决定了所捕获图像的质量和分辨率。根据视角大小和焦距可将镜头分为标准、广角、鱼眼和远摄镜头。不同镜头的成像效果远摄镜头广角镜头鱼眼镜头标准镜头课程导入视觉传感器的缺点视觉传感器的概念视觉传感器的结构组成视觉传感器的类型视觉传感器的特点视觉传感器的应用总结视觉传感器的工作流程三、视觉传感器的结构组成3.1镜头1、标准镜头标准镜头（视场角在53°左右）是指能够再现人眼在正常条件下看起来“自然的”视角的镜头。以35mm底片格式（24x36mm）举例，其对角线43.3mm，相对应的标准镜头焦距是50mm，但是焦距在40至58mm之间的摄影镜头都可以认为是标准镜头。标准镜头课程导入视觉传感器的缺点视觉传感器的概念视觉传感器的结构组成视觉传感器的类型视觉传感器的特点视觉传感器的应用总结视觉传感器的工作流程三、视觉传感器的结构组成3.1镜头2、广角镜头广角镜头（视场角≥90°）是一种焦距短于标准镜头、视角大于标准镜头的摄影镜。广角镜头又分为普通广角镜头和超广角镜头两种。广角镜头焦距很短，视角较宽，而景深却很深，比较适合拍摄较大场景的照片，如建筑、风景等题材。Olympus广角镜头徕卡19mm超广角镜头课程导入视觉传感器的缺点视觉传感器的概念视觉传感器的结构组成视觉传感器的类型视觉传感器的特点视觉传感器的应用总结视觉传感器的工作流程三、视觉传感器的结构组成3.1镜头3、鱼眼镜头鱼眼镜头（视场角≥180°）是一种焦距为16mm或更短的并且视角在180°左右。鱼眼镜头属于超广角镜头中的一种特殊镜头，它的视角力求达到或超出人眼所能看到的范围。鱼眼镜头的成像有两种，一种像其他镜头一样，成像充满画面，称为对角线鱼眼镜头；另一种成像为圆形，称为圆形鱼眼镜头。无论哪种成像，用鱼眼镜头所摄的像，变形相当厉害，透视汇聚感强烈。对角线鱼眼镜头效果圆形鱼眼镜头效果尼柯尔6毫米/F2.8鱼眼镜头课程导入视觉传感器的缺点视觉传感器的概念视觉传感器的结构组成视觉传感器的类型视觉传感器的特点视觉传感器的应用总结视觉传感器的工作流程三、视觉传感器的结构组成3.1镜头4、远摄镜头远摄镜头（视场角≤20°）的焦距一般在50mm以上，其特点为焦距长，视角狭窄，景深短，把被摄体聚焦点前后的清晰范围限制在一定尺度内，用来突出被聚焦的部分。远摄镜头课程导入视觉传感器的缺点视觉传感器的概念视觉传感器的结构组成视觉传感器的类型视觉传感器的特点视觉传感器的应用总结视觉传感器的工作流程三、视觉传感器的结构组成3.1镜头镜头还可按照调焦类型、接口类型、光圈类型以及清晰度分类。镜头分类清晰度光圈类型130万像素300万像素200万像素标清500万像素自动光圈手动光圈固定光圈接口类型CS接口C接口M12接口φ14接口调焦类型变焦定焦分类项分类课程导入视觉传感器的缺点视觉传感器的概念视觉传感器的结构组成视觉传感器的类型视觉传感器的特点视觉传感器的应用总结视觉传感器的工作流程三、视觉传感器的结构组成3.2图像传感器课程导入视觉传感器的缺点视觉传感器的概念视觉传感器的结构组成视觉传感器的类型视觉传感器的特点视觉传感器的应用总结视觉传感器的工作流程【人才战略：CMOS图像传感器】人类获取信息80%以上依赖视觉，CMOS图像传感器是机器视觉信息获取的核心部件。图像传感器市场持续繁荣，年增长速度达到了9%，预计到2022年市场规模达到190亿美元。作为传感器研制的领头羊之一，索尼公司决定将进一步完善图像传感器的研发体制。除了日本本土一直负责基础研究之外，索尼拟将在美欧等地设立基地；且计划在3年内投人约6000亿日元用于传感器的设备投资。为了实现这一目标，索尼决定招募更多传感器研发工程师，只是日本本土人才缺乏，一名不愿意透露名字的高管表示，日本空缺的职位是求职者数量的四倍多，索尼只好计划未来2、3年内在欧洲、美国开设新研发中心。此外，索尼还计划增加中国技术支持人员，加深与中国企业合作关系。对比我国的现状，我国CMOS传感器行业起步较晚，行业参与企业数量较少，原因在于CMOS传感器属于可大规模批量生产的半导体产业，具有显著的规模效应，需要CMOS传感器供应商稳定的前期投入作为研发基础，导致行业准入壁垒高。近年来国家把CMOS图像传感器作为国家重大发展战略和国家经济主战场的重要角色，发布多项产业政策，以加大对CMOS传感器行业的支持力度、规范CMOS传感器行业生产工艺标准，实现中国CMOS传感器行业健康发展。如今，以往CMOS市场索尼一家独大的情况正在发生改变，以格科微、思特威等企业为代表的本土生产企业在经过连续多年的技术追赶后，凭借较低的产品成本、丰富的营销渠道及全面的售后网络，具备潜力取代国际竞争厂商，成为行业的头部企业。图像传感器设计与制造涉及学科多，要求知识面广，新技术层出不穷，导致高端人才偏少。占多数的传感器中小企业找不到理想人才，行业整体缺乏领军人才和优秀企业家。而这一现状，给了我们大学生一定的机会，我们完全有机会在行业技术研发、检测等平台上施展才华，独立自主培养传感技术后备人才。三、视觉传感器的结构组成3.2图像传感器图像传感器是视觉传感器最核心的器件。视觉传感器捕捉目标物体图像的能力不仅取决于镜头，而且还取决于视觉传感器内的图像传感器。图像传感器技术分为电荷耦合器件（CCD）和互补金属氧化物半导体（CMOS）两种。CMOS传感器CCD传感器课程导入视觉传感器的缺点视觉传感器的概念视觉传感器的结构组成视觉传感器的类型视觉传感器的特点视觉传感器的应用总结视觉传感器的工作流程三、视觉传感器的结构组成3.2图像传感器1、CCD传感器CCD代表电荷耦合器件。CCD的工作原理是将光子信号转换成电子包并传送到一个共同输出结构，然后把电荷转换成电压信号。最终这些信号会输送到缓冲器并存储到芯片外。CCD传感器使用NMOS制造技术，具有非常高的质量和光敏感性，能够以较低的噪音提供清晰的图像。而这也大大提升了它的制造成本。且CCD传感器的芯片体积及功耗较大。CCD传感器结构课程导入视觉传感器的缺点视觉传感器的概念视觉传感器的结构组成视觉传感器的类型视觉传感器的特点视觉传感器的应用总结视觉传感器的工作流程三、视觉传感器的结构组成3.2图像传感器1、CCD传感器CCD传感器工作过程视频链接：/x/page/t06430n6yyr.html课程导入视觉传感器的缺点视觉传感器的概念视觉传感器的结构组成视觉传感器的类型视觉传感器的特点视觉传感器的应用总结视觉传感器的工作流程三、视觉传感器的结构组成3.2图像传感器2、CMOS传感器CMOS代表互补金属氧化物半导体，这是一种为数字集成电路的标准CMOS工艺技术。与CCD传感器不同的是，它嵌入了模数转换器等系统级芯片来实现后处理功能，增加了传感器的复杂性。它则具有低成本、低功耗、以及高整合度的特点。现今车载摄像头主要应用的是CMOS传感器。CMOS传感器结构课程导入视觉传感器的缺点视觉传感器的概念视觉传感器的结构组成视觉传感器的类型视觉传感器的特点视觉传感器的应用总结视觉传感器的工作流程三、视觉传感器的结构组成3.2图像传感器2、CMOS传感器CMOS传感器工作流程视频流程：/x/page/l0643d8a6lk.html课程导入视觉传感器的缺点视觉传感器的概念视觉传感器的结构组成视觉传感器的类型视觉传感器的特点视觉传感器的应用总结视觉传感器的工作流程三、视觉传感器的结构组成3.2图像传感器3、CCD传感器与CMOS传感器对比课程导入视觉传感器的缺点视觉传感器的概念视觉传感器的结构组成视觉传感器的类型视觉传感器的特点视觉传感器的应用总结视觉传感器的工作流程三、视觉传感器的结构组成3.3模数转换器模数转换器（ADC）的主要功能是将时间连续、幅值也连续的模拟信号转换为时间离散、幅值也离散的数字信号，然后输出到图像处理器或独立于CMOS传感器的其他设备。模数转换器一般要经过取样、保持、量化及编码4个过程。在实际电路中，这些过程有的是合并进行的，例如，取样和保持，量化和编码往往都是在转换过程中同时实现的。模数转换器课程导入视觉传感器的缺点视觉传感器的概念视觉传感器的结构组成视觉传感器的类型视觉传感器的特点视觉传感器的应用总结视觉传感器的工作流程三、视觉传感器的结构组成3.4图像处理器图像处理器（ISP）主要用来对前端图像传感器输出信号处理的单元，该设备将数字信号转换或进一步处理为最终用户可以查看的内容。图像处理器图像处理器工作流程课程导入视觉传感器的缺点视觉传感器的概念视觉传感器的结构组成视觉传感器的类型视觉传感器的特点视觉传感器的应用总结视觉传感器的工作流程四、视觉传感器的工作流程被拍摄的目标物体通过镜头产生的光学图像投射到图像传感器表面上，然后转化为电信号，经过模数转换器转换后变为数字图像信号，再送到图像处理器中加工处理再通过图像储存器进行压缩得到目标物体图像。视觉传感器的工作流程拍摄对象镜头快门光圈拜尔滤光片感光材料放大ADC(模拟数据数字化)彩色插值效果处理压缩储存自然光，闪光+图像传感器=>原始数据通过马达自动调焦JPG文件图像处理器=>RGB数据课程导入视觉传感器的缺点视觉传感器的概念视觉传感器的结构组成视觉传感器的类型视觉传感器的特点视觉传感器的应用总结视觉传感器的工作流程五、视觉传感器的类型4.1按工作原理分类1、单目摄像头单目摄像机模组只包含一个摄像机和一个镜头。测距原理：先通过图像匹配进行目标识别（汽车、行人和物体等），再根据目标在图像中的大小估算目标距离。松下车载单目摄像头单目摄像头模组课程导入视觉传感器的缺点视觉传感器的概念视觉传感器的结构组成视觉传感器的类型视觉传感器的特点视觉传感器的应用总结视觉传感器的工作流程五、视觉传感器的类型4.1按工作原理分类1、单目摄像头优势：（1）系统结构相对简单，成本较低。（2）算法成熟度高。劣势：（1）无法对非标准障碍物进行判断识别。需要不断更新和维护一个庞大的样本数据库，才能保证系统达到较高的识别率。（2）视野取决于镜头，车载摄像头是定焦的，它无法像人眼一样快速变焦。（3）测距精度低。距离并非真正意义上的测量。课程导入视觉传感器的缺点视觉传感器的概念视觉传感器的结构组成视觉传感器的类型视觉传感器的特点视觉传感器的应用总结视觉传感器的工作流程五、视觉传感器的类型4.1按工作原理分类2、双目摄像头双目摄像头的原理与人眼相似。人眼能够感知物体的远近，是由于两只眼睛对同一个物体呈现的图像存在差异，也称“视差”。物体距离越远，视差越小；反之，视差越大。双目摄像头测距原理双目摄像头课程导入视觉传感器的缺点视觉传感器的概念视觉传感器的结构组成视觉传感器的类型视觉传感器的特点视觉传感器的应用总结视觉传感器的工作流程五、视觉传感器的类型4.1按工作原理分类2、双目摄像头测距步骤：相机标定——双目校正——双目匹配——计算深度信息（测距）课程导入视觉传感器的缺点视觉传感器的概念视觉传感器的结构组成视觉传感器的类型视觉传感器的特点视觉传感器的应用总结视觉传感器的工作流程五、视觉传感器的类型4.1按工作原理分类2、双目摄像头优势：（1）直接利用视差计算距离，精度比单目高能够精准检测各类高处障碍物,例如各类限高杆，桥洞、隧道的高度与距离等信息。（2）无需维护样本数据库，因为对于双目没有样本的概念。（3）高性价比，检测效果受雨，雪，雾以及目标材质的影响相对单目相机小。劣势：（1）计算量非常大，对计算单元的性能要求非常高。（2）双目视觉系统通过估计视差来测距，而视差是通过立体匹配算法得来的，立体匹配是计算机视觉典型的难题。（3）双目测距原理对两个镜头的安装位置和距离要求较多。标定难度大。课程导入视觉传感器的缺点视觉传感器的概念视觉传感器的结构组成视觉传感器的类型视觉传感器的特点视觉传感器的应用总结视觉传感器的工作流程五、视觉传感器的类型4.1按工作原理分类3、三目摄像头三目摄像头诞生的目的是为了解决汽车前向测距的问题。三目摄像头其实就是三个不同焦距单目摄像机的组合，以对3个不同距离范围的障碍物进行摄影成像。例如特斯拉AutoPilot2.0安装在挡风玻璃下方的三目摄像头，三个摄像头的感知范围由远及近，分别为前视窄、前视主及前视宽视野摄像头。特斯拉Autopilot2.0车载三目摄像头课程导入视觉传感器的缺点视觉传感器的概念视觉传感器的结构组成视觉传感器的类型视觉传感器的特点视觉传感器的应用总结视觉传感器的工作流程五、视觉传感器的类型4.1按工作原理分类3、三目摄像头优势：（1）三目摄像头每个相机的视野不同，每个摄像头都能发挥其最大优势。在定位测距方面感知范围更大，也更为准确。劣势：（1）需要同时标定三个摄像机，工作量更大。（2）软件部分需要关联三个摄像机的数据，对算法要求很高。课程导入视觉传感器的缺点视觉传感器的概念视觉传感器的结构组成视觉传感器的类型视觉传感器的特点视觉传感器的应用总结视觉传感器的工作流程五、视觉传感器的类型4.1按工作原理分类4、红外夜视汽车夜视系统是一种利用红外线技术辅助驾驶员在黑夜中看清道路的系统。可以提高行驶安全性。由于其核心部件价格高昂，目前尚未大规模普及，仅搭载于部分高端豪华品牌车型。课程导入视觉传感器的缺点视觉传感器的概念视觉传感器的结构组成视觉传感器的类型视觉传感器的特点视觉传感器的应用总结视觉传感器的工作流程五、视觉传感器的类型4.1按工作原理分类4、红外摄像头优势：（1）具有全天候工作的能力，不依赖场景的光照条件，凡是温度高于绝对零度的物体，都会辐射红外线。可显著降低夜间驾驶风险。（2）可以穿过烟雾且作用距离远。（3）能够显示物体温度场。劣势：（1）分辨细节能力差。成像无颜色，单色深浅度区别很小，不利于开发以颜色信息为基础的二维图像平面算法。且不能透过透明的障碍物，例如玻璃。（2）目前大多硬件系统功耗、成本都较高。（3）无法测得目标物体深度距离和速度信息。课程导入视觉传感器的缺点视觉传感器的概念视觉传感器的结构组成视觉传感器的类型视觉传感器的特点视觉传感器的应用总结视觉传感器的工作流程五、视觉传感器的类型4.2按安装位置分类1、前视摄像头安装位置：一般在前挡风玻璃、内后视镜处。一般简称为前摄像头。前视摄像头是ADAS的核心摄像头，用于测距、物体识别、道路标线等。前视摄像头处的摄像头数量并不固定，常见的是单目和双目摄像头，双目摄像头测距性能更好，但算法更复杂、价格更高。现今像特斯拉等车型使用了三目摄像头。前视摄像头安装位置课程导入视觉传感器的缺点视觉传感器的概念视觉传感器的结构组成视觉传感器的类型视觉传感器的特点视觉传感器的应用总结视觉传感器的工作流程五、视觉传感器的类型4.2按安装位置分类2、侧视摄像头安装位置：左右后视镜处或下方车身处。侧视摄像头主要是用于盲点监测（BSD），根据安装位置又分为侧前视和侧后视。目前大部分主机厂会选择安装在汽车两侧的后视镜下方的位置，未来可能取代倒后镜。侧视摄像头安装位置课程导入视觉传感器的缺点视觉传感器的概念视觉传感器的结构组成视觉传感器的类型视觉传感器的特点视觉传感器的应用总结视觉传感器的工作流程五、视觉传感器的类型4.2按安装位置分类3、后视摄像头安装位置：一般安装在尾箱或后挡风玻璃上。后视摄像头主要是用于倒车过程中，便于驾驶员对车尾后面影像的捕捉，实现泊车辅助功能。后视摄像头安装位置课程导入视觉传感器的缺点视觉传感器的概念视觉传感器的结构组成视觉传感器的类型视觉传感器的特点视觉传感器的应用总结视觉传感器的工作流程五、视觉传感器的类型4.2按安装位置分类4、内置摄像头安装位置：无固定位置，方向盘中、内后视镜上方、A柱或集成于仪表显示屏处均有。由于现有自动驾驶仅仅位于L2-3级，还需要驾驶员干预。这时就需要使用内置摄像头监测驾驶员驾驶状态。实现驾驶员监控系统（DMS）。现有的DMS解决方案主要是采用近红外摄像头的AI识别来完成。此外，还有部分厂商从DMS系统扩展到乘员监测系统（IMS），可以有效避免后排幼儿或儿童被遗忘在车内。内置摄像头安装位置课程导入视觉传感器的缺点视觉传感器的概念视觉传感器的结构组成视觉传感器的类型视觉传感器的特点视觉传感器的应用总结视觉传感器的工作流程五、视觉传感器的类型4.2按安装位置分类5、环视摄像头安装位置：车辆前后车标或格栅以及集成于左右后视镜上的一组摄像头。环视摄像头应用于全景式影像监控系统，可以识别停车通道标识以及监测道路情况和周围车辆状况。在图像处理器中进行以下流程：畸变还原→视角转化→图像拼接→图像增强，最终形成一幅车辆四周无缝隙的360度全景俯视图。环视摄像头安装位置课程导入视觉传感器的缺点视觉传感器的概念视觉传感器的结构组成视觉传感器的类型视觉传感器的特点视觉传感器的应用总结视觉传感器的工作流程六、视觉传感器的特点获取物体颜色，距离、纹理、深度、形状等信息量极为丰富实现道路检测、车辆检测、行人检测、交通标志检测等获取范围广相比于雷达，摄像头的本