Python人工智能技术与应用 课件 10.【课件】4-1 调研分析计算机视觉技术

《Python人工智能技术与应用》能力模块四

掌握基于深度学习的计算机视觉技术应用任务一调研分析计算机视觉技术TaskImport任务导入某市计划利用最新的自动驾驶技术对全市的公交车进行改造，为公交车增添智能交互功能。现将公交车的智能交互项目招标出去，寻求优秀的解决方案。某自动驾驶科技公司有意竞标这一工程，你作为该公司的计算机视觉实习生需要对计算机视觉技术进行一个调研分析，向市政府相关工作人员介绍你们的方案以及背后运用的技术。素养目标引导问题的过程中，培养学生形成勤于思考的能力获得分析解决问题以及多元化思考解决问题的方法，形成创新意识。TaskObject任务目标知识目标了解计算机视觉的定义。了解计算机视觉的原理。了解计算机视觉技术的发展历程。了解计算机视觉的主要功能。了解计算机视觉的应用。技能目标能够举例至少3条的计算机视觉的应用案例。能够说明计算机视觉如何应用于自动驾驶技术。能够讲解计算机视觉的原理，培养积极进取的职业态度。新

授计算机视觉技术的应用04CONTENTS目录计算机视觉的定义和原理01计算机视觉技术发展历程02计算机视觉的主要功能03计算机视觉的定义与原理01（一）计算机视觉的定义定义应用计算机视觉（ComputerVision，CV）是一门研究如何使机器“看”的科学，更进一步地说，就是指用摄影机和计算机代替人眼对目标进行识别、跟踪和测量等功能实现。计算机视觉是一门涉及图像处理、机器学习和模式识别等技术的多学科交叉学科，是进入二十一世纪之后非常活跃的研究方向。计算机视觉的定义与原理01（二）计算机视觉的原理步骤3.认知图像最后一步是识别一个对象，然后将其分组到单独的类别中。机器通过照片，视频或3D技术获得图像或大量图像以进行进一步分析。1.获取数字图像2.处理图像系统处理图像并将其划分为多个部分以对其进行单独分析。计算机视觉技术发展历程02特征提取传统机器学习中的特征提取技术基于深度学习的计算机视觉基于传统机器学习和基于深度学习的计算机视觉技术典型应用场景0102030402对象描述：应用计算机视觉技术时，研究者需要对研究对象进行描述，以便计算机能够理解和处理研究对象。这个描述的过程即“特征提取”。对象表征：特征提取是计算机视觉中非常重要的一个步骤，找到合适的特征对研究对象进行表征很重要。对象特征：也就是找到一些能够代表研究对象的重要特征，并将它们提取出来。这些特征可能包括颜色、形状、纹理等等，它们能够帮助计算机区分和识别不同的对象。人脸识别：比如在早期的人脸识别中，研究者通过提取出人脸上关键部位和比例构成一个特征向量，并以此训练分类器来实现人脸识别。（一）特征提取计算机视觉技术发展历程02手动设计：传统机器学习中，需要手动设计特征提取器来将输入数据转换为机器学习算法可以处理的格式。（二）传统机器学习中的特征提取技术计算机视觉技术发展历程手动微调:视觉工程师必须决定寻找哪些特征以检测图像中的特定对象，并且为每个类别选择正确的特征。当可能的类别数量增加时，该方法将变得十分复杂。工程师还必须手动微调许多参数，例如颜色，边缘，质地。重新设计和调整:这通常需要领域专业知识和大量试错，而且随着数据集的变化，特征提取器可能需要重新设计和调整。人力成本和时间成本极高。02卷积层可以自动地学习输入数据中的特征，卷积层通过一系列的卷积操作，从输入数据中提取出特征图。卷积操作可以捕捉到输入数据中的局部模式，例如图像中的边缘、角落等。卷积层

深度学习中的卷积神经网络（简称CNN）通过引入卷积层和池化层来解决传统机器学习的特征提取难题。（三）基于深度学习的计算机视觉计算机视觉技术发展历程卷积层池化层02池化层可以对这些特征进行降维和抽象，从而减少模型中的参数数量和计算量。池化层则通过对特征图进行下采样，减少特征图的大小和数量，从而在一定程度上降低了模型的复杂度，避免了过拟合现象。池化层

深度学习中的卷积神经网络（简称CNN）通过引入卷积层和池化层来解决传统机器学习的特征提取难题。（三）基于深度学习的计算机视觉计算机视觉技术发展历程卷积层池化层02

CNN使用“端到端学习”的概念，仅需要告诉算法去学习注意每个特定类的特征。通过分析样本图像，它可以自动得出每个类/对象的最突出和最具描述性的特征。（三）基于深度学习的计算机视觉计算机视觉技术发展历程

传统机器学习算法与深度学习工作原理区别02（四）基于传统机器学习和基于深度学习的计算机视觉技术典型应用场景计算机视觉技术发展历程通常会使用传统方法来处理的其他用例包括：对尺寸和距离进行精确测量。传统机器学习CNN在许多计算机视觉、语音识别和自然语言处理等领域中取得了巨大的成功。它们已经成为了处理复杂数据的强大工具。复杂应用场景下研究者会根据需要设计对受检图像执行不同的测试步骤。例如，在常规读取条码的同时，也要借助深度学习网络对物体进行物体识别和结构检测。CNN02（四）基于传统机器学习和基于深度学习的计算机视觉技术典型应用场景计算机视觉技术发展历程深度学习传统视觉方法典型应用表面检测纹理检测质量控制对象或缺陷分类缺陷（异常值）检测边缘提取光学字符识别(OCR)高精度测量与匹配条码和数据码读取印刷检测3D视觉（机器人视觉）高性能匹配高精准分割应用特点对象可变性高对象方向多变特征不确定未知缺陷足够的可用图像刚性物体有固定位置和方向已知具体特征需要较高透明度当前深度学习与传统机器学习算法技术典型应用场景与应用特点03计算机视觉的主要功能分类（Clas-sification）A分割（Segmentation）D检测（Detection）B图像滤波与降噪E识别（Identification）C图像增强F03计算机视觉的主要功能图像分类，顾名思义，就是一个模式分类问题，它的目标是将不同的图像，划分到不同的类别，实现最小的分类误差。（一）图像分类指将一个物种的分类模型应用于其他物种的分类问题。指将同一类别的物品进一步分成更具体、更具区分度的子类别。此分类方式是一种机器学习问题，其目标是为给定的输入实例（如图像或文本）分配一个或多个类别标签。跨物种分类跨物种分类实例分类03计算机视觉的主要功能图像分类，顾名思义，就是一个模式分类问题，它的目标是将不同的图像，划分到不同的类别，实现最小的分类误差。（一）图像分类03计算机视觉的主要功能分类任务给出的是整张图片的内容描述，而目标检测任务则关注图片中特定的目标。检测任务包含两个子任务，分类任务和定位任务。分类任务指的是目标的类别信息和概率。定位任务指的是目标的具体位置信息。（二）目标检测检测图片中的猫03计算机视觉的主要功能目标跟踪的目的是跟踪一个或多个特定目标在视频中的位置。它可以用来检测和跟踪人脸、车辆、动物等，并且可以跟踪目标的运动轨迹，以及检测目标的行为。目标跟踪常见应用于视频监控系统。其具体表现形式就是视频中运动目标的跟踪，跟踪的结果通常就是一个框。（三）目标跟踪跟踪汽车运行轨迹04计算机视觉技术的应用通过设计机器神经网络，利用海量路测数据进行持续训练，将不同感知任务的网络联合起来，即可构建自动驾驶汽车感知系统。基于计算机视觉的自动驾驶感知系统可分成两类：障碍物感知模块和环境感知模块。（一）计算机视觉与自动驾驶

神经网络对图像、激光雷达、雷达、GNSS数据进行处理04计算机视觉技术的应用（一）计算机视觉与自动驾驶自动驾驶感知系统的障碍物感知模块主要用于检测并跟踪道路上的障碍物，包括其他车辆、行人、建筑物、路标等。

对道路上的车辆进行“检测”04计算机视觉技术的应用（一）计算机视觉与自动驾驶障碍物感知模块通常使用计算机视觉和雷达传感器进行数据采集和处理。采集和处理过后的信息用于自动驾驶车辆的路径规划和决策制定，平稳地避开障碍物，确保在行驶过程中的车辆安全。

计算机视觉“跟踪”其他车辆的运行轨迹04计算机视觉技术的应用（一）计算机视觉与自动驾驶环境感知旨在利用算法识别道路区域、车道线、交通标志、红绿灯等信息，为车辆判断环境，为定位、规划等模块提供信息。

自动驾驶的红绿灯和车牌检测自动驾驶“检测”车道线04计算机视觉技术的应用（一）计算机视觉与自动驾驶自动驾驶汽车可以使用摄像头或激光雷达来检测红绿灯，并依据红绿灯的状态来控制行驶方向。检测交通标志和红绿灯对于自动驾驶汽车而言，车道线的削减可能会带来灾难性的后果。采用分割技术来检测车道线，使得自动驾驶车辆在行驶时保持在规定的车道上，同时还能检测弯道并按照道路转弯，从而为乘客提供安全的行驶体验。检测车道线04计算机视觉技术的应用（二）其他行业应用计算机视觉在农业中的应用主要是用来检测农作物的健康状况、病害的发生和虫害的检测，以及农作物成熟度的评估。农业行业农作物环境检测04计算机视觉技术的应用（二）其他行业应用检测农作物健康状况：农业企业可以使用计算机视觉系统来检测农作物的病害，以及农作物的成熟度。检测系统可以利用摄像头和光学传感器来捕捉农作物的图像，然后利用机器学习算法对图像进行分析，从而发现农作物的健康状况和成熟度。虫害检测：利用摄像头和机器学习算法，研究者可以识别和检测植物上的虫害，及时采取防治措施，以减少农作物的损失。辅助农业除草：如美国的BlueRiverTechnology公司的“See&Spray”除草机器人和日本的AGRIROBO公司的“RoboCafaro”视觉除草机器人。这些机器人具有高精度的视觉感知和定位能力，能够在农田中实现高效、准确的除草操作，从而帮助农民降低劳动成本，提高农业生产效率。04计算机视觉技术的应用（二）其他行业应用美国的BlueRiverTechnology公司的“See&Spray”除草机器人日本的AGRIROBO公司的“RoboCafaro”视觉除草机器人04计算机视觉技术的应用（二）其他行业应用计算机视觉技术可以对结构化的人、车、物等视频内容信息进行快速检索、查询，辅助公安系统在繁杂的监控视频快速搜寻罪犯，通常应用在大量人群流动的交通枢纽