《人工智能应用概论》课件第6章-计算机视觉技术

《人工智能应用概论》第六章计算机视觉技术PART1神经网络与深度学习技术原理

重温五四，你最像哪位文艺青年。

设计上，以白色为背景，红蓝色调交叉，表达出五四青年节的主题。体验上，使用图片识别的技术，识别与用户上传的照片相似的有为青年，是一个很有意思的创意活动。技术上通过人脸检测与分析技术和人脸检索技术，将用户上传的照片与特定形象进行脸部层面的检索对比，通过匹配分析找出数据库中外貌特征与用户最为相似的一张照片。

该创意为后续人工智能娱乐产品设计提供了参考。【案例】66.1 计算机视觉技术原理6.1.1.计算机视觉技术分类1.图像分类

根据各自在图像信息中所反映的不同特征，把不同类别的目标区分开来的图像处理方法。它利用计算机对图像进行定量分析，把图像或图像中的每个像元或区域划归为若干个类别中的某一种，以代替人的视觉判读。66.1 计算机视觉技术原理6.1.1.计算机视觉技术分类1.图像分类目前较为流行的图像分类架构是卷积神经网络（CNN）。66.1 计算机视觉技术原理6.1.1.计算机视觉技术分类2.对象检测识别图像中的对象这一任务，通常会涉及到各个对象输出边界框和标签。对象检测目标是对很多对象进行分类和定位。在多对象检测中，你必须使用边界框检测所给定图像中的所有目标。66.1 计算机视觉技术原理6.1.1.计算机视觉技术分类2.对象检测神经网络研究人员建议使用区域（region）这一概念，这样我们就会找到可能包含对象的“斑点”图像区域。RCNN是将卷积神经网络CNN引入目标检测的开山之作,更快、更高效的检测系统在YouOnlyLookOnce（YOLO），SingleShotMultiBoxDetector（SSD）和基于区域的全卷积网络（R-FCN）算法中尤为明显。66.1 计算机视觉技术原理6.1.1.计算机视觉技术分类3.目标跟踪视觉目标跟踪是计算机视觉中的一个重要研究方向，有着广泛的应用，如：视频监控、人机交互、无人驾驶等。66.1 计算机视觉技术原理6.1.1.计算机视觉技术分类3.目标跟踪视觉目标（单目标）跟踪任务就是在给定某视频序列初始帧的目标大小与位置的情况下，预测后续帧中该目标的大小与位置。输入初始化目标框,在下一帧中产生众多候选框（MotionModel）提取这些候选框的特征（FeatureExtractor）,然后对这些候选框评分（ObservationModel）最后在这些评分中找一个得分最高的候选框,作为预测的目标（PredictionA）66.1 计算机视觉技术原理6.1.1.计算机视觉技术分类4.语义分割语义分割是计算机视觉中十分重要的领域，它是指像素级地识别图像，即标注出图像中每个像素所属的对象类别。66.1 计算机视觉技术原理6.1.1.计算机视觉技术分类4.语义分割简单来说，分割的目标一般是将一张RGB图像(高度x宽度x三通道rgb）或是灰度图（高度x宽度x单通道1）作为输入，输出的是分割图。66.1 计算机视觉技术原理6.1.2.计算机视觉技术发展历程1.5亿4千万年前-寒武纪生命大爆发5亿4千万年前，生物很简单，漂浮着，等待食物漂过嘴边。因为有的生物进化出了眼睛，才促使大爆发的。所以，视觉的诞生促进了生命大爆发.66.1 计算机视觉技术原理6.1.2.计算机视觉技术发展历程1.照相暗盒——为了复制我们看到的世界达芬奇，在植物学，物理，数学，建筑等诸多领域都有很多贡献。这些发明创造被后人编辑成册，称为《大西洋古抄本》。其中就描述了暗盒的装置，它就是照相机的前身。通过小孔成像原理将外部的景象投影在暗盒的另一侧，再透过一个镜面反射到上面的玻璃上就可以进行临摹。66.1 计算机视觉技术原理6.1.2.计算机视觉技术发展历程3.计算机视觉技术萌芽-现代机器视觉技术的产生七八十年代，随着现代电子计算机的出现，计算机视觉技术也初步萌芽。这一阶段的应用主要是一些光学字符识别、工件识别、显微/航空图片的识别等等。九十年代至二十一世纪初，计算机视觉技术取得了更大的发展，广泛应用于工业领域。66.1 计算机视觉技术原理6.1.2.计算机视觉技术发展历程4.人工智能的眼睛-计算机视觉技术

七八十年代，随着现代电子计算机的出现，计算机视觉技术也初步萌芽。这一阶段的应用主要是一些光学字符识别、工件识别、显微/航空图片的识别等等。九十年代，计算机视觉技术取得了更大的发展，广泛应用于工业领域。机器视觉在ILSVRC的比赛成绩屡创佳绩，其错误率已经低于人类视觉66.1 计算机视觉技术原理6.1.2.计算机视觉技术发展历程4.人工智能的眼睛-计算机视觉技术

借助于机器学习与深度学习的力量，自动从海量数据中总结归纳物体的特征，然后进行识别和判断。计算机视觉技术得到了爆发增长和产业化，包括典型的相机人脸检测、安防人脸识别、车牌识别等等。机器视觉在ILSVRC的比赛成绩屡创佳绩，其错误率已经低于人类视觉。图像识别（imageidentification）转向尚待开发的图像理解（imageunderstanding）机器视觉在ILSVRC的比赛成绩屡创佳绩，其错误率已经低于人类视觉66.1 计算机视觉技术原理6.1.3.计算机视觉技术应用场景1.无人驾驶

计算机视觉在无人驾驶中起到了非常关键的作用，比如道路的识别，路标的识别，红绿灯的识别，行人识别等等平常驾驶过程中需要注意的。另外还包括三维重建及自主导航，通过激光雷达或者视觉传感器可以重建三维模型，辅助汽车进行自主定位及导航，进行合理的路径规划和相关决策。机器视觉在ILSVRC的比赛成绩屡创佳绩，其错误率已经低于人类视觉66.1 计算机视觉技术原理6.1.3.计算机视觉技术应用场景2.人脸识别人脸识别技术目前已经研究得相对比较成熟，并在很多地方得到了应用，且人脸识别准确率目前已经高于人眼的识别准确率，很多高铁站及门禁的地方都用到了人脸识别，很多都有刷脸系统，有些城市甚至在银行取钱都可以直接刷脸。fu'zh机器视觉在ILSVRC的比赛成绩屡创佳绩，其错误率已经低于人类视觉66.1 计算机视觉技术原理6.1.3.计算机视觉技术应用场景3. 医疗影像辅助诊断

人工智能技术在医疗影像的应用主要通过机器视觉技术对医疗影像进行快速读片和智能诊断。通过快速准确地标记特定异常结构来提高图像分析的效率，以供放射科医师参考。提高图像分析效率，聚焦在需要更多解读或判断的内容审阅上，从而有望缓解放射科医生供给缺口问题。fu'zh机器视觉在ILSVRC的比赛成绩屡创佳绩，其错误率已经低于人类视觉66.1 计算机视觉技术原理6.1.3.计算机视觉技术应用场景4. 机器视觉及工业检测

智能制造的核心要素之一是传感器技术——机器视觉（MachineVision，MV）则是重中之重。近些年，3D视觉、智能视觉等创新技术为工业自动化打开了“新视界”。眼镜框缩坑视觉检测PART2

预备知识6世界坐标系6.2.1计算机视觉成像6.2预备知识 物体成像6图像：图像可以定义为一个二维函数f(x,y)，其中x和y是空间坐标，而f在任意坐标(x,y)处的幅度称为图像在该点处的亮度（图像的明亮程度）或者灰度。数字图像：指图像f(x,y)在空间坐标和亮度的数字化，数字图像由有限的元素组成，每一个元素都有一个特定的位置和幅值，这些元素称为图片元素、图像元素或像素。数字图像处理：是指借用数字计算机处理数字图像，既包括输入输出都是图像的处理，也包括从图像中提取特征的过程。6.2.2数字图像6.2预备知识 66.2.3图像处理技术6.2预备知识 66.2.3图像处理技术6.2预备知识 车牌检测（PlateDetection）：对一个包含车牌的图像进行分析最终截取出只包含车牌的一个图块66.2 计算机视觉技术原理6.2.4.卷积神经网络卷积神经网络

卷积神经网络（ConvolutionalNeuralNetworks,CNN）是一类包含卷积计算且具有深度结构的前馈神经网络，是深度学习的代表算法之一。卷积神经网络具有表征学习能力，能够按其阶层结构对输入信息进行平移不变分类。66.2 计算机视觉技术原理6.2.4.卷积神经网络图像处理解决方案深度学习图像识别技术，不再有人工特征抽取部分，而是使用多层卷积层来得到更深层次的特征图，这也就是端到端的含义。66.2 计算机视觉技术原理6.2.4.卷积神经网络卷积神经网络的层级结构数据输入层/Inputlayer卷积计算层/CONVlayerReLU激励层/ReLUlayer池化层/Poolinglayer全连接层/FClayer66.2 计算机视觉技术原理6.2.4.卷积神经网络卷积计算层这一层就是卷积神经网络最重要的一个层次，也是“卷积神经网络”的名字来源。在这个卷积层，有两个关键操作：局部关联。每个神经元看做一个滤波器(filter)窗口(receptivefield)滑动，filter对局部数据计算先介绍卷积层遇到的几个名词：深度/depth（解释见下图）步长/stride（窗口一次滑动的长度）填充值/zero-padding66.2 计算机视觉技术原理6.2.4.卷积神经网络卷积计算层卷积层中每一个节点的输入只是上一层神经网络的一小块，这个小块常用的大小有3×3或者5×5。卷积层试图将神经网络中的每一小块进行更加深入地分析从而得到抽象程度更高的特征。66.2 计算机视觉技术原理6.2.4.卷积神经网络卷积计算层5*5的图片（一个格子一个像素），滑动窗口取2*2，步长取2，则还剩下1个像素没法滑完，那怎么办呢？

填充值的作用在原先的矩阵加了一层填充值，变成6*6的矩阵，那么窗口就可以刚好把所有像素遍历完。66.2 计算机视觉技术原理6.2.4.卷积神经网络ReLU激励层CNN采用的激励函数一般为ReLU(TheRectifiedLinearUnit/修正线性单元)，它的特点是收敛快，求梯度简单。66.2 计算机视觉技术原理6.2.4.卷积神经网络池化层池化层夹在连续的卷积层中间，用于压缩数据和参数的量，减小过拟合，但不会改变图像的深度。简而言之，池化层的最主要作用就是压缩图像，将一张分辨率较高的图片转化为分辨率较低的图片。66.2 计算机视觉技术原理6.2.4.卷积神经网络全连接层在经过多轮卷积层和池化层的处理之后，在卷积神经网络的最后一般会是由1到2个全连接层来给出最后的分类结果。其中Softmax主要用于分类问题，通过Softmax函数，可以得到当前样本属于不同种类的概率分布情况。PART3

小试牛刀66.3小试牛刀 6.3.1卷积神经网络解释器（cnn-explainer）CNN解释器（cnn-explainer）在线交互可视化工具是一个通过网页浏览器就可以训练的简单神经网络并实现了可视化训练过程的工具。这个解释器展示了一个10层的神经网络，包含卷积层、激活函数、池化层等多个概念。能显示它的输入是哪些、经过了怎样细微的变化，就能了解CNN究竟是怎么回事，为什么可以辨识物品。66.3小试牛刀 6.3.1卷积神经网络解释器（cnn-explainer）66.3小试牛刀 6.3.2卷积神经网络解释器应用分析默认10类图片输入层:输入的图片经过裁剪，大小为64x64,Red、Green、Blue分别为彩色图像的三个通道66.3小试牛刀 6.3.2卷积神经网络解释器应用分析卷积层卷积层为conv_1_1(62,62,10)，其中62x62为图像大小，10表示有10个神经元。因为这里设置了10个不同的卷积核，分别对输入图像提取特征，结果就得到10个特征图（10个神经元）特征图特征提取66.3小试牛刀 6.3.2卷积神经网络解释器应用分析激活函数层relu_1_1(62,62,10)，表示对卷积结果conv_1_1(62,62,10)输出的10张特征图进行激活

66.3小试牛刀 6.3.2卷积神经网络解释器应用分析池化层

66.3小试牛刀 6.3.2卷积神经网络解释器应用分析全连接输出层

【本章小结】