人工智能课件-11机器视觉

第11章机器视觉第11章机器视觉1计算机视觉的任务计算机视觉通过对三维世界所感知的二维图像来研究和提取出三维景物世界的物理结构。视觉过程是成像过程的逆过程，其目的是从带噪声、畸变的二维灰度图像中恢复三维场景的有关信息。第11章机器视觉研究的核心问题在成像过程中，不可避免的要丢失一部分重要信息，正是这种丢失信息的恢复形成了计算机视觉研究中的核心问题---从景物图像或序列图像求出景物的精确的三维几何描述，并定量地确定景物中物体的空间性质。计算机视觉的任务第11章机器视觉研究的核心问题2计算机视觉的理论80年代马尔(Marr)提出了视觉的计算理论，把视觉过程看作是一个信号处理过程，并把这一过程分为三个层次：①计算理论；②算法与数据结构；③硬件实验。在计算理论层次，把视觉过程主要地规定为定量地恢复出图像所反映的场景中的三维物体的形状和空间位置，以及将这一恢复过程分成三个阶段：①.要素图(初始简图)；②2.5维图(二维半简图)；③三维图。第11章机器视觉计算机视觉的理论第11章机器视觉3景物图像初始简图2.5维简图三维简图特征提取算法外形立体运动纹理？视觉信息的表达层次第11章机器视觉景初2.5三特征提外形？视觉信息的表达层次第11章机器视觉4第一节图像的理解与分析涉及的问题：图像表征、边缘检测、图像分割、形状描述与分析、视觉的三维感知。一、边缘距离的计算1、图像辉亮边缘的平均与差分I理想的边缘亮度变化实际的边缘亮度变化

边缘检测方法中，必须既能检测出强度的非连续性，又要能同时确定它们的精确位置。为了抑制无关的细节和噪声，需要对图像进行某种局部平均或平滑。在一幅图像中，边缘有方向和幅度两个特性。沿边缘走向的灰度变第一节图像的理解与分析涉及的问题：图像表征、边缘检5第一节图像的理解与分析化平缓，而垂直于边缘的走向的灰度变化剧烈。在边缘上灰度的一阶导数幅值较大，而二阶导数在边缘上的值为0，其左右分别为一正一负两个峰，即，边缘点对应于一阶导数幅度大的点，也对应于二阶导数为0的交叉点。一种处理具有噪声影响的算法：(1)从图像建立平均亮度阵列。Ai=Ii-1+Ii+Ii+13第一节图像的理解与分析化平缓，而垂直于边缘的走向的灰度变化6第一节图像的理解与分析(2)从平均亮度阵列产生一阶差分阵列。Fi=(Ai+1-Ai)+(Ai–Ai-1)2=(Ai+1-Ai-1)2(3)从一阶差分阵列产生二阶差分阵列。Si=(Si+1-Si)+(Si–Si-1)2=(Si+1-Si-1)2(4)据所得阵列，记下峰值和过0点，寻求边缘信号的集合。第一节图像的理解与分析(2)从平均亮度阵列产生一阶差分阵列7第一节图像的理解与分析2、物体距离的确定立体视觉由两眼得到的信息来确定。由于两眼间的距离是已知的，因此，一旦在两眼所得图像中找到得物体得位置，即可求出观察者到此物体得距离。P眼睛aLbrβdf由相似关系得到：距离:d=fbα+β第一节图像的理解与分析2、物体距离的确定P眼睛aLbrβd8第一节图像的理解与分析二、表面方向的计算通过图像的明暗度可以计算出图像表面的方向信息.1、反射图体现光照约束光源观察者光源、观察者与表面法线间的相对角度ieg郎伯表面：在平行光照明的条件下，从所有可能位置观察到的亮度都相等的表面。它的亮度只由光源的方向决定。满足关系式：E=ρcos(i)ρ是与材料有关的常量。第一节图像的理解与分析二、表面方向的计算光源观察者光源、观9第一节图像的理解与分析2、表面方向的确定对于物体表面上的一个点，可用一个切面表示，设切面坐标轴为F和G。表面方向的确定即是从感测到的表面亮度来计算表面方向，即f和g的值。计算的约束条件：(1)亮度。由f和g所确定的表面方向应与表面亮度所要求的表面方向无多大不同；(2)表面平滑度。一点的表面方向应与邻近各点的表面方向无多大变化。第一节图像的理解与分析2、表面方向的确定10第一节图像的理解与分析可采用松弛算法计算：(1)对所有非边界点，令f=0,g=0。对所有边界点，令f和g规定一个长度为2的垂直于边界的矢量。称输入阵列为当前阵列。(2)进行下列步骤(直到所有的值变化的足够慢为止)(a)对当前阵列的每个点①.如果是边界点，则不做任何事②.如果是非边界点，则用松弛公式计算新的f和g。(b)把所得新阵列称为当前阵列。第一节图像的理解与分析可采用松弛算法计算：11第二节视觉的知识表示与控制策略一、视觉信息的语义网络表示在视觉领域中，知识的表达方法可能事模拟的，也可能是命题逻辑的。模拟的知识表达方法可以表示物体的重要物理和几何特性。命题逻辑表达方法则是一些说明有关的事物是真或假的陈述。通常可以把一种表达方法转换为另一种表达方法，而不损失任何信息。第二节视觉的知识表示与控制策略一、视觉信息的语义网络表示12第二节视觉的知识表示与控制策略用语义网络表示视觉信息具有下列特点(1)语义网络是一种方便的存取模拟知识的表达方式，以及命题逻辑的知识表达的数据结构；(2)可作为反映事物之间相互关系的模拟结构；(3)可用作一种具有特殊的推理规则的命题逻辑的表达方法。第二节视觉的知识表示与控制策略用语义网络表示视觉信息具有下13第二节视觉的知识表示与控制策略例、用语义网络表示“在道路57与河流3交叉处的桥梁位于建筑物30附近”道路57建筑物30河流3道路建筑物附近桥梁交叉河流结果结果第二节视觉的知识表示与控制策略例、用语义网络表示“在14第二节视觉的知识表示与控制策略二、位置网络表示位置网络可以把几何的和模拟的数据与一个语义网络相结合。位置网络是一组几何点的网络表示。这组几何点由集合理论以及集合的交运算、并运算、距离计算等几何运算联系在一起。这些运算相当于有关物体位置的限制，由思维方面的或物理方面的因素决定。推理是由对网络进行求值来进行的，即对网络中所有的运算求值，以求取根节点运算的点集。第二节视觉的知识表示与控制策略二、位置网络表示15第二节视觉的知识表示与控制策略三、视觉系统的控制策略策略：(1)图像数据驱动(2)内部模型驱动(3)非层次控制第二节视觉的知识表示与控制策略三、视觉系统的控制策略16第三节物体形状的分析与识别识别：通过比较物体的描述与存储在计算机内部的模型来进行识别---模式识别技术。一、复杂形状物体的表示1、曲线形状的描述与量度(1)曲线的存储方法

直接方法：依次存储曲线上各点的坐标---太浪费

改进方法：存储起点坐标和其他点的增量---链式代码设两条链式代码表示的曲线为：a和b，则相似度为Cab=1n∑aibi第三节物体形状的分析与识别识别：通过比较物体的描述与存储在17第三节物体形状的分析与识别(2)曲线的近似描述一般方法：方法1：把曲线展开正交级数；方法2：分割为简单的曲线段----样条曲线。另一种方法：迭代端点拟合法原理：用直线把给定曲线上的各段端点连接起来，并寻找曲线上与该直线距离最远的点，如果该距离不在可接受范围内，则在最大偏离点处把该曲线分割为两段。第三节物体形状的分析与识别(2)曲线的近似描述18第三节物体形状的分析与识别(3)曲线形状分析量度法把一些与某曲线的分析近似法有关的系数用来表示该曲线形状的特征。通过比较分析这些特征，即可确定曲线的形状。如果是多参数曲线，可进行适当的变换，将之变换为单参数曲线形式。第三节物体形状的分析与识别(3)曲线形状分析量度法19第三节物体形状的分析与识别2、面积形状的描述与量度(1)简单形状的量度关系式：[面积×周长2]近似是一个固定值。(2)面积分析法借助于某些基本函数对图形展开或近似而得到的系数，可用于对图形形状进行分析量度。第三节物体形状的分析与识别2、面积形状的描述与量度20第三节物体形状的分析与识别二、三维物体的形状描述1、物体形状的广义锥体表示2、广义锥体描述的计算(1)拟合表面数据(2)采用物体边界第三节物体形状的分析与识别二、三维物体的形状描述21第三节物体形状的分析与识别三、物体形状识别方法结构匹配：1、字符串匹配2、松弛匹配3、图的匹配第三节物体形状的分析与识别三、物体形状识别方法22第11章机器视觉第11章机器视觉23计算机视觉的任务计算机视觉通过对三维世界所感知的二维图像来研究和提取出三维景物世界的物理结构。视觉过程是成像过程的逆过程，其目的是从带噪声、畸变的二维灰度图像中恢复三维场景的有关信息。第11章机器视觉研究的核心问题在成像过程中，不可避免的要丢失一部分重要信息，正是这种丢失信息的恢复形成了计算机视觉研究中的核心问题---从景物图像或序列图像求出景物的精确的三维几何描述，并定量地确定景物中物体的空间性质。计算机视觉的任务第11章机器视觉研究的核心问题24计算机视觉的理论80年代马尔(Marr)提出了视觉的计算理论，把视觉过程看作是一个信号处理过程，并把这一过程分为三个层次：①计算理论；②算法与数据结构；③硬件实验。在计算理论层次，把视觉过程主要地规定为定量地恢复出图像所反映的场景中的三维物体的形状和空间位置，以及将这一恢复过程分成三个阶段：①.要素图(初始简图)；②2.5维图(二维半简图)；③三维图。第11章机器视觉计算机视觉的理论第11章机器视觉25景物图像初始简图2.5维简图三维简图特征提取算法外形立体运动纹理？视觉信息的表达层次第11章机器视觉景初2.5三特征提外形？视觉信息的表达层次第11章机器视觉26第一节图像的理解与分析涉及的问题：图像表征、边缘检测、图像分割、形状描述与分析、视觉的三维感知。一、边缘距离的计算1、图像辉亮边缘的平均与差分I理想的边缘亮度变化实际的边缘亮度变化

边缘检测方法中，必须既能检测出强度的非连续性，又要能同时确定它们的精确位置。为了抑制无关的细节和噪声，需要对图像进行某种局部平均或平滑。在一幅图像中，边缘有方向和幅度两个特性。沿边缘走向的灰度变第一节图像的理解与分析涉及的问题：图像表征、边缘检27第一节图像的理解与分析化平缓，而垂直于边缘的走向的灰度变化剧烈。在边缘上灰度的一阶导数幅值较大，而二阶导数在边缘上的值为0，其左右分别为一正一负两个峰，即，边缘点对应于一阶导数幅度大的点，也对应于二阶导数为0的交叉点。一种处理具有噪声影响的算法：(1)从图像建立平均亮度阵列。Ai=Ii-1+Ii+Ii+13第一节图像的理解与分析化平缓，而垂直于边缘的走向的灰度变化28第一节图像的理解与分析(2)从平均亮度阵列产生一阶差分阵列。Fi=(Ai+1-Ai)+(Ai–Ai-1)2=(Ai+1-Ai-1)2(3)从一阶差分阵列产生二阶差分阵列。Si=(Si+1-Si)+(Si–Si-1)2=(Si+1-Si-1)2(4)据所得阵列，记下峰值和过0点，寻求边缘信号的集合。第一节图像的理解与分析(2)从平均亮度阵列产生一阶差分阵列29第一节图像的理解与分析2、物体距离的确定立体视觉由两眼得到的信息来确定。由于两眼间的距离是已知的，因此，一旦在两眼所得图像中找到得物体得位置，即可求出观察者到此物体得距离。P眼睛aLbrβdf由相似关系得到：距离:d=fbα+β第一节图像的理解与分析2、物体距离的确定P眼睛aLbrβd30第一节图像的理解与分析二、表面方向的计算通过图像的明暗度可以计算出图像表面的方向信息.1、反射图体现光照约束光源观察者光源、观察者与表面法线间的相对角度ieg郎伯表面：在平行光照明的条件下，从所有可能位置观察到的亮度都相等的表面。它的亮度只由光源的方向决定。满足关系式：E=ρcos(i)ρ是与材料有关的常量。第一节图像的理解与分析二、表面方向的计算光源观察者光源、观31第一节图像的理解与分析2、表面方向的确定对于物体表面上的一个点，可用一个切面表示，设切面坐标轴为F和G。表面方向的确定即是从感测到的表面亮度来计算表面方向，即f和g的值。计算的约束条件：(1)亮度。由f和g所确定的表面方向应与表面亮度所要求的表面方向无多大不同；(2)表面平滑度。一点的表面方向应与邻近各点的表面方向无多大变化。第一节图像的理解与分析2、表面方向的确定32第一节图像的理解与分析可采用松弛算法计算：(1)对所有非边界点，令f=0,g=0。对所有边界点，令f和g规定一个长度为2的垂直于边界的矢量。称输入阵列为当前阵列。(2)进行下列步骤(直到所有的值变化的足够慢为止)(a)对当前阵列的每个点①.如果是边界点，则不做任何事②.如果是非边界点，则用松弛公式计算新的f和g。(b)把所得新阵列称为当前阵列。第一节图像的理解与分析可采用松弛算法计算：33第二节视觉的知识表示与控制策略一、视觉信息的语义网络表示在视觉领域中，知识的表达方法可能事模拟的，也可能是命题逻辑的。模拟的知识表达方法可以表示物体的重要物理和几何特性。命题逻辑表达方法则是一些说明有关的事物是真或假的陈述。通常可以把一种表达方法转换为另一种表达方法，而不损失任何信息。第二节视觉的知识表示与控制策略一、视觉信息的语义网络表示34第二节视觉的知识表示与控制策略用语义网络表示视觉信息具有下列特点(1)语义网络是一种方便的存取模拟知识的表达方式，以及命题逻辑的知识表达的数据结构；(2)可作为反映事物之间相互关系的模拟结构；(3)可用作一种具有特殊的推理规则的命题逻辑的表达方法。第二节视觉的知识表示与控制策略用语义网络表示视觉信息具有下35第二节视觉的知识表示与控制策略例、用语义网络表示“在道路57与河流3交叉处的桥梁位于建筑物30附近”道路57建筑物30河流3道路建筑物附近桥梁交叉河流结果结果第二节视觉的知识表示与控制策略例、用语义网络表示“在36第二节视觉的知识表示与控制策略二、位置网络表示位置网络可以把几何的和模拟的数据与一个语义网络相结合。位置网络是一组几何点的网络表示。这组几何点由集合理论以及集合的交运算、并运算、距离计算等几何运算联系在一起。这些运算相当于有关物体位置的限制，由思维方面的或物理方面的因素决定。推理是由对网络进行求值来进行的，即对网络中所有的运算求值，以求取根节点运算的点集。第二节视觉的知识表示与控制策略二、位置网络表示37第二节视觉的知识表示与控制策略三、视觉系统的控制策略策略：(1)图像数据驱动(2)内部模型驱动(3)非层次控制第二节视觉的知识表示与控制策略三、视觉系统的控制策略38第三节物体形状的分析与识别识别：通过比较物体的描述与存储在计算机内部的模型来进行识别---模式识别技术。一、复杂形状物体的表示1、曲线形状的描述与量度(1)曲线的存储方法

直接方法：依次存储曲线上各点的坐标---太浪费

改进方法：存储起点坐标和其