第十二章 数字图像处理及应用

第十二章图像信息处理及机器视觉《电子信息技术导论》视觉重要？古语百闻不如一见一目了然眼见为实，耳听为虚。。。人类信息的主要传递手段视觉，听觉，味觉，触觉等视觉占60％以上人机交互字符、图形计算机接收信息手段单一（键盘，鼠标）图像处理重要？两大应用需求对图像信息的改进机器自动理解：使计算机具有视觉

图像处理与计算机视觉的发展20世纪20年代：报纸业图像的编码与重构技术Bartlane电缆图片传输系统：从伦敦到纽约传送一幅图片从1周减少到3小时色调质量和分辨率改善1921年，电报打印机，5个灰度级1922年，穿孔纸带，5个灰度级1929年，15级灰度1964年：航天技术60年代初作为一门学科，主要目的是改善图像质量，采取的方法有图像增强和复原技术美国JPL（喷气推进）实验室处理卫星发射回来的月球表面的照片应用图像畸变的校正、灰度变换、去除噪声20世纪70年代：遥感卫星和医学图像增强和图像识别

利用遥感图片，进行地质资源探测，农作物估产，水文气象监测等图像重构

X光断层图像重构技术，英国G.N.Hounsfield第一台脑断层摄像仪应用20世纪70年代末：人工智能兴起，开始计算机视觉研究，由2D获取3D空间信息80年代末到今：多媒体技术高速计算机和大规模集成电路的发展：图像压缩和多媒体技术；文本图像的分析和理解，文字的识别取得重大的进展；图像通讯和传输等的广泛应用一、图像信息处理基础知识图像和数字图像

11.图像

图像处理广泛应用在科学研究、机器人视觉、宇宙探测和国防科技等方面，成为了信息处理的一个重要的学科分支。图像是人们获取信息的主要来源。人类主要通过眼睛观察外部世界，据统计，在人类获取的信息中，视觉信息约占70%。左边是嫦娥一号卫星传回的第一幅月面图像。右边是第一幅月面图像的飞行效果图。第一幅月面图像就是我们对月球的直观感受和初步认识。一、图像信息处理基础知识绘图照片视频图像电视电影图像的多种形式一、图像信息处理基础知识图像是客观景物（万事万物）呈现在人心目中的影象。图像是物件或事物的一种表示、写真或临摹，是一个生动的或图形化的描述。“图”是物体投射或反射光的分布；“像”是人的视觉系统对“图”在大脑中形成的印象或反映。韦氏定义抽象的定义分离定义图像是客观世界能量或状态以可视化形式在二维平面上的投影图像的各种定义：能量的定义一、图像信息处理基础知识2.数字图像（Image）

把连续空间的图像，在坐标空间和性质空间都进行离散化，便于计算机进行加工处理，这种离散化的图像就是数字图像。相对于数字图像，其它的图像都认为是模拟图像。数字图像是模拟图像在计算机中的表现形式，两者之间可以转换。例如：模拟图像数字图像数字图像模拟图像扫描仪打印机一、图像信息处理基础知识数字图像与模拟图像相比，有以下几个方面的特点：①灵活性方面。对模拟图像处理，只能进行简单的放大、缩小等，而数字图像的处理方式非常精确、灵活,可以进行变形、改变亮度、色度、添加滤镜等效果。②传输性方面。模拟图像以实物为载体，传输相对困难，而数字图像以数字信息为载体，传输相对较快。③再现性方面。模拟图像不易保存，时间长了会有所变化；而数字图像不会因为保存、传输或复制而产生图像质量上的变化。④观看性方面。数字图像必须借助播放设备才能观看。有些模拟图像需要借助播放设备才能观看，如录像带、电影片等；有些不需要借助播放设备就能直接观看，如课本上的图像、照片等，能直接观看。一、图像信息处理基础知识通用数字图像处理系统2“嫦娥一号”第一幅月面图像处理的过程如下：（图像获取）（图像传输）1.卫星数字图像处理过程

一、图像信息处理基础知识2.数字图像处理系统

图像处理系统的构成示意图

一个通用的图像处理系统构成，主要分为采集、显示、存储、通信、处理和分析5个模块。一、图像信息处理基础知识①图像采集模块常见的图像采集的设备如数码摄像机、数码相机、扫描仪、采集卡、摄像头、遥感仪、CT机等。

扫描仪采集卡摄像头CT机一、图像信息处理基础知识②图像显示模块常见的图像显示的设备有显示器（包括CRT和LCD）、打印机、绘图仪、显卡、胶片记录仪等。打印机显卡绘图仪一、图像信息处理基础知识③图像存储模块常见的图像存储的设备有磁盘、硬软盘、磁带、光盘等,还有现在用于数码相机和手机的存储卡，包括CF卡、SD卡、MMC卡、TF卡等。图像数据量庞大，除了大容量磁盘外，MO(磁光存储器)、CD、DVD等光学存储装置以及SAN、NAS等网络存储系统，为存储海量图像数据提供了极好的支持。

磁带CF卡NAS/SAN网络存储设备一、图像信息处理基础知识④图像通信模块：图像通信可分为近程的和远程的。近程图像通信是指在不同设备间交换图像数据，例如u盘与计算机之间交换。远程图像通信是指在长距离的图像系统间传输图像，主要是网络上传输，网络带宽问题是需要考虑的主要问题。一、图像信息处理基础知识

⑤图像处理和分析模块该模块一般可用算法的形式描述，而大多数的算法可用软件实现，只有在为了提高速度和克服通用计算机限制的情况下采用特制的硬件。图像处理和分析涉及到的技术包括各种图像变换、图像增强技术、图像恢复和重建技术、图像编码技术、图像分割技术、目标表达和描述技术等。一、图像信息处理基础知识图像处理和分析模块包含内容图像恢复和重建

图像增强图像编码

图像分割

图像描述和表达

图像变换

将图像转换为变换域的处理。主要研究如何突出图像中所感兴趣的部分。针对图像退化原因建立模型，以滤波恢复或重建图像。主要用于减少数据量，以便存储和传输。提取图像中有意义的特征，例如边缘和区域。是图像识别和理解的必要前提。一、图像信息处理基础知识①信息量大。如果要处理30帧/秒的电视图像序列，则每秒要求500kbit～22.5Mbit数据量。因此对计算机的计算速度、存储容量等要求较高。②占用的频带宽。如电视图像的带宽约5.6MHz，而语音带宽仅为4kHz左右。③相关性大。就电视画面而言，同一行中相邻两个像素或相邻两行间的像素，其相关系数可达0.9以上，而相邻两帧之间的相关性比帧内相关性一般来说还要大些。④受人的因素影响较大。影响因素有环境条件、视觉性能、人的情绪爱好以及知识状况等。3数字图像处理的基本特点一、图像信息处理基础知识数字图像处理的发展历程1921巴特兰图片传输系统（5个灰度级）1922基于光学还原的技术1929用15级色调设备通过电缆传送4一、图像信息处理基础知识1960s’于60年代初，数字图像处理作为一门学科形成。首次获得实际成功应用的是美国喷气推进实验室（JPL）。

1950s’电子计算机已经发展到一定水平，人们开始利用计算机来处理图形和图像信息。

1970s’自70年代中期，随着计算机技术和人工智能等研究的迅速发展，人们已开始研究图像理解（即计算机视觉）至今计算机性价比的不断提高和通过万维网及互联网的网络通信带宽的扩展，为之创造了前所未有的机遇。一、图像信息处理基础知识遥感和航空测量1遥感：主要用于资源、矿藏勘探、国土规划、高速公路选线、灾害调查、农作物估产、气象预报以及军事目标监视等。气象卫星云图土地变化监测图云南省大理州森林火灾的遥感图二、数字图像处理的应用生物医学领域应用三维快速血管造影成像头部CT主要应用如X射线层析摄影(CT)、核磁共振(MRI)、超声成像、血管造影、细胞和染色体自动分类等。这些技术和设备大大提高了治疗诊断水平，减轻了病人的痛苦。2二、数字图像处理的应用以下是一个将图像处理应用于临床医学的例子――CT脑血管医学图像三维重建。重建的脑血管三维图像加入对比剂脑血管扫描图像依次为第1层,第2层,第3层脑血管脑血管边缘提取依次为第1层,第2层,第3层脑血管二、数字图像处理的应用图像通信常见的数字图像和数字视频设备如可视电话、会议电视、卫星电视、数字电视、高清晰度电视、VCD、DVD等会议电视终端可视电话卫星电视接收器3二、数字图像处理的应用基于H.323标准的远程教学组网图二、数字图像处理的应用工业与交通应用该领域的应用从70年代起取得了迅速的发展，主要有产品质量检测、生产过程的自动控制、CAD／CAM等。检查瓶装液体容量是否合格智能交通控制4二、数字图像处理的应用汽车牌照识别系统图二、数字图像处理的应用交通视频监控系统图二、数字图像处理的应用军事公安军事目标的侦察、制导和警戒系统、自动灭火器的控制及反伪装等等都需要用到图像处理技术；公安部门的现场照片、指纹、虹膜、面部、手迹、印章等的处理和辨识也要借助图像处理。导弹制导指纹门锁5二、数字图像处理的应用虹膜识别系统框图二、数字图像处理的应用生物识别技术的重要分支――自动指纹识别系统下图是指纹图像预处理各阶段的结果：指纹原始图像滤波后图像二值化图像细化图像二、数字图像处理的应用机器视觉

机器视觉主要用于军事侦察、危险环境的自主机器人，邮政、医院和家庭服务的智能机器人，装配线工件识别、定位，太空机器人的自动操作等。

ASIMO踢球ASIMO上楼梯6二、数字图像处理的应用虚拟现实当人们通过虚拟现实浏览、观赏时就如身临其境一般，并且可以选择任一角度，观看任一范围内的场景或选择观看物体的任一角度。虚拟漫游技术是虚拟现实（VR）技术的重要分支，在建筑、旅游、游戏、航空航天、医学等多种行业发展很快。VR的相关设备7二、数字图像处理的应用故宫VR——《紫禁城•天子的宫殿》中的一景

二、数字图像处理的应用电脑游戏中的建筑场景漫游二、数字图像处理的应用三、数字图像处理技术简介处理方法：空域方法和频域方法处理策略：全局处理和局部处理处理对象：灰度图像增强和彩色图像增强图像处理涉及到的技术包括各种图像增强技术、图像恢复和重建技术、图像分割技术等。图像增强分类方法图像增强：1

1.

空域增强空域增强就是指直接对图像的像素灰度值做某些运算，从而达到对某些像素的灰度值的改变，以改善图片视觉效果。①直接灰度变换增强对图像中的每个像素按某种运算直接进行灰度变换Couple原图像三段式增强效果对数变换增强效果三、数字图像处理技术简介②

直方图变换增强直方图是对图像中每一个灰度值统计出现的次数或者频率后绘制出的图。对直方图变换可以实现图像增强。原始图像及其直方图直方图均衡后图像及其直方图三、数字图像处理技术简介航拍的城市夜景（红外成像）直方图均衡后的效果三、数字图像处理技术简介2.空域滤波

①图像平滑

中值滤波去噪效果

空域滤波就是设计一些运算模板，将模板和图像中对应的各像素点的灰度值做积分运算或微分运算，以达到图像平滑或锐化的目的。三、数字图像处理技术简介②图像锐化

拉普拉斯算子图像锐化增强效果

三、数字图像处理技术简介3.频域增强频域增强是指通过在图像的频域或变换域进行处理后，使图像得到增强的方法。指纹原图

频域增强后的指纹图像

三、数字图像处理技术简介景物成像过程中凡出现畸变、模糊、失真或混入噪声，使得所成图像降质，称之为图像“退化”。这些质量降低的图像，我们通称为退化图像。

图像复原1.什么是图像的退化和图像复原

图像复原通俗地讲，就是图像退化的逆过程。典型的图像复原方法是根据图像退化的先验知识建立一个退化模型，以此模型为基础，采用滤波等手段进行处理，使得复原后的图像符合一定的准则，达到改善图像质量的目的。2三、数字图像处理技术简介通用的图像退化模型为：

式中，g(x,y)为退化图像，f(x,y)为求解的图像；H[·]是综合所有退化因素的一个函数。n(x,y)为噪声函数。图像复原就是已知g(x,y)，求f(x,y)的问题（近似过程）。求解逼近过程，由于解不唯一，故方法很多，不同误差准则，不同约束条件，得到的解会不同。实际的复原过程是设计一个滤波器，使其能从降质图像中计算得到真实图像的估计值。三、数字图像处理技术简介2.逆滤波复原方法若F(u,v)和G(u,v)分别表示复原图像和退化图像的傅里叶变换；H(u,v)表示图像退化函数，它综合了所有造成图像退化的因素，可采用实测或点冲激函数测量方法得到。

F(u,v)、G(u,v)和H(u,v)都用矩阵表示。设H(u,v)已知，忽略噪声的情况下，复原图像F(u,v)为

如果H(u,v)的逆存在，则等式右边就是一个逆滤波过程。三、数字图像处理技术简介微装配准备对接模糊图像逆滤波恢复的图像三、数字图像处理技术简介3.运动模糊图像的复原当成像传感器与被摄景物之间存在足够快的相对运动时，所摄取的图像就会出现“运动模糊”。运动模糊图像的复原，最为关键的就是运动速度要估计得比较准。为了简单起见，一般只考虑匀速直线运动模糊图像的复原。运动模糊图像的复原三、数字图像处理技术简介4.图像灰度校正和几何畸变校正图像几何畸变校正的思路是通过一些已知的参考点，即无失真图像某些像素点和畸变图像相应像素的坐标间对应关系，拟合出上述多项式中的系数，并作为恢复其它像素的基础。几何失真校正主要包括二个步骤：

①空间变换，恢复像素原空间的位置；

②灰度插值，对空间变换后像素赋予原位置的灰度值。三、数字图像处理技术简介①空间变换

几何空间位置校正示意图：

将四边形区域的4个顶点作为控制点，根据4个已知点建立方程组，由待定系数法求出未知系数，由这些系数即可实现四边形内所有点的校正。②灰度插值对空间变换后的像素赋予原位置的灰度值。例如双线性插值等。三、数字图像处理技术简介数码相机中由于光学镜头的生产工艺等原因，拍摄图像出现了较为严重的非线性几何畸变。几何畸变图像几何校正的结果三、数字图像处理技术简介

图像重建图像投影重建是一类特殊的图像复原技术，投影重建是指从一个物体的多个（轴向）投影图来重建目标图像的过程。输入是一系列图像，输出是一幅重建图。主要有两类重建图像的方法：

（1）傅里叶反变换重建技术（2）

级数展开重建技术通常图像重建的数学模型较复杂，计算量大，涉及到投影模型、迭代计算等，在此不作详细介绍。3三、数字图像处理技术简介

图像分割1.图像分割的含义图像分割是把图像分解成构成它的部件和对象的过程；达到有选择性地定位感兴趣对象在图像中的位置和范围。因此，图像分割是指把图像分成各具特性的区域，并提取出感兴趣目标的技术和过程。分割的特性可以是灰度、颜色、纹理等；目标可以是对应单个区域或者是多个区域。4图像分割的示意图三、数字图像处理技术简介2.图像分割的基本分类图像分割算法基于图像灰度值的两个基本特性：不连续性和相似性；因此，图像分割基本上分类为基于边界的分割方法和基于区域的分割方法。红色绿色分割阈值两种颜色区域的图像分割示意图三、数字图像处理技术简介3.图像目标分割的方法（1）基于边界的分割方法基于边界的图像分割方法有并行边界技术和串行边界技术两类，并行边界技术是边缘的检测和边界的闭合同时进行；而串行边界技术是边缘检测和边界的闭合连接是串行完成的。无论是采用并行边界技术还是串行边界技术，边缘检测都是基于边界技术分割方法的第一步，在图像分割中非常重要。三、数字图像处理技术简介常用的三个边缘检测算子及其检测结果：Lena原图①

Robert算子②

sobel算子③

laplace算子三、数字图像处理技术简介（2）基于区域的分割方法基于区域的分割方法也有并行区域技术和串行区域技术两类；并行区域技术的主要方法是阈值分割法，串行区域技术的主要方法是区域生长法。①阈值分割法阈值分割法,即通过阈值定义图像中不同目标的区域归属,所有大于等于某阈值的像素属于物体,所有小于该阈值的像素排除在物体之外,这种方法有利于目标识别。阈值分割法的关键问题是选取合适的阈值，因此如何搜索得到最优分割阈值是阈值分割研究的热点。三、数字图像处理技术简介530＊500分辨率的灰度级图像阈值分割后三、数字图像处理技术简介②区域生长法区域生长法的基本思想是，逐步将具有相似性质的像素集中起来构成各个不同的区域，实现图像的分割。③分裂合并法分裂合并法与区域生长法相似的分割方法还有，基本思想是从整幅图像开始，通过不断分裂和合并，得到各个不同性质或属性的区域。分裂合并法一般常用四叉树或金字塔式分割技术来完成。三、数字图像处理技术简介盆腔骨CT原图提取边缘区域生长分割结果图像分割应用实例三、数字图像处理技术简介4.图像分割方法的比较以下分别选用了早晨、中午和傍晚的烟尘图像，对阈值分割、区域生长、分裂合并等3种基于区域的分割方法作一个比较。

(a)早上烟尘图像(b)中午烟尘图像(c)傍晚烟尘图像3幅原始图像三、数字图像处理技术简介

(d)(e)(f)阈值分割算法的结果

(g)(h)(i)区域生长算法的结果(j)(k)(l)分裂合并算法的结果三、数字图像处理技术简介

数字图像处理与相关学科的联系和区别数字图像处理是一门研究图像理论、技术和应用的交叉学科。研究方法上，与数学、物理学（光学）、生理学、心理学、电子学、计算机科学相互借鉴；研究范围上，与计算机图形学、模式识别、计算机视觉等多个专业相互交叉。1.数字图像处理与相关学科的联系数字图像处理与计算机图形学、计算机视觉互相渗透，覆盖面有很多重合。5三、数字图像处理技术简介2.数字图像处理与相关学科的区别（1）与计算机图形学的区别计算机图形学是应用计算机生成、处理、存贮、显示图形的学科；计算机图形学在计算机辅助设计/计算机辅助制作(CAD/CAM)，多媒体技术，图形用户界面，科学计算可视化等领域广泛应用。计算机图形学的数据流是从数据到图形，与图像分析时的数据流方向相反（从图像到数据）。（2）与模式识别的区别模式识别是利用计算机对某些物理现象进行分类，在错误概率最小的条件下，使识别的结果尽量与事物相符。模式识别在医学、军事等众多领域应用十分广泛。三、数字图像处理技术简介（3）与计算机视觉的区别

计算机视觉是要为计算机和机器人开发具有与人类水平相当的视觉能力。在建立计算机视觉系统时需要用到图像处理、模式识别学科中的有关技术，但计算机视觉研究的内容要比这些学科更为广泛。三、数字图像处理技术简介四图像处理与计算机视觉的应用领域

及面临问题主要相关学科计算机图形学：原指用图形、图表、绘图等形式表达数据信息的科学，而计算机图形学研究的就是如何利用计算机技术来产生这些形式模式识别：试图把图像分解成可用符号较抽象地描述的类别计算机视觉：主要强调用计算机实现人的视 觉功能，目前的研究内容主要与图像 理解相结合 1.3.1图像处理与计算机视觉的应用领域图像增强/恢复艺术级效果医学可视化工业检验法律执行人机交互

图像处理与计算机视觉的应用领域

及面临问题举例：图像增强DIP技术最常见的用处是：提高质量，消除噪音等等举例：Hubble望远镜1990年发射的“哈勃”号太空望远

镜能够拍摄超远距离的物体，但是

由于镜子出现误差，拍摄到的图像

就失去了价值，而借助于图像处理

技术便可以修复举例：艺术效果艺术效果是指通过特

效或者图像合成等方法，

使得图像具有更强的视

觉效果举例：医学通过MRI（核磁共振）扫描到的犬类心脏切片，我们可以找出其中各种组织的边界线:灰度图表示组织密度使用合适的滤波器来增强边缘取自狗心脏的原始MRI图像边缘检测图像举例：GIS地理信息系统（GeographicInformationSystems，GIS)，数字图像处理技术广泛用于：气象学地形分类操作卫星图像举例：GIS(续…)全球夜间灯光数据集可以提供全球人类居住区的汇总情况不难想象这些数据需要进行分析和处理举例：GIS(续…)遥感图像：农业普查森林覆盖计算水利工程等的客观估计计算森林火灾监护－－客观反映火灾情况、面积举例：工业检验操作人员需要花费大量的精力，却又慢又不可靠；使用机器代替；工业可视化系统广泛应用于各类产业

举例：印刷电路板检测印刷电路板检测(PrintedCircuitBoardinspection,PCB)使用机器检测零件是否完整以及焊接是否合格常规成像和X光成像相结合举例：法律执行图像处理技术被法律执行者广泛采用高速相机或者