数字图像处理和边缘检测

中文译文数字图像处理和边缘检测1.数字图像处理数字图像处理方法的研究源于两个主要应用领域：为便于人们分析而对图像信息进行改进；为使机器自动理解而对图像数据进行存储、传输及显示。一幅图像可定义为一个二维函数，这里x和y是空间坐标，而在任何一对空间坐标上的幅值f称为该点图像的强度或灰度。当和幅值f为有限的、离散的数值时，则图像为数字图像。数字图像处理是指借用数字计算机处理数字图像，值得提及的是数字图像是由有限的元素组成的，每一个元素都有一个特定的位置和幅值，这些元素称为图像元素、画面元素或像素。像素是广泛用于表示数字图像元素的词汇。视觉是人类最高级的感知器官，所以，毫无疑问图像在人类感知中扮演着最重要的角色。然而，人类感知只限于电磁波谱的视觉波段，成像机器则可覆盖几乎全部电磁波谱，从伽马射线到无线电波。它们可以对非人类习惯的那些图像源进行加工，这些图像源包括超声波、电子显微镜及计算机产生的图像。因此，数字图像处理涉及各种各样的应用领域。图像处理涉及的范畴或其他相关领域（例如，图像分析和计算机视觉）的界定在初创人之间并没有一致的看法。有时用处理的输入和输出内容都是图像这一特点来界定图像处理的范围。我们认为这一定义仅是人为界定和限制。例如，在这个定义下，甚至最普通的计算一幅图像灰度平均值的工作都不能算做是图像处理。另一方面，有些领域（如计算机视觉）研究的最高目标是用计算机去模拟人类视觉，包括理解和推理并根据视觉输入采取行动等。这一领域本身是人工智能的分支，其目的是模仿人类智能。人工智能领域处在其发展过程中的初期阶段，它的发展比预期的要慢的多，图像分析（也称为图像理解）领域则处在图像处理和计算机视觉两个学科之间。从图像处理到计算机视觉这个连续的统一体内并没有明确的界线。然而，在这个连续的统一体中可以考虑三种典型的计算处理（即低级、中级和高级处理）来区分其中的各个学科。低级处理涉及初级操作，如降低噪声的图像预处理，对比度增强和图像尖锐化。低级处理是以输入、输出都是图像为特点的处理。中级处理涉及分割（把图像分为不同区域或目标物）以及缩减对目标物的描述，以使其更适合计算机处理及对不同目标的分类（识别）。中级图像处理是以输入为图像，但输出是从这些图像中提取的特征（如边缘、轮廓及不同物体的标识等）为特点的。最后，高级处理涉及在图像分析中被识别物体的总体理解，以及执行与视觉相关的识别函数（处在连续统一体边缘）等。根据上述讨论，我们看到，图像处理和图像分析两个领域合乎逻辑的重叠区域是图像中特定区域或物体的识别这一领域。这样，在研究中，我们界定数字图像处理包括输入和输出均是图像的处理，同时也包括从图像中提取特征及识别特定物体的处理。举一个简单的文本自动分析方面的例子来具体说明这一概念。在自动分析文本时首先获取一幅包含文本的图像，对该图像进行预处理，提取（分割）字符，然后以适合计算机处理的形式描述这些字符，最后识别这些字符，而所有这些操作都在本文界定的数字图像处理的范围内。理解一页的内容可能要根据理解的复杂度从图像分析或计算机视觉领域考虑问题。这样，我们定义的数字图像处理的概念将在有特殊社会和经济价值的领域内通用。数字图像处理的应用领域多种多样，所以文本在内容组织上尽量达到该技术应用领域的广度。阐述数字图像处理应用范围最简单的一种方法是根据信息源来分类（如可见光、X射线，等等）。在今天的应用中，最主要的图像源是电磁能谱，其他主要的能源包括声波、超声波和电子（以用于电子显微镜方法的电子束形式）。建模和可视化应用中的合成图像由计算机产生。建立在电磁波谱辐射基础上的图像是最熟悉的，特别是X射线和可见光谱图像。电磁波可定义为以各种波长传播的正弦波，或者认为是一种粒子流，每个粒子包含一定（一束）能量，每束能量成为一个光子。如果光谱波段根据光谱能量进行分组，我们会得到下图1所示的伽马射线（最高能量）到无线电波（最低能量）的光谱。如图所示的加底纹的条带表达了这样一个事实，即电磁波谱的各波段间并没有明确的界线，而是由一个波段平滑地过渡到另一个波段。图像获取是第一步处理。注意到获取与给出一幅数字形式的图像一样简单。通常，图像获取包括如设置比例尺等预处理。图像增强是数字图像处理最简单和最有吸引力的领域。基本上，增强技术后面的思路是显现那些被模糊了的细节，或简单地突出一幅图像中感兴趣的特征。一个图像增强的例子是增强图像的对比度，使其看起来好一些。应记住，增强是图像处理中非常主观的领域，这一点很重要。图像复原也是改进图像外貌的一个处理领域。然而，不像增强，图像增强是主观的，而图像复原是客观的。在某种意义上说，复原技术倾向于以图像退化的数学或概率模型为基础。另一方面，增强以怎样构成好的增强效果这种人的主观偏爱为基础。彩色图像处理已经成为一个重要领域，因为基于互联网的图像处理应用在不断增长。就使得在彩色模型、数字域的彩色处理方面涵盖了大量基本概念。在后续发展，彩色还是图像中感兴趣特征被提取的基础。小波是在各种分辨率下描述图像的基础。特别是在应用中，这些理论被用于图像数据压缩及金字塔描述方法。在这里，图像被成功地细分为较小的区域。压缩，正如其名称所指的意思，所涉及的技术是减少图像的存储量，或者在传输图像时降低频带。虽然存储技术在过去的十年内有了很大改进，但对传输能力我们还不能这样说，尤其在互联网上更是如此，互联网是以大量的图片内容为特征的。图像压缩技术对应的图像文件扩展名对大多数计算机用户是很熟悉的（也许没注意），如JPG文件扩展名用于JPEG（联合图片专家组）图像压缩标准。形态学处理设计提取图像元素的工具，它在表现和描述形状方面非常有用。这一章的材料将从输出图像处理到输出图像特征处理的转换开始。分割过程将一幅图像划分为组成部分或目标物。通常，自主分割是数字图像处理中最为困难的任务之一。复杂的分割过程导致成功解决要求物体被分别识别出来的成像问题需要大量处理工作。另一方面，不健壮且不稳定的分割算法几乎总是会导致最终失败。通常，分割越准确，识别越成功。表示和描述几乎总是跟随在分割步骤的输后边，通常这一输出是未加工的数据，其构成不是区域的边缘（区分一个图像区域和另一个区域的像素集）就是其区域本身的所有点。无论哪种情况，把数据转换成适合计算机处理的形式都是必要的。首先，必须确定数据是应该被表现为边界还是整个区域。当注意的焦点是外部形状特性（如拐角和曲线）时，则边界表示是合适的。当注意的焦点是内部特性（如纹理或骨骼形状）时，则区域表示是合适的。则某些应用中，这些表示方法是互补的。选择一种表现方式仅是解决把原始数据转换为适合计算机后续处理的形式的一部分。为了描述数据以使感兴趣的特征更明显，还必须确定一种方法。描述也叫特征选择，涉及提取特征，该特征是某些感兴趣的定量信息或是区分一组目标与其他目标的基础。识别是基于目标的描述给目标赋以符号的过程。如上文详细讨论的那样，我们用识别个别目标方法的开发推出数字图像处理的覆盖范围。到目前为止，还没有谈到上面图2中关于先验知识及知识库与处理模块之间的交互这部分内容。关于问题域的知识以知识库的形式被编码装入一个图像处理系统。这一知识可能如图像细节区域那样简单，在这里，感兴趣的信息被定位，这样，限制性的搜索就被引导到寻找的信息处。知识库也可能相当复杂，如材料检测问题中所有主要缺陷的相关列表或者图像数据库（该库包含变化检测应用相关区域的高分辨率卫星图像）。除了引导每一个处理模块的操作，知识库还要控制模块间的交互。这一特性上面图2中的处理模块和知识库间用双箭头表示。相反单头箭头连接处理模块。2.边缘检测边缘检测是图像处理和计算机视觉中的术语，尤其在特征检测和特征抽取领域，是一种用来识别数字图像亮度骤变点即不连续点的算法。尽管在任何关于分割的讨论中，点和线检测都是很重要的，但是边缘检测对于灰度级间断的检测是最为普遍的检测方法。虽然某些文献提过理想的边缘检测步骤，但自然界图像的边缘并不总是理想的阶梯边缘。相反，它们通常受到一个或多个下面所列因素的影响：1.有限场景深度带来的聚焦模糊；2.非零半径光源产生的阴影带来的半影模糊；3.光滑物体边缘的阴影；4.物体边缘附近的局部镜面反射或者漫反射。一个典型的边界可能是（例如）一块红色和一块黄色之间的边界；与之相反的是边线，可能是在另外一种不变的背景上的少数不同颜色的点。在边线的每一边都有一个边缘。在对数字图像的处理中，边缘检测是一项非常重要的工作。如果将边缘认为是一定数量点亮度发生变化的地方，那么边缘检测大体上就是计算这个亮度变化的导数。为简化起见，我们可以先在一维空间分析边缘检测。在这个例子中，我们的数据是一行不同点亮度的数据。例如，在下面的1维数据中我们可以直观地说在第4与第5个点之间有一个边界：5764152148149如果光强度差别比第四个和第五个点之间小，或者说相邻的像素点之间光强度差更高，就不能简单地说相应区域存在边缘。而且，甚至可以认为这个例子中存在多个边缘。除非场景中的物体非常简单并且照明条件得到了很好的控制，否则确定一个用来判断两个相邻点之间有多大的亮度变化才算是有边界的阈值，并不是一件容易的事。实际上，这也是为什么边缘检测不是一个简单问题的原因之一。有许多用于边缘检测的方法，它们大致可分为两类：基于搜索和基于零交叉.基于搜索的边缘检测方法首先计算边缘强度，通常用一阶导数表示，例如梯度模；然后，用计算估计边缘的局部方向，通常采用梯度的方向，并利用此方向找到局部梯度模的最大值。基于零交叉的方法找到由图像得到的二阶导数的零交叉点来定位边缘。通常用拉普拉斯算子或非线性微分方程的零交叉点，我们将在后面的小节中描述.滤波做为边缘检测的预处理通常是必要的，通常采用高斯滤波。已发表的边缘检测方法应用计算边界强度的度量，这与平滑滤波有本质的不同.正如许多边缘检测方法依赖于图像梯度的计算，他们用不同种类的滤波器来估计x-方向和y-方向的梯度.一旦我们计算出导数之后，下一步要做的就是给出一个阈值来确定哪里是边缘位置。阈值越低，能够检测出的边线越多，结果也就越容易受到图片噪声的影响，并且越容易从图像中挑出不相关的特性。与此相反，一个高的阈值将会遗失细的或者短的线段。如果边缘阈值应用于正确的的梯度幅度图像，生成的边缘一般会较厚，某些形式的边缘变薄处理是必要的。然而非最大抑制的边缘检测，边缘曲线的定义十分模糊，边缘像素可能成为边缘多边形通过一个边缘连接（边缘跟踪）的过程。在一个离散矩阵中，非最大抑制阶梯能够通过一种方法来实现，首先预测一阶导数方向、然后把它近似到45度的倍数、最后在预测的梯度方向比较梯度幅度。一个常用的这种方法是带有滞后作用的阈值选择。这个方法使用不同的阈值去寻找边缘。首先使用一个阈值上限去寻找边线开始的地方。一旦找到了一个开始点，我们在图像上逐点跟踪边缘路径，当大于门槛下限时一直纪录边缘位置，直到数值小于下限之后才停止纪录。这种方法假设边缘是连续的界线，并且我们能够跟踪前面所看到的边缘的模糊部分，而不会将图像中的噪声点标记为边缘。但是，我们仍然存在选择适当的阈值参数的问题，而且不同图像的阈值差别也很大。其它一些边缘检测操作是基于亮度的二阶导数。这实质上是亮度梯度的变化率。在理想的连续变化情况下，在二阶导数中检测过零点将得到梯度中的局部最大值。另一方面，二阶导数中的峰值检测是边线检测，只要图像操作使用一个合适的尺度表示。如上所述，边线是双重边缘，这样我们就可以在边线的一边看到一个亮度梯度，而在另一边看到相反的梯度。这样如果图像中有边线出现的话我们就能在亮度梯度上看到非常大的变化。为了找到这些边线，我们可以在图像亮度梯度的二阶导数中寻找过零点。总之，为了对有意义的边缘点进行分类，与这个点相联系的灰度级变换必须比在这一点的背景上变换更为有效。由于我们用局部计算进行处理，决定一个值是否有效的选择方法就是使用门限。因此，如果一个点的二维一阶导数比指定的门限大，我们就定义图像中的此点是一个边缘点。术语“边缘线段”一般在边缘与图像的尺寸比起来很短时才使用。分割的关键问题是如何将边缘线段组合成更长的边缘。如果我们选择使用二阶导数，则另一个可用的定义是将图像中的边缘点定义为它的二阶导数的零交叉点。此时，边缘的定义同上面讲过的定义是一样的。应注意，这些定义并不能保证在一幅图像中成功地找到边缘，它们只是给了我们一个寻找边缘的形式体系。图像中的一阶导数用梯度计算，二阶导数使用拉普拉斯算子得到。英文原文DigitalImageProcessingandEdgeDetection1.DigitalImageProcessingInterestindigitalimageprocessingmethodsstemsfromtwoprincipalapplicant-ionareas:improvementofpictorialinformationforhumaninterpretation;andprocessingofimagedataforstorage,transmission,andrepresentationforau-tenuousmachineperception.Animagemaybedefinedasatwo-dimensionalfunction,f(x,y),wherexandyarespatial(plane)coordinates,andtheamplitudeoffatanypairofcoordinates(x,y)iscalledtheintensityorgrayleveloftheimageatthatpoint.Whenx,y,andtheamplitudevaluesoffareallfinite,discretequantities,wecalltheimageadigitalimage.Thefieldofdigitalimageprocessingreferstoprocessingdigitalimagesbymeansofadigitalcomputer.Notethatadigitalimageiscomposedofafinitenumberofelements,eachofwhichhasaparticularlocationandvalue.Theseelementsarereferredtoaspictureelements,imageelements,peels,andpixels.Pixelisthetermmostwidelyusedtodenotetheelementsofadigitalimage.Visionisthemostadvancedofoursenses,soitisnotsurprisingthatimagesplaythesinglemostimportantroleinhumanperception.However,unlikehumans,whoarelimitedtothevisualbandoftheelectromagnetic(EM)spec-trump,imagingmachinescoveralmosttheentireEMspectrum,rangingfromgammatoradiowaves.Theycanoperateonimagesgeneratedbysourcesthathumansarenotaccustomedtoassociatingwithimages.Theseincludeultra-sound,electronmicroscopy,andcomputer-generatedimages.Thus,digitalimageprocessingencompassesawideandvariedfieldofapplications.Thereisnogeneralagreementamongauthorsregardingwhereimageprocessingstopsandotherrelatedareas,suchasimageanalysisandcomputervi-son,start.Sometimesadistinctionismadebydefiningimageprocessingasadisciplineinwhichboththeinputandoutputofaprocessareimages.Webelievethistobealimitingandsomewhatartificialboundary.Forexample,underthisdefinition,eventhetrivialtaskofcomputingtheaverageintensityofanimage(whichyieldsasinglenumber)wouldnotbeconsideredanimageprocessingoperation.Ontheotherhand,therearefieldssuchascomputervisionwhoseultimategoalistousecomputerstoemulatehumanvision,includinglearningandbeingabletomakeinferencesandtakeactionsbasedonvisualinputs.Thisareaitselfisabranchofartificialintelligence(AI)whoseobjectiveistoemulatehumanintelligence.ThefieldofAIisinitsearlieststagesofinfancyintermsofdevelopment,withprogresshavingbeenmuchslowerthanoriginallyanticipated.Theareaofimageanalysis(alsocalledimageunderstanding)isinbe-teenimageprocessingandcomputervision.Therearenoclear-cutboundariesinthecontinuumfromimageprocessingatoneendtocomputervisionattheother.However,oneusefulparadigmistoconsiderthreetypesofcomputerizedprocessesinthiscontinuum:low-,mid-,andhigh-levelprocesses.Low-levelprocessesinvolveprimitiveopera-tonssuchasimagepreprocessingtoreducenoise,contrastenhancement,andimagesharpening.Alow-levelprocessischaracterizedbythefactthatbothitsinputsandoutputsareimages.Mid-levelprocessingonimagesinvolvestaskssuchassegmentation(partitioninganimageintoregionsorobjects),descriptionofthoseobjectstoreducethemtoaformsuitableforcomputerprocessing,andclassification(recognition)ofindividualobjects.Amidlevelprocessischaracterizedbythefactthatitsinputsgenerallyareimages,butitsoutputsareattributesextractedfromthoseimages(e.g.,edges,contours,andtheidentityofindividualobjects).Finally,higher-levelprocessinginvolves“makingsense”ofanensembleofrecognizedobjects,asinimageanalysis,and,atthefarendofthecontinuum,performingthecognitivefunctionsnormallyassociatedwithvision.Basedontheprecedingcomments,weseethatalogicalplaceofoverlapbetweenimageprocessingandimageanalysisistheareaofrecognitionofindividualregionsorobjectsinanimage.Thus,whatwecallinthisbookdigitalimageprocessingencompassesprocesseswhoseinputsandoutputsareimagesand,inaddition,encompassesprocessesthatextractattributesfromimages,uptoandincludingtherecognitionofindividualobjects.Asasimpleillustrationtoclarifytheseconcepts,considertheareaofautomatedanalysisoftext.Theprocessesofacquiringanimageoftheareacontainingthetext,preprocessingthatimage,extracting(segmenting)theindividualcharacters,describingthecharactersinaformsuitableforcomputerprocessing,andrecognizingthoseindividualcharactersareinthescopeofwhatwecalldigitalimageprocessinginthisbook.Makingsenseofthecontentofthepagemaybeviewedasbeinginthedomainofimageanalysisandevencomputervision,dependingonthelevelofcomplexityimpliedbythestatement“makingsense.”Aswillbecomeevidentshortly,digitalimageprocessing,aswehavedefinedit,isusedsuccessfullyinabroadrangeofareasofexceptionalsocialandeconomicvalue.Theareasofapplicationofdigitalimageprocessingaresovariedthatsomeformoforganizationisdesirableinattemptingtocapturethebreadthofthisfield.Oneofthesimplestwaystodevelopabasicunderstandingoftheextentofimageprocessingapplicationsistocategorizeimagesaccordingtotheirsource(e.g.,visual,X-ray,andsoon).Theprincipalenergysourceforimagesinusetodayistheelectromagneticenergyspectrum.Otherimportantsourcesofenergyincludeacoustic,ultrasonic,andelectronic(intheformofelectronbeamsusedinelectronmicroscopy).Syntheticimages,usedformodelingandvisualization,aregeneratedbycomputer.Inthissectionwediscussbrieflyhowimagesaregeneratedinthesevariouscategoriesandtheareasinwhichtheyareapplied.ImagesbasedonradiationfromtheEMspectrumarethemostfamiliar,esp.-especiallyimagesintheX-rayandvisualbandsofthespectrum.Electromagnet-icewavescanbeconceptualizedaspropagatingsinusoidalwavesofvaryingwavelengths,ortheycanbethoughtofasastreamofmasslessparticles,eachtravelinginawavelikepatternandmovingatthespeedoflight.Eachmasslessparticlecontainsacertainamount(orbundle)ofenergy.Eachbundleofenergyiscalledaphoton.Ifspectralbandsaregroupedaccordingtoenergyperphoton,weobtainthespectrumshowninfig.below,rangingfromgammarays(highestenergy)atoneendtoradiowaves(lowestenergy)attheother.ThebandsareshownshadedtoconveythefactthatbandsoftheEMspectrumarenotdistinctbutrathertransitionsmoothlyfromonetotheother.Imageacquisitionisthefirstprocess.Notethatacquisitioncouldbeassimpleasbeinggivenanimagethatisalreadyindigitalform.Generally,theimageacquisitionstageinvolvespreprocessing,suchasscaling.Imageenhancementisamongthesimplestandmostappealingareasofdigitalimageprocessing.Basically,theideabehindenhancementtechniquesistobringoutdetailthatisobscured,orsimplytohighlightcertainfeaturesofinterestinanimage.Afamiliarexampleofenhancementiswhenweincreasethecontrastofanimagebecause“itlooksbetter.”Itisimportanttokeepinmindthatenhancementisaverysubjectiveareaofimageprocessing.Imagerestorationisanareathatalsodealswithimprovingtheappearanceofanimage.However,unlikeenhancement,whichissubjective,imagerestorationisobjective,inthesensethatrestorationtechniquestendtobebasedonmathematicalorprobabilisticmodelsofimagedegradation.Enhancement,ontheotherhand,isbasedonhumansubjectivepreferencesregardingwhatconstitutesa“good”enhancementresult.ColorimageprocessingisanareathathasbeengaininginimportancebecauseofthesignificantincreaseintheuseofdigitalimagesovertheInternet.Itcoversanumberoffundamentalconceptsincolormodelsandbasiccolorprocessinginadigitaldomain.Colorisusedalsoinlaterchaptersasthebasisforextractingfeaturesofinterestinanimage.Waveletsarethefoundationforrepresentingimagesinvariousdegreesofresolution.Inparticular,thismaterialisusedinthisbookforimagedatacompressionandforpyramidalrepresentation,inwhichimagesaresubdividedsuccessivelyintosmallerregions.Compression,asthenameimplies,dealswithtechniquesforreducingthestoragerequiredsavinganimage,orthebandwidthrequiredtransmittingit.Althoughstoragetechnologyhasimprovedsignificantlyoverthepastdecade,thesamecannotbesaidfortransmissioncapacity.ThisistrueparticularlyinusesoftheInternet,whicharecharacterizedbysignificantpictorialcontent.Imagecompressionisfamiliar(perhapsinadvertently)tomostusersofcomputersintheformofimagefileextensions,suchasthejpgfileextensionusedintheJPEG(JointPhotographicExpertsGroup)imagecompressionstandard.Morphologicalprocessingdealswithtoolsforextractingimagecomponentsthatareusefulintherepresentationanddescriptionofshape.Thematerialinthischapterbeginsatransitionfromprocessesthatoutputimagestoprocessesthatoutputimageattributes.Segmentationprocedurespartitionanimageintoitsconstituentpartsorobjects.Ingeneral,autonomoussegmentationisoneofthemostdifficulttasksindigitalimageprocessing.Aruggedsegmentationprocedurebringstheprocessalongwaytowardsuccessfulsolutionofimagingproblemsthatrequireobjectstobeidentifiedindividually.Ontheotherhand,weakorerraticsegmentationalgorithmsalmostalwaysguaranteeeventualfailure.Ingeneral,themoreaccuratethesegmentation,themorelikelyrecognitionistosucceed.Representationanddescriptionalmostalwaysfollowtheoutputofasegmentationstage,whichusuallyisrawpixeldata,constitutingeitherthebound-rayofaregion(i.e.,thesetofpixelsseparatingoneimageregionfromanother)orallthepointsintheregionitself.Ineithercase,convertingthedatatoaformsuitableforcomputerprocessingisnecessary.Thefirstdecisionthatmustbemadeiswhetherthedatashouldberepresentedasaboundaryorasacompleteregion.Boundaryrepresentationisappropriatewhenthefocusisonexternalshapecharacteristics,suchascornersandinflections.Regionalrepresentationisappropriatewhenthefocusisoninternalproperties,suchastextureorskeletalshape.Insomeapplications,theserepresentationscomplementeachother.Choosingarepresentationisonlypartofthesolutionfortrans-formingrawdataintoaformsuitableforsubsequentcomputerprocessing.Amethodmustalsobespecifiedfordescribingthedatasothatfeaturesofinterestarehighlighted.Description,alsocalledfeatureselection,dealswithextractingattributesthatresultinsomequantitativeinformationofinterestorarebasicfordifferentiatingoneclassofobjectsfromanother.Recognitionistheprocessthatassignsalabel(e.g.,“vehicle”)toanobjectbasedonitsdescriptors.Asdetailedbefore,weconcludeourcoverageofdigitalimageprocessingwiththedevelopmentofmethodsforrecognitionofindividualobjects.SofarwehavesaidnothingabouttheneedforpriorknowledgeorabouttheinteractionbetweentheknowledgebaseandtheprocessingmodulesinFig2above.Knowledgeaboutaproblemdomainiscodedintoanimageprocessingsystemintheformofaknowledgedatabase.Thisknowledgemaybeasslim-pleaasdetailingregionsofanimagewheretheinformationofinterestisknowntobelocated,thuslimitingthesearchthathastobeconductedinseekingthatinformation.Theknowledgebasealsocanbequitecomplex,suchasaninterrelatedlistofallmajorpossibledefectsinamaterialsinspectionproblemoranimagedatabasecontaininghigh-resolutionsatelliteimagesofaregionincon-lectionwithchange-detectionapplications.Inadditiontoguidingtheoperationofeachprocessingmodule,theknowledgebasealsocontrolstheinteractionbetweenmodules.ThisdistinctionismadeinFig2abovebytheuseofdouble-headedarrowsbetweentheprocessingmodulesandtheknowledgebase,asop-posedtosingle-headedarrowslinkingtheprocessingmodules.2.EdgedetectionEdgedetectionisaterminologyinimageprocessingandcomputervision,particularlyintheareasoffeaturedetectionandfeatureextraction,torefertoalgorithmswhichaimatidentifyingpointsinadigitalimageatwhichtheimagebrightnesschangessharplyormoreformallyhasdiscontinuities.Althoughpointandlinedetectioncertainlyareimportantinanydiscussiononsegmentation,edgedetectionisbyfarthemostcommonapproachfordetectingmeaningfuldiscountiesingraylevel.Althoughcertainliteraturehasconsideredthedetectionofidealstepedges,theedgesobtainedfromnaturalimagesareusuallynotatallidealstepedges.Insteadtheyarenormallyaffectedbyoneorseveralofthefollowingeffects:1.focalblurcausedbyafinitedepth-of-fieldandfinitepointspreadfunction;2.penumbralblurcausedbyshadowscreatedbylightsourcesofnon-zeroradius;3.shadingatasmoothobjectedge;4.localsecularitiesorantireflectionsinthevicinityofobjectedges.Atypicaledgemightforinstancebetheborderbetweenablockofredcolorandablockofyellow.Incontrastaline(ascanbeextractedbyaridgedetector)canbeasmallnumberofpixelsofadifferentcoloronanotherwiseunchangingbackground.Foraline,theremaythereforeusuallybeoneedgeoneachsideoftheline.Toillustratewhyedgedetectionisnotatrivialtask,letusconsidertheproblemofdetectingedgesinthefollowingone-dimensionalsignal.Here,wemayintuitivelysaythatthereshouldbeanedgebetweenthe4thand5thpixels.5764152148149Iftheintensitydifferenceweresmallerbetweenthe4thandthe5thpixelsandiftheintensitydifferencesbetweentheadjacentneighboringpixelswerehigher,itwouldnotbeaseasytosaythatthereshouldbeanedgeinthecorrespondingregion.Moreover,onecouldarguethatthiscaseisoneinwhichthereareseveraledges.Hence,tofirmlystateaspecificthresholdonhowlargetheintensitychangebetweentwoneighboringpixelsmustbeforustosaythatthereshouldbeanedgebetweenthesepixelsisnotalwaysasimpleproblem.Indeed,thisisoneofthereasonswhyedgedetectionmaybeanon-trivialproblemunlesstheobjectsinthesceneareparticularlysimpleandtheilluminationconditionscanbewellcontrolled.Therearemanymethodsforedgedetection,butmostofthemcanbegroupedintotwocategories,search-basedandzero-crossingbased.Thesearch-basedmethodsdetectedgesbyfirstcomputingameasureofedgestrength,usuallyafirst-orderderivativeexpressionsuchasthegradientmagnitude,andthensearchingforlocaldirectionalmaximaofthegradientmagnitudeusingacomputedestimateofthelocalorientationoftheedge,usuallythegradientdirection.Thezero-crossingbasedmethodssearchforzerocrossingsinasecond-orderderivativeexpressioncomputedfromtheimageinordertofindedges,usuallythezero-crossingsoftheAppalachianorthezero-crossingsofanon-lineardifferentialexpression,aswillbedescribedinthesectionondifferentialedgedetectionfollowingbelow.Asapre-processingsteptoedgedetection,asmoothingstage,typicallyGaussiansmoothing,isalmostalwaysapplied(seealsonoisereduction).Theedgedetectionmethodsthathavebeenpublishedmainlydifferinthetypesofsmoothingfiltersthatareappliedandthewaythemeasuresofedgestrengtharecomputed.Asmanyedgedetectionmethodsrelyonthecomputationofimagegradients,theyalsodifferinthetypesoffiltersusedforcomputinggradientestimatesinthex-andy-directions.Oncewehavecomputedameasureofedgestrength(typicallythegradientmagnitude),thenextstageistoapplyathreshold,todecidewhetheredgesarepresentornotatanimagepoint.Thelowerthethreshold,themoreedgeswillbedetected,andtheresultwillbeincreasinglysusceptibletonoise,andalsotopickingoutirrelevantfeaturesfromtheimage.Converselyahighthresholdmaymisssubtleedges,orresultinfragmentededges.Iftheedgeshareholdingisappliedtojustthegradientmagnitudeimage,theresultingedgeswillingeneralbethickandsometypeofedgethinningpost-processingisnecessary.Foredgesdetectedwithnon-maximumsuppressionhowever,theedgecurvesarethinbydefinitionandtheedgepixelscanbelinkedintoedgepolygonbyanedgelinking(edgetracking)procedure.Onadiscretegrid,thenon-maximumsuppressionstagecanbeimplementedbyestimatingthegradientdirectionusingfirst-orderderivatives,thenroundingoffthegradientdirectiontomultiplesof45degree