《基于图像识别的视觉认知与搜索技术研究》8400字（论文）

PAGE基于图像识别的视觉认知与搜索技术研究摘要中外谚语“百闻不如一见”说明视觉是人类认识世界、得到信息内容的主要来源。现代心理学研究也表明，在我们平时生活中，有83%的信息内容是靠视觉来感知。视觉信息的常用载体是图像，因为它不但形象直观，而且还包含丰富的内容，所以图象是构成多媒体信息的基础元素。从互联网被提出到现在，网络上传播图像的信息速度越来越快，数量原来越多，世界人民从开始的信息资源匮乏到现在不知如何从众多图像中筛选自己所需要的信息。因此，图像识别技术和视觉认知搜索技术逐渐受到关注并且发展起来。图像识别属于当代计算机领域的热门方向，是立体视觉、运动分析、数据融合等实用技术的基础，在导航、地图与地形配准等许多领域重要的应用价值，同时涉及的领域众多，如：遥感图像识别；通讯领域的图像传输；军事、公安刑侦等领域的军事目标的侦察、制导和警戒系统；公安部门的现场照片、指纹、人像等的处理和辨识；生物医学图像识别；机器视觉领域用于军事侦察、危险环境的自主机器人，邮政和家庭服务的智能机器人。此外机器视觉还可用于工业生产中的工件识别和定位，太空机器人的自动操作等。本文介绍了基于形状的图像识别检索技术，通过图像灰度化，二值化，计算不变矩等方法提取图像特征，进行建库来进行图像识别搜索。本文选择以图像Hu不变矩特征为标准来进行图像识别检索。首先，对准备好的检索图像利用边缘检测算子进行边缘检测；接下来，利用Hu的7个不变矩作为形状特征向量；然后，进行图像相似度匹配；最后，在准备好的图像库中检索出相似度较高的图像，将相似度由高到低排序的序列作为检索结果。检索结果表明，使用该算法可以很快地检索出相似度较高的图像，具有使用价值。关键词：图像检索；Hu不变矩；相似度目录TOC\o"1-2"\h\u170871导论 1203831.1选题背景与意义 132031.2国内外文献综述 1178521.3论文的结构 2151251.4论文的主要内容 2260971.5论文的研究方法 2150611.6本章小结 364492图像预处理 437702.1图像灰度化 4177182.2二值化操作 4168092.3本章小结 5320053计算不变矩 6183113.1不变矩计算 615873.2本章小结 6296384图像检索 7250194.1特征计算 765294.2对比特征值向量 7154044.3相关度 7187934.4本章小结 921495结果分析 1010325.1结果分析 10249085.2本章小结 12110456总结与展望 13292156.1总结 1349466.2展望 1325159参考文献 141导论1.1选题背景与意义视觉通道是人类感知外部世界的主要入口，图像则是多维度信息最直接的表现方式，更有“一图值千金”的谚语。但是，图像往往包含较多的信息量，文本方式很难表达其全面内容，因此对图像信息进行检索很难进行抽象建模。此外，随着互联网信息技术的发展，如何有效的存储、检索海量图像数据也越来越引起人们的关注。因此，通过有效构建图像数据库，搭建图像检索引擎，高效地利用图像的关键数据信息，结合已有的搜索技术来实现海量图像的智能检索系统具有重要的现实意义。目前许多主流的搜索引擎均提供了图像搜索通道，如谷歌相似图像搜索、百度识图等。搜索图象是不仅可以根据与图像相关联的文字信息来搜索，而且能够按照图像内容本身来搜索，具有很高的实用价值。图像的识别属于当代计算机科学研究的重要领域，已经发展成为一门独立的学科。这一学科在近几年里，发展十分迅速，应用范围相当广泛，几乎遍及各个领域：（1）数字化图书馆的建立与管理。随着数字化成技术的发展与广泛应用，越来越多的图书馆开始把已有的馆藏资料扫描成图像，对这些图像数据进行存储和检索。（2）家庭数字照片的自动管理。近些年，随着数码技术的发展，数字相机、摄像头与拍照手机得到迅速普及与应用，在家庭个人计算机上，存储的数字照片在不断增多，可以用于这些照片的自动分类和管理。（3）网络图像检索。随着互联网技术的发展与普及，个人或者各种组织在网络中发布与共享的数字图像数量呈爆炸式增长，在网络信息海洋中，如何帮助用户检索到其真正想要的图像，是信息检索面临的一个主要问题。（4）视频分析与检索。在信息化时代，每天都会有大量的视频在网上分享。因为图象是构成视频的基础，所以图像分类与检索方法也可应用于视频分类或检索，实现通过对视频的内容分析检索到自己感兴趣的视频片段或单帧图像。除此之外，图像分类与检索技术还可以应用到遥感图像分类、图像编辑、工业流水线上的图像检测等方面。1.2国内外文献综述在互联网飞速发展的信息时代，随着手机、数码相机、平板电脑、可穿戴设备等图像获取设备日益普及，人们可随时随地拍摄照片并将其上传到网络上，然后经过社交网络得到快速的传播。相比于长篇累牍的文字，图像内容的冲击力和美感更容易吸引人们的注意和引起读者的兴趣。在“互联网+”时代，人们的生活和消费场景正不断发生着变化，“读图时代”已经全面来临。随着互联网上图像的迅速增加，各类图像库的规模呈现爆炸式地增长。一项针对社交网站Facebook的调查显示，Facebook网站的用户们大约每天会上传3亿幅照片到网站上。人们在享受丰富图像信息所带来的便利之时，也造就了图像信息过载灾难。在大规模的图像数据资源中快速查找出用户所需要的图像数据已经成为十分艰巨的任务和难题。文献《ImageRetrievalusingContourletTransform》[1]提出了一种基于Contourlet变换的图像检索算法，该方法通过把图像作Contourlet变换提取各方向子带系数，把提取的子带系数作为图像特征，然后通过欧氏距离对特征向量进行相似度度量，这种方法查准率高，但其特征数据的维数高、检索时间长、效率低。文献《基于小波变换的图像检索算法》[2]使用小波变换提取数据库中每幅图像的水平、垂直、对角三个方向的细节信息来构建特征数据库，然后通过计算待检索图像特征向量和特征数据库中每幅图像特征向量之间的欧氏距离来得出最终的检索结果。该方法检索时间短、效率高，但由于提取的特征数据少，导致查准率低。文献《颜色纹理形状特征分层融合图像检索方法研究》[3]提出把颜色纹理形状特征分层融合图像检索方法研究提出把颜色相关图作为特征的图像检索方法来描述颜色的空间信息，该方法虽然提高了平均查准率但是该方法计算量大且空间相关性较弱。文献《Content-basedImagineRetrieval》该文献有效利用了图像自身特征并参考某些模式识别技术来进行高效能图像检索，其基本思路是：将图像的可视特征如颜色特征、纹理结构、边缘轮廓、位置关系等作为图像内容来进行匹配查找，利用已有的模式识别算法及进行相似度计算，实现目标检索。其中，图像特征抽取和匹配完全可以借助于数字图像处理技术自动完成，节省了人工成本，提高了执行效率。1.3论文的结构绪论。陈述研究背景及意义，简单的叙述本文每个章节的内容及本文的研究方法。图像预处理。论述图像预处理里面两个关键步骤：图像灰度化以及二值化操作。计算不变矩。详细介绍了计算不变矩的过程。图像检索。着重讲述特征计算，对比特征值向量，相关度。结果分析。根据之前章节的成果和数据，客观的总结分析此次结果。1.4论文的主要内容主要内容：先将图像库中的图像进行尺寸统一化操作，建立标准的图像库，然后计算Hu不变矩特征量：首先，将一幅彩色RGB的图像转换为灰度图像，对其进行二值化；然后归一化二值图像的尺寸，提取边缘图像；最后，统一计算其Hu不变矩，组成特征向量，将其提供给图像检索流程来执行图像查询，返回检索结果排序。1.5论文的研究方法（1）文献研究法：根据图象识别的研究目的，通过调查文献来获得资料，从而全面地、正确地了解掌握所要研究问题。（2）观察法：根据图像识别的研究目的，观察被研究对象，从而获得资料。能够启发思维从而得到新的思路。（3）信息研究方法：通过对信息的收集、传递、加工和整理获得知识，并应用于实践，以实现新的目标，并揭示事物的更深一层次的规律，帮助提高和掌握运用规律的能力。1.6本章小结本章提出了选题的背景，意义，对论文主题相关的国内外文献综述，论文的结构，内容，研究方法作了相应介绍。

2图像预处理2.1图像灰度化本文图像灰度化采用MATLAB库函数rgb2gray进行图像灰度化操作。灰度化，在RGB模型中，如果R=G=B时，则彩色表示一种灰度颜色，其中R=G=B的值叫灰度值，因此，灰度图像每个像素只需一个字节存放灰度值（又称强度值、亮度值），灰度范围为0-255。Gray注意这里的2.2次方和2.2次方根，RGB颜色值不能简单直接相加，而是必须用2.2次方换算成物理光功率。因为RGB值与功率并非简单的线性关系，而是幂函数关系，这个函数的指数称为Gamma值，一般为2.2，而这个换算过程，称为Gamma校正。2.1.1rgb2gray概念rgb2gray是matlab内部一种处理图像的函数，通过消除图像色调和饱和度信息同时保留亮度实现将RGB图像或彩色图转换为灰度图像，即灰度化处理的功能，调用这个功能的格式是I=rgb2gray(RGB)，意思是将真彩色图像RGB转换为灰度强度图像I[4]。2.1.2函数算法Matlab中默认采用的是对R、G、B分量进行简单加法的公式：0.30R+0.59G+0.11B但是，这个方法对于Gamma校正的图片(平常所见到的24位真彩色图片均为Gamma校正的图片)并不适用，因为Gamma校正后的分量值不是物理上的功率，不能直接相加，因此，提出一种改进的算法来纠正这一问题[5]。Gray这里的2.2次方和2.2次方根，RGB颜色值不能简单直接相加，而是必须用2.2次方换算成物理光功率。因为RGB值与功率并非简单的线性关系，而是幂函数关系，这个函数的指数称为Gamma值，一般为2.2，而这个换算过程，称为Gamma校正[6]。（注意，rgb2ntsc函数也使用相同的权重来计算Y分量）2.2二值化操作本文采用im2bw进行图像二值化操作。图像的二值化，就是将图像上的像素点的灰度值设置为0或255，也就是将整个图像呈现出明显的只有黑和白的视觉效果。二值化是图像分割的一种最简单的方法。二值化可以把灰度图像转换成二值图像。把大于某个临界灰度值的像素灰度设为灰度极大值，把小于这个值的像素灰度设为灰度极小值，从而实现二值化。根据阈值选取的不同，二值化的算法分为固定阈值和自适应阈值。比较常用的二值化方法则有：双峰法、P参数法、迭代法和OTSU法等。2.2.1im2bw概念matlab中DIP工具箱函数im2bw使用阈值（threshold）变换法把灰度图像（grayscaleimage）转换成二值图像[7]。一般意义上是指只有纯黑（0）、纯白（255）两种颜色的图像。当然，也可以是其他任意两种颜色的组合[8]。在Matlab中使用im2bw函数进行图像二值化处理时（将图像转换为二值图像），人为设定阈值并不总是十分有效。matlab工具箱为我们提供了graythresh函数。该函数使用最大类间方差法得到一个阈值，利用这个阈值进行图像二值化通常是十分有效的[9]。2.2.2im2bw算法BW=im2bw(I,level)将灰度图像转换为二进制图像[10]。输出图像BW将输入图像中亮度值大于level的像素替换为值1(白色)，其他替换为值0(黑色)。你指定level在[0,1]之间，不用管输入图像的等级。函数graythresh能用来自动计算变量level。如果你不指定level，im2bw使用0.5[11]。BW=im2bw(X,map,level)将颜色表为map的索引图像X转换为二进制图像。BW=im2bw(RGB,level)将RGB真彩图像转换为二进制图像。Level是归一化的阈值，值域为[0，1]。Level可以由函数graythresh来计算。2.3本章小结图像预处理主要包括图像灰度化、二值化操作，为后续的不变矩计算提供了图像数据。本章采用MATLAB库函数rbg2gray进行图像灰度化操作，采用im2bw进行图像二值化操作。

3计算不变矩3.1不变矩计算本文在的到二值边缘图像后，可以利用不变矩的公式提取不变矩，组成特征向量，考虑到图像库不变矩的计算复杂度较高，因此可以预先执行建库算法，提取其7个Hu不变矩特征，存放于图像的形状特征索引库中，将其提供给图像检索流程来执行图像查询，返回检索结果排序[12]。其中，计算图像Hu不变矩并建库的过程如下所述。边缘图像，确定边缘提取算子对图像进行边缘提取，得到边缘图像。提取轮廓，确定边缘图像，并进行轮廓跟踪，得到外轮廓图像。细化轮廓，确定外轮廓图像，并进行预处理：首先，平滑轮廓得到连续的轮廓线，采用自适应二值化的方法二值化该轮廓线；然后，轮廓线细化操作；最后，提取连续平滑、单像素、二值化的外轮廓图像[13]。目标区域，确定经过细化的外轮廓图像，并进行种子填充，获取图像的外轮廓线所包围的目标区域作为输入图像。不变矩计算，确定目标区域图像，并计算目标区域的7个Hu不变矩，将其构造成这幅图像的形状特征向量。归一化，确定形状特征向量，并对其进行内部归一化处理，将特征值存入图像特征库。3.2本章小结本章根据图像不变矩计算公式，直接将图像视为数据矩阵进行计算。

4图像检索4.1特征计算在人工提取特征的时代，提取的特征往往具有较强的相关性，这会导致数据冗余，计算特征的相关性，为后续特征选择等提供参考依据。计算两个向量X、Y的相关性，公式如下：PD(X)D(Y)是标准差，Cov(X,Y)是协方差[14]4.2对比特征值向量函数：[V,D]=eig(A)或[V,D]=eig(A,‘nobalance’)功能：求矩阵A的特征值和特征向量说明：（1）生成特征矩阵D和特征向量构成的矩阵V，使得AV=VD。矩阵D由A的特征值在主对角线构成的对角矩阵。V是由A的特征向量按列构成的矩阵。（2）[V,D]=eig(A）中，先对A作相似变换再求A的特征值和特征向量；而[V,D]=eig(A,‘nobalance’)中，直接求矩阵A的特征值和特征向量。例如，求A=[0.50.4−0.104A=[0.5,0.4;0.104,1.1];[V,lambad1]=eig(A)lambad2=eig(A)4.3相关度相关系数r就是求两个大小相同样本的相关性，范围在-1到1之间。样本的相关性并不能代表总体也是相关的，因此需要做统计检验。常用的检验方法是t检验法。理论的方法是给定信度alpha，根据自由度n-2通过查表查出talpha，来给出是否通过检验。这是最一般也是最常用的两个序列的相关分析方法。此外，还包括复相关系数和偏相关系数等计算。4.3.1corrcoef函数matlab中实现相关函数：corrcoef函数SyntaxR=corrcoef(X)R=corrcoef(x,y)[R,P]=corrcoef(...)[R,P,RLO,RUP]=corrcoef(...)[...]=corrcoef(...,'param1',val1,'param2',val2,...)corrcoef函数计算得到的R是相关矩阵，对角线是自己和自己做相关，因此得到的值为1。R是一个对称矩阵，R（i,j）表示第i列与第j列做相关。做相关时，是对矩阵X的列做相关，也就是说列数是变量的数目，而行数是各变量的样本数。返回的P值如果小于0.05，表示相关显著性强，越接近0越强。RLO和RUP表示每一个相关系数95%置信区间的上界和下界。param表示可修改相应参数，如alpha值等等。一个例子：x=randn(30,4);%Uncorrelateddatax(:,4)=sum(x,2);%Introducecorrelation.[r,p]=corrcoef(x);%Computesamplecorrelationandp-values.[i,j]=find(p<0.05);%Findsignificantcorrelations.[i,j]%Displaytheir(row,col)indices.在matlab当中可以使用xcorr函数来求序列的自相关和互相关。4.3.2使用方法c=xcorr(x,y)返回矢量长度为2*N-1互相关函数序列，其中x和y的矢量长度均为N，如果x和y的长度不一样，则在短的序列后补零直到两者长度相等。c=xcorr(x)为矢量x的自相关估计。c=xcorr(x,y,'option')为有正规化选项的互相关计算；其中选项为"biased"为有偏的互相关函数估计；"unbiased"为无偏的互相关函数估计；"coeff"为0延时的正规化序列的自相关计算；"none"为原始的互相关计算。在Matalb中，求解xcorr的过程事实上是利用Fourier变换中的卷积定理进行的。4.3.3相关程度与相关函数的之间的联系在概率论和统计学中，相关（Correlation，或称相关系数或关联系数），显示两个随机变量之间线性关系的强度和方向。在统计学中，相关的意义是用来衡量两个变量相对于其相互独立的距离。最常用的是皮尔逊积矩相关系数。其定义是两个变量协方差除以两个变量的标准差（方差的平方根）。相关系数只是一个比率，不是等单位量度，无什么单位名称，也不是相关的百分数，一般取小数点后两位来表示。相关系数的正负号只表示相关的方向，绝对值表示相关的程度。因为不是等单位的度量，因而不能说相关系数0.7是0.35两倍，只能说相关系数为0.7的二列变量相关程度比相关系数为0.35的二列变量相关程度更为密切和更高。也不能说相关系数从0.70到0.80与相关系数从0.30到0.40增加的程度一样大。对于相关系数的大小所表示的意义目前在统计学界尚不一致，但通常按下是这样认为的：相关系数相关程度0.00-±0.30微相关±0.30-±0.50实相关±0.50-±0.80显著相关±0.80-±1.00高度相关在matlab中使用corrcoef函数可以求两个序列的相关度：corrcoef（x，y）表示序列x和序列y的相关系数，得到的结果是一个2*2矩阵，其中对角线上的元素分别表示x和y的自相关，非对角线上的元素分别表示x与y的相关系数和y与x的相关系数，两个是相等的[16]。4.4本章小结本章在图像不变矩计算完毕后，需要根据其特征数据进行图像检索，对图像数据库进行特征计算、对比特征值向量、计算相关度来进行检索。

5结果分析5.1结果分析图像检索完毕后对检索结构根据其相关度排序并进行显示。图5-1运行程序图5-2载入待检索图像图5-3选择图像数据库图5-4计算Hu特征图5-5计算颜色特征图5-6图像检索结果通过实验可以看出，选择Hu不变矩作为特征来进行图像检索具有执行效率高、检索结果有效的特点。对于不同的图像，经过一系列的预处理流程，计算其Hu特征向量，再与源图像库数据进行比较，提取Top10结果图像作为输出，能在一定程度上反映图像检索的流程，具有一定的使用价值。5.2本章小结图像检索完毕后，对检索结果根据其相关度排序并进行显示。

6总结与展望6.1总结本文主要来分析研究基于Hu不变矩的图像检索技术，通过提取图像特征进行建库来进行智能检索，实验结果在图像库中检索出最相近的Top10图像序列作为检索结果，试验结果表明，使用该算法可以有效地检索出相似的图像，具有一定的使用价值。这次毕业论文撰写，是本人在大学期间完成的最后的研究。从定好题目开始，对自己论文撰写的各项流程和步骤，一无所知。但是这些迷茫并没有影响到自己。在寒假的时间里从查看文献资料开始，一步一步的着手准备。经过一些失败，真正的锻炼了自己，增强了自己的操作能力。同时也通过对所查找资料的学习，学到了平时很少接触到的知识，充实自己。但是从这次论文的准备也深刻的认识到自己知识储备的不足，应该平常多看看书，多多为自己补充知识的源泉，不断地丰富自己的知识层面，并提高自己的学习能力和接受能力。本人从这次的论文淮备与撰写学到了很多课外的知识，同时也认识到自己知识层面的不足，今后应该要更加努力学习，虚心请教，不断充实自己，让自己的能力和各个方面能更上一层楼。6.2展望基于形状的图像检索是CBIR的重要算法之一，该算法利用形状特征本身的优点，能够方便地将不同图像区域分开，而且形状特征本身的特殊性也是其研究具有一定的挑战性。因此，基于形状特征的图像检索研究成为基于内容的图像检索中的一个占据重要位置的研究课题。虽然到目前为止，研究人员已经提出了许多特征提取的方法，但检索算法依然存在很多需要改进之处，如对图像的视觉内容描述及在此基础上的更高层次语义描述等。人们还很难确定选择哪种方法能够充分体现图像的内容，并适用于检索操作，使其具有良好的查全率和查准率。因此，为了不断完善对图像的特征描述，提高检索性能，还需要从以下几个方面深入研究。1.形状特征定义。形状特征定义指通过有效定义和提取具有普遍适用性的图像形状特征来提高检索算法的通用性。基于不变矩的形状特征具有局限性，并不适用于所有类型的图像，如色彩丰富的自然风景、纹理丰富的天空等图像就不能采用该方法表述图像内容的特征。因此图像形状特征的定义和普遍的实用性仍然需要进一步的探索，这也是需要进一步研究的重要内容之一。2.检索有效性。检索有效性指通过提取能够更好地表达图像空间信息的有效特征，并将其简单化作为图像特征向量，进一步提高检索速度，研究具有良好鲁棒性的图像特征，提高检索的性能。这也是今后基于内容的图像特征提取的研究发展方向之一。3.高层语义。高层语义指通过对图像底层特征的提取，进一步实现基于语义的图像特征提取，并将其应用于检索智能程度的提升。因此，选择在CBIR技术的基础上对图像高层次的语义描述进行研究具有重要意义。但是，普遍的研究集中于人类的底层视觉特征，而用户对语义的理解要远高于底层特征的表达。因此，对图像的语义特征的表达和基于语义内容的图像检索将是今后研究的热点之一。参考文献[1]BOＲDES，BHOSLEU.ImageＲetrievalusingContourletTransform［J］．InternationalJournalofComputerApplica