图像语义自动标注介绍课件

1、介绍人：李思辉图像语义自动标注 课题介绍1 问题提出背景问题提出背景随着数字影像技术与互联网技术的迅速发展，互联网上有约数以百亿记的图像，如何快速的检索到用户需要的图片成为一个关键问题。目前商业化的图像搜索引擎如baidu、Google、Yahoo等都是以文本关键字的形式来查询，其关键字主要依靠人工标注及Web文本，工作量巨大，且缺乏一定的客观性。2 目前图像检索方式目前图像检索方式（1）基于文本的图像检索（Text-based Image RetrievalTBIR）通过关键字检索，图像库中的关键字由人工标注，现有互联网搜索引擎主要使用此方式。优点：将图的检索问题转为文本的检索问题，效率高，

2、技术成熟。缺点：需要人工给每幅图片标注对应的若干个语义词，工作量巨大。（2）基于内容的图像检索（Content-based Image Retrieval CBIR）输一幅图像，通过计算图像的可视特征（如颜色、纹理、形状等）来实现图像的匹配与检索。优点：无需人工标注，由计算机自动计算特征并匹配。缺点：“语义鸿沟”使检索出的结果不能完全反映检索者的意图。基于内容的检索结果基于内容的检索结果 1基于内容的检索结果基于内容的检索结果 2此概念于1992年由T.Kato在论文“Query by Visual Example - Content based Image Retrieval”中提出。最早应

3、用是IBM的QBIC系统，是为一个俄国博物馆制作的绘画作品查询系统。目前基于内容的图像检索系统，例如：谷歌搜图、百度识图等，因为“语义鸿沟”的原因，都不能很好的匹配用户的检索意图。所谓“语义鸿沟”是指基于图像底层可视特征（颜色、纹理、形状等）的匹配，并不能完全反映用户更高层次的语义查询，例如：生命、呵护、沉思图像检索问题的思考？（1）如何克服方式1中人工标注的难题？（2）如何克服方式2中“语义鸿沟问题”？答案：让机器代替人去做。答案：让机器进行多示例学习。结论：结论：让机器通过多示例学习后自动完成图像内容语义的标注，即图像语义自动标注。3 什么是图像语义自动标注什么是图像语义自动标注图像自动标

4、注图像自动标注（Automatic Image Annotation，AIA）就是让计算机自动地给图像加上能够反映其内容的语义关键词。自动标注的使用可以有效改善目前的图像检索困境。使检索在保留基于文本关键词搜索的同时，免去了人工标注的巨大工作量，也一定程度的跨越了“语义鸿沟”。它是图像语义理解研究领域的一个热点。由Mori等人在1999年提出。涉及技术：涉及技术：图像处理（增强、去噪、分割等）、计算机视觉（特征提取）、模式识别（分类和理解）、机器学习（建立分类器）等。4自动标注方法原理自动标注方法原理利用已标注图像集或其他可获得的信息自动学习语义概念空间与视觉特征空间的关系模型，并用此模型标注

5、未知语义的图像。即试图在图像的高层语义和低层视觉特征之间建立一种映射关系，一定程度上解决“语义鸿沟”问题。（1）基于整幅图特征的语义映射；（自然场景、纹理、建筑，不区分前后景）（2）基于规则块或同质区域的语义映射； （比（1）多了位置区分）（3）基于图中物体识别的语义词射；（语义更准确、更丰富）5 用于标注实验的数据集用于标注实验的数据集目前较为公认的图像集是目前较为公认的图像集是Corel-5kCorel-5k它由科雷尔公司收集整理，分成三部分：（1）4000张像作为训练集；（2）500张作为验证集用来估计模型参数；（3）500张作为测试集评价算法性能；5000张图片按照每100张一个主题，

6、共分为50个主题。图像库中的每张图片被标注35个标注词，训练集中总共有374个标注词，在测试集中总共使用了263个标注词。6 特征提取的主要方法特征提取的主要方法（1）基于颜色的特征提取由于颜色特征具有对尺度、平移和旋转等不变的特性，同时颜色特征是我们辨别物体的主要方法，所以基于颜色的特征提取是目前图像特征提取的最常用方法。常用的颜色特征提取方法有：颜色直方图法 颜色矩法 颜色聚合向量法颜色相关图法 颜色集法 6 特征提取的主要方法特征提取的主要方法（2）基于纹理的特征提取纹理是物体表面固有的一种特性，它具有区域特性和旋转不变性，反映了不同对象之间的区分。所以纹理也是图像的主要提取特征。常用的

7、纹理特征提取方法有：局部二值模式法 灰度共生矩阵法 随机场模型法法基于小波变化法 基于Gabor滤波器法 自回归纹理模型法结构法 6 特征提取的主要方法特征提取的主要方法（3）基于形状的特征提取形状是刻画物体的基本特征之一，用形状区别物体非常直观。通过形状特征的提取可以识别图像中所包含的事物或对象，从而提取出其中感兴趣的目标。常用的形状特征提取方法有：边界特征值法 几何参数法形状不变矩法 傅里叶形状描述法 6 特征提取的主要方法特征提取的主要方法（4）基于空间关系的特征提取空间关系是指图像中多个目标之间的相互位置或方向关系。这些关系可分为连接、邻接、交叠、包含等。空间关系加强了图像内容的描述和

8、区分能力。空间关系特征提取方法：基于图像的规则子块分割，建立子块索引法。基于图像中对象或区域的分割，建立对象索引。7 图像相似度的计算图像相似度的计算判断两幅图像是否相似，就是计算两幅图像的特征向量，然后将特征向量看做多维空间中的点，然后计算两点之间的距 离 ， 距 离 越 短 越 相 似 。 常 用 的 距 离 度 量 公 式 有 ：Minkkowsky距离，Manhattan距离，Euclidean距离，加权Euclidean距离，Chebyshev距离，Mahalanobis距离等。当然还有其它方法，例如：支持向量机的分类学习方法，它将图像的匹配过程看成是相似图像的分类过程。8 图像标注

9、的主要方法图像标注的主要方法（1）基于分类的标注算法将标注问题看成是图像语义分类问题。将每个语义关键词都看成是一个类别标记，则图像标注问题就转化为图像分类问题。按照每个标注词将训练集分为正例和反例；提取所有正例的全局特征和反例的全局特征；根据正反例特征值构造分类器；用每个标注词分类器为待标注图像分类； 在所有标注词中选取分类值最高的几个作为标注词；（具体方法模型：多示例学习、SVM、语言索引法、多样性密度法、高斯混合模型等）8 图像标注的主要方法图像标注的主要方法（2）基于概率关联模型的标注算法在概率统计模型的基础上，分析图像区域特征与语义关键词之间的共生概率关系，并以此为待标注图像进行语义标

10、注。（两篇内容最相似的文章，其相同单词出现的概率就最高）将训练集中每幅图像进行区域分割；（每个区域可为一个视觉单词）提取每幅图像的区域视觉区域视觉特征；（颜色、纹理、形状等；即提取视觉单词）将所有图像的区域视觉区域视觉特征聚类； （即建立视觉单词字典）用统计方法计算每个区域视觉区域视觉特征与标注词的相关概率； （？）根据待标注图像的区域视觉区域视觉特征对其标注最相关的几个标注词；（具体方法模型：Co-occurrence模型、翻译模型、LDA、CMRM、CRM、MBRM模型）8 图像标注的主要方法图像标注的主要方法（3）基于图学习的标注算法将已标注图像和未标注图像放在一起，将每一幅图像视为一个

11、图节点，以图像间的相似关系作为边，实现标注信息从已标注图像到未知图像的传播，从而完成对待标注图像的标注任务。同样的方法也可用于标注词，并依据标注词之间的语义相关性进一步改善基于图学习生成的标注。9 标注的评价指标标注的评价指标相关相关不相关不相关检索到检索到AB未检索到未检索到CD（1）查全率 = A/(A+C) （2）查准率 = A/(A+B)该评价指标主要借鉴于文本检索领域的查全率和查准率，针对图像的非精确度匹配原则，有待于寻找一种更适合的评价标准。10 WordNet在标注中的作用WordNet是由Princeton大学的心理学家、语言学家和计算机工程师联合设计的一种基于认知语言学的英语

12、词典。它按照单词的语义将其组成一个“单词网络”，体现了不同单词间的语义层次和关系（相近、对立、包容等）。在自然语言理解和人工智能的应用研究上都具有重要的价值。在图像语义自动标注中，可以借助WordNet的结构化语义信息来衡量词汇之间的关系，从而更好的选取适当的语义词（生物、鸟类、白鸽），以及剔除冗余的语义词（计算机、电脑）。11 课题研究可能的切入点课题研究可能的切入点（1）颜色、纹理、形状这些底层特征间的权重、优先序。（2）文本检索比较成熟，从文本检索中找一些启发。（3）基于区域的不均匀块分割（快速、易分割、位置相关）（4）基于视觉权重的图像特征提取（基于心理学的视觉焦点）（5）从图像+相关文本+人反馈的综合角度提出新的方法思路，从质上改变鸿沟现状。12 问题与疑惑问题与疑惑（1）“语义鸿沟”似乎永远无法逾越，目前所有工作只是缩小“鸿沟”而已。人工标注的训练集也不是最客观、无“鸿沟”的。（特征语义，对象语义，空间关系语义，场景语义，行为语义以及情感语义）（2）若训练集共有500个标注词