基于神经网络组合不同层的结果查询方法

基于神经网络组合不同层的结果查询方法

1总结如何快速有效地从各种图像数据中收集和提取用户所需的信息已成为图像搜索的瓶颈。在文献2特征属性检索s为了有效地支持基于内容的图像查询，本文将图像分为物理图像和逻辑图像。所谓物理图像是指存储实际图像数据的图像，逻辑图像是指存储图像特征或语义的图像。在基于内容的图像查询中，一个实际的图像查询系统应该既支持物理图像信息的查询，如图像名、创建日期、图像大小等，同时也应该支持对逻辑图像的查询，如对图像的可视特征、空间特征、语义特征的查询。因此，支持基于内容查询的图像数据库的数据模型应具有表示物理图像实体的基本属性，也应该具有表示可视特征、空间特征、语义特征的特征属性；既应该支持按基本属性的索引，也应该支持按特征属性的空间索引。为此，可以将图像对象划分为5个层次的对象：⑴AL(AttributeLevel)：描述图像特性的文本集合。⑵PL(PhysicalLevel)：物理层，不包含图像内容，其操作也不涉及图像数据内部的逻辑组织。从检索的角度看，图像数据仅仅被看成是一串长的、无结构的二进制流。⑶FL(FeatureLevel)：特征层，管理可度量的全局特征数。⑷PSL(PseudoSemanticLevel)：描述感兴趣的区域及其关系。⑸SL(SemanticLevel)：描述对象的语义特征。在SL层，图像对象由特征对象及其空间关系描述。特征被分为：基特征(derivedfeatures)，是指单一特征属性，如颜色特征、形状特征和纹理特征等。在特征层，每个对象可用它的特征来索引。组合特征(compositefeatures)，是指将几个特征组合成一多属性特征以反应某一对象的内容；概念特征(conceptualfeatures)是基特征或组合特征附加一定的知识后形成的图像语义表示。在一个IR系统中，查询结果可以用与用户需要信息的相似程度最高的文档集合来描述。因此，检索模型定义为由一大类文档和查询的表示方法以及检索函数组成的集合。文档和查询的表示方法由索引方法（或特征提取函数）生成。检索函数由计算文档与查询的相似性度量方法组成。2.1多分辨率检索如果两幅图像有相同的大小，并且在同一位置有相似的值，则它们是相似的。因此，在物理层，图像的相似性度量可采用模板匹配等低层操作，即逐象素比较模板和子图像。设Sue786Obj-data表示一图像对象，S(i,j)表示图像对象在(i,j)处象素，这里i=0,…,N-1,j=0,…,M-1；设S实际上，由于图像噪声和量化的影响以及图像本身存在差异性，模板匹配往往不精确。因此，检索的结果是和模板最近似的子图像。由于这种操作比较费时，对于大的图像库一般不用。实际应用时，可以对这一相关算法进行修改，采用多分辨率来计算相关。即首先在低分辨率计算相似度，通过设定的阈值过滤明显不相似的图像。如：运用小波变换的低频部分计算相似度，过滤明显不相似的图像。2.2特征规范性编码由于特征提取函数不同，得到的特征值的范围也不一致。为保证在一个特征矢量内每个特征分量处于同等重要的地位，需要对特征进行规范化。同样，为保证在一个组合查询中每个特征处于同等重要的地位，需要在特征间进行规范化，目的是将相似性值范围转换到[0,1]。在特征层，相似性计算涉及不同特征。尽管可以采用同一种度量方法，如欧氏距离来度量，但是，对所有特征都采用同一度量方法与人的视觉度量不一致，因此，对不同的特征应采用不同的度量方法。2.3查询对象区域特征的描述伪语义层的检索包括图像区域对象、空间信息以及空间关系的相似性检索。空间关系定义为两类：相对关系和绝对关系。相对关系指代表对象的符号间的相对空间关系，如符号A在符号B左边等。绝对空间关系指图像对象的固定位置关系。假定图像区域对象由区域的特征和区域属性组成。区域特征包括颜色特征、纹理特征和形状特征，区域属性包括区域的空间位置、尺寸和面积。其中区域位置(x,y)用区域的矩心表示，区域的尺寸用区域的最小外接矩形MBR的宽w和高h表示，区域的面积用区域的像素数表示。因此，一个区域对象可以表示为邀f,(x,y),(w,h),area妖。设查询图像假定图像特征和图像属性已事先提取，伪语义层查询步骤为：⑴单区域查询；在目标图像T的区域集t空间位置距离为：面积差度量为：最小MBR差度量为：整个区域的形似性度量为：⑵多区域查询；多区域查询由单区域查询的结果组合而成。设查询Q=邀Q多区域查询过程为：先按单区域查询找出与Q⑶空间对象关系匹配。设查询图像有K个区域，目标图像有L个区域，则查询图像和目标图像共有2.4语义对象的获取伪语义层的对象是一些无意义的区域，而语义层对象则是在此基础上给这些区域赋予一定的语义。语义层检索一般与具体应用有关，语义往往通过与专家交互获得，语义对象的关系则自动获得。语义层检索时，一般先将实图像转换为虚图像，检索时，先对虚图像检索，然后通过虚图像到实图像的映射得到目标图像。定义1给定一实图像R定义2假定对象已具有语义信息，Q的空间关系查询定义为一个四元组：(F,G,Rel,t)。这里(邀F∪G妖,Re)是虚图像，t∈[0,1]是相似度阈值。F是必选对象，G是可选对象。只有R定义3设Q=(F,G,Rel,t)是一个查询，且设Q,P3raken的合并以上，介绍了在各层单独进行查询时的相似性度量方法。对每一个抽象层来说，可以按相似度排序，相似度越高表明越相似。但是，由于不同层对最后结果所起的作用不同，最终查询结果并不是各层搜索结果简单的并，因而在合并不同层产生的结果集时，应该考虑应用非线性变换。一种这样的变换是对检索出来的图像按相关度排序，然后用rank（排序号）最大或最小来合并结果。但是，这种合并方法存在一个重要问题：即对于不同层，由于rank不同，很难找到一种有效的方法来确定最终的rank。例如，设有一个查询系统，对于数据库中的图像A,B，按源数据和特征查询时的rank表5所示：从表可以看出，图像A在源数据层更相似，而图像B在特征层更相似。其平均rank很难反映查询的总体rank。为此，本文提出了一种新的组合查询方法，其系统结构如图1所示。图1中，Q为提交的查询。f基于图1提出的结构，本文采用BP神经网络实现组合查询。该方法分为学习和检索两个阶段。在学习阶段，神经网络以各层度量得到的结果集作为输入，通过训练样本学习更新权值。检索阶段，使用新的权值组合查询，并得到查询结果。3.1输出单元设图像可以表示为不同对象层的集合神经网络的输入单元是查询图像Q与训练图像P之间在f如果选择f设V输出单元k产生的输出可由下式给出：f是一个单向连续函数，且λ>03.2搜索步骤给定一个具有不同子查询Q3.3测试数据的选取实验中，输入神经元是图象对在各粒度层的相似度，输出是图像对的整体相似度。为了训练神经网络，首先用已知输出的数据集（训练数据）反馈给网络，以用于计算最优权值。为了测试该网络，除了训练数据外，另外一个独立的数据集合（测试数据）反馈给网络。希望的输出和网络的输出进行比较来确定网络的精确性和有效性。为了获得训练数据和测试数据，作者选择了400个图像对，从人的视觉来看，它们一半相似，另一半不相似。正图像（相似）输出为1，负图像输出为0。作者用一半图像对(