多媒体计算机技术基础及应用

6.3.2基于内容检索的关键技术两个关键技术：多媒体特征提取技术和匹配算法相似性检索技术。1.多媒体特征提取和匹配2.相似检索结构

一、相似性匹配的一般方法

（1）模糊值（2）特征值分类计算（3）特征调整（4）相似特征偏差（5）相似度及最终求值1.语音信号的特征提取和匹配低层特征：基音、共振峰、线性预测、倒谱系数、Mel倒谱系数；高层特征：声纹特征、关键词特征。2.静态图象的特征提取和匹配低层特征：纹理特征，颜色特征，几何形状特征，统计特征(立方图)等。高层特征：人的脸部特征、表情特征、某些物体和景物特征。低层特征可用图象处理方法自动获取；高层特征可以在某些约束条件下或知识导引下，以低层特征为基础推导得到。3.动态视频特征提取低层特征：镜头切换类型、特技效果、摄象机运动、物体运动轨迹、代表帧、全景图。高层特征：描述镜头中的内容或事件。二、

相似索引结构检索：在高维空间中寻找指定点距离最近的一组点的问题。采用顺序比较法不能满足实时检索的要求，因此需建立一种有效索引结构和检索方法。(1).结构一维：折半查找。多维：特征空间分布，数据集切分为子数据集，对每个子数据集建立描述,检索通过子数据集描述比较。去掉不符和条件的子数据集，仅对合格者进行检索和计算，大大减少检索量。相似检索结构有下述两部分：1).数据集描述

a.对象个数：子数据集的对象个数；

b.闭包(envelop)：闭包为高维空间中一个封闭曲面，用于描述数据集的空间位置与分布，使得数据集中所有点都位于此闭包的内容。

c.代表对象标识，指定一个可代表此数据集的对象标识。2).子集指针：指向字数据集的指针。(2).相似索引算法分类根据对下述问题采用不同的方法进行分类：1).数据集的切分方法：定向切分和聚类方法定向切分：选某一坐标轴为切分轴，选择与此轴垂直的切分平面，将数据集切分为子集，k-d树及其变种。聚类算法：根据特征空间分布特性采用聚类算法将数据集切分为子集。2).距离定义：

A相关矩阵，a为第i维与第j维相关系数。ij3).包络类型包络是特征空间用于约束数据集在特征空间位置和分布特性的封闭曲面，使得数据集中所有元素点都位于此包络内部。包络的选择:

a.紧密：紧紧包围数据集使得无用空间（WastedSpace）最小；

b.简单，计算方便：计算某一点到闭包的最小和最大距离。矩形包络(欧氏距离)boundingbox坐标轴分布区域。球形包络(最大距离)boundingsphere圆心坐标和半径。

c.通过索引树GSS通过索引树GSS-Tree的结构

头结点：存有整个索引结构的公共特性、特征空间维数和距离定义、指针。节点、节点及其子树中的对象数目(objectnum)，包络描述(env)，子数数目(treenum)，指向子树的指针数组(child)，以及指向对象描述数组的指针(obdesp)。包络描述：包络类型(type)，矩形包络指针(rect)和球形包络指针(sph)。Rect和sph分别代表矩形包络和球形包络的描述，每个包络有一个代表。代表此数据集的对象标识（rep-object），一般选择与闭包中心最近的对象作为代表对象，用于支持浏览检索。相关算法实现在基于内容检索过程中，需要完成从特征点集生成索引树以及索引查找等算法。三、检索表达机制

（1）基于内容检索表达的基本概念定义1（对象，对象库）定义2（内容描述/特征空间）定义3（相似度分布函数）定义4（基于内容检索）（2）检索表达的灵活性①底层的单特征索引技术②现有检索表达的相似度函数③检索表达中的可调节因素（3）CbExpr的基本操作和函数①结果集RSet②单特征检索Query③并Union④交Intersect⑤权Weight⑥截断Trancate⑦阈值Threshold⑧乘数Multiply⑨取元素个数函数GetNumber