多媒体搜索引擎课件

多媒体搜索引擎多媒体文档内容理解技术(2)12/22/20221MultimediaSearchEngine多媒体搜索引擎多媒体文档内容理解技术(2)12/17/202图像分割对象分割把图像分割成有独立语义的区域如何描述区域的语义？12/22/20222MultimediaSearchEngine图像分割对象分割12/17/20222Multimedia图像分割视频分割（shotdetection）视频是图像的时间序列在时间轴上应该分割成小的单元镜头：摄像机从打开到关闭所拍摄的一段视频镜头边界：两个镜头之间的边界镜头分割：分析视频，标记镜头边界12/22/20223MultimediaSearchEngine图像分割视频分割（shotdetection）12/17/视频分割镜头分割镜头边界种类突变：前后帧分属不同镜头渐变：存在几个过渡帧12/22/20224MultimediaSearchEngine视频分割镜头分割12/17/20224Multimedia视频分割镜头分割基本原理：比较一定距离的两帧差异，大于阈值则为镜头边界-如何计算帧间差异？如何决定最佳阈值？如何确定帧距离？……阅读论文12/22/20225MultimediaSearchEngine视频分割镜头分割-如何计算帧间差异？如何决定最佳阈值？如何确特征提取特征可以表示图像区域的某方面特性的量像素颜色，纹理，形状位置，大小分类……如何提取？如何表示？用数学模型表示特征量的方法从原始像素转换成特征量的算法12/22/20226MultimediaSearchEngine特征提取特征12/17/20226MultimediaSe特征提取特征要求1：尽可能多地保留需要的信息要求2：尽可能少地保留噪声要求3：维数尽量低运算量小鲁棒性好算法容易设计12/22/20227MultimediaSearchEngine特征提取特征12/17/20227MultimediaSe特征提取像素特征直接用像素的颜色值表示特征实现简单信息质量差仅包含单个像素的信息同时包含需要的信息和不需要的噪声难以表示全局信息后续分类和处理困难12/22/20228MultimediaSearchEngine特征提取像素特征12/17/20228Multimedia特征提取颜色特征颜色是人眼非常敏感的特征如何提取和表示颜色特征？平均颜色把所有像素的颜色值当作矢量，计算所有像素的颜色矢量的算术平均12/22/20229MultimediaSearchEngine特征提取颜色特征12/17/20229Multimedia特征提取颜色特征颜色矩如果把像素看成随机变量，则其分布特性可以由矩来描述一阶矩(均值)：二阶中心矩(标准差):三阶中心矩:维数低，易于计算信息量少，对噪声敏感12/22/202210MultimediaSearchEngine特征提取颜色特征12/17/202210Multimedia特征提取颜色特征颜色直方图直方图：概率密度函数颜色：三维如何统计直方图？方法1：三维颜色直方图直方图的每个槽对应一组（R,G,B）矢量值RGB均0~255直方图有256*256*256=16M个槽图像像素数：704*576=405K,1920*1080=2M统计直方图需要使用较粗的量化一般量化成16级16*16*16=4096个槽维数仍然很高12/22/202211MultimediaSearchEngine特征提取颜色特征12/17/202211Multimedia特征提取颜色特征颜色直方图方法2：三个一维直方图对R、G、B三个颜色分别统计一个直方图不进一步量化：256+256+256=768维每种颜色量化成16级：16+16+16=48维优点：维数大大降低缺点：颜色之间的相关信息丢失在较独立的颜色空间统计（如：YUV，HSI）亮度统计一维直方图，色度统计二维直方图直方图的维数仍然较高12/22/202212MultimediaSearchEngine特征提取颜色特征12/17/202212Multimedia特征提取颜色特征聚类颜色直方图普通颜色直方图不管图像本身的颜色分布，整个颜色空间的所有颜色都是直方图的槽维数高必须覆盖整个颜色空间精度差对颜色空间的机械分割为了在合理的维数内实现，颜色空间的划分很粗利用图像本身的像素进行聚类，用聚类中心作为直方图的槽不同图像的直方图各维没有统一的物理含义12/22/202213MultimediaSearchEngine特征提取颜色特征12/17/202213Multimedia特征提取纹理特征纹理：临近像素的变化趋势和模式一定尺度内的一种分布模式可以是固定的模式：如砖墙可以是概率的模式：如草地与像素的绝对颜色/亮度关系较小与颜色/亮度差异关系大12/22/202214MultimediaSearchEngine特征提取纹理特征12/17/202214Multimedia特征提取纹理特征灰度共生矩阵两个有固定空间关系的像素的联合概率密度函数空间关系01…25501…25512/22/202215MultimediaSearchEngine特征提取纹理特征空间关系01特征提取纹理特征灰度共生矩阵超高的维数空间关系有很多个每个空间关系有一个二维直方图在这些二维直方图上作“二次统计”以降低维数角二阶矩（能量）、对比度（惯性矩）、相关、熵、逆差矩等与人类视觉对纹理的心理感知不同12/22/202216MultimediaSearchEngine特征提取纹理特征12/17/202216Multimedia特征提取纹理特征Tamura纹理特征依据心理视觉特性定义的纹理特征计算准确率较差，信息量较少稀疏度对比度方向性线状性规则性粗糙度12/22/202217MultimediaSearchEngine特征提取纹理特征稀疏度对比度方向性线状性规则特征提取纹理特征频率域的纹理特征纹理是“变化趋势和模式”在某个频率上有突出的特征利用频率变换表示纹理特征小波纹理特征对图像作小波变换计算小波的一阶矩和二阶矩作为纹理特征12/22/202218MultimediaSearchEngine特征提取纹理特征12/17/202218Multimedia特征提取纹理特征频率域的纹理特征局部傅立叶变换纹理特征在局部邻域(3x3,4x4,5x5…窗口)内作傅立叶变换，用傅立叶系数作为纹理特征Gabor变换频率空间中的局部区域特征12/22/202219MultimediaSearchEngine特征提取纹理特征12/17/202219Multimedia特征提取纹理特征频率域的纹理特征Gabor变换频率空间中取某个窗口内的系数来提取特征12/22/202220MultimediaSearchEngine特征提取纹理特征12/17/202220Multimedia特征提取形状特征面积(A)、周长(P)、质心(O)长度(L)、宽度(W)12/22/202221MultimediaSearchEngine特征提取形状特征12/17/202221Multimedia特征提取形状特征矩形度：面积和最小外接矩形面积的比值长宽比：L/W圆度：欧拉数拓扑特征难以精确提取信息量小12/22/202222MultimediaSearchEngine特征提取形状特征信息量小12/17/202222Multim特征提取形状特征轮廓的高维特征把轮廓坐标转换成一维复数序列一维复函数可以进行傅立叶变换，提取频率特征傅立叶描述子12/22/202223MultimediaSearchEngine特征提取形状特征12/17/202223Multimedia特征提取多模特征(multi-modalfeature)单一特征难以保留足够信息仅能保留特征所针对的信息结合多个特征，以保留更多信息颜色、纹理、形状维数显著增加特征降维特征选取(FeatureSelection)12/22/202224MultimediaSearchEngine特征提取多模特征(multi-modalfeature)1特征降维特征的各维可能是相关的例：直方图Hn可以由前n-1维完全预测出Hn不能告诉我们任何信息可预测则不携带信息是否还有其它维可被预测？如何发现这些维？12/22/202225MultimediaSearchEngine特征降维特征的各维可能是相关的Hn可以由前n-1维完全预测出特征降维主分量分析(PCA:PrincipleComponentAnalysis)在特征空间，如果特征维之间有相关性，则样本将分布在较低维的(高维)(曲)面上12/22/202226MultimediaSearchEngine特征降维主分量分析(PCA:PrincipleCompo特征降维主分量分析线性变换原始特征矢量：主分量：“轴”：ak垂直于所有前面的“轴”12/22/202227MultimediaSearchEngine特征降维主分量分析原始特征矢量：主分量：“轴”：ak垂直于所特征降维主分量分析协方差矩阵如何求极值：约束条件：12/22/202228MultimediaSearchEngine特征降维主分量分析协方差矩阵如何求极值：约束条件：12/17特征降维主分量分析Lagrange乘数法目标函数约束条件求导，导数为0处为极值a1是S的最大特征值对应的特征矢量12/22/202229MultimediaSearchEngine特征降维主分量分析目标函数约束条件求导，导数为0处为极值a1特征降维主分量分析同理可证：所有主分量对应的“轴”都是S的特征矢量，相应的特征值为其方差正交阵A可通过KL变换从协方差矩阵S求12/22/202230MultimediaSearchEngine特征降维主分量分析正交阵A可通过KL变换从协方差矩阵S求12特征降维主分量分析如果H是线性相关的：S是降秩的特征矢量个数小于维数降维无信息损失如果H各维相关性大，但没有达到完全相关有很小的特征值对应的特征矢量可以去除降维，有信息损失12/22/202231MultimediaSearchEngine特征降维主分量分析12/17/202231Multimedi特征降维多模特征的降维同质特征可以方便地使用PCA同质特征内部是已经归一化的例：直方图，像素值，等等异质特征不能简单地进行PCA不同的归一化导致不同的主分量异质特征之间没有归一化例：颜色直方图和“粗糙度”如何归一化？12/22/202232MultimediaSearchEngine特征降维多模特征的降维12/17/202232Multime特征降维多模特征的降维分组降维，组间加权同质特征用PCA降维，组间自动计算权重PCAPCAPCA……如何计算组间权重？w1w2wk须依据最终目的优化12/22/202233MultimediaSearchEngine特征降维多模特征的降维PCAPCAPCA……如何计算组间权重多媒体搜索引擎多媒体文档内容理解技术(2)12/22/202234MultimediaSearchEngine多媒体搜索引擎多媒体文档内容理解技术(2)12/17/202图像分割对象分割把图像分割成有独立语义的区域如何描述区域的语义？12/22/202235MultimediaSearchEngine图像分割对象分割12/17/20222Multimedia图像分割视频分割（shotdetection）视频是图像的时间序列在时间轴上应该分割成小的单元镜头：摄像机从打开到关闭所拍摄的一段视频镜头边界：两个镜头之间的边界镜头分割：分析视频，标记镜头边界12/22/202236MultimediaSearchEngine图像分割视频分割（shotdetection）12/17/视频分割镜头分割镜头边界种类突变：前后帧分属不同镜头渐变：存在几个过渡帧12/22/202237MultimediaSearchEngine视频分割镜头分割12/17/20224Multimedia视频分割镜头分割基本原理：比较一定距离的两帧差异，大于阈值则为镜头边界-如何计算帧间差异？如何决定最佳阈值？如何确定帧距离？……阅读论文12/22/202238MultimediaSearchEngine视频分割镜头分割-如何计算帧间差异？如何决定最佳阈值？如何确特征提取特征可以表示图像区域的某方面特性的量像素颜色，纹理，形状位置，大小分类……如何提取？如何表示？用数学模型表示特征量的方法从原始像素转换成特征量的算法12/22/202239MultimediaSearchEngine特征提取特征12/17/20226MultimediaSe特征提取特征要求1：尽可能多地保留需要的信息要求2：尽可能少地保留噪声要求3：维数尽量低运算量小鲁棒性好算法容易设计12/22/202240MultimediaSearchEngine特征提取特征12/17/20227MultimediaSe特征提取像素特征直接用像素的颜色值表示特征实现简单信息质量差仅包含单个像素的信息同时包含需要的信息和不需要的噪声难以表示全局信息后续分类和处理困难12/22/202241MultimediaSearchEngine特征提取像素特征12/17/20228Multimedia特征提取颜色特征颜色是人眼非常敏感的特征如何提取和表示颜色特征？平均颜色把所有像素的颜色值当作矢量，计算所有像素的颜色矢量的算术平均12/22/202242MultimediaSearchEngine特征提取颜色特征12/17/20229Multimedia特征提取颜色特征颜色矩如果把像素看成随机变量，则其分布特性可以由矩来描述一阶矩(均值)：二阶中心矩(标准差):三阶中心矩:维数低，易于计算信息量少，对噪声敏感12/22/202243MultimediaSearchEngine特征提取颜色特征12/17/202210Multimedia特征提取颜色特征颜色直方图直方图：概率密度函数颜色：三维如何统计直方图？方法1：三维颜色直方图直方图的每个槽对应一组（R,G,B）矢量值RGB均0~255直方图有256*256*256=16M个槽图像像素数：704*576=405K,1920*1080=2M统计直方图需要使用较粗的量化一般量化成16级16*16*16=4096个槽维数仍然很高12/22/202244MultimediaSearchEngine特征提取颜色特征12/17/202211Multimedia特征提取颜色特征颜色直方图方法2：三个一维直方图对R、G、B三个颜色分别统计一个直方图不进一步量化：256+256+256=768维每种颜色量化成16级：16+16+16=48维优点：维数大大降低缺点：颜色之间的相关信息丢失在较独立的颜色空间统计（如：YUV，HSI）亮度统计一维直方图，色度统计二维直方图直方图的维数仍然较高12/22/202245MultimediaSearchEngine特征提取颜色特征12/17/202212Multimedia特征提取颜色特征聚类颜色直方图普通颜色直方图不管图像本身的颜色分布，整个颜色空间的所有颜色都是直方图的槽维数高必须覆盖整个颜色空间精度差对颜色空间的机械分割为了在合理的维数内实现，颜色空间的划分很粗利用图像本身的像素进行聚类，用聚类中心作为直方图的槽不同图像的直方图各维没有统一的物理含义12/22/202246MultimediaSearchEngine特征提取颜色特征12/17/202213Multimedia特征提取纹理特征纹理：临近像素的变化趋势和模式一定尺度内的一种分布模式可以是固定的模式：如砖墙可以是概率的模式：如草地与像素的绝对颜色/亮度关系较小与颜色/亮度差异关系大12/22/202247MultimediaSearchEngine特征提取纹理特征12/17/202214Multimedia特征提取纹理特征灰度共生矩阵两个有固定空间关系的像素的联合概率密度函数空间关系01…25501…25512/22/202248MultimediaSearchEngine特征提取纹理特征空间关系01特征提取纹理特征灰度共生矩阵超高的维数空间关系有很多个每个空间关系有一个二维直方图在这些二维直方图上作“二次统计”以降低维数角二阶矩（能量）、对比度（惯性矩）、相关、熵、逆差矩等与人类视觉对纹理的心理感知不同12/22/202249MultimediaSearchEngine特征提取纹理特征12/17/202216Multimedia特征提取纹理特征Tamura纹理特征依据心理视觉特性定义的纹理特征计算准确率较差，信息量较少稀疏度对比度方向性线状性规则性粗糙度12/22/202250MultimediaSearchEngine特征提取纹理特征稀疏度对比度方向性线状性规则特征提取纹理特征频率域的纹理特征纹理是“变化趋势和模式”在某个频率上有突出的特征利用频率变换表示纹理特征小波纹理特征对图像作小波变换计算小波的一阶矩和二阶矩作为纹理特征12/22/202251MultimediaSearchEngine特征提取纹理特征12/17/202218Multimedia特征提取纹理特征频率域的纹理特征局部傅立叶变换纹理特征在局部邻域(3x3,4x4,5x5…窗口)内作傅立叶变换，用傅立叶系数作为纹理特征Gabor变换频率空间中的局部区域特征12/22/202252MultimediaSearchEngine特征提取纹理特征12/17/202219Multimedia特征提取纹理特征频率域的纹理特征Gabor变换频率空间中取某个窗口内的系数来提取特征12/22/202253MultimediaSearchEngine特征提取纹理特征12/17/202220Multimedia特征提取形状特征面积(A)、周长(P)、质心(O)长度(L)、宽度(W)12/22/202254MultimediaSearchEngine特征提取形状特征12/17/202221Multimedia特征提取形状特征矩形度：面积和最小外接矩形面积的比值长宽比：L/W圆度：欧拉数拓扑特征难以精确提取信息量小12/22/202255MultimediaSearchEngine特征提取形状特征信息量小12/17/202222Multim特征提取形状特征轮廓的高维特征把轮廓坐标转换成一维复数序列一维复函数可以进行傅立叶变换，提取频率特征傅立叶描述子12/22/202256MultimediaSearchEngine特征提取形状特征12/17/202223Multimedia特征提取多模特征(multi-modalfeature)单一特征难以保留足够信息仅能保留特征所针对的信息结合多个特征，以保留更多信息颜色、纹理、形状维数显著增加特征降维特征选取(FeatureSelection)12/22/202257MultimediaSearchEngine特征提取多模特征(multi-modalfeature)1特征降维特征的各维可能是相关的例：直方图Hn可以由前n-1维完全预测出Hn不能告诉我们任何信息可预测则不携带信息是否还有其它维可被预测？如何发现这些维？12/22/202258MultimediaSearchEngine特征降维特征的各维可能是相关的Hn可以由前n-1维完全预测出特征降维主分量分析(PCA:PrincipleComponentAnalysis)在特征空间，如果特征维之间有相关性，则样本将分布在较低维的(高维)(曲)面上12/22/202259MultimediaSearchEngine特征降维主分量分析(PCA:Prin