多媒体搜索引擎

多媒体搜索引擎第1页，课件共34页，创作于2023年2月样本准备对象分割对象在文档中可能只占很小比例用整个文档提取的特征含有大量噪声特征与特征提取使用什么样的特征？如何计算？如何进行预处理？……样本选择正负样本数可能严重失衡（1:10，1:100）样本可能包含噪声第2页，课件共34页，创作于2023年2月图像分割如何分割需要被分割成不同部分的对象有什么不同？第一类图像：前景与背景第3页，课件共34页，创作于2023年2月图像分割前景与背景分割假设：前景与背景亮度不同一个暗一个亮阈值分割阈值如何求最优分割阈值？第4页，课件共34页，创作于2023年2月图像分割前景与背景分割基于直方图的方法直方图：图像灰度级的离散概率密度函数如何发现这个点？第5页，课件共34页，创作于2023年2月图像分割前景与背景分割最大熵算法熵：物理含义：分布的“均匀性”越均匀，熵越大越不均匀，熵越小第6页，课件共34页，创作于2023年2月图像分割前景与背景分割最大熵算法图像假设：前景/背景亮度不同直方图如同时包含前景和背景，则其熵将变小如只包含前景或背景，熵将变大把直方图分解成两部分，分别计算熵，两部分熵的和最大时为最佳分割阈值H1H2很强很完美？第7页，课件共34页，创作于2023年2月图像分割前景与背景分割最大熵算法图像噪声影响直方图第8页，课件共34页，创作于2023年2月图像分割前景与背景分割最大熵算法如何解决？第9页，课件共34页，创作于2023年2月图像分割前景与背景分割物体的分布区域是空间连续的相邻像素应该有相同的分类很可能是噪声如何利用这些信息?第10页，课件共34页，创作于2023年2月图像分割前景与背景分割松弛算法P(i):像素i是前/背景的概率ii1i2i3i4i5i6i7i8像素值255先有鸡？先有蛋？第11页，课件共34页，创作于2023年2月图像分割前景与背景分割先有鸡？先有蛋？恐龙象鸡蛋的恐龙蛋象鸡的恐龙更象一点的蛋再象一点的鸡……高产芦花鸡优质土鸡蛋……“鸡蛋同出”迭代优化EM算法第12页，课件共34页，创作于2023年2月图像分割前景与背景分割松弛算法初始化:迭代：第13页，课件共34页，创作于2023年2月图像分割前景与背景分割松弛算法同质奖励异质惩罚>0<0反复迭代多次，直至收敛同等对待所有邻域第14页，课件共34页，创作于2023年2月图像分割前景与背景分割松弛算法待分割图像阈值分割松弛算法还有更高级、更复杂的算法第15页，课件共34页，创作于2023年2月图像分割前景与背景分割实际应用：指纹图像处理很强很完美？第16页，课件共34页，创作于2023年2月图像分割前景与背景分割实际图像并非一定有显著亮度/颜色差异可以是纹理差异可以是…没有差异！？有边缘线条画前/背景有多个物体还可能互相遮盖第17页，课件共34页，创作于2023年2月图像分割对象分割(ObjectSegmentation)把图像分解成对象“对象”：具有独立语义的图像区域人脸眼睛、鼻子、眉毛？人？不同应用有不同“粒度”第18页，课件共34页，创作于2023年2月图像分割对象分割人眼分割物体的方法边缘：人眼对边缘敏感通过边缘分割物体检测边缘边缘所围的区域为物体如何检测边缘？第19页，课件共34页，创作于2023年2月图像分割对象分割边缘检测边缘的数学模型灰度级一阶导数二阶导数第20页，课件共34页，创作于2023年2月图像分割对象分割边缘检测图像的一阶导数图像是二维的只能求偏导数结果为矢量梯度矢量幅度：方向：第21页，课件共34页，创作于2023年2月图像分割对象分割边缘检测检测算子：用卷积对一阶偏导数的近似-1-1-1000111-101-101-101011-101-1-10-1-10-101011-1-2-1000121-101-202-101012-101-2-10-2-10-101012PrewittSobel水平垂直-45°+45°第22页，课件共34页，创作于2023年2月图像分割对象分割Sobel算子检测例很强很完美？第23页，课件共34页，创作于2023年2月图像分割对象分割边缘检测的问题噪声敏感导数反映的是变化噪声是高频的变化阶越高对噪声越敏感很少使用二阶导数基本上不考虑更高阶的导数第24页，课件共34页，创作于2023年2月图像分割对象分割边缘检测的问题不大可能总是检测出连续的边缘第25页，课件共34页，创作于2023年2月图像分割对象分割局部连接如果在很近的领域内像素的梯度幅度和方向都很相似，则连接这两个像素|f

(x,y)–

f

(x’,y’)|T|

(x,y)–

(x’,y’)|<A在同一边缘上的像素能连接的仍然很少只能在很小的局部进行连接(3x3,5x5)第26页，课件共34页，创作于2023年2月图像分割对象分割Hough变换把坐标空间变换到参数空间，检测峰值y=ax+bXYABab出现峰值任何可以化为参数方程的形状都可以检测“简化”的Hough变换：实际变换的理论更复杂第27页，课件共34页，创作于2023年2月图像分割对象分割边缘检测虽然可以使用大量技术，要获得完整的边缘并不容易边缘检测只作为图像分割和其它图像处理技术的辅助手段如何更好地进行分割？第28页，课件共34页，创作于2023年2月图像分割对象分割基于颜色、纹理特征的分割假设：对象和对象之间总要有差异要么颜色，要么纹理检测这种差异，即可进行分割原始图像特征图像聚类！机器学习！？第29页，课件共34页，创作于2023年2月图像分割对象分割基于颜色、纹理特征的分割使用RGB颜色作为特征，K-均值聚类算法纹理区域被分割分割过细必须指定类数第30页，课件共34页，创作于2023年2月图像分割对象分割基于颜色、纹理特征的分割Mean-Shift聚类/~lazebnik/research/spring08/lec21_segmentation.ppt第31页，课件共34页，创作于2023年2月视频分割视频分割（shotdetection）视频是图像的时间序列在时间轴上应该分割成小的单元镜头：摄像机从打开到关闭所拍摄的一段视频镜头边界：两个镜头之间的边界镜头分割：分析视频，标记镜头边界本质上是一个聚类过程第32页，课件共34页，创作于2023年2月视频分割