文稿计算机视觉1-8.object recognition

1、 1第八讲 物体识别Lecture 8 Object Recognition部分素材参考B. Leibe & K. Grauman, AAAI2008 tutorial on visual recognition、Face recognition: an introduction以及Face detection and recognitionBIT.MLMR 物体识别目标2怎样识别图像中物体，如汽车、牛等？BIT.MLMR 物体识别的应用3医学图像分析智能汽车视频监控场景搜索基于内容的图像视频检索 应用领域广泛，如BIT.MLMR 例：人脸检测与识别4DetectionRecognition“

2、Sally”BIT.MLMR 难点之一: 如何鲁棒识别？5光照的影响物体姿态的影响背景混淆视点的影响类内差异遮挡BIT.MLMR 类内差异（intra-class variability）6BIT.MLMR 类内差异（intra-class variability）7BIT.MLMR 类内差异（intra-class variability）8BIT.MLMR 类内差异（intra-class variability）9BIT.MLMR 类内差异（intra-class variability）10BIT.MLMR 类内差异（intra-class variability）11Many fac

3、e of MadonnaBIT.MLMR 类间相似性（inter-class similarity）12双胞胎 父子 news.bbc.co.uk/hi/english/in_depth/americas/2000/us_electionsBIT.MLMR 难点之二：计算量大13一幅图像中像素个数多，目前每秒约产生30G像素的图像/视频数据。 - Google图片搜索中已有几十亿幅图像 - 全球数字照相机一年产生180亿张以上的图片（2004年） - 全球一年销售约3亿部照相手机（2005）人的物体识别能力是强大的 - 灵长类动物约使用大脑皮层的一半来处理视觉信息 Felleman and v

4、an Essen 1991 - 可以识别3,000-30,000种物体 - 物体姿态可允许30度以上的自由度。BIT.MLMR 难点之三：如何在小样本条件下学习14高低物体标注（分割到物体甚至部件）图像整体标注，有背景混淆无标注, 多物体（人为监督学习的复杂程度）BIT.MLMR 物体识别方法15检测(detection) vs. 不检测表示(representation) 颜色、纹理、边缘、梯度、局部特征、深度、运动等等。分类(classification or categorization) - K近邻（KNN） - 神经网络（NN） - 支持向量机（SVM） - Boosting(Ada

5、boost等) - 隐马尔科夫模型（HMM） - 其他生成学习（Generative learning） vs. 判别学习（discriminative learning）BIT.MLMR 生成学习 vs. 判别学习16两种分类器学习模式生成学习目标是学习到符合训练数据的类别模型如 EM 算法 (Maximum Likelihood)判别学习在训练阶段即考虑类别之间的判别信息包括Support Vector Machines (SVMs), Boosting, Minimum Classification Error (MCE), Maximum Mutual Information (MMI

6、), Lager Margin (LM), and etc.判别学习算法比生成学习算法表现出更好的分类性能。BIT.MLMR 判别学习方法17106 examplesNearest neighborShakhnarovich, Viola, Darrell 2003Berg, Berg, Malik 2005.Neural networksLeCun, Bottou, Bengio, Haffner 1998Rowley, Baluja, Kanade 1998Support Vector MachinesMax-Min Posterior Pseudo-probabilitiesLiu et

7、 al., 2008Guyon, VapnikHeisele, Serre, Poggio, 2001,BoostingViola, Jones 2001, Torralba et al. 2004, Opelt et al. 2006,BIT.MLMR 188.1 物体检测Car/non-car ClassifierYes, car.No, not a car. 基于二分类器BIT.MLMR 物体检测19Car/non-car Classifier 在复杂背景下，通过滑动窗口（sliding windows）搜索感兴趣的物体。窗口应考虑多尺度与位置BIT.MLMR 物体检测20Car/non

8、-car ClassifierFeature extractionTraining examplesStep1. 获取训练数据Step2. 提取特征Step3. 训练分类器St3p4. 利用分类器进行检测BIT.MLMR 例子: 人脸检测（Face detection）21Viola-Jones人脸检测算法（基于 AdaBoost ）Viola & Jones, Robust Real-Time Face Detection. IJCV, 2004BIT.MLMR Viola-Jones人脸检测算法221. 用积分图像实现高效计算2. 避免了形成不同尺度上的图像“矩形”滤波器(x,y)处的值是

9、灰色区域像素值之和积分图像计算矩形区域之间的差异反映了邻近空间区域之间的对比近似于Haar小波，但计算效率高Value = (pixels in white area) (pixels in black area)BIT.MLMR 滤波器设计23 考虑所有可能的滤波器参数: 位置, 尺度, 类型: 在24 x 24窗口上形成160,000个特征使用AdaBoost来选择最有效的特征并形成分类器BIT.MLMR Adaboost24学习目标：选择能够最有效地区分人脸与非人脸的矩形特征及其阈值1. 矩形特征在人脸与非人脸图像上的输出2.形成弱分类器:3. 根据误差计算样本权重， 重复以上选择.BI

10、T.MLMR Adaboost25组合弱分类器（weak learners），得到更为精确的集成分类器（ensemble classifier）。弱分类器：性能仅比随机分类稍好根据矩形特征定义弱分类器:Y. Freund and R. Schapire, A short introduction to boosting, 1999. 窗口矩形特征值符号阈值BIT.MLMR Adaboost算法步骤26初始给每个训练样本以同等权重循环执行以下步骤：根据当前加权训练集，选择最佳弱分类器提升被当前弱分类器错分的训练样本的权重按照各弱分类器分类精度对其加权，然后将各个弱分类器形成线性组合，得到最终分类

11、器。BIT.MLMR Adaboost27弱分类器 1BIT.MLMR Adaboost28增加权重BIT.MLMR Adaboost29弱分类器2BIT.MLMR Adaboost30增加权重BIT.MLMR Adaboost31弱分类器3BIT.MLMR Adaboost32最终分类器 = 弱分类器线性组合BIT.MLMR Viola-Jones算法中的AdaBoost33每一次boosting迭代如下:评价每一个样本上的每一种矩形特征为每一种矩形特征选择最佳分类阈值选择最优的矩形特征及其阈值组合改变样本权重计算复杂度: O(MNT)M：特征数，N：样本数, T ：阈值数BIT.MLMR

12、Viola-Jones算法中的AdaBoost34用AdaBoost选出的头两个矩形特征BIT.MLMR 分类器级联（Cascading Classifiers）35从简单分类器开始，能够在不漏检人脸子窗口的条件下，尽可能拒绝非人脸子窗口前一分类器识别为人脸的子窗口送入下一级较复杂的分类器继续识别。识别为非人脸的子窗口被立即拒绝。人脸图像子窗口Classifier 1TClassifier 3TF非人脸TClassifier 2TF非人脸F非人脸BIT.MLMR 训练级联分类器36调整弱分类器阈值以最小化漏检率 （false negatives） 每一级分类器在前一级误检（false posi

13、tive）结果上学习1-特征分类器取得100% 的检测率，但有 50% 误检率5-特征分类器取得100% 的检测率，但有 40% 误检率(累计误检率20%)20-特征分类器取得100% 的检测率，但有 10% 误检率(累计误检率2%)1 Feature5 FeaturesF50%20 Features20%2%人脸非人脸F非人脸F非人脸图像子窗口BIT.MLMR Viola-Jones检测算法-总体流程37用5K正样本，350M反样本学习得到38层（共使用6060个特征）级联分类获得实时性FacesNon-faces用AdaBoost训练级联分类器Selected features, thre

14、sholds, and weightsNew imageApply to each subwindowBIT.MLMR Viola-Jones人脸检测结果例138BIT.MLMR Viola-Jones人脸检测结果例239BIT.MLMR Viola-Jones人脸检测结果例340BIT.MLMR 8.2 人脸识别（face recognition）41人脸认证（Authentication/Verification） (二分类)人脸识别（Identification/Recognition） (多分类)Zhao et al., Face Recogniton: a literature su

15、rvey. ACM Computing survey, 2003BIT.MLMR Face Recognition: 2-D and 3-D 422-D人脸数据库时间(video)2-D识别数据3-D3-D识别比较BIT.MLMR 图像 = 像素的集合43将由n个像素构成的图像视为n维空间中的点x1x2x3BIT.MLMR 最近邻分类器44x1x2x3R1R2IBIT.MLMR Eigenfaces45使用主成分分析技术（Principle Component Analysis, PCA)减少维数BIT.MLMR 主成分分析(PCA, K-L变换)46 降低特征向量的维数 获得最主要特征分量，

16、减少相关性； 避免维数灾难BIT.MLMR PCA47目的：仅保留Y分量的子集估计值：估计误差：最小化均方误差BIT.MLMR PCA48均方误差中消除约束条件拉格朗日乘数法尽可能保留特征值大的分量BIT.MLMR Eigenfaces49学习计算训练图像的均值和协方差矩阵.计算协方差矩阵的特征值，取前k个最大特征值对应的特征矢量.将图像投影到k-维特征空间（Eigenspace）。识别将测试图像投影到Eigenspace.在特征图像上执行分类.Turk, Pentland, J. Cogn. Neurosci, 1991BIT.MLMR Eigenfaces例: 训练图像50BIT.MLMR

17、 Eigenfaces例51均值图像前九个特征图像BIT.MLMR PCA方法的不足52可能损失重要的细节信息方差最小的方向也可能是重要的没有考虑判别任务希望得到最具判别能力的特征但判别能力最佳并不等同于方差最大BIT.MLMR Fisherfaces：类特定的线性投影53 将n个像素的图像 xRn 投影到低维特征空间 yRm可表示为y = Wx其中，W为n*m矩阵。 关键问题：如何选择W?BIT.MLMR PCA & Fisher的线性判别函数54类间离散度（Between-class scatter）类内离散度（Within-class scatter）总离散度（Total scatter）1212C: 类的数量i : 类i的均值| i | ： i 样本的数量BIT.MLMR PCA & Fisher的线性判别函数55PCA (Eigenfaces) 最大化投影后总离散度Fisher 最大化投影后类间离散度与类内离散度之比12PCAFLDBIT.MLMR Fisherfaces示例（ORL Database）5