一种3D图像和视频质量评价算法介绍-讨论班

ALGORITHMICASSESSMENTOF

3DQUALITYOFEXPERIENCE

FORIMAGESANDVIDEOS董全武2011年5月26日目录背景-3D影视质量评价测试环境3DQoE质量评价算法性能评估2背景-3D影视质量评价3电视发展的趋势黑白->彩色->高清今后是什么？4563D电视产业链日趋成熟73D电视走入家庭8QoE非常重要！3DQoE评价研究情况传统的视频质量评价分为FR,RR,NR因为没有相应的3D的参考视频，我们能够获得的仅仅是左右两个view，因此只能通过它们来预测QoE，所以3DQoE天然就是NR的9文章背景Title:

ALGORITHMICASSESSMENTOF3DQUALITYOFEXPERIENCEFORIMAGESANDVIDEOS事件IEEEDigitalSignalProcessingWorkshopSedona,Arizona时间：January04-07,2011作者来自：TheUniversityofTexasatAustin,LIVEAnishMittal、AnushK.MoorthyJoydeepGhosh、AlanConradBovik10测试数据集11常见视频测试库VQEGFR-TVPhase1TestSequencesLIVE：UniversityofTexasEPFL:SwitherlandMiddlebury：Middleburycollege，USTID200812EPFL图像/视频采集设备13EPFLDatasets3D图像库图像大小：1920X10809个场景，每个有6种深度1个用于训练主观受试者14EPFLDatasets

3D视频库图像大小：1920X10806个场景，每个有5种深度每个场景时长10秒，25fps15主观评测观看距离：2米打分：5分制测试人数图像库：17人视频库：20人163DQoE质量评价算法17主要思路18LeftviewRightviewDisparityMapSpatialactivityMagnitudeofmotion统计特征提取特征选择计算视差图（disparitymap)1920计算空间活动特征TheNTIAGeneralModelNTIA：TheNationalTelecommunicationsandInformationAdministrationVQEG：PhaseIIFullReferenceTelevision(FR-TV)测试性能很好21计算运动特征运动特征提取算法介绍block-matchingalgorithm,BMA通过一种快速的宏块匹配的运动估计算法获取每个宏块的运动估计每个宏块的运动估计与前一帧求差值在帧内对所有宏块求平均值22提取统计属性（1）23平均值中位值标准差峰度值偏度值D即视差图（disparitymap)插1：解释“峰度”和“偏度”峰度（Kurtosis）衡量实数随机变量概率分布的峰态。峰度高就意味着方差增大是由低频度的大于或小于平均值的极端差值引起的偏度（Skewness）衡量实数随机变量概率分布的不对称性。例如，偏度为负（负偏态）就意味着在概率密度函数左侧的尾部比右侧的长，绝大多数的值（包括中位数在内）位于平均值的右侧。24提取统计属性（2）25平均值标准值峰度值偏度值视差图的微分值的统计特性使用Laplacian算子对视差图进行计算用于捕获深度信息的变化插2：为什么计算视差图的微分值原始图像人眼在关注点区域附近的亮度对比度和梯度（gradient）高于其他区域解释：HVS是为了使获得的信息最大化视差图人眼在关注点区域附近的对比度和梯度（gradient）低于其他区域解释：HVS是为了简化对立体视觉的计算度26Pooling策略图像（15个维度）5disparity4disparitygradient6spatialactivity（左右图像分别计算）视频（25个维度）除以上15个维度，增加：10motioncompensateddisparitydifference（左右图像分别计算）Pooling策略：一个视频内部所有帧求平均27特征选择因为维度太多，要考虑缩减两种多元统计分析方法PCA：principalcomponentanalysisFFS：forwardfeatureselection28PCA介绍将多个变量通过线性变换以选出较少个数重要变量主成分分析是设法将原来众多具有一定相关性（比如P个指标），重新组合成一组新的互相无关的综合指标来代替原来的指标。通常数学上的处理就是将原来P个指标作线性组合，作为新的综合指标。最经典的做法就是用F1（选取的第一个线性组合，即第一个综合指标）的方差来表达，即Var(F1)越大，表示F1包含的信息越多。因此在所有的线性组合中选取的F1应该是方差最大的，故称F1为第一主成分。如果第一主成分不足以代表原来P个指标的信息，再考虑选取F2即选第二个线性组合，为了有效地反映原来信息，F1已有的信息就不需要再出现在F2中，用数学语言表达就是要求Cov(F1,F2)=0，则称F2为第二主成分，依此类推可以构造出第三、第四，……，第P个主成分29FFS介绍主要步骤先从训练集中选择与主观值相关度最强的特征然后再选一个新的特征与它联合，使得联合以后的主观相关度最高如此继续。。。30用特征值计算分数采用线性回归方法进行计算31特征值向量权重因子向量常数参数与主观评价方法进行对比采用SROCC方法进行相关性分析

Spearman等级相关系数（Spearman’srankordercorrelationcoefficient,）Spearman秩相关系数是一个非参数的度量两个变量之间的统计相关性的指标，用来评估当用单调函数来描述是两个变量之间的关系有多好。在没有重复的数据的情况下，如果一个变量是两外一个变量的严格单调的函数，则二者之间的Spearman秩相关系数就是+1或-1，称变量完全Spearman相关32实验结果333DImageQoE9个场景X6种镜头深度4（X6）个用于训练training2（X6）个用于验证validation3（X6）个用于测试testing场景选取遍历所有组合=98种进行测试3435对3DImageQoS起重要作用的特征视差图平均值视差图中位值视差图标准差视差梯度图平均值视差在3D图像体验中起重要作用！3DVideoQoE6个场景X5种镜头深度3（X6）个用于训练training1（X6）个用于验证valid