《基于学习的图像增强技术》课件第14章

第十四章基于视觉美学学习的图像质量评估和增强14.1基于学习的美学14.2重建照片，增强照片质量14.3实验结果与分析14.4本章小结本章主要介绍一种基于视觉美学学习的图像(照片)质量评估和增强技术,该技术是在《AFrameworkforPhoto-QualityAssessmentandEnhancementbasedonVisualAesthetics》一文中提出的,其原理是：对照片进行语义分割,从中提取显著信息,再根据理想的摄影组成规则,从显著信息中提取能用于衡量典型组成偏差的美学特征,然后学习美感吸引力和美学特征的映射模型,最后用这些模型来增强照片质量。

该技术主要应用于两类照片：a类照片拥有鲜明的单一前景;b类照片是无鲜明主题的风景/海景照片。其中部分照片如图14-1所示。图14-1图库的部分照片专业的视觉美学要求a类照片遵循三分法,如图14-2(a)所示。所谓三分法,即所关注的主题应该与四个应力点(图14-2(a)中黄线的交点,应力点是摄影帧中最强的焦点)之一对齐,因为如果所关注的主题被平均置于人眼捕捉到的所有应力点,观众的注意力会平均分配给这四个点,从而对照片失去兴趣,进而降低照片的美感。对于b类照片,视觉美学要求其遵循视觉重量平衡原则,即照片不同区域的视觉重量比应为黄金比例,如图14-2(b)所示。本章会根据这两项原则来评估照片质量,经由三分法和视觉重量平衡处理后的照片分别如图14-3(a)、(b)所示。图14-2视觉美学图14-3经过视觉美学处理的照片,左边是原图,右边是处理后的照片

14.1基于学习的美学

基于学习的美学任务,其一是通过用户调查得出照片的美感吸引力;其二是提取照片的美学特征;其三是将前二者映射起来,得出美学模型。利用这些美学模型就能增强照片质量。系统的框架结构如图14-4所示。系统分为照片评估和增强两部分。照片评估部分两条线并行操作,一方面首先对照片进行语义分割,得到照片的显著信息图,再从中提取美学特征;另一方面通过用户调查得出照片的美感吸引力,然后学习美感吸引力和美学特征的映射模型。照片增强部分采用这些模型来优化和修补任意输入的照片。图14-4系统的框架结构14.1.1用户调查

要得到科学的视觉美学评估系统,就要对人类美学进行研究,研究结果如图14-5所示。美感吸引力从低到高分别为1,2,…5,图中白色区域、黑色区域、斜条阴影区域和竖条阴影区域的美感吸引力(Fa)代表专业的视觉美学评估系统对测试照片美感的评分(分别为(1~2]、(2~3]、(3~4]和(4~5]);每个区域直方图的长度是受试者对该区域照片的美感打分的统计百分比,直方图上的数字表示用户对照片美感的评分,横坐标为美感吸引力区间,纵坐标为用户投票百分比。观察直方图分布可得照片美感吸引力排名分配的以下趋势：

(1)美感吸引力为1<Fa≤2的照片有91%的Fa被标记为1和2;

(2)4<Fa≤5的照片有88%的Fa被标记为4和5。这表明,受试者能区分照片美感的优劣。图14-5汇总用户调查结果(上方饼图表明图库中每张照片的真实美感分布,底部直方图显示每个区间内照片排名的分布)14.1.2视觉美学特征

1.相对前景位置

相对前景位置定义为：照片框架中四个应力点与前景重心间的归一化欧氏距离也称为视觉注意力中心。

相对前景位置由下式确定：(14-1)其中,h、w为照片的高度和宽度,x0是前景重心,si(i=1,2,3,4)是应力点(s1…s4四点分别位于左上角、右上角、右下角、左下角)。为了确定视觉注意力中心(如图14-6所示),首先要根据几何背景对照片进行语义分割,得到右边的分割后的图像,深灰色像素表示天空,浅灰色像素表示支撑区(陆/海),白色像素表示占主导地位的前景,浅色十字为应力点(s1…s4),深色十字为前景重心x0。语义分割后,前景的轮廓更为清晰。表14-1是从图14-6提取的映射表,该表是美感吸引力(Fa)和相对前景位置(F)之间的映射。第二至第五列的值为视觉注意力中心(x0)和四个应力点(s1…s4)之间的相对欧几里德距离,图像帧的宽度和高度是归一化的。图14-6相对前景位置表14-1美感吸引力(Fa)和相对前景位置(F)之间的映射

2.视觉重量比

视觉重量比(Yg/Yk)是天空区域像素大小与支撑区域像素大小的比值,同样先使用自动语义分割技术处理照片。如图14-7所示,图中水平线为地平线,水平线上方虚线和下方虚线分别表示天空的垂直距离Yk和支撑区域的垂直距离Yg,为黄金比例(0.618),为了保持视觉重量平衡,视觉重量比应等于1.61803:(14-2)假设摄影帧近似与地平线对齐,则Yg/Yk(或Yk/(Yk+Yg))比率与黄金比例(φ)的偏差构成了风景图的美学特征(视觉重量偏差(W)):(14-3)图14-7视觉重量语义分割表14-2美感吸引力(Fa)和视觉重量偏差(W)的映射通过式(14-1)和式(14-3)获得了两类照片的视觉美学特征并通过用户统计获得了美感吸引力,然后可采用大规模的支持向量机(SVR)的算法学习它们之间的非线性映射关系。随机选择150幅照片用于训练,其余的用于测试。结果显示,单前景照片的预测精度为87.3±3％。在相同组成类别参数下,风景/海景照片的预测精度为96.1±2％。

14.2重建照片,增强照片质量

这里分别用优化对象位置和平衡视觉重量两种独立的增强方法来处理两类照片。对于a类照片,旨在重置前景对象,在保持场景语义完整性(例如地面上的物体与地面保持接触,而不浮到天空)的同时,提高预测照片的美感吸引力。对于b类照片,侧重于平衡天空和支撑区域的视觉重量,以便提高风景/海景照片的美感吸引力。这两种方法在以下小节中详细介绍。

重建照片之前,首先采用基于外观学习的场景分类方法对照片语义分割,产生一张显著信息图。确定照片中可能的天空和支撑区域,找出对应的前景区域(由排除法可知,即照片中既不属于天空又不属于支撑的互补区域)。其原理如图14-8所示。图14-8语义分割原理14.2.1算法Ⅰ优化对象位置

1.优化对象位置

对于a类照片,优化对象位置即找出最大吸引力位置x,再从原位置x0搬移到新位置x。设a类照片的视觉美学特征和美感吸引力之间的非线性映射关系为frf(Fa),最大吸引力位置x表示为(14-4)其中,δ是人为强制指定的支撑邻域大小,λ(x,x0)是x,x0空间邻域像素强度和梯度计算所得的平滑条件。图14-9是对象可能的重置位置。图14-9对象可能的重置位置

2.缩放前景物体以维持视角

仅仅搬移前景物体重建照片有时还不够合理,还需要重新调整前景物体的大小,保持照片逼真感,如图14-10所示。采用自动估算照片中地平线位置的方法来确定前景在其新位置的大小：(14-5)其中,v=(vx,vy)是消失点(地平线y=vy和同时经过前景原位置x0和新位置x的直线的交点),Dx/Dy是斜率,x2、y2是x的坐标值。缩放因子为^^(14-6)对于那些消失线信息不能可靠确定的照片,保持其原始大小即可。图14-10缩放前景物体

3.修补照片

单幅照片的修补采用基于补丁的区域填充算法填补缺失信息,修补结果如图14-11所示。图14-11修补照片14.2.2算法Ⅱ平衡视觉重量

对于没有前景但能清楚划分地平线的照片,可利用空间重构更好的平衡天空的视觉重心。假设地平线把照片划分为Yk/Yg,扩大或缩减Yk即可优化视觉重量比,以达到最大化美感吸引力。优化方案如下:(14-7)(14-8)其中,h是Yk增加的垂直距离(如图14-12所示),对方程(14-7)、(14-8)进行一系列代数代换即可求得一个关于h的二次方程,很容易求得两个h值,正值为Yk的增加量,负值为Yg的减少量,从而增加或降低照片的高度。增加照片高度需要用邻域像素的可用信息修补新增区域,采用基于补丁的区域填充算法;降低就只需适当裁剪照片。图14-12平衡视觉重量

14.3实验结果与分析

根据上面的重构技术,采用一个图形交互工具分别对200张图像进行测试,要求用户用封闭多边形分别标记天空、支撑和前景区域。完成语义分割后,选择算法Ⅰ/Ⅱ处理照片。结果如图14-13、图14-14所示,照片美感吸引力明显提升。图14-13a类照片重建前后美感吸引力区间对比图14-14b类照片重建前后美感吸引力区间对比

(1)对比重建前后的a类照片,四个由低到高的美感吸引力区间((1,2],(2,3],(3,4],(4,5]),如图14-13所示。a类照片重建前后示例如图14-15所示。图14-15a类照片重构前后美感吸引力对比

(2)对比重建前后的b类照片,如图14-14所示,照片的美感吸引力大幅提高。b类照片重建前后示例如图14-