文献综述国内外现状初版

1、混合分辨率+超分辨率+（depth+SR）DIBR+虚拟视点+（depth）（为什么从以下两个部分综述的原因没有写）从家庭设备到专业制作的安全和监视场景，多视点机设备变得越来越重要，身临其境的体验需求日益增加，现代应用比如自动显示或视点电视等越来越受到人们的欢迎。通常情况下，多视点图像的灵活性和可利用性方法随着给定相机角度的增加而增加，然而，大量的机设备会导致数据传输和成本的增加和复杂性的提高。为此，众多科研学者都投入到多视点图像和处理相关技术的研究当中。当前关于多视点图像和处理技术的研究主要有三个方面：多视点编码前处理；多视角的压缩编码方法；以及接收端的高分辨率本文拟展开基于深度学习的多视点

2、重建。编码前处理与重建的研究，将重点介绍多视角混合分辨率框架下的超分辨技术以及利用 DIBR 技术两个方面虚拟视图模型的多视角混合分辨率框架下的超分辨技术的发展及研究现状1.1为获得高质量往往需要大量的数据，其需要的计算复杂度和传输带宽远远超过，由于数据传输和容量的限制，如何才能将高质量的超分辨率视图传输给2D终端用户是目前相关领域研究的一个巨大01因此，提出一种多视角混合分辨率框架下的超分辨技术2-6。该技术主要是利用在给定相邻机角度的不同空间分辨率，在接收端以低分辨视角图像为基础，其中高分辨率图中的高频部分可用于增加相邻低分辨率视角的图像质量，构建出超分辨率图像，进一步降低传输过程中的数据

3、量。该技术一提出，迅速引起了学术界和工业界的广泛关注和重视。为此，多视角混合分辨率年来的研究热点。框架下的超分辨技术的发展及应用成为近几在7中利用 SR 技术旨在对于一个给定的低分辨率输入图像或序列建立合理的高频内容, 从而在重建端得出更精确的超分辨图像。在8、9提出了截取利用低分辨率和全分辨率视图的混合分辨率方案，即从两个视点看到的相邻图像中，一个处理为全分辨率视图，另一个处理成低分辨率视图，并在两者中提取出相关的序列和像素点，再利用图像分析和 IBR 等技术，最终得出了全部是高分辨视图的方法。对比传统方法，混合分辨率技术在生成超分辨率图像的同时有效的提高了时间效率。在利用混合分辨率技术的研

4、究过程中，考虑到邻域高分辨率图像的投影图会不可避免的产生裂纹、空洞等一系列问题，尽管提高了图像的分辨率，但图像质量会受到了较大影响。针对研究过程中的裂纹、空洞等问题，传统的解决方法是利用传统的插值上采样图像以及基于 DCT 的上采样图像对其进行修复处理,在传统解决方法的基础上，文献10使用了非均匀采样复原理论对空洞进行了修复，投影图中的其它空洞则由原始低分辨图像帧的上采样图像进行了填充，提高了最终图像质量。而文献11对纹理进行处理，提出了一种基于多幅图像表面三维几何模型的超分辨纹理估计的变分框架，在此框架下，进行推导算法的迭代并优化一个高质量的纹理，表面位移图，和机标定参数以提高单个图像表面的

5、配准，以此来修复裂纹。文献12从深度图入手，利用匹配与深度图融合的方式，充分利用深度信息对视图的补偿，进行闭环处理，最终获得减少了空洞数量的高质量的深度图和超分辨率图像。文献13主要针对重建过程的超分辨率视图，提出了一种在混合分辨率场景中改进的深度编码模式决策，对基于深度编码的上采样视图进行失真计算的改进和优化，进而减少了空洞和裂纹的产生，提高了图像质量。在利用多视点混合分辨率技术的研究过程中，除了在重建端对图像的修复可以提高质量之外，改进算法技术和采样方法等也能达到重建出质量好的超分辨率图像的目的。比如文献14提出一种以位移补偿高频为基础，以校正投影误差为目标的算法，能提高过程中高分辨率图的

6、像素无差错深度数据，进而提高了图质量。而文献15为了减少数据传端的质量，在上下采样算法的基础上，在编码端对相邻的图像采用遵循输和增强交错和互补的下采样方式，在端丢弃的像素由像素的虚拟视图定向插值像素采样融合互补的观点恢复，其图像质量优于传统采样方法所得的图像质量。Zhi Jin, Tammam Tillo 等人提出虚拟视点辅助超分辨率算法，利用视图间的相似度确定超分辨率帧中缺失的像素是否需要由虚拟视点像素或空间插值像素填充，从而恢复图像细节和保持高质量16。针对端视图质量，Michal Joachimiak 等人采用视图上采样优化算法，实施一种新的基于深度超分辨率的深度失真度量方法17。利用经

7、过改良的变换域 SR 法，即基于目标 LR 视图与辅助 HR 视图相关性的最优权重分配算法，它不仅借用了相邻全分辨率帧的高频内容，而且利用了所有高分辨率图像，对低分辨率提供更准确的细节信息，保持了图像的高质量和高分辨率18。综上所述，利用多视点混合分辨率技术可以有效的生成超分辨率图像，在研究过程中，不断改进的优化算法和图像修复技术能够大大的减少时间上的花费，增加效益值。2017 年18算法相比过往的方法，得出的超分辨率图像质量最佳。DIBR 技术随着 3D虚拟视图模型的发展及研究现状1.2和 3D的需求日益增加，三 D的制作与通信增长迅速。作为一个用户可以选择的观点，视点（FVV）也引起了越来

8、越多的关注，然而，捕获和传输任意视点需要各种的相机、复杂的编码和昂贵的带宽，如何传输这些频是不现实的，并且为了传输多视点信息是一个巨大的。用大量的相机从不同的视角捕获视去占用太多的带宽是不合理的，一种有效的解决方案是虚拟视点。即通过两个或多个机拍摄的同一场景的图像，来生成此场景其他各个视点或视线方向上的图像。基于图像的绘制 (image-based rendering, IBR)是图像的插值或像素投影来产生新的虚拟视点图像 , 能够实时虚拟视点的有效方法，其主要是通过对参考高质量的中间视图，其绘制过程避免了复杂的几何建模工作与计算工作，因此具有快速、简单、 真的优点。因此 , 在虚拟现实 、军

9、事指挥 、影视特效 、图像处理等方面有着广泛的应用 前景 。基于深度图的图像绘制 (Depth image-basedrendering, DIBR)是对 IBR 的一种改进 , 它将场景的深度信息引入到 IBR 中 ,通过 3D-War技术利用 彩像及其深度图像生成任意位置的虚拟视点图像。与传统的 IBR 方法相比 , DIBR 大大减少了参考图像的数目 , 为实时生成高质量的虚拟视点图像提供了有效的技术支持。DIBR 技术主要包括以下几个环节： 3D-War（三维转换）19、像素插值和空洞填补。其中，像素插值是影响虚拟视点绘制质量的主要环节，深度图的准确程度和遮挡、问题是影响插值准确度的两

10、个确性，这将会导致在 3D-最为重要的客观。一方面，由于 DIBR 技术所采用的深度图一般都具有War过程中投影像素点发生错误的。如果在像素插值环节未能考虑到这种错误，将会使投影像素点偏离实际位置而产生失真。另一方面，遮挡、问题将导致虚拟视点空间中某个待插值像素点附近分布着多个投影像点，能否从多个投影像素点中选择合适的像素点来进行像素插值是影响绘制质量的关键。在像素插值以后，虚拟视点图像中还会存在一些空洞区域，为了得到完整的虚拟视点图像，需要对空洞进行填补。目前，解决空洞有两类方法，（1） 对深度图进行预处理. 使用滤波器对深度信号作平滑处理, 以减小深度的不连续性。由滤波器2021、非对称低

11、通滤波器22等对整幅深度图进行平滑处理，出现空洞的水平边缘区域会被平滑，但是其他未产生空洞的区域经过滤波后，会出现几何上的失真，降低了图的质量。为了解决这个问题，一种基于边缘深度图的滤波器23和另一种自适应边缘平滑滤波器24相继被提出，在对深度图预处理过程中，只对空洞区域的水平边缘进行平滑操作，达到最优效果。（2） 对已产生的空洞进行填补。利用周围像素间的相关性，在时间或空间域填补非遮挡区域而不是对深度图进行预处理。有两类填补空洞的方法：1）在空间域，利用图像的空间联系填补丢失的像素。文献25 利用邻域插值法，提出利用空洞周围 8 个方向的非空洞背景像素点的距离来填补空洞的方法。由于两个相邻的

12、机可以覆盖相对较宽的视角，为了减少空洞数量，在26中提出了利用图像融合的方法，是相邻的视图结单一的图像从而减少空洞。然而在带宽的限制下，只有一小部分的视图能够被传输，所以生成的视图仍然会缺少一些像素信息。因此在不引入明显的模糊伪影的情况下恢复丢失的像素，图像修复的方法越来越受到欢迎。在27和28文献中，图像修复方法的应用表明，在计算空洞边界的像素的优先级后，与空洞最相关的补丁是从源补丁 而来的。但是，在较低的空间域关联情况下，图像修复无法有效的区别出前景和背景的像素，因此会对图的质量产生损害。在29中，为了减少图像修复的难度，对缺失像素块进行了排序。在重构过程中，对最复杂的像素块的辅助信息（A

13、I）进行传输，从而引导填补空洞。器在模板匹配算法下独立的2）在时间域上，利用时间上的相关性对视图填补丢失的像素。当前景物体移动时，由前景对象遮挡的背景（BG）在新视图中，会在视图中产生一些空洞，基于此，研究提出了背景更新技术。在30和31中采用背景更新技术，在基于时间的相关性上生成静态背景框架，然后根据深度图使用传统的图像修复和聚类技术去除任何前景物体。但是由于依赖于图像修复、背景图像的和聚类方法，这些步骤的任何一个错误都会降低视图的质量。针对传统的空洞填充方带来一些模糊的效果或伪影，提出一种新的空洞填充的前景去除方法。通过在 3d 变形之前，前景对象从 2d及其对应的深度图中被移除，并且构建

14、出背景深度图和背景，从而结合 DIBR 模块得出优化效果32。另外，如果利用按重量比和标准差排序的混合模型模型生成背景框架，背景框架并不展现像素最近的变化，这会导致视图合成中的背景框架较差33。但在 34中，用大量的混合模型将前景像素和背景像素分开，并相应地修改像素强度。该文献使用自适应平均生成像素强度，从而在变形图和模型中恢复背景图丢失的像素，用来纠正在图像变形过程中的错误，同时使用自适应重置机制保持案能有效的提高视图质量。混合模型系统的相关性，最终该方综上所述，对在利用 DIBR虚拟视点的过程中产生的空洞问题，通过对深度图的预处理滤波操作以及空洞填补均能在一定程度上解决问题，在34的方案中

15、，采用自适应算法和混合模型相结合的方式，能进一步解决在动态场景下的视图，极大提高视图的质量。1J. Xiao, M. M. Hannuksela, T. Tillo, M. Gabbouj, C. Zhu, and Y. Zhao,“Scalabit allocation betn texture and depthviews for 3-D139152, Jan. 2015.streaminer heterogeneous networks,” IEEE Trans. Circuits Syst.Technol., vol. 25, no. 1, pp.2 Diogo C. Gar ;Cam

16、ilo Dorea;Ricardo L. de Queiroz. Super Resolution for Multiview Images Using DepthInformationJIEEE Tranions on Circuits and Systems forTechnology, 2012.D.C.Gar ;C.Dorea;R.L.De Queiroz. Super resolution for multiview images using depth informationCProceedings of IEEEernational Conference on Image Pro

17、sing, 2010.T.Richter;J.Seiler;W.Schnurrer,et al. Robust super-resolution in a multiview setup based on refined high-frequency synthesisMMSP 2012Proceedings, 2012.T.Richter;A.Kaup. Multiview super-resolution using high-frequency synthesis in case of low-framerate depthinformation2012 IEEE Visual Comm

18、unications and Image Prosing, 2012.6 E.M.orea;D.C.Gar ,et al. Transform-super-resolution for multiview iamges using depthinformationCEUSIPCO, 2011.7S. C. Park, M. K. Park, and M. G. Kang, “Super-resolution image reconstruction: A technical overview,” IEEE Signal Pros. Mag, vol. 20, no. 3, pp. 2136,

19、May 2003.8 H. S. Sawhney, Y. Guo, K. Hanna, R. Kumar, S. Adkins, and S. Zhou,“Hybrid stereo camera: An IBR approach forsynthesis of very high resolution stereoscopic image sequen,” in Proc. 28nnu. Conf. SIGGRAPH, 2001, pp. 451460.9 P. Aflaki, M. M. Hannuksela, J. Hakkinen, P. Lindroos, and M. Gabbou

20、j, “Subjective study on compressed asymmetricstereoscopic,” in Proc. 17th IEEE. Conf. Image Pros. (ICIP), Sep. 2010, pp. 40214024.10 DING Lan， FU Zhizhong， LI Xiaofeng， ZENG Lei ,“Image Super Resolution for Multi-view Mixture ResolutionBased on-uniform Sling Restoration”, in Opto-Electronic Engineer

21、ing, 10.3969/j.i.1003-501X.2013.11.01311 Bastian Goldlcke Mathieu Aubry Kalin Kolev Daniel Cremers, “A Super-Resolution Framework for High-AccuracyMultiview Reconstruction”,J Comput Vis (2014) 106:17219112 Jing Zhang Cao Zhigang Zheng Changwen Chen Zengfu Wang, “A new closed loop method of super-res

22、olution for multi-view images”, Machine Viand Applications (2014) 25:1685169513 Michal Joachimiak , Mis. Hannuksela , Payman Aflaki , Moncef Gabbouj, “UPSLED-VIEW DISTORTIONOPTIMIZATION FOR MIXED RESOLUTION 3DCODING”, 978-1-4799-8339-1/15/$31.00 ICIP 2015 IEEE14 Thomas Richter, Jrgen Seiler, Wolfgan

23、g Schnurrer, and Andr Kaup, “Robust Super-Resolution for Mixed-ResolutionMultiview Image Plus Depth Data”, IEEE TRAN NO 5, MAY 201615 Zhi J in, Tammam Tillo, Jimin Xiao and Yao Zhao, “MultiviewIONS ON CIRCUITS AND SYSTEMS FORTECHNOLOGY, VOL 26,plus depth transmisvia v irtual-view-assisted complement

24、ary down/upsProsing (2016) 2016:19ling”, Jin et al. EURASIP Journal on Image and16 Zhi Jin, Tammam Tillo, Chao Yao,Jimin Xiao and Yao Zhao, “Virtual-View-AssistedSuper-ResolutionTECHNOLOGY, VOL. 26,and Enhancement”, IEEE TRANNO. 3, MARCH 2016IONS ON CIRCUITS AND SYSTEMS FOR17 Michal Joachimiak ,Misk

25、a M. Hannuksela,Moncef Gabbouj, “View upsling optimization for mixed resolution3Dcoding”, Multidim Syst Sign Pros ( 2016) 27:76378318 Zhi zhong Fu, Yuan Li, Jin Xu, Honggang Wu,Yongwen Lai, “Super resolution for multiview mixed resolution imagesransform-with optimal weight”, Multimed Tools Appl (201

26、7) 76:3031304519 Ahn I， Kim C.A novel depth-based virtual view synthesis method for free viewpoBroadcasting，2013，59（4）：614-626.J.IEEE Tranions on20 C. Fehn, “Depth-image-based rendering (DIBR), compresSPIE, vol. 5291,pp. 93104, May 2004., and transmisfor a new approach on 3D-TV,” Proc.21 W. J. Tam,

27、G. Alain, L. Zhang, T. Martin, and R. Renaud, “Smoothing depth maps for improved steroscopic imagequality,” Proc. SPIE, vol. 5599, pp. 162172, Oct. 2004.22 Y.-R. Horng, Y.-C.g, and T.-S. Chang, “Stereoscopic images generation with directional Gaussian filter,” in Proc.IEEE . Symp. Circuits Syst., Ma

28、y/Jun. 2010, pp. 26502653.23 W.-Y. Chen, Y.-L. Chang, S.-F. Lin, L.-F. Ding, and L.-G. Chen, “Efficient depth image based rendering with edge dependent depth filter and olation,” in Proc. IEEE . Conf. Multimedia Expo, Amsterdam, The Netherlands, Jul. 2005, pp. 13141317.24 P. J. Lee and Effendi, “geo

29、metric distortion smoothing approach for depth map preprosing,” IEEE Trans.Multimedia, vol. 13, no. 2, pp. 246254, Apr. 2011.25 DO L, ZINGER S. Quality improving techniques for free-viewpoDIBR C/IS & T/SPIE Electronic Imaging. SPIE Press, 2010: 75240I-75240I-10.ton:26 D. M. M. Rahaman and M. Paul, “

30、Free view-posynthesis using Gaussian mixture mling,” in Proc. IEEEConf. Image Vis. Comput. New Zealand, Nov. 2015, pp. 16A. Oliveira, G. Fickel, M. Walter, and C. Jung, “Selective hole-filling for depth-image based rendering,” in Proc. IEEE. Conf. Acoust., Speech Signal Pros., Apr. 2015, pp. 11861190.A. Criminisi, P. Prez, and K. Toyama, “Region filling and object removal by exemplar-based image inpa ing,” IEEE Trans. Image Pros., vol. 13, no. 9, pp. 12001212, Sep. 2004.29 Y.compres, G. Cheung, T. Maugey, P. Frossard, and J. Liang, “En