基于纹理与几何相似性的彩色图像空洞修复方法及系统

民局 (21)(22)(71)申请人大(72)发明人石(74)专利机构知识事务

(10)申请公布号 (43)人权利要求书6页说明书12页附图2A度图与彩渲染合成新的虚拟视点的深度图中A 权利要求 1/6确造成的针状空洞；步骤2，基于深度图像的几何信息和彩像的纹理信息构建最小纹理能量函数模型；步骤2中所述的最小纹理能量函数模型为：Ip_ip_iI*q_iIp_iD*q_iDp_oa0 权利要求 2/6，度源图像；，集合A中元素数；步骤3进一步包括以下子步骤：修复空洞图像块最大几何相似性和最大纹理特征相似性的最佳匹配图像块集；所述的子步骤3-2中采用如下分别对彩色目标图像和深度目标图像中的待修复空洞图像块中各像素依次进行替换：a0a＝0 权利要求 3/6素值；素值；块；元素数；构建最小纹理能量函数模型；2于：Ip_i 权利要求 4/6p_iI*q_iIp_iD*q_iD于：p_oa0匹配的图像块q_o之间的相似性：，度源图像；，集合A中元素数；如权利要求6所述的基于纹理与几何相似性的彩像空洞修复系统，其特征在于： 权利要求 5/6索结果获得与目标图像中待修复空洞图像块最大几何相似性和最大纹理特征相似性的最佳匹配图像块集；于：所述的空洞图像块更新模块采用如下分别对彩色目标图像和深度目标图像中的待修复空洞图像块中各像素依次进行替换：a0a＝0素值；素值；块；元素数； 权利要求 6/6[0001]本发明属于图像修复领域，特别是针对基于深度图的虚拟视点绘制（Depthimageg 使用基于3Dwar方法就可以合成虚拟视点[1]但是该方法在经过3D空间畸变映射中将变成黑洞[2]。]CVP议中提出通过深度图像辅助合成彩像纹理的方法，此方法通过衡量彩像的相似[0004]Luo[4]2009DIBR上作会使得有些有复杂背景或者包含多个物体的虚拟视点在合成时将产生人工块效 ][0006]D.Simakov[8]提出基于图像块的空洞修复方一种基于纹理与几何相似性的彩像空洞修复方法及系统，该方法能增强彩像中的不精确造成的针状空洞；[0010]步骤2，基于深度图像的几何信息和彩像的纹理信息构建最小纹理能量函数模型； 上述步骤2中所构建的最小纹理能量函数模型为 Ip_i表示彩色源图像I中选取的图像块p_i的像素值； p_iI* 表示彩色目标图像I*中选取的图像块q_i的像素值 q_iI 表示深度目标图像D*中图像块p_o的像素值图像块p_o为深度源图像D中p_iD* 表示深度目标图像D*中图像块q_i的像素值 q_iD [0034]Imgp_i和Imgq_0分别表示源图像中的图像块p_i和q_o的像素值 像和深度源图像； B表示目标图像中图像块q_i在源图像中对应的b个最佳匹配图像块q_o的集合； A集合含义是当源图像中选取块p_i在目标图像中搜索到的最佳匹配块p_o恰好与目标图像中图像块q_i重合时源图像中的选取块p_i即为集合A中的元素，a为集合A中元素数； δp_i和δq_o为标志函数分别用来表示源图像中图像块p_i和q_o是否为空洞图像块当图像块为空洞图像块时其对应的标志函数取0否则对应的标志函数取1。 步骤3进一步包括以下子步骤：图像中选取的各图像块在源图像中对应的最佳匹配图像块；并根据搜索结果获得与目标图像中待修复空洞图像块最大几何相似性和最大纹理特征相似性的最佳匹配图像块集；[0040]3-23-1[0042]上述子步骤3-2中采用如下分别对彩色目标图像和深度目标图像中的待修复空洞图像块中各像素依次进行替换： a0 a＝0 的像素值； 的像素值； 图像块； [0058]Ap_ip_o因不精确深度值造成的针状空洞；信息构建最小纹理能量函数模型； Ip_i表示彩色源图像I中选取的图像块p_i的像素值； p_iI* q_iI 表示深度目标图像D*中图像块p_o的像素值图像块p_o为深度源图像D中p_iD* 表示深度目标图像D*中图像块q_i的像素值 q_iD 最佳匹配的图像块q_o之间的相似性： Imgp_i和Imgq_0分别表示源图像中的图像块p_i和q_o的像素值 像和深度源图像； B表示目标图像中图像块q_i在源图像中对应的b个最佳匹配图像块q_o的集合； A集合含义是当源图像中选取块p_i在目标图像中搜索到的最佳匹配块p_o恰好与目标图像中图像块q_i重合时源图像中的选取块p_i即为集合A中的元素，a为集合A中元素数； δp_i和δq_o为标志函数分别用来表示源图像中图像块p_i和q_o是否为空洞图像块当图像块为空洞图像块时其对应的标志函数取0否则对应的标志函数取1。 上述空洞修复模块进一步包括以下子模块： 2 所述的空洞图像块更新模块采用如下分别对彩色目标图像和深度目标图像中的待修复空洞图像块中各像素依次进行替换： a0 a＝0 的像素值； 的像素值； 图像块； [0108]Ap_ip_o 现有的基于深度图像的虚拟视点绘制技术（DIBR）合成的虚拟视点彩像空洞出基于纹理与几何相似性的彩像空洞修复技术，将考虑深度图中几何信息特征和彩色 [0114]本发明提出了一种基于纹理与几何相似性的彩像空洞修复方法，该方法考虑体步骤如下：[0117]采用形态学方法处理经3D空间畸变映射后得到的虚拟视点的彩像和深度图[0119]经过上述预处理操作，得到虚拟视点的彩像I和深度图像D，D(x,y)代 由于空洞部分内容完全缺失图像补洞问题是一个问题3Dwar技术通过由参考图像映射到立体空间再由立体空间映射至目标平面得到虚拟视点图像因此， 本发明以现有的最小纹理能量函数[8]diffA(Dp_i,)和深度图像的一致性权重diffB(Dq_o,)构建如下考虑了深度图像几 [0130]D*2[0131]Ip_i表示彩色源图像Ip_i 表示彩色目标图像I*中图像块p_o的像素值图像块p_o为彩色源图像I中p_iI* 表示彩色目标图像I*中选取的图像块q_i的像素值[0134]I表示彩色源图像Iq_oq_oI*中q_iI 表示深度目标图像D*中图像块p_o的像素值图像块p_o为深度源图像D中p_iD* 表示深度目标图像D*中q_i位置图像块的像素值 iD 0.3＝0.47 配的图像块p_o之间的相似性,见2此时仅考虑一定存在p_i的情况即a≠0 p_iA[0143]diffBq_iBq_ibq_o 像包括彩色目标图像和深度目标图像。那么，ImgImgImg 像I、I、I*、I*，又可依次表示深度图像 [0147]δp_i和δq_op_iq_o S 图像块集合S。 步骤3，采用EM算法（期望值最大化算法，Expectation- [0154]基于步骤2构建的最小纹理能量函数以最大化纹理特征相似和几何特征[0155]本发明中的搜索分为两步进行： Ap_o。Bq_i。色纹理特征和深度几何特征的集合AB中图像块的信息。标图像I*和深度目标图像D*中待修复空洞图像块中各像素依次进行替换的方法见 的像素值； 的像素值； 用[0178]Ap_ip_oq_iA＝φa＝0，采（7）～（8）进行空洞修复。用[0179]每次采用M步进行空洞修复后最小化最小纹理能量函数的取值 EMI*D* 将本发明方法KaiLuo[4]空洞修复算法P.Ndjiki-Nya[6]空洞修复“BreakdancersLovebird1“Breakdancers“Lovebird1[0183]表1对比试验[0185]本发明方法在已有基于彩像纹理内容信息的纹理能量函数基础上，根据彩色[0186] [1]WilliamR.Mark,“Post-rendering3dimagewar:Visibility,reconstruction,andperformancefordepth-imagewar,”Aprl.1999. [2]ChristophFehn,“Depth-image-basedrendering(dibr),compression,andtransmissionforanewapproachon3d-tv,”pp.93–104,2004. [3]LiangWang,HailinJin,RuigangYang,andMingluninpainting:JointcoloranddepthcompletionfromstereoComputerVisionandPatternRecognition,2008.CVPR2008.IEEEConference[0190][4]KaiLuo,Dong-xiaoLi,Ya-meiFeng,andMingZhang,“Depth-aidedinpaintingfordisocclusionrestorationofmulti-viewimagesusingdepth-image-basedrendering,”JournalofZhejiangUniversitySCIENCE[0191][5]Kwan-JungOh,SehoonYea,andYo-SungHo,“Holefillingmethodusingdepthbasedin-paintingforviewsynthesisinviewpointevisionand3-d,”inPictureCodingSymposium,2009.PCS2009,may2009,pp.1–4.[0192][6]P.Ndjiki-Nya,M.Koppel,D.Doshkov,H.Lakshman,P.Merkle,K.Muller,andT.Wiegand,“Depthimagebasedrenderingwithadvancedtexturesynthesis,”inMultimediaandExpo(ICME),2010IEEEInternationalConference[0193][7]A.Criminisi,P.Perez,andK.Toyama,“Objectremovalbyexemr-basedinpainting,”inComputerVisionandPatternRecognition,2003.Proceedings.2003IEEEComputerSocietyConferenceon,June2003,vol.2,pp.II–[0194][8]D.Simakov,Y.Caspi,E.Shechtman,andM.Irani,“Summarizingvisualdatausingbidirectionalsimilarity,”inComputerVisionandPatternRecognition,2008.CVPR2008.IEEEConferenceon,June2008,pp.1–8.[0195][9]RuiZhong,RuiminHu,ZhongyuanWang,LuLiu,andZhenHan,“LBP-guideddepthimagefilter,”inDataCompressionConference,IEEEInternationalConferenceon,March2013.[0196][10]ISO/IECJTC1/SC29/WG11,“Referencesoftwaresfordepthestimationandviewsynthesis,”inDoc.M15377,Apr.2008.[0197][11]VivekKwatra,IrfanEssa,AaronBobick,andNipunKwatra,“Textureoptimizationforexample-basedsynthesis,”inACMTrans.Graph.,New[0198][12]KazuyoshiSuzuki,“Referencesoftwareforviewsynthesisversion2.3,”in