创意摄影图像处理技术研究

第1章绪 开发背 国内外研究现 解决的主要问 本文的主要工 的组织结 第2章创意摄影后期处理技术需求分 概 项目背 项目说 目标和解决的问 问题的分 目标和解决的问 第3章架构设 设计目 架构设 界面设 逻辑结构设 第4章算法设 处理方法设 泊松融合的优 泊松方程介 泊松方程在泊松融合中的应 第5章实现与测 编程语言及工具实 编程语言—— 编程工具——visual 微软基础类库 代码实 MFC界面编 读写、选区等按钮事 部分代 程序测 第6章结 致 参考文 附录1：英文原 附录2：译 创意摄影的图像处理技术（图像合成） 关键字：创意摄影、图像合成、泊松融合、梯Withthedevelopmentofscienceandtechnologyandeconomiclevelimproved,camerais ingmoreandmorepopular,peopleforthepassionforphotographymoreandmorehigh,alsoforlateinthephotographicprocessingrequirements,fromfilmdarkroomperiodtonowdigitalprocessing,hasbeenincreasing.Butforcreativephotographyofimageprocessing,thecurrenttoachievesomeoftheoperations,suchasimagesynthesis,isstillverycomplex.Atpresent,themajorityofartcreatorstoachievetheeffectofnatural"synthesis"effect,needtocarryoutaseriesofcomplexmanualadjustment,andtheneedforasolidfoundationofartobservationability.Tosomeextent,thecomplexityofthelateprocesslimitsthefreedomoftheartandbringsalotoftroubletothecreators.Inthispaper,thedifficultyofthe"synthesis"inthepostprocessingofcreativephotography,thePoissonfusionalgorithmisadoptedtorealizetheseamlessintegrationoftheimage.Bycalculatingthegradientofthesynthesizedsourcematerialandthegradientofthebackgroundimage,thegradientofthefusededgeischangedintothesamebyusingthePoissonformula,andtheresultisachieved.Keyword:creativephotography,imagesynthesis,Poissonfusion,1开发背像的渴望、对影像记录和信息的需求催生了摄影术的诞生。数码相机的出现以及数字图像处理技术的发展，使得的处理越来越便利。摄影不再局限开始变得必不可少。当下，后期制作加工的主要是通过计算机软件对摄影在摄影史上，1839年的8月19日是里程碑式的一日。那一天，达将他发明的“银版摄影术”公布予大众。自此，摄影从一开始的仅仅为了记化得十分完善，创作者们可以使用各种各样的软件对他们的的色彩进行调。创作者们需要将他们所要合成的源图像的部分，翼翼得用套索等工具抠出来，再仔细地调整边缘；到背景图上之后，还要根据两图的色彩、国内外研究当下PC端用于做后期处理的主流软件主要有Adobe公司开发的AdobelightroomAdobephotoshop，丹麦的飞思数码后背（Phaseone）公司开发的Captureone、佳能公司发布的数码图像编辑软件CaptureNX等。其中lightroom、CAPTUREONE、DigitalPhotoProfessional、CaptureNX功能较为基础，简单易用，偏重的调色与图库管理，主要能够实现摄影后期中调整亮几乎没有使用photoshop不能实现的效果，另外还可与通过一系列第插件用。可以说，国外在的图像处理方面的研究已经十分完善以及先进，单单photoshopphotoshop其是对于不熟悉软件的使用者来说，会十分以及十分耗时。国内目前没有十分优秀的处理软件出现，比较热门的软件有美图秀秀的潮流，ios与安卓端也出现了一系列优秀的摄影后期软件。例如，的谷歌（）公司的Snapseed，VisualSupplyCo公司的VSCOCam等，在实现类似pc端lightroom的大部分功能的同时，提供了非常优秀的用户体验。国内adobephotoshop解决的主要Pcadobephotoshop本文的主要的组织第二章需求分析，介绍了本项目的开发背景、项目说明以及系统的整体概第四章详细设计，介绍了本项目用到的知识泊松融合第六章结论，总结本，提出现已完成的软件的以及存在的问2章创意摄影后期处理技术需求分概项目背中集中修正摄影作用，集中在如何提高质量，比如如何去噪点，如何去模设计与改良，现在的数码相机在噪点控制、色彩还原、灰度过渡等质量的rgb色调，亮度、灰度、锐度等信息，无论是在pc端还是在移动端，都有需要涉及到的拼合、元素的移动与重新组合等。这些处理大多数都涉项目说化，如果单纯地使用photoshop的基础功能来手动进行这些操作，时间成本会目标和解决的问问题的分19161923元素组合在一起，创造出具有某种的意义的、虚幻的景象。1924年以后，由于纪三十年代，这一流派有着较为严谨的艺术摄影家也利用剪刀、浆糊、暗房等技术作为自己主要的创作，将多张2-1超现实代表作之图示是当代摄影大师杰利·（JerryUelsmann）的作品。杰利·尤120adobephotoshop目标和解决的问为了解决上述的“合成”问题，此次的项目设计需要实现以下目标3构设设计目软件需要实现的主要功能是自动化的无缝融合因此需要支持的与保存操作、的显示与操作即时反馈功能、的选区操作、以及根据不架构设界面设图形用户界面的设计有以下三个用户界面要具有一致性需要被频繁使用的操作需要有快捷方式在报错时能够提供相应的处理方法可逆的操作合理规划划分用户界面的显示面板选择素 选择背选择素 选择背Normal feature3-1序界面设逻辑结构设选择选择素选择目圈出合成部选出合圈出合成部选出合成位合成保3-2程序逻辑结构设选取素材。格式可以是jpg、png、bmp圈出素材中用来合成的部分（一定要是闭合的圈）选择目标图像。格式可以是jpg、png、bmpnormalclone、mixclonefeatureexchangejpg、png、bmp选取素材。格式可以是jpg、png、bmp选出需要进行亮度均化的部分。（一定要是闭合的圈选取素材。格式可以是jpg、png、bmp选出需要卡通化的部分。（一定要是闭合的圈jpg、png、bmp4法设处理方法设经过前几章的分析，我们需要实现的主要功能是图像合成。在数字图像的计算与处理领域中，图像的合成技术一直是一个炙手可热的研究重点。两个方面的原因使它具有重要的研究价值：第一.不同内容的图像的获取难度是不同的，许多元素难以在同时同地出现在同一个画面中，因此获取包含某些特定元素的图像会非常，需要在画面中同时出现的这些特定元素越多，图像就越难获得。而数字图像处理中相对应的解决方法，图像合成，可以突破获取这种特殊所受到的时间、空间的限制，大大降低了图像的获取难度，可以节约大量时间与成本;第二某些图像例如超现实艺术家们的脑海里的画面在现实生活中根本不存在，无法从现实世界中直接拍摄获得，而图像合成可以将这种只存在于思想中的画面，在数字屏幕上展现到显示世界中。从九十年代简单的剪切拼贴到现在精致细腻的荧幕大片特效，世界各国对数字图像的合成、基于多分辨率模型的图像合成等。本文选用基于梯度场的图像合成算法中的泊松融合来实现半自动化合成的功能。而要做到融合的过程中，如何使合成元素的色彩、纹理等各个特征保持与背景一致，同时又要最大限度地保持原来的特征，在基于梯度场的图像合成算法中是个难以解决的问题。泊松融合(Poissoncloning)在这两个难题中做到了比较好的平衡，用户只需要提供合成的边界选区，泊松融合就可以在保持合成区域原有的纹理特征的情况下，做到边界的无缝融合。泊松融合的优Poisson方程的无缝融合泊松方程方法。羽化方法是对多幅图像的区域像素进行像素，根据区域的大小即像素到边缘的距离来确定权值。羽化可柔化区域的边缘，使重它的计算方法是对图像的梯度进行插值运算，它的原理是通过修改原来的数字图像的梯度场来获得一个具有新的梯度场的新图像,并将该梯度场与目标梯度场进行同一化来实现目标效果。2003插值来实现图像边缘的无缝融合，融合区域的梯度场已知，对梯度场进行泊松方程求解，得到无缝融合的结果。因此，这种融合方式称为poisson图像编辑。 斯算子可以表示为。 泊松方程在泊松融合中的应常明显的边界。针对此问题，法国学者帕特里克.佩雷斯（PatrickPerez)[1]佩雷斯等人与二零零叁年泊松图像编辑方法是在图像的梯度场v指导下进行插值实现编辑.为了保持待编辑区域Ωpoisson通过最小化源图像和目标图像的梯度场差异实现，该方法表示成以下最小化问图4-1题：，满式中 为梯度算子；表示向量*的L2范数和表示∂Ω区域的灰度。合成元素图像与背景图像的梯度场差异采用图像的L2范数表示。由Euler~Lagrange方程，式(1)变成一个满足Dirichlet边界条件的poisson方程:,，，式中是拉斯算 的散度，，拉斯算组的离散算式为5现与测编程语言及工具实创意摄影的合成算法的实现使用的编程语言是c++,编程工具是visualc++，visualstudio，MFCopencv。编程语言——C++言于C语言在1973～1979年那段时期C语言已非常快的C强大，它也不能幸免地存在一些缺陷，例如没有强劲健全的类型检查机制、没c以使用。因此为了解决这些存在的缺点，贝尔于一九八零年在C语CCC++语言于此形成。后来C++中又引进了运算符重载、到1983年正式取名为C++。在此之后，c++语言不断地被完善和发展，国家标准化ANSI和国际标准化组织ISO一起进行了c++语言的标准化工作，并于1998年正式发布了C++语言的国际标准（ISO/IEC:98-14882），成为目前C++语言。简单地说，C++语言是在C语言的基础上引入了面向对象的机制而形成的一门计算机编程语言。C++继承了C语言的大部分特点：一方面，C++语言将C语言作为其子集，使其能与C语言相兼容；另一方面，C++语言支持面向对象的程序设Cc++C++总得来说，C++C,二是支CCCC++的普及C++CCStroustrupC++语言的设计和演化》（1994）里做了详尽的陈述。C++。C++由于语言本身复杂。C++的编译系统受到C++的复杂性的影响，非常难于C++C++对于安全性也无法保证，所以，很容易依靠C++编译出来编程工具——visualVS，全称为VisualStudio，是公司的发布的开发工具包系列产品。Visualstudio是一个较为完整的开发工具集，它Windows、WindowsMobile、WindowsCE、.NETFramework、.NETCompactFramework和Silverlight 及WindowsPhone。VisualStudio是目前最流行的Windows平台应用程序的集成开发环境。微软基础类库微软基础类库，英文全称为FoundationClasses，简称MFC它是微软公司提供的一个以c++类的形式封装的具有应用程序框架的windowsapi类库。微软基础类库MFC定义了应用程序的大致外形，开发者一.封装MFCMFC类库。MFCC++Win32应用程序编程接口、应用程序的概念、OLEODBCDAO数据的功能等。Win32C++ObjectWindowsObjectWindows应用程序时必不可少的一步。微软基础类库把这些类似的处理封装成COM/OLEOLEAPIOLECOM/OLEODBCODBCAPI的大量的复杂的工作，给开发者们提供了些基类，在基类之上实现其他类。这些类中，最重要的类是CObject和CCmdTarget。CObject是MFC的根类，绝大多数MFC类是其派生的，包括这些对象包括以下种类：窗口对象，基类是CWnd；应用程序对象，基类是CwinThread；文档对象，基类是C，等等。微软基础类库以“C++OpenCV：OpenSourceComputerVisionLibrary。OpenCVBSD（开源），可以运行在多种操作系统平台上的，跨平台的计算机视觉库。它由一系列的C函数和少量C++函数构成，具有轻量级而且高效的特点并且提供了多种语言的接口例如PythonRuby实了计算机视觉与数字图像处理方面常见的许多功能。的C语言接口。该库也有大量的Python,Javaand/OCTAVE(版本2.5)的接口。这些语言的API接口函数可以通过文档获得。如今也提供对于C#,Ch,RubyOpenCV具有能通用、方便地进行图像与的读写存取功能的模块具有底层和的应用开发包OpenCV对图象数据的操作，包括分配、释放、和转换数据对运动的分析，如对光流、运动分割 的分析对目标的识别，可采用特征法和隐马尔科夫模型（HMM）具有基本的GUI功能，包括图像与显示、键盘和鼠标事件处理及滚动代码实MFC界面编MFC进入相应的代码部分写上按钮事件、鼠标事件、键盘事件等即可。5-1MFC面设计图读写、选区等按钮事获取源中的合成素材需要获得用户圈选之后的选区，因此在用户绘制用鼠标画出一个闭合的区域之后，在图像上将绘图的轨迹显示出来，在将部分代使用opencv的filter2D（）函数计算图像的梯度：（梯度简单来说就是求向的等等），同一化，并且保证合成图内部梯度与计算前的梯度保持一致，保证纹理不受影响。程序测Normal图5-2图5-3图5-4衍生功能。下面的这些功能就是对泊松融合的演绎。MixcloneMix图5-5图5-6图5-7Mixclone在这种需求下的合成效果也是非常不错的，在保留合成元素的纹理这些小功能用到都是泊松融合的原理，将所需要处理的区域先单独出来进图5-8图5-9图5-10图5-11图5-12图5-13图5-14图5-15图5-166rgb三个通道上择尽可能接近原来的梯度（normalclone）或者使用计算后相融合的梯度（mixclone）rgb三个通道的信息，得到结果图，实现无缝融合并且色实际上，创意图像的后期处理中，待解决的难点非常多。本文解决了致首先我要感谢我的导师，高晓程老师。本项目能顺利的完成，是因为我很难顺利地完成该项目和此。同时，还要感谢和我选择同一课题的，大家互相鼓励，互相帮助，最后，那些给过我鼓励和帮助的其他老师和，甚至是网上的陌生解答者，我都表示最诚挚的谢意，感谢。参考文P.Pérez,M.Gangnet,andA.Blake,"Poissonimageediting,"ACMSiggraph,vol.3,pp.313–318,Jul.2003.[J].中国院学报,2006,23(5):665-FATTALR,LISCHINSKID,WERMNANM.Gradienthighdynamicrangecompression[J].ACMTransactiononGraphics,2002,21(3):PerezP,GangnetM,BlakeA.Poissonimageediting[J].ACMTransactiononGraphics，2003,22(3):313-318.，.一种基于梯度域的彩像转灰度图像的方法.[J]影像技术,2007,(3):20-22.J]·（201504陈燕翔，论超现实主义摄影[D]，师范大学J]2012，11TP391.41[9][美]冈萨雷斯,[美]伍兹,数字图像处理[M]，电子工业，2010-1[10]何斌,VisualC++数字图像处理{M}，人民邮电，2001-4侯俊杰,深入浅出MFC（第二版）[M]，华技大学GaryBradski,AdrianKaehler,学习OpenCV（中文版）[M]，出刘瑞祯,于仕琪,OpenCV[M]，航空航天大学[14]（美）BrianW.Kernighan,（美）DennisM.Ritchie,C程序设计语言[M]，机械工业[15]RichardSzeliski,计算机视觉[M]1Efficient Thiswebsite saprojectcarriedoutinthecourseoftheseminar"ProcessingDigitalCameraImages"heldbytheComputerGraphicsGroupatTechnischeUniversitätBerlininwinterterm2011/2012.Ourgoalwastoimplementanefficientgradient- compositingalgorithmbasedonquadtrees(AgarwalaAGA07])andcompareittoregularpoissonblendingasintroducedbyP閞ezetal.[PER03].Weoutlinethegeneralconceptofgradient editing,followedbyadescriptionofacomputationallyefficientwaytoapproximatethesolutionofthepoissonequationforimagecompositingapplications.Furthermorewegiveanoverviewofourimplementationandpresentourresults.Finallyaqualitativeysisoftheapproximationerrorinourresultsisgiven. Simplecolorcompositinghasthedeficiencyofdiscontinuitiesalongtransitionsbetweentwoimages(i.e.visibleseamsasdepictedinFigure2.1).Gradient blendingaddressesthatbyformingcompositeswithrespecttothespacialgradientsofanimageratherthanitsactualcolorvalues.Thus,imagesareeditedbyalteringtheirdirectionalchangesincolorintensity,whicharesmallifneighboringpixelsaresimilarandviceversa.Figure2.1:Colorcompositing(left)vs.gradient-compositingIntegrabilityIfthegradientofanimageIisedited,theresultisusuallynogradientanymore,butonlyageneralvectorfieldthatisnotre-integrable.Thisisbecauseinmostcasesthechangedgradientnolongersatisfiesthenecessaryintegrabilityconditionofpathindependence.Avectorfieldispathindependent(orconservative)ifithasavanishingcurlasillustratedinFigure2.2.Inotherwordsthecumulatedgradientsalonganyclosedloopneedtoequalzero:Figure2.2:Ifavectorfieldhasavanishingcurl,itispathindependentandthereforeagradientLeast-squaresTheideaistorecoveranimagethatisbestreflectedbythiseditedgradient.Sincethegradientprovidesuswithlinearconstraintsforeverypixelineverycolorchannel(seeFigure2.3),wecanformulatea(overdetermined)systemoflinearequations.Figure2.3:Theeditedgradientprovideslinearconstraintsforeverypixelineverycolorchannelthatasolutionneedstosatisfyasgoodaspossible.WesetthedesiredgradientfieldAxequaltotheconstraintsdefinedbythisvectorfieldb,whereAistherepresentationofthegradientasalineartransformationoftheoriginalimagex.Theresultisonelargelinearsystempercolorchannelwithonevariableperpixel:Asstatedbefore,theremaynotbeanimagethatsatisfiesallconstraintssimultaneously,sowesolvetheimagethatbestsatisfiesthemintheleast-squaresensebyformingthenormalOncewesolveonesystemoflinearequationsforeverycolorchannel,weobtainx,whichisourdesiredgradient- composite.Unfortunaythisproblemdoesnotscale,becausesolvingasystemoflinearequationsrequiresstoringthewholevectorsxandbincorememory.Thisisalimitation,becauseevenforrelativelysmallimagesthememoryrequirements ehigh.Thisgradient-imageeditingtechniquewasoriginallydescribedbyPezetal.Forfurtherinformationpleaserefertoourmidtermpresentationson"SolvingthePoissonequation"and"ApplicationsofGradientImaging":Talk-ThePoissonEquation[pdfTalk-ApplicationsofGradientImaging[pdfEfficientGradient-Themoreefficientsolverisbasedonthekeyinsightthattheoffsetxδbetweenthegradient-compositexandthecolorcompositex0isonlycomplexinareasnearseamsandverysmoothotherwise(seeFigure3.1).Insteadofsolvingforx,wesolvefortheresidualxOurdesiredsolutionxissplitupintox0+xδinthesystemoflinearequationsthatweobtainedthroughourvectorfieldconstraints.Thesystemisthenrearrangedandthenormalequationsareformedinordertosolveitintheleastsquaresense.Figure3.1:Differencemapxδbetweenagradient- compositexandthecorrespondingcolorcompositex0andOntherightsideoftheequationarenolongerthedesiredgradientsb,butthedifferencebetweenthemandthegradientsofthecolorcomposite(b-Ax0).AsdepictedinFigure3.2theyareonlygoingtobenon-zeroforpixelsthatareborderingaseam.Inallotherareasthedesiredgradientiscreatedfromthesamesourcethatthecolorcompositecopieditsvaluesfromandwillthereforebyzero.Figure3.2:Forpixelsawayfromseamsthegradientwithinanimageregioniscopiedfromthesamesourceasthegradientfromthecolorcomposite.Theirdifferenceisthereforeonlynon-forpixelsborderingaWetakeadvantageofthischaracteristictocreatealowmemoryefficientsolveraccordingtoAgarwala[AGA07].Insteadofusingonevariableperpixel,fewervariablesareusedinsmoothareas.Thefullsolutionistheninterpolatedfromthat.ReducingtheProblemThechoiceofvariablesisdeterminedbyquadtreesthatare allysubdividedalongtheseams.Thevariablesareplacedatnodecornerssothatwehavefewerofthem.Toensureagradualreductioninresolutionfromtheseamstotheinterior,werestrictourquadtreebydefiningthattwoneighboringnodescannotdeferinsizemorethanafactoroftwo.Figure3.3showsaregularquadtreethatonlysubdividesthespaceinseam-areasversustherestrictedoneasimplementedbyus.Figure3.3:Aregularquadtreewhichsubdividestheimagealongseams(left)andaconstrainedquadtreewhereneighboringquadscannotdeferinsizemorethanafactoroftwo(right).Inordertoobtainsquarenodes,thequadtreeiscomputedonthesmallestsquarewithasidelengthofapoweroftwothatfitsourimage.Consequentlythesmallestleafnodeisgoingtobeexactlyonepixelinsize.Tobeabletocropthequadtree positionbacktotheoriginalsizeoftheimagewithoutcuttinganyquads,itisalsoallysubdividedalongthebottomandrightside(seeFigure3.4).Figure3.4:Thequadtree positioniscomputedonthesmallestsquarewithasidelengthofapoweroftwothatfitsthecompositeimage.InterpolationtoFullThequadtree positionyieldsallthepixelsthatarerelevantforagoodapproximationofourdesiredsolution,sothattherestoftheimagecanbediscarded.Thisreducedspaceisobviouslymuchsmallerthanthefullimagesothatthecorrespondingsystemoflinearequationscanbesolvedalotquicker.Figure3.5:BilinearinterpolationoftheunderlyingimagepixelsfromthecalculatedvaluesintheAsstatedbefore,wecanconvertbetweenbothspacesusingsimplebilinearinterpolation(encodedinthetransitionmatrixSasdepictedinFigure3.5).TheonlyspecialtyaboutthisinterpolationisthatvariablesthatliealongaT-junctions(wherenodesofdifferentsizesabut)arenotcomputeddirectlybutinterpolatedfromthevariablesthatliealongthegreatersideoftheT.Thisprocedureensuresacontinuoussolution.NotethatthisinterpolationneedstobeencodedintothesystemoflinearequationssothatthenewmatrixASloosesthecharacteristicalofaLaplacianForthesakeofcompletenessitshouldbenotedthatasimilarapproachusingmean-valuecoordinatesinsteadofquadtreeswasdevelopedby[FAR09].FinalForfurtherinformationpleaserefertoourfinalTalk- compositing[pdfWeimplementedourprojectusing .Itfeaturestwopoissonsolvers:onethatsolvesforthefullimageandonethatapproximatestheresultasdescribedabove.Also,agraphicaluserinterfaceisprovidedthatallowstheselectionofanimagepatchfromasourceimageandtheinsertionintoatargetimage.Becauseourapplicationfocusesoninsertingclosedimageregionsofoneimageintoanother,weuseDirichletasopposedto annboundaryconditionslikeproposedbyAgarwala[AGA07].Consequentlythetargetimageisconstrainedtostayunchangedsothattheblendingprocessonlyaffectsthesourceimage.Note:Since isaninterpretedprogramminglanguagetheexecutionofcommandsismuchslowerthaninlanguagesthatarecompiledtomachinecode.Thisiswhyalgorithmsthatareimplementedmanuallyhavealongerrunningtimethanbuild-inones.Thereforetheperformancegainsofourfastpoissonsolveraredistortedintermsoftotalrunningtimesinceitcontainsalotofcustomcode.Toshowhowsignificantlyfastertheapproximatedsolutioncanbecalculated,weonlyconsideredthesolvingtimeandneedednumberofvariablestoevaluateourresultsintheoverviewbelow.Sourceimplementation[zip]Inthefollowingsomeresultsarepresentedthatwecomputedusingourapplication.Attheendofthissectionthegradient-compositesforeveryresultsetarecomparedtotheircorrespondingfullspacecalculationstoevaluatetheapproximationResultSet1(Balloon):Colorcomposite,fullspacegradient- composite,reducedspace composite,quadtree,fullspaceresidual,reducedspaceresidual(fromlefttoright,toptobottom)ResultSet2(PolarBear):Colorcomposite,fullspacegradient-composite,reducedspacegradient-composite,quadtree,fullspaceresidual,reducedspaceresidual(fromlefttoright,toptobottom)ResultSet3(Hummingbird):Colorcomposite,fullspacegradient- composite,reducedspacegradient- composite,quadtree,fullspaceresidual,reducedspaceresidual(fromlefttoright,toptobottom)*Measuredingraylevelvaluesintherange[0,**Meanofabsoluteper-pixelerrorinsourceimageOurimplementationoftheefficientgradient- compositingalgorithmproducesapproximationsthatarevisuallyindistinguishablefromthefullspace