教育资料（2021-2022年收藏的）自然图像抠图方法讨论.

1、云南大学学报(自然科学版 , 2007, 29(S2 :228232CN 53-1045/N ISSN 0258-7971Journal of Yunnan U niversity自然图像抠图方法讨论任艳宏, 徐丹, 苏鹏宇(云南大学计算机科学与工程系, 摘要:, 它通过用户交互, 指定图像中的少, 、准确地分离出所有的前景物体. 文章对若干, .关键词:; 前景提取; 自然图像抠图;alpha 估计中图分类号:TP31714文献标识码:A文章编号:0258-7971(2007 S2-0228-05在数字图像或视频编辑领域, 一个很重要的应用就是分割、提取图像中不同对象进行处理. 而其中最直观

2、的分割需求就是从图像中分离前景和背景, 进而将分割出的前景图像与其他的背景组合形成一幅新的图像. 总的来说, 对景物提取与合成技术的需求随着视频制作、基于图像的建模和绘制、视频压缩等应用领域的开拓而变得更加迫切. 图1毛发、云彩很难通过常规方法提取出来, 基于透明度的方法适用于解决这种问题Fig 11I t s m ore effective to extract hair or cloud by alpha estimation than by normal method如果图像中前景、背景的边界清晰, 可以采用沿着边界剪切、粘贴的方法, 只要你足够细心, 也可以获得比较不错的效果. 然而在

3、自然图像中, 这种方法通常是难以实现的. 自然景物如树叶和发束通常比一个像素还要细小, 如图1(a 这使得离散的数字图像在前、背景交界处大量的像素点从不止一个物体上获得光线. 另外, 一些半透明物体的图像如云彩、玻璃杯, 即使是在景物内部, 像素点也包含了前、背景物体的色彩, 在这种情况下, 传统的边探测和图像分割算法是无能为力的.针对上述问题, 大量科研工作者进行了长期的研究和探索, 采用alpha 估计的前景提取思想, 对单个像素点包含的色彩进行前景和背景的分离, 从而较好的解决了这类问题.1alpha 估计的历史值的概念由3个不同的群体分别创造出来:收稿日期:2007-09-14基金项目

4、:国家自然科学基金资助项目(60663010 ; 云南省自然科学基金资助项目(2006F0017M .作者简介:任艳宏(1977-, 男, 云南人, 主要从事图像去噪, 图像放大, 自然图像抠图等方面的研究. 计算机图形学、电影和电视业以及遥感. 最初在图形学中值的应用是为了“S oft Filling ”, 即改变反走样区域例如一条边界的色彩值. Fishkin 和Barsky 1发表了当值未知但是原始前景和背景色彩已知的情况下, 最为综合的技术文章. 边界上一个像素点的色彩被假定为落在由原始色彩展开的色彩空间的矢量子空间中. 这项技术对于2个物体之间不超过四种的色彩有效. Mitsunag

5、a 等人2研制了一个更加健壮的估计值的系统. 设的模成比例的. 会增加信噪比. 然而如毛发和水这样的物体不遵从这一条假设.在相当长的一段时间内, 电影和电视工作者使用蓝色屏幕进行简单的景物提取. 被摄物置于1张蓝色屏幕前, 录制完毕后胶片上的蓝色屏幕被其他的背景所替代. Smith 和Blinn 3非常详细的研究了这种“蓝屏”问题, 发现仅仅在最简易的情况下才存在唯一的物象提取结果. 他们证明:如果能在两张任意对应像素点都不同的背景屏幕下拍摄前景物体, 那么在通常的情况下可以得到关于前景的唯一结果. 但是, 这种方法仅仅在能够两次拍摄同一个不动物体的录影棚内才有效.最后, 在遥感领域, “分离

6、像素点”是一直以来被关注的课题, 因为卫星图像的每一个像素点都混合了大量不同种类不同物质反射的光线. 一种简单但是非常有效的方法来自于Adams 等人4. 他们在考虑明暗亮度效应的同时由一幅火星表面照片推导出了岩石和土壤成分并且估计了它们在图像中每一点的含量. 然而这类技术通常需要预先给出许多并不包含在图像中的信息, 例如各种物质的实验室参照光谱, 对候选物质成分排序的研讨, 和对数据的其他分析. 本文中研究的景物提取, 没有如此复杂的附加条件. 输入仅仅是单幅数字图像.2基于alpha 估计的抠图技术P orter 和Du ff 5在1984年引入了通道的概念, 并展示了如何将值应用于合成多

7、张图像生成复杂的数字图像. 其中描述了了最为常见的组合操作是over 操作, 它被总结为组合等式C =F +(1-B , (1 其中C , F , B 分别表示合成图像, 前景图像和背景图像的RG B 三维矢量, 代表了颜色的不透明度, 其值介于(0, 1 之间, 而合成图像的颜色值是由前景颜色和背景颜色以值为参数进行线性混合而得. , 其C , 前景图像F 和, 本文讨论景提取, 它对图像的背景不做要求, 且只需一张图像.然而, 在彩色图像中, 等式(1 包含3个方程7个未知量, 它是一个非约束问题, 而这类问题是不可精确求解的. 因此, 我们必须寻求一些额外的约束条件或者充分利用已知图像上

8、的信息, 才有可能用近似的方式进行求解. 而这正是所有已知抠图算法的核心所在.目前提出的方法都要对图像的局部特征进行假设, 在大多数条件下这些假设是可以成立的, 比如局部颜色平滑假设, 局部颜色概率分布一致假设. 在这些假设下, 依靠用户提供的额外信息, 就能有效地降低等式(1 中的变量个数, 从而达到求解的目的.多数抠图算法采用1幅原图像和1幅对应的T rimap 作为额外的用户信息. T rimap 是1幅已被粗分割过的图像, 如图2, 它划分原图像为3个区域:已知前景、已知背景和未知区域. 前2个提供了将要假设条件使用依赖的先验知识, 后1个表示算法将要处理的区域. 算法的结果是1个前景

9、图像层和1个背景图像层, 前景图像层中包含了每个像素的前景颜色信息和不透明度值, 当它们按照组合等式(1 合成时, 能得到1幅同原图像精确匹配的图像.另一类目前更为流行的做法是由用户在原图像的前景区域和背景区域的适当位置简单的勾勒几笔(稀疏画笔集 , 画笔覆盖的位置提供了图像前景、背景以及混合区域的相关信息, 所有未被画笔覆盖的区域均是未知区域, 而算法仅需依赖这些很少的交互信息就能构造一个求解系统, 通过扩散或羽化过程求解.922第S2期任艳宏, 等:自然图像抠图方法讨论 图2(b , ; (c 中红色为确知前景, 蓝色为确知背景Fig 12(b -,black -background ,g

10、ray -unknow (c scribbles (red -foreground , blue -background 3几种代表性技术在这个部分我们对几种当前比较成功的抠图算法进行简要的介绍.311K nockout 6算法要求一个精确的trimap , 理想的情况下, 未知区域中仅包含值在(0,1 之间的像素. 当处理一个未知区域像素时, 首先找出离该点最近的前景、背景边界点集, 然后分别用这些点集的平均色作为F 和B 的估计值, 值在每个颜色通道被单独计算, 最终的值是它们的加权平均. 然而, 如果沿着边界估计出的F 和B 的值和真实的颜色值不太一致时, 算法的结果就会很糟. 312R

11、uzon -Tom asi method 7是一种基于颜色统计的算法. 前景和背景颜色的分布被建模为一种无向高斯分布. 颜色统计在一个相当大的图像块上进行. 算法对原图像颜色C 服从的分布做出假设, 颜色C 来自于in -between 的分布, 这种分布是前景分布和背景分布插值的结果, 利用这种假设对值进行计算. 该算方法最大化点C 处分布的概率密度. 算法的不利之处是颜色统计需要在一个较大的子区域上进行, 计算量大, 而且这些区域通常包含很多重叠区域, 因此不能被正确的处理. 313B ayesian m atting 8也是一种使用颜色分布的算法, 但是它进行每个像素的颜色分布估计. 像

12、素沿着前景边界和背景边界依轮廓-轮廓的顺序处理, 在对每一个像素进行计算的时候, 除了对确知区域内的前景点和背景点进行采样之外, 还把之前已经计算完毕的像素点加入采样集中, 这使得相邻像素的计算结果过渡自然. 该算法进行颜色统计采用一套有向高斯分布. 算法用Bayesian 框架来最大化F , B 和值的似然函数. 该算法是较为成功的一个, 然而它的不利之处在于它的假设忽略了P( 项, 该项被假设为在全图中等概率的, 因而当原图像的前景或背景分布重叠时, 算法结果不理想.314Poisson m atting 9算法假设在未知区域中F和B 是平滑的. 每个未知像素的F 和B 通过从边界开始的颜

13、色扩散进行估计. 通过对等式(1 进行梯度运算构造P oiss on 偏微分方程, 该方程用于求解通道图. 未知区域通过一个迭代过程逐渐缩小, 直至收敛. 算法首先在全局上求解, 得到的结果通过多种局部滤波方式选择性的改进. 由于给了用户更多的交互手段, 处理复杂的场景比Bayesian matting 更加稳定. 算法的不足之处在于当前景或背景不够平滑(如:包含大量的边 , 或者未知区域的颜色和边界颜色差异很大的时候, 结果不能令人满意.315B elief propagation 10算法仅需提供很少的trimap 约束(如:少量的颜色笔刷定义前景和背景,其余的图像区域均被看作未知区域 就

14、能产生好的结果. 算法采用值的离散集, 抠图问题被形式化为能量最小化问题, 能量表达式由数据因子、平滑因子构成. 其中数据因子强制F 和B 符合局部统计要求. 对图像像素和离散的值集构造Markov 随机场, 并通过Belief Propagation 方法求解. 之后对颜色统计结果求精, 并迭代算法直到收敛. 然而, 处理过程即使在一次迭代和一次收敛过程中也相当慢.316Closed Form Solution 11算法通过处理一个二次代价函数进行计算. 算法的核心假设在于, F32云南大学学报(自然科学版 第29卷 和B 的颜色是局部线性的. 意即前景和背景中的每一个像素的颜色在局部是某两

15、个颜色的线性组合的近似结果. 在这种假设下, 值是线性依赖于一个小的图像窗口中的颜色C :p C p +b , (2 其中p 是一个小窗口中的像素(如:3×3的窗口 , a 和b 是这个窗口中的固定系数. 构造代价函数并通过(2 求解, a 和b 系数可用已知颜色C 和计算得出的描述并估计. 领域像素的乘法被用于表示(2 式中的. . 该方程系统是一个N 乘N 的矩阵, N 是未知区域中像素的个数. 求解过程将直接得到原图像的通道图. F 和B 可以由另一个二次代价函数计算而得.算法的交互性很好, 而且仅需很少的笔刷约束就能得到很好的结果. 不利之处在于计算速度代价高和缺乏颜色统计特

16、性. 后者会在小洞和细槽内的通道上产生“glows ”现象(因为大量领域不透明像素阻止了背景颜色信息的扩散过程 . 另外, 局部颜色平滑假设在噪声图像上不再有效.4抠图技术的展望我们认为抠图技术未来发展方向主要有以下几个方面:友好的用户交互:基于trimap 的交互方式过于呆板, 用户不能在精细的部分和毛发区域进行手动控制, 并且对前景存在大量空洞的图像难以处理. 简单笔刷模式操作简单, 交互性能强, 必将成为抠图技术的潮流.高精度复杂背景下的处理:文中所提到的各种自然图像抠图方法处理背景单一的“亚像素级别”的前景提取效果不错. 但是, 对于在背景高度清晰复杂的情况下, 上述各种自然图像抠图方

17、法的处理效果仍不理想.降低算法复杂度:现有的算法基本上都存在计算量大的情况, 基于统计学的方法有大量的统计分布计算, 扩散算法通常要求解很大的线性方程系统, 有的还需要多次迭代才能得到较好的结果. 要做到真正的实时交互还有一段距离.视频组合:尽管拥有目前自然图像抠图技术的成果, 视频组合仍然是抠图技术面临的一个挑战.5结束语本文就近年来图像处理中的抠图技术做了简单的综述, 、发展过程、研究内容、, . , 同时也对抠图技术与人工智能、计算机视觉等领域结合进行探索.参考文献:1FISHKI N K,BARSKYB. A family of new alg orithms for s oftfil

18、lingJ.C om p G raph ,1984,18(3 :2352244.2MITS UNAG A T , Y OK OY AM A T , T OTS UK A T. AutoK ey :Human assisted key extraction C .In SIGG RAPH95, 1995,2652272.3S MITH A , BLI NN J. Blue screenmatting C .In SIG 2G RAPH96, 1996,2592268.4ADAMS J ,S MITH M ,JOH NS ON P. S pectral mixture m odel 2ing:A

19、new analysis of rock and s oil types at the Viking 1lander siteJ.J of G eophys Res ,1986,91(B8 :809828112.5PORTER T ,DUFF T. C om positing digital images C .InSIGG RAPH 1984, 1984,2532259.6BERM AN A ,V LAH OS P ,DADOURI AN A. C om prehensivemethod for rem oving from an image the background sur 2roun

20、ding a selected object P .U. S. Patent 6134345, 2000.7RUZ ON M , T OM ASI C. Alpha estimation in natural imagesC, Proc. of IEEE C VPR ,2000,18225.8CH UANG Y, C UR LESS B , S A LESI N D ,et al. A BayesianApproach to Digital Matting C .Proc. of IEEE C VPR , 2001,2642271.9S UN J , J I A J , T ANG C K,

21、SH UM H Y. P oiss on mattingJ.AC M T rans. G raph. ,2004, 23(3 :3152321. 10W ANGJ ,C OHE N M F. An iterative optimization approachfor unified image segmentation and mattingC.Proc of IC 2C V ,2005, 2:9362943.11LE VI N A , LISCHI NSKI D , WEISS Y. A Closed F orm S o 2lution to Natural Image MattingC.P

22、roc of IEEE C VPR , 2006,61268.132第S2期任艳宏, 等:自然图像抠图方法讨论 Discussion about nature image mattingRE N Y an 2hong , X U Dan , S U Peng 2yu(Department of C om puter Science and Engineering , Y unnan University , K unming 650091, Abstract :Natureimage matting is the process of extracting a based on limited user input. User provide image key about foreground using it to automati 2cally extract all fore -In matting , and summarize s ome repr