DCI数字电影编解码系统

1、dci数字电影编解码系统2007年10月第30卷第5期北京邮电大学journalofbeiiinguniversityofpostsandtelecommunications0ct.2007vo1.30no.5文章编号:10075321(2007)05007705dci数字电影编解码系统魏芳,王樱澍2,李阳2(1.北京邮电大学信息工程学院,北京100876;2.北京邮电大学电信工程学院,北京100876)摘要:设计了一种数字电影编解码系统,重点研究了该系统中的彩色空间转换,图像压缩编码和数字电影发行文件三大关键技术,并在全计算机软件实现的基础上,对系统进行了优化.实验结果表明,系统完全符合dc

2、i规范,压缩效果理想,编解码速度较快,可供进一步深化研究和应用.关键词:数字电影;色彩空间变换;jpeg2000中图分类号:tn919文献标识码:adcidigitalcinemacoding/decodingsystemweifang,wangyingshu,liyang(1.schoolofinformationengineering,beijinguniversityofpostsandtelecommunications,beijing100876,china;2.schooloftelecommunicationengineering,beijinguniversityofposts

3、andtelecommunications,beijing100876,china;)abstract:theframeworkofadigitalcinemacoding/decodingsystemispresented.thethreekeytechnologiesofthissystem,colorimetrytransformation,imagecompressionandpackagingfordistributionarestudied.thenitisimplementedusingcomputersoftware,withsomeadditionaloptimization

4、appliedtoacceleratethecomputationspeed.experimentalresultsshowthat,thissystemcompletelyconformstothedigitalcinemainitiatives(dci)specification,thecompressionefficiencyishigh,andthecomputationspeedisfast,whicharesufficientforfurtheremploymentinresearchandapplications.keywords:digitalmovie;colorimetry

5、transformation;jpeg20000引言数字图像压缩编码理论的进展使数字电影得以实现,光盘,磁盘等大容量存储介质取代了传统的胶片,全电子的投映设备取代了机械胶片型电影放映系统,数字电影热潮已在国际国内兴起.为了实现数字电影系统的标准化,美国率先于2002年成立数字电影创导组织(dci,digitalcinemainitiatives),并于2005年颁布了1.0版本的数字电影规范(dciv1.0)-1j.我国于2004年也颁布了电影数字放映暂行技术要求.目前这些规范尚在相互影响,并处于进一步完善之中.dci规范是目前考虑最周全,较完善,具有发展前景的暂行标准.虽然目前我国的暂行技术

6、要求与dci规范并不完全兼容,但基本框架是一致的,将来必然会兼容,所以研究dci的关键技术并加以实现既可以为我国的正式数字电影标准的制订提供借鉴,又可以开展数字电影技术的进一步研究.数字电影系统中的编解码部分是数字电影制作,发行和放映环节的重要内容.国外各数字电影研究机构都对此进行了研究,但公布的研究成果较少,有些文献只针对数字电影编解码中的某个关键收稿日期:20070130作者简介:魏芳(1978一),女,博士,讲师.email:weifang78北京邮电大学第30卷技术,如图像压缩进行了阐述,却没有涉及数字电影编解码全过程;国内在这方面的研究还处于起步阶段.本文研究的目的是创造一个既符合d

7、ci规范,又可进行数字电影编解码关键技术研究的系统平台,并基于微机平台对系统进行优化,提高系统性能.1数字电影编解码系统一个完整的数字电影系统主要包含源获取,制作与发行,传输和播映3个环节.数字电影源可以用数字摄像机直接摄制,也可由计算机制作而成,或者用高分辨率胶片扫描仪转换已有的胶片电影.数字电影源经过影视后期处理生成数字源母版(dsm,digitalsourcemaster).针对数字电影应用,dsm转换成数字电影发行母版(dcdm,digitalcinemadistributionmaster).为了方便发行,dcdm压缩,加密和打包后形成数字电影包文件(dcp,digitalcinem

8、apackage).然后dcp经由光盘,移动硬盘,宽带网络或卫星等介质传输到数字影院,由数字电影播放服务器解包,解密,解码恢复成数字电影源信号后,送到数字电影放映机上放映.可以看出,数字电影编码系统本质上就是通过处理数字文件生成一些数字电影文件,解码系统就是读取并播放这些数字电影文件.具体而言,数字电影编码系统处理的是dsm文件,最后产生dcdm和dcp2种数字电影文件,如图1所示.解码系统则负责把dcdm和dcp还原成原始信号并播放出来,其过程为编码的逆过程.其他dcdm:音频,字幕等h加密篓l图1数字电影编码系统图像dsm包含原始的图像信息.由于来源的多样化以及标准的不统一,图像dsm中的

9、图像格式多种多样,需要转换为具有统一格式的dcdm.转换应分两步进行.1)图像调整.dci对图像dcdm中的图像格式做了规定:图像大小只能有2种模式,即20481080(2k模式)和40962160(4k模式);彩色空间为xyz空间;为了使图像的色彩更加鲜明饱满,彩色分量的比特深度应为12bit,由于当前的数字摄像机和胶转数设备多数难以达到这样高的要求,输出的图像dsm仍然处于传统的rgb彩色空间,且比特深度也是传统的8bit或10bit,所以要将其转换成12bit的xyz数据.另外,图像大小也要根据情况调整.2)发行文件打包.这是因为,dci要求图像dcdm和dcp文件使用素材交换格式(mx

10、f,materialexchangeformat).dcp是对各个独立素材dcdm的进一步合成.在合成之前,图像dcdm需要先解包后再进行压缩.一部2h的2k模式,24帧/s的数字电影,图像部分如果不压缩,需要的存储空间大约为1.56tb.因此,必须对其进行有效的压缩,压缩同时还应尽量保证图像的质量.其他的素材dcdm则不需要压缩,如音频dcdm不压缩可以保证完美的原音重现,这也是与过去的数字电影系统的区别之一.2彩色空间变换数字电影与胶片电影在原理上的1个根本区别就是数字电影自始至终都应用彩色三基色的加色制,例如摄制和播映都基于加色制三基色rgb.由于不同标准规定的rgb基色值不同,同一组r

11、gb数值在不同设备上有可能呈现出不同的颜色.为了扭转这一局面,dci在数字电影编解码系统中改为采用xyz彩色空间.xyz是对ciexyz进行编码后的一种空间,ciexyz是由cie(国际照明委员会)定义的与设备无关的加色制彩色空间,通常作为国际性的彩色空间标准,用作颜色的基本度量.图1中输入图像dsm中的图像像素点一般为rgb值,它不能直接转换成xyz值.本文提出的方法是:先将其还原成rgb三刺激值,再转换为标准的ciexyz三刺激值,最后重新编码后得到最终的xyz值,如图2所示.图2彩色空间正变换框图解码系统中,解包,解码和解密后的图像数据处于xyz空间,要将其显示出来也要进行彩色空间变换,

12、转换步骤为图2的逆过程.2.1rgb到rgb三刺激值图像dsm中像素点的rgb值是对rgb三刺激值编码后的值.不同来源的图像dsm中rgb值对rgb三刺激值编码的方式有所不同.例如,高清摄像机录制的图像dsm中,rgb值对rgb三刺激值的编码过程推导如下,图2中将rgb值还原为第5期魏芳等:dci数字电影编解码系统79l1.099l50.0990.018l1()匡匡薹三至三薹巨c3xn=.znyn=xnzn=znyn=zn(4)二二=c5dci的xy,z分量,如式(7)所示.inti4095()1/2.6归一化参数选择为52.37,是为了将来扩展到其他标准光源如d55,d61所作的预留.3图像

13、压缩3.1压缩标准高质量的电影图像对数字图像压缩编码提出了更为严格的要求.最初数字电影图像压缩编码使用mpeg2标准.而dciv1.0中完全摈弃了mpeg2,转而使用jpeg2000标准的第1部分(即iso/iec154441核心编码系统)进行图像压缩编码.这个转变有多方面的原因.jpeg2000基于小波编码的压缩方法更符合人类视觉对图像的再认知,只要不划分拼接块,压缩就不会导致块效应.另外jpeg2000能对数字电影要求的大尺寸和高像素比特精度的图像进行有效的压缩.这些都特别适合电影对图像质量的要求.在电影制作和后期处理时,每幅画面都需要单独编辑处理;在电影放映中也经常需要从任意一帧图像切入

14、,开始播放,所以数字电影不适合采用mpeg系列和h.26x系列中的帧间编码方式,只能采用帧内编码的方法进行压缩.dci选用xyz彩色空间,而jpeg2000支持任意分量数据的压缩,不管其使用的是哪种彩色空间.jpeg2000利用小波变换的多分辨率特性j,很容易得到一幅图像的低一级分辨率(原图像1/4大小)的图像数据,再配合jpeg2000中的渐进特性j,可以将低一级分辨率的图像数据放在整个图像码流的前半部分.这样jpeg2000可以使放映2k模式所需要的数据仅仅为4k码流的前半部分,从而使2种模式更好地兼容起来.另外,jpeg2000是一个开放的标准,第1部分更是没有专利费的问题,这无疑可以降

15、低数字电影制作和发行的成本.3.2jpeg2000压缩编码根据数字电影图像的特点,本文设计并实现了如图3所示的jpeg2000压缩编码流程.解码按照编码的反顺序进行.首先,对每帧图像的每个颜色分量不划分拼接块,直接进行离散小波变换.因为数字电影每帧图80北京邮电大学第30卷像中的每个像素点都同样重要,并且划分拼接块也有可能导致拼接块边界出现块效应,这里未引入感兴趣区编码也是这个原因.另外,数字电影图像中彩色分量和亮度分量也同样重要,所以3个颜色分量的压缩过程也完全相同,没有区别处理.图3数字电影图像的jpeg2000编码过程数字电影图像的数据量非常大,无损压缩对降低码率无益.而可逆小波变换比不

16、可逆变换的有损压缩效率低,所以离散小波变换的小波基采用不可逆9/7小波.压缩率一般控制在0.137以下,使压缩后码率不大于250mbit/s,这样一部2h的2k模式,24帧/s的数字电影最多将需要255gb的存储空间.另外,对一幅2k大小的图像进行5次小波分解后,子带内的相关性已经足够小,进一步分解将不会带来明显的压缩效率提高,所以2k模式下小波变换次数一般不多于5次,而4k模式下针对较复杂的图像可以考虑执行6次小波变换.离散小波变换后每个子带需要划分成编码块,后续处理将以编码块为单位进行.jpeg2000中编码块大小可以自由选择成6464,3232等,这里权衡了编码的复杂度和码流的精细可伸缩

17、两方面的因素后,选定编码块大小为3232.对每个编码块中的小波变换系数,根据小波变换后系数的特点,先使用均匀量化器量化后,再进行嵌入式位平面编码(ebcot,embeddedblockcodingwithoptimizedtruncation),最后使用算术编码进一步减少数据冗余j.压缩数据还需要经过重组后才能放入码流.jpeg2000根据不同的应用用多种方式将压缩数据组织成码流.2k模式下,应按分量一位置分辨奉质量层(cprl,componentpositionresolution-layer)顺序对码流进行组织.但为了2k和4k模式的良好兼容,4k模式的码流不能完全遵循cprl的组织方式,

18、而是需要进行2次码流组织:首先对前n一1级小波变换系数(假设4k模式下小波变换次数为n次)的编码数据按cprl顺序组织,得到4k码流中的2k数据,并将它们放在码流前面;再对第n级小波变换系数的编码数据再进行一次cprl排序,并放在码流的后面;所有数据组成完整的4k码流.从上述过程也可以看出,4k模式下小波变换次数必须大于1次,否则不能实现与2k模式的兼容.4发行文件格式由于dcdm用于演播室后期制作时的标准文件交换,而dcp可能会通过多种如光盘,硬盘,网络,卫星等方式送到数字影院放映,所以dcdm和dcp有必要采用一种通用的适应大多数存储传输环境的文件格式.mxf是由美国电影与电视工程师协会(

19、smpte,thesocietyofmotionpictureandtelevisionengineers)标准化的文件格式,一直用于规范电影领域的文件交换.dci中dcdm和dcp采用扩展后的mxf格式5-6j.5实验过程与结果目前在intel.pentium4cpu1.6ghz计算机平台上已经用纯软件实现了图1所示的数字电影编解码系统,并对系统进行了优化.使用北京电影学院提供的2k图像序列和标准的hdtv测试序列对系统进行测试,实验结果表明,整个系统运行正常,图像质量良好.5.1兼容性为了验证系统是否符合dciv1.0规范,搭建了如图4所示的测试环境.该测试环境由quvis公司的数字电影播

20、放服务器和barco公司的数字电影放映机dp90组成,其中quviscinemaplayer是为数不多支持dciv1.0的数字电影播放服务器之一;dp90是目前国际上唯一支持dcixyz直接输入的数字电影放映机.图4测试环境图1所示的数字电影编码系统制作的dcdm和dcp已经在上述测试环境中通过了验证,且音视频播放正常,质量良好.5.2编码效率利用多个图像dsm对系统的图像编码效率进行了测试.图5所示为4个复杂度递增序列doggirl,tractor,shield,mobile的率失真曲线,其中峰值信噪比(psnr)是rgb3个分量的平均psnr.可以看出,压缩效果与图像复杂度有关.相同码率下

21、,图像细节越多,psnr越小,图像细节越少,psnr越大.对于较简单的图像,码率大于100mbit/s时,图像质量已较理想.从重建图像的主观质量上也可发现,压缩效果符合数字电影对高品质的要求.而第5期魏芳等:dci数字电影编解码系统81图5率失真曲线一部2h的2k模式,24帧/s的数字电影压缩到100mbit/s时,存储空间需要135gb左右,用普通160gb的硬盘即可存储.实际应用中,可以参考率失真曲线确定满意的psnr,再选择合适的压缩率进行压缩.5.3编解码速度本系统的运算复杂度较高,在上述计算机平台上未优化时的平均编码时间约为24s/帧,平均解码时间约为l3s/帧.在对系统进行复杂度分

22、析的基础上,针对编解码系统中的运算密集模块,如彩色空间变换,离散小波变换等进行优化.优化在算法和代码两方面进行,算法优化主要使用了小波提升,查表优化等方法,代码优化主要利用了基于单指令多数据的多媒体指令.限于篇幅,优化方法将在后续论文中讨论.目前优化的效果十分明显,使用100帧来自各种序列的图像dsm,在计算机平台上测试得到的平均编码时间约为10s/帧,平均解码时间约为1s/帧.这一解码时间基本符合数字电影编辑的要求.因为编辑时不需要实时播放,但需要单帧检审.6结束语在关键技术研究的基础上,本文在微机平台上设计并实现了符合dci规范的数字电影编解码系统,这在我国尚属首创,在国际上也未见相关论文发表.该系统较独特地使用全软件实现,且具有编码效率高,编解码速度较快等优点.下一步工作将结合分布式计算体系对系统进一步进行优化.参考文献:1digitalcinemainitiative