数字视频3精选课件

第5章数字视频(3)2022/11/221南京大学多媒体技术研究所第5章数字视频(3)2022/10/111南京大学多媒内容1.MPEG概述2.MPEG-1视频的编码3.MPEG-1视频的解码2022/11/222南京大学多媒体技术研究所内容1.MPEG概述2022/10/112南京大学多1.MPEG概述2022/11/223南京大学多媒体技术研究所1.MPEG概述2022/10/113南京大学多媒体技术研视频压缩编码的标准ITU-T标准用于ISDN视频会议的H.261(Px64)标准用于PSTN可视电话的H.263标准用于ATM/B-ISDN视频会议的H.262标准ISO/IEC国际标准用于VCD的ISO11172(MPEG-1video)标准用于数字电视和DVD的ISO/IEC13818(MPEG-2video)标准用于交互式多媒体应用的视听编码标准MPEG-4企业(公司)标准:AVI,QuickTime,RealVideo2022/11/224南京大学多媒体技术研究所视频压缩编码的标准ITU-T标准2022/10/114南京大视频压缩编码的国际标准ITU-TJointITU-T/MPEGMPEGH.261H.263H.263+H.263++H.262/MPEG-2H.26LMPEG-1MPEG-4

8486889092949698000204MPEG-72022/11/225南京大学多媒体技术研究所视频压缩编码的国际标准ITU-TJointMPEGH.261MPEG-1标准MPEG-1标准(ISO/IEC11172).1992年发布。 用于1.5Mbps数据传输率的运动图像及其伴音的编码。主要应用于VCD，MP3音乐等.MPEG-1在JPEG和H.261等优秀标准的基础上,对参加竞争的14个方案,通过反复协调而得到统一,从而成为先进、合理、质量高、成本低的优秀标准.MPEG-1促进了大规模集成电路专用芯片的发展,为多媒体技术和产品的繁荣立下了功劳。2022/11/226南京大学多媒体技术研究所MPEG-1标准MPEG-1标准(ISO/IEC11172MPEG-1:一系列“第一”第一个集成的视频/音频标准:ISO/IEC11172-1(Systems),-2(Video),-3(Audio)第一个定义“接收者”而不是“传送者”的视音频标准第一个与视频格式无关的编码标准

(NTSC/PAL/SECAM)第一个由几乎所有相关视/音频企业联合制定的标准第一个纯软件标准第一个包含软件实施的标准2022/11/227南京大学多媒体技术研究所MPEG-1:一系列“第一”第一个集成的视频/音频标准MPEG-1的评价(应用)VideoCD(severaltensmillionplayerssoldinPRofChina)“The”formatofaudioandvideoforPCWindows95/NT/98containanMPEG-1softwaredecoderMPEG-1Audio(recently,layer3)iswidelyusedforWebmusicDigitalAudioBroadcasting(DAB)utilisesMPEG-1Audio(adoptedinEuropeandCanada)LightweightMPEG-1videocamerasareonsale2022/11/228南京大学多媒体技术研究所MPEG-1的评价(应用)VideoCD(severMPEG-1Requirements(在大约1.5Mb/s数码率的情况下,获得质量可接受的A/V信息;适合于CD-ROM,DAT,硬盘,可写光盘等数字存储介质;可在N-ISDN、LAN等通信网络上传输)1randomaccess2fastforward/backwardsearch3reverseplayback4A/Vsynchronization5robustnesstoerrors6smallencoding/decodingdelay7editability8formatflexibility9costtradeoff2022/11/229南京大学多媒体技术研究所MPEG-1Requirements(在大约1.5Mb/sMPEG-1的内容ISO/IEC11172-1:

system－－audio,video,data等如何组织成一个复合的比特流;如何同步等.ISO/IEC11172-2:

video－－video信号的压缩编码ISO/IEC11172-3:

audio－－audio信号的压缩编码ISO/IEC11172-4:

Conformancetesting－－MPEG-1的一致性测试ISO/IEC11172-5:

Softwaresimulation－－MPEG-1软件模拟2022/11/2210南京大学多媒体技术研究所MPEG-1的内容ISO/IEC11172-1:systMPEG-2标准MPEG-2标准(ISO/IEC13818).1994年发布。 主要针对数字电视特别是高清晰度电视(HDTV)的视频及伴音信号，典型传输速率为10Mbps，与MPEG-1兼容，适用于1.5Mbps～60Mbps甚至更高速率的编码范围。

2022/11/2211南京大学多媒体技术研究所MPEG-2标准MPEG-2标准(ISO/IEC13818MPEG-2标准（续）以MPEG-2作为视音频压缩标准的数字卫星电视已在欧美形成了很大市场；美国高级电视联盟(ATVGrandAlliance)和欧洲数字视频广播计划(DigitalVideoBroadcastProject)先后决定将MPEG-2用于高清晰度电视(HDTV)广播中;新一代的数字视盘DVD采用MPEG-2作为其视音频压缩标准(注:欧、美、日在视频方面采用MPEG-2标准,而在音频方面则采用AC-3标准)。2022/11/2212南京大学多媒体技术研究所MPEG-2标准（续）以MPEG-2作为视音频压缩标准的数MPEG-2的评价(应用)SeveraltensofmillionsettopboxesforsatelliteandcablehavebeensoldDigitaltelevisionVHF/UHFbroadcastingMorethanxxxmillionDVDplayerssoldTheMPEG-24:2:2profileisbeingadoptedinthetelevisionproductionindustryMPEG-2hascreatedtheentirelynewdigitaltelevisionindustryworth~30billionUSD2022/11/2213南京大学多媒体技术研究所MPEG-2的评价(应用)SeveraltensofmMPEG-4标准MPEG-4标准(ISO/IECl4496).“Codingofaudio-visualobjects”

2019年5月形成国际标准(版本1),2019-2019形成版本2，是一种基于对象的视(音)频编码标准,目标是支持各种多媒体应用(主要侧重于对多媒体信息内容的访问)主要目标compressionandmanipulationofaudioandvisualobjects,thewebpageparadigmappliedtoaudioandvideo!2022/11/2214南京大学多媒体技术研究所MPEG-4标准MPEG-4标准(ISO/IECl44MPEG-7标准MPEG-7标准(ISO/IECl5938).

2019年9月形成。它是“多媒体内容描述接口”(MultimediaContentDescriptionInterface)的标准,该标准将确定各种类型的多媒体信息的标准描述方法,可应用于数字图书馆、各种多媒体目录服务、广播媒体的选择，以及多媒体编辑等领域。2022/11/2215南京大学多媒体技术研究所MPEG-7标准MPEG-7标准(ISO/IECl593MPEG-21标准MPEG-21标准.

(MultimediaFramework) 多媒体框架标准适合于多种应用领域的各种类型用户对各种类型内容的传送和使用，可通过大范围的网络和设备允许对多媒体资源的透明和增强使用2022/11/2216南京大学多媒体技术研究所MPEG-21标准MPEG-21标准.(Multimed2MPEG-1视频的编码2022/11/2217南京大学多媒体技术研究所2MPEG-1视频的编码2022/10/1117南京大学视频压缩编码概述2022/11/2218南京大学多媒体技术研究所视频压缩编码概述2022/10/1118南京大学多媒体技术研视频流码率的计算宽:

pixels(160,320,640,720,1280,1920,…)长:

pixels(120,240,480,485,720,1080,…)量化位数:bits (1,4,8,15,16,24,…)fps:

framespersecond(5,15,20,24,30,…)压缩率: (1,6,24,…)长×宽×量化位数×fps压缩率=bits/sec2022/11/2219南京大学多媒体技术研究所视频流码率的计算宽:pixels(160,320,视频数据量(压缩前，ingigabytes)（3bytes/pixel,30frames/sec）640x480320x240160x1201280x720(压缩后，每小时的数据量，inmegabytes)2022/11/2220南京大学多媒体技术研究所视频数据量(压缩前，ingigabytes)（3byte视频应用与码率、分辨率的关系分辨率码率(Mb/s)HDTVCCIR601CIF/SIFQCIF012…6…20…MPEG-1H.261MPEG-22022/11/2221南京大学多媒体技术研究所视频应用与码率、分辨率的关系分辨率码率(Mb/s)HDTVC视频数据压缩编码的依据每一帧画面内部的信息有很强的相关性;相邻画面之间有高度的相容性;运动可以估测（MotionEstimation）;人眼的视觉特性有利于数据的压缩.2022/11/2222南京大学多媒体技术研究所视频数据压缩编码的依据每一帧画面内部的信息有很强的相关性;2视频压缩编码技术的评价准则码率(bitrate)重建图像的质量编码/解码延时错误修复能力算法复杂程度2022/11/2223南京大学多媒体技术研究所视频压缩编码技术的评价准则码率(bitrate)2022/1MPEG-1视频压缩的基本方法①在空间域: 采用JPEG(JointPhotographicExpertsGroup)压缩算法来去掉画面内部的冗余信息。②在时间域: 采用运动补偿(motioncompensation)算法来去掉画面之间的冗余信息。2022/11/2224南京大学多媒体技术研究所MPEG-1视频压缩的基本方法①在空间域:2022/10/MPEG-1视频编/解码总框图预处理压缩编码存储和/或传输解码数字视频CCIR601后处理显示2022/11/2225南京大学多媒体技术研究所MPEG-1视频编/解码总框图预处理压缩编码存储解码数字视频预处理与画面分类2022/11/2226南京大学多媒体技术研究所预处理与画面分类2022/10/1126南京大学多媒体技术研CCIR601(PAL)的预处理亚采样滤波器13031U,V//8-29088138880-29Y//256i-3i-2i-1ii+1i+2i+3720x576360x576720x288360x288180x288YU,V360x288(SIF)180x144(SIF)2022/11/2227南京大学多媒体技术研究所CCIR601(PAL)的预处理亚采样滤波器13031U,MPEG-1画面预处理中的亚采样1使用滤波器对亮度（色度）象素进行平滑处理：-29088138880-29Y//256i-3i-2i-1ii+1i+2i+31331U,V//8亚采样前：101220303515191111192645809092902采用亚采样降低分辨率5923//256=23平滑处理：亚采样后:1232239124995922022/11/2228南京大学多媒体技术研究所MPEG-1画面预处理中的亚采样1使用滤波器对亮度（色度）画面的分类Intra-picture(I画面)

不需要参考其它画面而独立进行压缩编码的画面;Predicted-picture(P画面)

参考前面已编码的I或P画面进行预测编码的画面;Bidirectional-picture(B画面)

既参考前面的I或P画面、又参考后面的I或P画面进行双向预测编码的画面DCcoefficient-picture(D画面)

仅使用画面中每个块的DC系数进行编码,用作正/反向快速搜索.单独进行编码与存储(仅MPEG-1使用)。2022/11/2229南京大学多媒体技术研究所画面的分类Intra-picture(I画面)2022MPEG的画面组(GOP)视频画面序列被分成一个一个画面组(GrupeOfPictures,GOP)GOP中的画面数目一般为10－15.每个GOP中至少包含一个I画面，可没有B画面,甚至没有P画面2022/11/2230南京大学多媒体技术研究所MPEG的画面组(GOP)视频画面序列被分成一个一个画面组画面的重新排序画面的显示顺序是:IBBPBBPBBP

12345678910

画面的编码顺序是:IPBBPBBPBB

1

4237

561089因此,每一个GOP中的画面在编码前和解码后都必须重排序BBPBBPIB12345678910例BGOP(GroupofPictures)P2022/11/2231南京大学多媒体技术研究所画面的重新排序画面的显示顺序是:IBBP编码器结构及I画面的处理2022/11/2232南京大学多媒体技术研究所编码器结构及I画面的处理2022/10/1132南京大学多媒调节器SIF格式的视频画面画面缓冲与重排运动估计DCTQVLCBufferMUXQ-1IDCT++画面存储及预测预测画面运动矢量差分画面视频比特流q解码的差分画面MPEG-1编码器框图I画面独立编码,类似于JPEGP画面和B画面应进行运动估计,求出1~2个运动矢量P画面和B画面采用帧间预测编码,被编码的是差分图象2022/11/2233南京大学多媒体技术研究所调节器SIF格式的视频画面画面缓冲运动DCTQVLCBuffMPEG-l编码器的组成运动估计与宏块类型(MTYPE)的选择,MQUANT(q)值的设置,运动补偿预测,量化和逆量化(dequantizer),DCT和IDCT,变长编码(VLC),多路复用器(MUX),缓冲器及调节器.2022/11/2234南京大学多媒体技术研究所MPEG-l编码器的组成运动估计与宏块类型(MTYPE)I画面压缩编码的流程

2022/11/2235南京大学多媒体技术研究所I画面压缩编码的流程2022/10/1135南京大学多媒宏块及运动矢量2022/11/2236南京大学多媒体技术研究所宏块及运动矢量2022/10/1136南京大学多媒体技术研究运动矢量运动矢量由于画面内容有连贯性,因此当前画面的内容可以看作是前面画面部分内容的位移(运动)。2022/11/2237南京大学多媒体技术研究所运动矢量运动矢量由于画面内容有连贯2022/10/1137南宏块的划分画面各处的运动矢量(幅度、方向)各不相同，因此，画面应细分成块(宏块)，以宏块为单位，找出两帧画面中相应宏块之间的位移关系——运动矢量2022/11/2238南京大学多媒体技术研究所宏块的划分画面各处的运动矢量(幅度、方向)各不相同，因此，画宏块的大小与组成宏块(macroblock)的组成:012345Y(16x16)U(8x8)V(8x8)宏块有2种情况：可预测宏块:与参考画面中的某个宏块有位移关系不可预测宏块:与参考画面中的任何宏块都找不到位移关系2022/11/2239南京大学多媒体技术研究所宏块的大小与组成宏块(macroblock)的组成:012可预测宏块MotionvectorForwardprediction:前向预测宏块(IorPpicture)(Ppicture)Bidirectionalprediction:双向预测宏块(IorPpicture)(IorPpicture)(Bpicture)被编码宏块被编码宏块参考画面参考画面参考画面2022/11/2240南京大学多媒体技术研究所可预测宏块MotionvectorForwardpred可预测宏块的预测公式 设I(X)为位置X处的象素值；I1(X)是画面1中的编码宏块象素的原始值,I1(X)

是它们的预测值；I0(X)和I2(X)是参考画面0和画面1中宏块象素的值；MV0,1

和MV2,1分别是画面1中的宏块相对于画面0、画面2中参考宏块的运动矢量。宏块类型预测公式预测误差内部宏块I1(X)=128I1(X)-

I1(X)双向预测宏块I1(X)=[I0(X+MV0,1)+I2(X+MV2,1)]/2I1(X)-

I1(X)后向预测宏块I1(X)=I2(X+MV2,1)I1(X)-

I1(X)前向预测宏块I1(X)=I0(X+MV0,1)I1(X)-

I1(X)2022/11/2241南京大学多媒体技术研究所可预测宏块的预测公式 设I(X)为位置X处的象素值；I1(X运动矢量的估计参考画面预测编码画面编码宏块最佳匹配宏块搜索范围运动矢量2022/11/2242南京大学多媒体技术研究所运动矢量的估计参考画面预测编码画面编码宏块最佳匹配宏块搜索范运动矢量估计算法基本原理:假设一个初始矢量计算匹配度是否最佳匹配结束y在搜索范围内调整运动矢量n最佳匹配准则(“方差和”最小/“绝对误差和”最小):

2022/11/2243南京大学多媒体技术研究所运动矢量估计算法基本原理:假设一个初始矢量3131搜索范围MPEG-1的运动矢量估计搜索范围(7种可选)31,63,127,...,2047?搜索精度(2种可选)0.5pel,1pel搜索策略(自定)全面搜索(31x31)搜索次数=(31-16+1)2=256方向搜索法对数搜索法(31x31)搜索次数=9x5=45对偶搜索法宏块宏块宏块宏块宏块宏块宏块2022/11/2244南京大学多媒体技术研究所3131搜索范围MPEG-1的运动矢量估计搜索范围(7种可选方向搜索法沿着最小失真方向搜索，每一次检查3-5个搜索点，搜索步长固定。22211111333452022/11/2245南京大学多媒体技术研究所方向搜索法沿着最小失真方向22211111333452022对数搜索法（3步搜索法）111111111222222222333333333444444444搜索范围每一步测试8个搜索点,并逐步缩小搜索步长2022/11/2246南京大学多媒体技术研究所对数搜索法（3步搜索法）111111111222222222实验结果变焦的镜头及其运动场平移的镜头及其运动场2022/11/2247南京大学多媒体技术研究所实验结果变焦的镜头及其运动场平移的镜头及其运动场2022/1P画面和B画面的编码2022/11/2248南京大学多媒体技术研究所P画面和B画面的编码2022/10/1148南京大学多媒体技P画面宏块的类型及处理(码块图CBP=32xP0+16xP1+8xP2+4xP3+2xP4+1xP5)计算运动矢量运动矢量<>0运动矢量=0预测编码帧内编码修改量化标尺不改量化标尺pred-mcqpred-mc使用码块图不用码块图pred-m预测编码帧内编码使用码块图不用码块图修改量化标尺修改量化标尺不改量化标尺不改量化标尺intra-qpred-cqpred-cskipped

intra-d修改量化标尺不改量化标尺intra-q

intra-d码块图表示宏块中有哪些子块的DCT系数为全02022/11/2249南京大学多媒体技术研究所P画面宏块的类型及处理(码块图CBP=32xP0+16可预测编码宏块的处理过程2022/11/2250南京大学多媒体技术研究所可预测编码宏块的处理过程2022/10/1150南京大学多媒B画面的编码B画面编码:与P画面类似，但更复杂。例如:宏块类型更多，可预测宏块可分成:前向预测宏块后向预测宏块双向预测宏块参加编码的运动矢量可能是1个或2个D画面编码:只取每一块的DC系数进行编码，全部是帧内编码，用于快速检索2022/11/2251南京大学多媒体技术研究所B画面的编码B画面编码:与P画面类似，但更复杂。例如:202双向预测宏块的编码过程运动矢量2022/11/2252南京大学多媒体技术研究所双向预测宏块的编码过程运动矢量2022/10/1152南京大小结1:编码器的主要操作

1．为GOP中的I画面、P画面和B画面重新排序2．为P画面和B画面中的每个MB（宏块）估算运动矢量3．确定每个MB的宏块类型（MTYPE）4．如果选择自适应量化的话，设置量化因子MQUANT。2022/11/2253南京大学多媒体技术研究所小结1:编码器的主要操作1．为GOP中的I画面小结2:I,P,B三种画面的比较压缩后，3种画面比特数目的比较：I＞P＞B例如：I画面：300kbP画面：100-65kbB画面：18-7kb关于B画面优点：预测效果好，压缩效率高，缺点：复杂，需要较大的缓冲器，增加了编码延迟。2022/11/2254南京大学多媒体技术研究所小结2:I,P,B三种画面的比较压缩后，3种画面比特小结3:视频比特流的层次结构DCT单位运动补偿单位重新同步单位主编码单位随机存取单元video编辑单位随机存取单元context2022/11/2255南京大学多媒体技术研究所小结3:视频比特流的层次结构DCT单位运动补偿单位重新同步单小结4:MPEG-1的视频数据流格式SeqSeqSeq…SeqSequenceLayerCBPb5...AddrTypeMotionVectorQScaleb0BlockLayerGOPGOP...Seq

SCVideoParamBitstreamParamQT,miscGOPLayerbitrate,bufsizewidth,height,aspectratio,pictureratePictPict...GOP

SCGOPParamTimeCodePictureLayerhours,minutes,secondsSliceSlice...PSCTypeBufferParamEncodeParamSliceLayerI,P,BMBMB...SSCQScaleVertPosMacro-blockLayerwhichlinedoesthisslicestarton?2022/11/2256南京大学多媒体技术研究所小结4:MPEG-1的视频数据流格式SeqSeqSeq…S3.MPEG-1视频的解码2022/11/2257南京大学多媒体技术研究所3.MPEG-1视频的解码2022/10/1157南京大解码器框图与解码过程

缓冲器分路器VLC解码器Q-1IDCT画面重排+画面存储与预测视频比特流宏块类型、画面类型运动矢量量化步长重建的视频图象输入速率固定，但画面的数据量差别很大，必须要设缓冲分路器负责语法、语义检查，对宏块进行解码，解出运动矢量、宏块类型等IDCT输出的是I画面及P画面和B画面的预测画面保存I画面及P画面，生成预测画面（P,B）预则画面+差分画面=重建的画面画面重排序，然后输出送显示器（帧速固定）2022/11/2258南京大学多媒体技术研究所解码器框图与解码过程缓冲器分VLCQ-1IDCT画面+画面缓冲器的设计必要性：平滑数据量/画面的波动，确保以固定帧频显示。副作用：增加了