视频编解码教材

追随技术WithPassion学如逆水行舟，不进则退随笔-367,文章-174,评论-107,引用-0视频编解码学习之一：理论基础第1章介绍1.为什么要进行视频压缩？未经压缩的数字视频的数据量巨大存储困难一张DVD只能存储几秒钟的未压缩数字视频。传输困难1兆的带宽传输一秒的数字电视视频需要大约4分钟。2.为什么可以压缩去除冗余信息空间冗余：图像相邻像素之间有较强的相关性时间冗余：视频序列的相邻图像之间内容相似编码冗余：不同像素值出现的概率不同视觉冗余：人的视觉系统对某些细节不敏感知识冗余：规律性的结构可由先验知识和背景知识得到3.数据压缩分类无损压缩（Lossless）压缩前解压缩后图像完全一致X=X'压缩比低(2:1~3:1)例如：Winzip，JPEG-LS有损压缩（Lossy）压缩前解压缩后图像不一致X≠X'压缩比高(10:1~20:1)利用人的视觉系统的特性例如：MPEG-2，H.264/AVC，AVS4.编解码器编码器（Encoder）压缩信号的设备或程序解码器（Decoder）解压缩信号的设备或程序编解码器(Codec)编解码器对5.压缩系统的组成(1)编码器中的关键技术(2)编解码中的关键技术6.编解码器实现编解码器的实现平台：超大规模集成电路VLSIASIC，FPGA数字信号处理器DSP软件编解码器产品：机顶盒数字电视摄像机监控器7.视频编码标准编码标准作用：兼容：不同厂家生产的编码器压缩的码流能够被不同厂家的解码器解码高效：标准编解码器可以进行批量生产，节约成本。主流的视频编码标准：MPEG-2MPEG-4SimpleProfileH.264/AVCAVSVC-1标准化组织：ITU：InternationalTelecommunicationsUnionVECG：VideoCodingExpertsGroupISO：InternationalStandardsOrganizationMPEG：MotionPictureExpertsGroup8.视频传输视频传输：通过传输系统将压缩的视频码流从编码端传输到解码端传输系统：互联网，地面无线广播，卫星9.视频传输面临的问题传输系统不可靠带宽限制信号衰减噪声干扰传输延迟视频传输出现的问题不能解码出正确的视频视频播放延迟10.视频传输差错控制差错控制（ErrorControl）解决视频传输过程中由于数据丢失或延迟导致的问题差错控制技术：信道编码差错控制技术编码器差错恢复解码器差错隐藏11.视频传输的QoS参数数据包的端到端的延迟带宽：比特/秒数据包的流失率数据包的延迟时间的波动第2章数字视频1.图像与视频图像：是人对视觉感知的物质再现。三维自然场景的对象包括：深度，纹理和亮度信息二维图像：纹理和亮度信息视频：连续的图像。视频由多幅图像构成，包含对象的运动信息，又称为运动图像。2.数字视频数字视频：自然场景空间和时间的数字采样表示。空间采样解析度（Resolution）时间采样帧率：帧/秒3.空间采样二维数字视频图像空间采样4.数字视频系统采集照相机，摄像机处理编解码器，传输设备显示显示器5.人类视觉系统HVSHVS眼睛神经大脑HVS特点：对高频信息不敏感对高对比度更敏感对亮度信息比色度信息更敏感对运动的信息更敏感6.数字视频系统的设计应该考虑HVS的特点：丢弃高频信息，只编码低频信息提高边缘信息的主观质量降低色度的解析度对感兴趣区域（RegionofInteresting，ROI）进行特殊处理7.RGB色彩空间三原色：红（R），绿（G），蓝（B）。任何颜色都可以通过按一定比例混合三原色产生。RGB色度空间由RGB三原色组成广泛用于BMP，TIFF，PPM等每个色度成分通常用8bit表示[0,255]8.YUV色彩空间YUV色彩空间：Y：亮度分量UV：两个色度分量YUV更好的反映HVS特点9.RGB转化到YUV空间亮度分量Y与三原色有如下关系：经过大量实验后ITU-R给出了，，，主流的编解码标准的压缩对象都是YUV图像10.YUV图像分量采样YUV图像可以根据HVS的特点，对色度分量下采样，可以降低视频数据量。根据亮度和色度分量的采样比率，YUV图像通常有以下几种格式：11.通用的YUV图像格式根据YUV图像的亮度分辨率定义图像格式12.帧和场图像一帧图像包括两场——顶场，底场13.逐行与隔行图像逐行图像：一帧图像的两场在同一时间得到，ttop=tbot。隔行图像：一帧图像的两场在不同时间得到，ttop≠tbot。14.视频质量评价有损视频压缩使编解码图像不同，需要一种手段来评价解码图像的质量。质量评价：客观质量评价主观质量评价基于视觉的视频质量客观评价客观质量评价：通过数学方法测量图像质量评价的方式。优点：可量化测量结果可重复测量简单缺点：不完全符合人的主观感知15.客观评价的方法常用的客观评价方法：16.主观评价方法主观质量评价：用人的主观感知直接测量的方式。优点：符合人的主观感知缺点：不容易量化受不确定因素影响，测量结果一般不可重复测量代价高常用主观评价方法17.基于视觉的视频质量客观评价方法基于视觉的视频质量客观评价：将人的视觉特性用数学方法描述并用于视频质量评价的方式。结合了主观质量评价和客观质量评价两方面优点。常用方法：结构相似度（StructuralSIMilarity，SSIM）方法。将HVS的特征用数学模型表达出来。未来重要的研究方向

第3章信息论基础1.通信系统的组成信源：产生消息信道：传输消息信宿：接收消息2.基本概念通信中对信息的表达分为三个层次：信号，消息，信息。信号：是信息的物理层表达，可测量，可描述，可显示。如电信号，光信号。消息：是信息的载体，以文字，语言，图像等人类可以认知的形式表示。信息：不确定的内容。3.信息熵信息的特点信息的测量自信息量条件信息量4.信息熵5.条件熵和联合熵6.熵的性质非负性：信源熵是非负值，即H(X)>=0;扩展性：信源熵X有M个符号，如果其中一个符号出现的概率趋于零，信源熵就等于剩余M-1个符号的信源熵；极值性（最大信息熵）：对于具有M个符号的信源，只有在所有符号等概率出现的情况下，信源熵达到最大值，即可加性：熵不增：条件熵不大于信息熵H(X|Y)<=H(X)；联合熵不大于各信息熵的和，即H(XY)<=H(X)+H(Y)。7.互信息量8.互信息物理意义：H(X)是X所含的信息，H(X|Y)是已知Y的条件下X还能带来的信息量。那么两者之差就是由于知道Y使得X减少的信息量，也即由Y可以得到的关于X的信息量。9.各种熵的关系11.信源编码信源编码：将消息符号转变成信道可传输的信息。两个基本问题：用尽可能少的信道传输符号来传递信源消息，提高传输效率；减少由于信道传输符号的减少导致的失真。12.离散信源统计特性13.离散信源类型：简单无记忆信源和马尔可夫信源14.编码分类等长码：在一组码字集合C中的所有码字cm(m=1,2,…,M)，其码长都相同，则称这组码C为等长码。变长码：若码字集合C中的所有码字cm(m=1,2,…,M)，其码长不都相同，称码C为变长码。15.平均码长16.等长码与变长码比较等长编码将信源输出符号序列的任意一种取值（概率可能不同）都编码成相同长度的输出码字，没有利用信源的统计特性；变长编码可以根据信源输出符号序列各种取值的概率大小不同，将他们编码成不同长度的输出码字，利用了信源的统计特性。因此又称其为熵编码。17.Huffman编码Huffman编码：典型的变长编码。步骤：将信源符号按概率从大到小的顺序排列，假定p(x1)≥p(x2)…≥p(xn)给两个概率最小的信源符号p(xn-1)，p(xn)各分配一个码位"0"和"1"，将这两个信源符号合并成一个新符号，并用这两个最小的概率之和作为新符号的概率，结果得到一个只包含(n-1)个信源符号的新信源。称为信源的第一次缩减信源，用S1表表示。将缩减信源S1的符号仍按概率从大到小的顺序排列，重复步骤2，得到只含(n-2)个符号的缩减信源S2。重复上述步骤，直至缩减信源只剩下两个符号为止，此时所剩两个符号的概率之和必为1。然后从最后一级缩减信源开始，依编码路径向前返回，就得到各信源符号所对应的码字。

18.信道编码信道编码主要考虑如何增加信号的抗干扰能力，提高传输的可靠性，并且提高传输效率。一般是采用冗余编码法，赋予信码自身一定的纠错和检错能力，使信道传输的差错概率降到允许的范围之内。19.信道类型根据信道连续与否分类离散信道连续信道半连续信道根据信道是否有干扰分类无干扰信道有干扰信道根据信道的统计特性分类无记忆信道有记忆信道恒参信道变参信道对称信道非对称信道20.信道容量在信息论中，称信道无差错传输的最大信息速率为信道容量。仙农信道容量公式：假设连续信道的加性高斯白噪声功率为N，信道带宽为B，信号功率为S，则该信道的容量为由于噪声功率N与信道带宽B有关，则噪声功率N=n0B。因此，仙农公式还可以表示为21.香农信道容量公式的意义在给定B和S/N的情况下，信道的极限传输能力为C，而且此时能够做到无差错传输。如果信道的实际传输速率大于C值，则无差错传输在理论上就已不可能。因此，实际传输速率一般不能大于信道容量C，除非允许存在一定的差错率。提高信噪比S/N（通过减小n0或增大S），可提高信道容量C。特别是，若n0->0，则C->∞，这意味着无干扰信道容量为无穷大；增加信道带宽B，也可增加信道容量C，但做不到无限制地增加。这是因为，如果S、n0一定，有维持同样大小的信道容量，可以通过调整信道的B及S/N来达到，即信道容量可以通过系统带宽与信噪比的互换而保持不变。22.失真失真：信源的消息经过编解码后不能完全复原在实际的信源和信道编码中，消息的传输并不总是无失真的。由于存储和传输资源的限制噪声等因素的干扰23.率失真理论仙农定义了信息率失真函数R(D)D是消息失真R是码率率失真定理：在允许一定失真度D的情况下，信源输出的信息率可压缩到R(D)。24.失真函数失真函数：信源符号X={x1,x2,…..xn}，经信道传输接收端符号Y={y1,y2….yn}，对于每一对(xi,yj)指定一个非负函数d(xi,yj)，称d(xi,yj)为单个符号的失真度或失真函数。对于连续信源连续信道的情况，常用d(x,y)表示。常用失真函数：平均失真度：

分类:VideoCodec好文要顶关注我收藏该文Fangzhen

关注-2

粉丝-381+加关注30«上一篇：\o"发布于2012-07-2814:59"H.264术语

»下一篇：\o"发布于2012-07-2909:52"视频编解码学习之二：编解码框架postedon2012-07-2823:27Fangzhen阅读(36739)评论(15)编辑收藏评论#1楼

楼主看的什么书啊，没搜出来支持(0)反对(0)2012-09-0420:04|haitink\o"发送站内短消息"

#2楼[楼主]

\o"查看所回复的评论"@haitink

这是我上课的课件支持(0)反对(0)2012-09-0421:18|Fangzhen\o"发送站内短消息"

#3楼

楼主还在不在啊、、？？？？支持(0)反对(0)2013-10-1115:39|shengck_nbu\o"发送站内短消息"

#4楼

你好，本文开头的的一分钟视频数据量是怎么算的呢？68,428,800字节大小如何得到呢？支持(0)反对(0)2013-11-1111:17|zhanwc\o"发送站内短消息"

#5楼[楼主]

\o"查看所回复的评论"@zhanwc

这是老师上课的课件，我也不知道怎么得到的，估计是引用的国外的一些参考资料吧，可惜没有把相关引用添上支持(0)反对(0)2013-11-1215:08|Fangzhen\o"发送站内短消息"

#6楼

\o"查看所回复的评论"@Fangzhen

30*176*144*12=9123,840(比特率)

1分钟总比特:9123,840*60=547430400

1byte=8bit

547430400/8->68428800支持(0)反对(0)2014-01-1109:27|Yang.W\o"发送站内短消息"

#7楼[楼主]

\o"查看所回复的评论"@Yang.W

谢谢啊支持(0)反对(0)2014-01-1315:10|Fangzhen\o"发送站内短消息"

#8楼

\o"查看所回复的评论"@Fangzhen

感谢博主~拿出这么好的学习资料来与大家分享。支持(0)反对(0)2014-01-1616:07|Yang.W\o"发送站内短消息"

#9楼

\o"查看所回复的评论"@zhanwc

176*144*30*60*12/8支持(0)反对(0)2014-03-3109:56|小草房Jason\o"发送站内短消息"

#10楼

博主人才，佩服，感觉自己学的太慢支持(0)反对(0)2014-04-2221:37|聂波\o"发送站内短消息"

#11楼

楼主还在么？想问楼主如果学习视频编码，需要学习什么基础知识还有硬件知识。我是学计科的。最好能推荐几本书。谢谢支持(3)反对(0)2014-11-1821:38|zz2905\o"发送站内短消息"

#12楼

\o"查看所回复的评论"@Fangzhen

楼主啊，我也想问问学视频编解码用不用学信号与系统，通信原理，数字信号处理？还是直接从软件开始学？支持(0)反对(0)2014-12-1010:20|森兰丸\o"发送站内短消息"

#13楼

多谢，赞一个支持(0)反对(0)2015-10-2009:58|流水无琴\o"发送站内短消息"

#14楼

mark支持(0)反对(0)2016-03-3014:22|Lonya\o"发送站内短消息"

#15楼

文章已载到即时通讯开发者社区：/thread-228-1-1.html，感谢楼主。支持(0)反对(0)2016-04-1614:13|jb2011\o"发送站内短消息"

刷新评论刷新页面返回顶部注册用户登录后才能发表评论，请登录或注册，访问网站首页。【推荐】50万行VC++源码:大型组态工控、电力仿真CAD与GIS源码库

【链接】融云阿里云大咖面对面：教你玩转直播风口

【推荐】报表开发有捷径：快速设计轻松集成，数据可视化和交互

【推荐】一个月仅用630元赚取15000元，学会投资

【推荐】网易云信-一天开发一个微信，独创1对1技术顾问让开发加速最新IT新闻:

·为啥叫“华为”：盘点华为不为人知的趣闻

·PS4Slim多图开箱不再支持更换硬盘

·NASA希望国际空间站十年后转为商业运营

·中国联通（香港）环球中心开幕打造“一带一路”重要枢纽

·陈皓：关于高可用的系统

»\o"IT新闻"更多新闻...最新知识库文章:·程序猿媳妇儿注意事项

·可是姑娘，你为什么要编程呢？

·知其所以然（以算法学习为例）

·如何给变量取个简短且无歧义的名字

·编程的智慧»更多知识库文章...导航博客园首页新随笔联系订阅管理<2012年7月>日一二三四五六24252627282930123456789101112131415161718192021222324252627282930311234公告昵称：Fangzhen

园龄：\o"入园时间：2011-04-02"5年4个月

粉丝：381

关注：2+加关注搜索

常用链接\o"我的博客的随笔列表"我的随笔\o"我发表过的评论列表"我的评论\o"我评论过的随笔列表"我的参与\o"我的博客的评论列表"最新评论\o"我的博客的标签列表"我的标签我的标签H.264(16)x264(12)JM(11)C与C++区别(7)volatile(7)虚函数(7)程序员(6)const(6)static(6)随机数(5)更多随笔分类(313)Algorithm(19)Algorithm笔记(2)C/C++笔记(67)C/C++编程(71)DataStructure(1)DataStructure笔记(11)Fedora配置(19)FFmpeg(2)H.264/JM(30)Hardware(1)ImageRetrieval(1)InterviewIT技术(1)Linux笔记(11)Linux编程Linux学习(1)Matlab技术(3)MPEG系列NetworksOpencv学习(1)OperatingSys(13)Shell笔记(5)Shell编程(7)Softwares(1)UsefulProgs(9)VideoCodec(20)Windows技术X264(4)编程语言(2)多媒体技术(11)随笔档案(368)2015年6月(1)2015年5月(31)2014年5月(1)2013年7月(2)2013年6月(1)2012年11月(48)2012年10月(31)2012年8月(42)2012年7月(66)2012年6月(15)2012年5月(14)2012年4月(33)2012年3月(25)2012年2月(30)2011年12月(1)2011年11月(8)2011年10月(5)2011年9月(7)2011年8月(2)2011年7月(4)2011年4月(1)文章分类(175)Algorithm(6)C/C++编程(40)DataStructor(2)Fedora配置(11)H.264/JM(22)Hardware(2)IT技术(3)Linux编程(9)Linux学习(7)Matlab技术MPEG系列(4)Networks(4)Opencv学习OperatingSys(7)Programmer(17)Shell编程(7)VideoCodec(8)Windows技术(3)X264(12)编程语言(4)多媒体技术(1)面试(6)文章档案(174)2013年1月(1)2012年11月(9)2012年10月(8)2012年8月(17)2012年7月(46)2012年6月(13)2012年5月(17)2012年3月(9)2012年2月(24)2011年11月(1)2011年10月(6)2011年9月(7)2011年8月(8)2011年7月(6)2011年4月(2)相册(5)android(1)c(3)else(1)最新评论1.Re:YUV主要采样格式理解好啊！清晰明了，很有帮助！谢谢！--helainthus2.Re:C/C++中的getline函数总结受教了--Haskei3.Re:浮点数在内存中的表示2.25float内存数据的指数位8bit应该为：100000002.25double内存数据的指数位8bit应该为：10000000000120.5的二进制表示是：1111000.1所--LxSeason4.Re:转：最简单的视频网站（JavaEE+FFmpeg）牛--漫步之舞5.Re:C/C++中的getline函数总结来了，打声招呼，再走--the_tops6.Re:C++构造函数详解及显式调用构造函数又看见楼主的文章，这几天在用C++，之前工作中没用过，，，诸多不解，，，谢谢楼主高见..--the_tops7.Re:C++构造函数详解及显式调用构造函数好文，复制走了，会注明出处.--the_tops8.Re:什么是达夫设备（Duff'sDevice）@远东悟语优化效率...--thought9.Re:转：Linux中将多个Word文档转换成PDF格式的方法及多个PDF文件的合并unoconv生产环境使用过吗？性能如何--小龙在线10.Re:JM8.6中帧内帧间模式的选择可否告知一下，文中的参考资料引用哪本书的？不胜感激--BruceZhang!11.Re:视频编解码学习之一：理论基础文章已载到即时通讯开发者社区：，感谢楼主。--jb201112.Re:视频