编解码和视频处理技术介绍.

1、XZ. rJ udoi； com 角个人都足生活的与演编解码和视频处理技术介绍焦华龙2010/11/04 土豆网土 网 T udou com 每个人都督生沽的与演Agenda编解码技术1. 视咅频采集和播放形式2 为什么要压缩及怎样压缩3. 主要压缩标准介绍4. 编解码的关键技术视频处理技术1为什么要做视频处理2. 视频处理的主要方而介绍原始图像数据 锻在摄像设备中需要经过Image Signal Processor芯片进 行坏点修补.白平衡.濒色校正.锐利度、威乜插值、去噪、去抖动 等再编码成某个标准的格式视音频采題積题形式（1）视频的采集单CMOS/CCDsensor （非业DV或DC）采

2、集Bayer模式形式，通过插值來得到缺省的像素颜色值；3 CCD sensor （佇业DV）可以直接采集得到每个 像索的RGB值，有较好的色彩和清晰度。逐行和隔行扌T描采集RGB Bayer 模式（十心 1 JEZ. PM * Udou com视音频采齢时番放形式（2）音频的采集以固定的频率（比如48KHZ）采集得到16bit/24bit的数据形式视音频的播放口前主要显示设备（比如CRT,液晶/等离子显 示器或电视机）基本上都是将视频信息还原成 一帧帧的RG B值最终显现出来；音频也都是还原成16bit/24bit的数据播放(1)1. 原始数据太大导致保存和传输受限帧标清分辨率（720x576

3、）原始视频数拥要占川720x576x3=1,244,160 BYTES=9,953,280 BITS秒的实时数据就足近250M （9,953,280x25） BITS 当前的网络带宽显然无法达到这么高的要求其实硬盘存储空间也不能保存这么人的数据量，則便当 前匸流的1TB换盘也只能保看10小时的DVDlllij质视频原 始数拯2. 视音频有很多信息的兀余，具有进行高比例丿E缩的潜力(2)无损压缩和仃损压缩无损压缩主要有：1. 游程编码（彳丁程编码）RLE （Run-Length Encoding）2. 爛编码（比如变长编码和算术编码）JPEG/MPEG/H.264上流视频标准基本都有用到 算术编

4、码比变氏编码效率iUjIO%15%,汁算复杂度也高很多3. 字典序压缩LZW算法主要冇ZIP压缩，GIF图片等4. 其它还有一些预测加爛编码的混合形式不过一妙无损压缩的压缩率只自3倍冷右，对于象视频这样的人数拥流，纯粹的无损压缩不能满足耍求。（乙丄）1 00 00 00 00 01 01 01 02 02 02- (4)00(3)01(3)022.00 0 01-10 02-1100 0000 00 01 01 01 02 02 02- 00 0 0 10 10 101111 11 3 P00 = 04 P01=03 P10=0.30。4)-000.407)010.7丄0)100.00.40.

5、71.00.96. T00-0.0, 00:00+04x00=00, 00-0.0+0.4A2x0.0=0.0/ O0-O.O+O.4A3xO.O=O.O01-0.0+0.4A4x0.4=1.024xl0A(-2)/01-1.024xl0A(-2)+0.4A4x0.3x0.4=1.3312xl0A(-2)01-l,3312xl0A(-2)-K).4A4x0.3A2x0.4=1.42336xl0A(-2)10-1.42336xl0A(-2)+0.4A4x0.3A3x0.7/.;加活产5的那个小数的二进制表示就是压缩码(3.1) LZW算法的优点就是可以动态牛成字典，并H.这个 甬殲廳琴魏餅压缩后

6、的数据流中了，不必原始数据:ABCCAABCDDAACCDB,ABCD可以用03的数来衣示。那么注意这个符串屮出 现了好几个重复的字串：ABCCAABCDDAACCDB那么就町以用4來代农AB, 5来代农CC等等，原来的字 符串就变为压缩后的数据：45A4CDDAA5DB(3)有损压缩匸要思想是通过预测去除时空冗余，再川变换将信息集中到 少数的儿个部分，然后通过虽化来精简数据量,最后用无损 压缩的方法*压量化的结果。1. 预测仃空域预测和时域预测空威预测 般足利川 帧阳像内部的佶息亦石煥预测编码的像玉周边寸找相近像 索來作为预测來减少数据址（示例见左图）：iij域预测一般肚通过前麻儿帧的图像来

7、険测需宴编码的帧.从附达到减少数卅 呈的作用（水例见右图） IMBaW-1Im-Hil | lipH o FLL底N方向3.量化按照丸化的维数分肚化分为标笊准化和矢“血化标册址化是 维的堪化. 个幅度对 M -个址化结果n向欠址址化是二维孩至多维的星化.悶个或两个以上的幅嘤决朮个呈 化结果.标呈 H 化 Quantization )例如一犬时间如果以小时来作为啟化单位.则用24个数就可以r：但是如果以分钟来作为 取位.就翌用24x60个数才能农示了.矢 h：厳 化(VQ Vector Quantization)洌如，帧16M色BMP图像.石咚转换成GIFIVI像.而GIF格式圮*只支持256色

8、；选出哪256个 颜色作为代表色能让原來的16M色BMP图像失真最小 1付毎个颇色是山(RGB)表小的,是3 淮的.这就是一个3维矢H卅化问題。视频压缩的主要标准Motion JPEG, H.261, H.262/MPEG2, H.263, MPEG4 (Part2 ) , H.264/MPEG4 AVC/MPEG4 PartlOVC-1/WMV9, AVS, RMVB 等StandardMain ApplicationsYearJPEG JPEG20O0Imagi1992X999 2000JBIGFax1995-2000H.26LVideo Conferencing1990H.262, H.

9、262-DTV SDTV1995, 280H.263, H.263- +Video ph cxw1998, 2000MPEG-1Video CO1992MPEG 2DTY SDTVC HDTY DVD199SMPEG-4InteractivQ vidoo2000MPEG-7Muttimedia Content dxeriptton Ineorfaee2001MPEG-21Fiarievvot k2002t1part IOAdvanced Vldcso Coding2003Fidelity Rangci EMtonslons (High profllK 冷 V I6x Its da 4 - 13

10、Qu*mote r4olution fw Una* miWml of NtIntru Prud tani j、fl m7nrfi、jIntorOotlingrInvokeBit itriMHi OHFTamtf siurtLUmatkMiQuM krationVklt-u Got-rreQuaMNUg Trin%forni CooffUktt&xvw BocK sues orx1怦krmr. tM.tnre w*e(tKJti l/r vc nivLtjrivUJiiMUuvi WLurauy “glLRBCm (| ffMoUunCompensationlcmu FalUrr畑卄 llr)M

11、)f%4l VIC 4 (uritexl Ayrvf VLC【帜(i onffwa tixcci lllncy AHltttiirtM i crinalIrttMOHv 16 bn ftoced poitrf nnut( It(8)2.主要档次Profiles and ToolsC or lineMil laiCxteudvcl1 Aid P SlicesXXXAVT.XXXCABACXB SlicesXXIntet liKcd Coding i PicAFF. MBAFFXXEnh Error R”H. (FMO. /XSO. RS)XXrsthcr 口山 Enox Rci! ple Bit

12、 Depth 8x8 v.4k= TrA、fmiQik?iZ4litMi S*2 iceSeparate C h and Cr QP controlMonocl ironic vidcoiotuut -uxl 川 H S KIIJ :?)c hnomn ronihit Chroma FomutF3小si C oloi TinlistenniPrcihc tiveLoltimIibwXxXxXIkxJT(8) Specific coding parts for the ProfilesError Rwiince SupportHigh ProfileB x on d d P f o fileEr

13、Tcr RiBanco TookAri|X 曲 twsnn (d i4) _t (3x6)B atelin P rofile I 丿” _ 一 一 . 一- ki sliceP - ICCAYLCrbitra ry , ice a rdr ri-xit h macrob Io - k ordprriunadnisio0 sliceMam P rofiltDat3 HrtittonongS I slierWe ghted pre zictianv(10)kJ level 的 R!；JLc% _(MF9 lti w)11 880UH192I7MaxCPB izrVlaiCPB(1000 or120

14、0 bit%)a_JLVnllcnl NfVcamponeiitI *IB(CVfVm、Rlumn fi auk5nmpk9衣63利：i2S*l2-75卜 1M.T27.7SMiucotupresslOBratioMIbCRM!n30/松显示： 图像U制技术一会产生不连续的跳跃式运动 国像插（11技术一介严生模糊运动拘休 运动补偿帧速彳转换技术一 V滑的运动,图像顷於品, 舷 女糸及高 hreMaf rwotlanr motion “mponMNon icpMt Iflroge锐化视频墙蹲处理后处理前辑态特性増强：改变边缘过渡速度边缘过渡处理前处理后亮度/色彩增叱在w坐标系中，扶色在123。的亡线附近的区域中.丿庆色增强包括狀色像索检 测及改变像素色彩便其按近希里的颜色蓝色和绿色同样通过角度检测