流媒体技术概述

StreamingVideo流媒体技术概述Part-2-3CompressionDigitalimage/videoLosslesscompression

ImagecompressionVideocompressionVideoCompressionVideocompressiondevelopedinthelateof1980’sand1990’sImagecompression:JPEG,JPEG2000Videocompression:H.261,H.263,H.26L,H.264,H.265,MPEG-1,MPEG-2,MPEG-4,MPEG-7,MPEG-21ApplicationsVideostorage:VCD,DVDVideotransmission:DTV,VideoonDemand(VOD),satellite,videoconference,videophone…VideoSequenceAvideoconsistsofatime-orderedsequenceofframesorimagesWhyVideoCompressedTransmissionandstorageUncompressedvideo:166Mb/s720x480,30frame/secDigitalTV:4-6Mbits/s,Requires41timescompressionratioCD-ROM:1.5Mbits/sVideocompressionrequires110timescompressionratioCompression-thebasicconceptsCompressiontechniqueslosslesscompressionlossycompressionRedundanciesspatialredundancy:similaritiesbetweenadjacentpixelsinplainareaofpicturestatisticalredundancy:samesymbolsoccursfrequentlytemporalredundancy:similaritybetweenconsecutivepictures!!!!!!!!!TemporalRedundancyTemporalredundancy:similarbetweentheconsecutiveframesinavideosceneNotnecessarytoencodeeachframeofavideoindependentlyEncodingthedifferencebetweenthecurrentframeandotherframesinthesequenceSmallvaluesandlowentropyRemovingRedundanciesRemovingspatialredundancyJPEG-likecodingschemeRemovingtemporalredundancyByMotion-Compensation(MC)basedcodingmethodMotionestimationMotionvectorsearchbyderivingtheminimumpredictionerror

動作補償預測編碼方塊圖!!!!!!!!!動作估計演算法完全搜尋完全搜尋假設目前畫面的巨方塊之像素為C(x+k,y+l)，而參考畫面中的像素為R(x+i+k,y+j+l)，我們定義

其中-p≤u,v≤p這個誤差準據一般稱為平均絕對誤差（MAE）或者平均絕對差（MAD）完全搜尋每一個巨方塊的整體計算複雜度為

(2p+1)2×MN×3假設視訊的畫面率為F，每一張畫面的解析度為I×J，則整體計算複雜度為完全搜尋相當費時，但是保證可以找到最小的MAE值運算秒

ComputationComplexityofMotionEstimationHighcomputationloadingofvideoencoderonDCTandmotionestimationLoweringcomputationalcomplexityDCTSimplifiedcomputationarchitectureDataanalysistocalculateDCTforpartialcoefficientsMotionestimationFullsearchtoobtaintheminimumerrorQuicksearchperformnon-optimalmeasurementresult3-stepsearchDiamondsearch…!!!!!!!!!二維對數搜尋三步驟搜尋HistoricStandardsofVideoCompressionH.261,H.263,H.26L,H.264MPEG-1,MPEG-2,MPEG-4,MPEG-7,MPEG-21H.264(AVC)/MPEG-4(part10)Enhancingthecodingefficiency

Object-basedcodingschemeUserinterfaceMultimediadescriptionMPEG視訊MovingPicturesExpertGroup(MPEG)ISO/IECJTC1/SC29/WG111988成立MPEG-1(ISO/IEC11172,11/92)Compressionstandardforprogressiveframe-basedvideoinSIF(360240),targetedat1.5Mbits/s視訊~1.2Mbps，音訊~250Kbps應用:VCD,MP3MPEG-2MPEG-2(ISO/IEC13818,11/94)Compressionstandardforinterlacedframe-basedvideoinCCIR-601(720480)andhighdefinitionformat(19201088),widerangeofbitrates4to80Mbits/s在4Mbps左右最佳化應用:DVD、HDTV等MPEG-4MPEG-4(ISO/IEC14496,10/98)Multimediastandardforobject-basedvideofornatureorsyntheticsource不同頻寬的編碼(5Kbps~270Mbps)應用:網際網路、有線電視、3G無線通訊等MPEG-7&MPEG-21MPEG-7(ISO/IEC15938,Sept2001)Multimediacontentdescriptioninterface應用:網際網路、視訊搜尋引擎、數位圖書館MPEG-21E-commerce只規範位元串語法與解碼器MPEG-1應用範圍交談式多媒體應用、CD-ROM之儲存、電影（VCD）、KTV、以及購物等輸入視訊一般為Y(720×480)、CbCr(360×480)處理的程序是先將Y、Cb、Cr經過次取樣成為SIF的格式：Y(360×240)、CbCr(180×120)，然後才做編碼輸入視訊一般為每秒30張畫面的訊號MPEG-1的PartsISO/IEC11172-1：系統ISO/IEC11172-2：視訊ISO/IEC11172-3：音訊ISO/IEC11172-4：相容測試ISO/IEC11172-5：軟體參數一般規格參數畫面的解析度可以高達

4096×4096一般是360×240長寬比：14種選擇畫面率：23.976,24,25,29.97,30,50,59.94,604:2:0(與H.26x一樣)強制參數要跟MPEG-1相容，必須至少做到的所有與MPEG-1相容的解碼器至少必須能解碼符合強制參數集的位元串MPEG-1的三種畫面MPEG-1採用3種方式來壓縮一張畫面：I畫面、P畫面、B畫面I畫面的編碼方式是採用類似於JPEGDCT的處理方式它並不考慮與其他畫面間的關係，所儲存的是一張完整的畫面P畫面是利用前面的I或P畫面為參考畫面做前向的動作補償編碼畫面中不動的部分就不儲存，只儲存不一樣的部分B畫面的原理和P畫面一樣，只不過畫面可以參考前面的畫面，也可以參考後面的畫面ExampleforBidirectionalPredictionI-frameB-frameP-frame畫面種類與巨方塊(MB;MacroBlock)種類I畫面(Intra-codingframe)全部是I巨方塊隨機取得FF/FRP畫面(Predictivecodingframe)P巨方塊I巨方塊跳過B畫面(Bidirectionalpredictivecodingframe)B巨方塊前向預測逆向預測雙向預測I巨方塊跳過編碼器之方塊圖RemovingspatialredundancystatisticalredundancytemporalredundancyI-frame(Intra-codingframe)巨方塊：四個8×8的Y方塊、一個8×8的Cb

方塊、及一個8×8的Cr方塊編碼的方法與JPEG類似和JPEG略有不同的是：MPEG-1所使用的Huffman表都是固定的，不像JPEG有幾個Huffman表可以選擇P-frame(Predictivecodingframe)順向動作補償編碼B-frame(Bidirectionalpredictivecodingframe)做兩次的動作估計，一次是針對過去畫面，另一次是針對未來畫面共產生兩個動作向量雙向動作補償優點壓縮效率高無錯誤傳遞問題缺點記憶體延遲畫面順序與位元率分佈通常I畫面：156Kb/pP畫面：62Kb/pB畫面：15Kb/p如果畫面率是30而且GOP的安排是IBBPBBPBBPBBPBBIBB…，那麼每秒有I畫面兩張、P畫面八張、與B畫面二十張整個MPEG-1系統的視訊位元率為:1562+628+1520=312+496+300=1,108Kbps1.1Mbps解碼器編碼器反相程序編碼誤差發生於解量化過程移動補償動作(motioncompensation)位元率控制(bit-ratecontrol)調整圖量化DCT係數的量化區間值

MPEG-1標準允許編碼器針對每一個編碼巨方塊選擇不同的量化區間值可以針對不同巨方塊的複雜度與視覺重要性適當地分配位元可以讓我們選擇是要固定位元率（CBR）還是非固定位元率（VBR）暫存器(framebuffer):CBRVBR

位元率控制暫存器夠大可以避免發生滿溢的情況但是，價格上的考量不利於大暫存器的使用愈大的暫存器意味著愈大的延遲MPEG定義了一個所有解碼器實作必須支援的最小暫存器容量它的容量等於一個編碼器可以用來產生一個位元串的最大可能暫存器值MPEG-1視訊之位元串定義六個layer位元串語法序列GOP畫面切片(slice)MB方塊MPEG-2ISO/IEC13818-2(orITU-TH.262)廣播電視、有線/衛星電視、HDTV等4~9Mbits/s、交錯視訊、以及可調式編碼PartsofMPEG-2ISO/IEC13818-1：系統ISO/IEC13818-2：視訊ISO/IEC13818-3：音訊ISO/IEC13818-4：相容測試ISO/IEC13818-5：軟體ISO/IEC13818-6：DSM-CCISO/IEC13818-7：NBC音訊ISO/IEC13818-9：即時介面ISO/IEC13818-10：DSM-CC相容MPEG-2的PartsISO/IEC13818-1：系統ISO/IEC13818-2：視訊ISO/IEC13818-3：音訊ISO/IEC13818-4：相容測試ISO/IEC13818-5：軟體ISO/IEC13818-6：DSM-CCISO/IEC13818-7：NBC音訊ISO/IEC13818-9：即時介面ISO/IEC13818-10：DSM-CC相容MPEG-2MPEG-2的壓縮位元串格式分為兩類：不可調的格式，這個格式的壓縮位元串等於是MPEG-1的壓縮位元串格式，再加上支援交錯畫面的編碼功能，可調的格式，這個格式的壓縮位元串允許解碼器選擇不同的訊號品質等級播出單純從演算法的觀點來看MPEG-1與MPEG-2，這兩者其實是一樣的規格之一：MPEG-2必須與MPEG-1有最大的互動性與相容性大部分的不同都直接或間接地源自於輸入格式的不同MPEG-1與MPEG-2之編碼參數交錯畫面MPEG-2的輸入畫面可以是交錯畫面或者非交錯畫面，而MPEG-1則只接受非交錯畫面交錯畫面指的是一張畫面分兩次送，每一次送一張場畫面MPEG-1因為不接受交錯畫面而必須在編碼前先將電視訊號轉換成非交錯畫面漸進式與交錯式掃瞄

(progressiveandinterlacedscanning)Progressivescanning:displaymovingimageswiththelinesofeachframedrawninsequenceInterlacedscanning:displayaframebytracingodd-numberedlinesfirstandthentheeven-numberedlinesOddfieldandevenfieldTwofieldsmakeuponeframe解交錯畫面例子(de-interlaced)SubjectofinterlacedscanningistoreducethebandwidthrequiredforvideotransmissionAnti-aliasingoccurredwhenmergingthetwofieldstoaframe輸入視訊格式MPEG-2的主要輸入視訊格式CCIR601又分成4:2:0、4:2:2、及4:4:4三種次取樣格式預測模式與動作補償預測模式與動作補償動作向量都使用半像素精確度支援另外兩種動作補償模式：第一種一般稱為16×8動作補償模式，將一個16×16的巨方塊視為上下兩個16×8的矩形。每一個16×8的矩形分別獨立地做動作補償16×8動作補償模式只能在場畫面中使用雙首位動作補償只能用在P畫面，以及在P畫面與參考畫面間沒有B畫面的GOP上雙首位動作補償利用兩個動作向量所預測出的兩個場巨方塊，將這兩個場巨方塊的平均值做為最後我們要的場巨方塊預測值檔案與階級MPEG-2與MPEG-1的其他不同MPEG-2可以接受不同長寬比的輸入視訊輸入視訊如果是CCIR601的交錯畫面，則通常在位元率為4~9Mbps時可以得到最佳的視訊品質一律採用半像素動作補償使用了新的DCT係數量化選項以及另外一種鋸齒形掃描，畫面品質因此得到了改善壓縮位元串採用可調的格式MPEG-2被採納為高品質電視的壓縮演算法MPEG-1/2編碼結果統計MPEG-4之前標準可以做的：

MPEG-1：以非交錯畫面為基礎的視訊編碼(1.5Mbps)MPEG-2：以（非）交錯畫面為基礎的視訊編碼(4Mbps~270Mbps)H.261：低位元率視訊會議編碼(64pKbps)H.263：超低位元率視訊會議編碼(10Kbps)MPEG-4之前標準不能做的：以視訊的內容資訊（metadata）來編碼視訊物件配合不同的頻寬與媒體（5Kbps~270Mbps）編碼多媒體資訊互動性MPEG-4：主要功能以內容為基礎的互動性普遍的存取壓縮MPEG-4：主要功能以內容為基礎的互動性將一張畫面視為物件的組合不是像素或移動中的方塊之組合物件指的可以是一部車子、一段音樂、文字物件可以是方形、也可以是任意形狀可以是自然的、也可以是合成的可能是二維的、也可能是三維的不同物件可以用不同的編碼方法做壓縮在解碼器則有一個組合器負責將所有的物件再組合成重建畫面!!!!!!!!!MPEG-4：主要功能普遍的存取適合於各種應用包括有線網路與無線網路因此有可能發生嚴重的錯誤它還意味著以內容為基礎之可調性可以視情況彈性地調整畫面內容、品質、以及複雜度MPEG-4：主要功能壓縮在相同的位元率下，MPEG-4可以得到比之前的任何一個視訊編碼標準都還要好的視覺品質它的位元率可高可低它的位元率可以低到5~64Kbps以配合行動通訊的需要也可以高到20Mbps以配合電視、電影的需要可以編碼多個同步視訊，例如立體視訊視訊物件平面（VOP）視訊物件（VO）將影片中所有屬於同一個實際物件的連續VOP集合起來我們稱之為視訊物件（VO）切割的方法：分開的與重疊的=+切割的方法線上（即時）切割與離線（非即時）切割自動切割與半自動切割（有人員介入）視訊會議即時且自動切割；一般的視訊離線及半自動切割通常離線及半自動切割都可以得到比即時且自動切割更好的切割效果，但是比較費時物件之個別處理切割後，每一個VO除了可以各自編碼外，還允許各自做一些處理。例如可以改變一個VOP的位置可以改變一個VOP的尺寸可以改變一個VOP的移動速度可以加入一個新的VO可以去掉一個VO可以換掉一個VO等各別處理VO之例各別處理VO之例VOP之描述二元平面

MPEG-4視訊解碼器

MPEG-4視訊解碼器形狀編碼動作向量估計及紋理編碼VOP之編碼VOP的形狀先用一個長寬都是16整倍數的最小矩形圍起來並切割成1616的方塊，BAB形狀編碼二元平面提供給解碼器的是在某一個時間點的VOP形狀一般常用位元圖來表示灰階平面是二元平面的推廣除了提供形狀資訊外也提供透明度資訊使用八個位元來表示每一個像素值動作向量估計與補償工具VOP可以完全不參考其他VOP：I-VOPVOP可以利用另外一個剛剛解碼出來的VOP預測得到：P-VOPVOP可以利用過去與未來的VOP一起預測得到：B-VOP動作向量估計與補償工具動作向量估計與補償工具填補工具外插填補工具

紋理編碼工具I-VOP以及做動作補償編碼後所產生之誤差都用88的DCT做編碼編碼的方法與MPEG-1、MPEG-2、H.261、及H.263所使用的方法類似如果88的方塊跨越VOP的邊界，那麼必須先做填補動作補償編碼後所產生的誤差方塊－填補的方法是補0I-VOP方塊－填補的方法是低通外插法紋理編碼工具靜態全景編碼工具全景指的是在同一個場景裡鏡頭所掃描過的所有背景之聯集只要全景有了，任何時間的背景就可以用影像處理中的扭曲與切割技術取得靜態全景編碼工具MPEG-4之合成物件編碼由電腦繪圖與動畫軟體所產生合成物件與自然物件或天然場景結合播出二維網格化編碼三維模式化編碼二維網格化物件編碼二維網格化物件編碼二維網格幾何編碼均勻網格Delaunay網格二維網格化物件編碼二維網格的動作編碼不管是在均勻或Delaunay網格裡的每一個MOP三角形，它的動作都是以它的三個頂點的動作向量來描述二維網格化物件編碼二維物件動畫網格紋理的對映－它必須負責將所對應的參考網格三角形內之紋理做扭曲處理以產生目標網格三角形內的紋理仿射轉換二維網格化物件編碼二維網格物件之編/解碼器其中視訊編碼器提供網格物件的紋理二維網格化物件編碼一個VOP的網格表示，以及經過網格編碼所得之MOP三維模式化編碼臉部物件的三維模式化編碼身體物件的三維模式化編碼(Ver.2)臉部物件的三維模式化編碼中性臉孔臉部物件的三維

模式化編碼臉部的特徵點臉部物件的三維模式化編碼定義六種基本的臉部表情包括喜、怒、哀、怕、驚訝、以及討厭MPEG-4的檔案與階級簡單檔案I與PVOPAC/DC預測四個動作向量無限制動作向量切片同步資料切割（datapartitionRVLC（reversibleVLC）這個檔案可以解碼不使用任何附錄選項的H.263位元串ABCXMPEG-4的檔案與階級簡單可調檔案進階即時簡單檔案進階簡單檔案簡單檔案上加入1/4-像素動作補償總體動作補償B-VOP這是MPEG-4目前使用最多的檔案之ㄧMPEG-4的檔案與階級精細顆粒可調性檔案核心檔案主檔案N-位元檔案核心可調檔案進階編碼效率檔案簡單工作室檔案核心工作室檔案另外還針對臉部、身體、以及網格動畫定義了許多檔案MPEG-7與MPEG-21MPEG-7它的官方名稱為multimediacontentdescriptioninterface描述多媒體內容的一個介面標準以內容為主的搜尋引擎在第12章詳細介紹!!!!!!!!!H.261ITU-TStudyGroup15,1984-1990AnearlierdigitalvideocompressionstandardUsingmotion-compensation-basedcompression,whichisverymuchadoptedinalllatervideocompressionstandardsDesignedforvideophone,video-conferencing,andotheraudiovisualservicesoverISDNtelephonelinesVideophoneandvideoconferencing(failedonapplication)LowbitratesandlowdelayOriginallyform×384kbits/s(m=1...5),changedtop×64kbits/s(p=1...30)in1988Alsocalled“p×64”40kbits/sto2Mbits/sVideoFormatSupportingQCIFandCIFformatsColorcomponentsChromasubsampling4:2:0++1616MacroBlock(MB)Luminance,YChrominance,CbandCr16168888TypesforEncodingFramesTwotypesofimageframesdefinedIntra-frame(I-frame)TreatedasindependentimagesUsingonlyinformationwithintheframeforencodingApplyingatransformcodingsimilartoJPEGOnlyperformingspatialredundancyremovalInter-frame(P-frame)UsinginformationfromthecurrentframeandtheframesalreadybeenencodedEncodedbyaforwardpredictivecodingmethodinwhichcurrentMBsarepredictedfromsimilarMBsintheprecedingI-orP-frameRemovingtemporalredundancyFrameSequenceVariableintervalbetweenpairsofI-frames,whichbeingdefinedbytheencoderEncodingBlockDiagramBlockdiagramforgeneralH.261I-frameCodingMacroBlocks(MBs)16×16pixelsforYframe8×8pixelsforCbandCrframesinceConsistsoffourYblocks,oneCb,andoneCr,8×8blocks(totalsix8×8-pixelblocks)ApplyingDCT,QuantizationandEntropyCodingtoeach8×8blockP-frame(Predictive)CodingAfterprediction,adifferenceMBbeingderivedtomeasurethepredictionerrorMotionvectorbeingalsocodedMotionEstimationDifferencebetweentwoMBsmeasuredbytheirMeanAbsoluteDifference(MAD)orSumofAbsoluteDifference(SAD)Tofindavector(i,j)asthemotionvectorMV=(u,v),suchthatMAD(i,j)beingminimumComputationComplexityofMotionEstimationHighcomputationloadingofvideoencoderonDCTandmotionestimationLoweringcomputationalcomplexityDCTSimplifiedcomputationarchitectureDataanalysistocalculateDCTforpartialcoefficientsMotionestimationFullsearchtoobtaintheminimumerrorQuicksearchperformnon-optimalmeasurementresult3-stepsearchDiamondsearch…H.261DecoderH.263Animprovedvideocodingstandardforvideoconferencingandotheraudio-visualservicestransmittedonPublicSwitchedTelephoneNetworks(PSTN)Aimingatlowbit-ratecommunicationsatbit-ratesoflessthan64kbpsSimilartoH.261toreducetemporalredundancybypredictivecodingforinter-framestoreducespatialredundancybytransformcodingfortheresidualsignalFunctionalBlockofB-frameCodingGroupofPicture(GOP)ToavoidpropagationfrompredictionandtransmissionerrorsEncodingVsDisplayOrderSlicesInsteadofGOBsinH.261,anMPEG-1picturecanbedividedintooneormoreslicesSlicescontainingvariablenumbersofMBsinasinglepictureSliceencodedindependentlyforerrorrecoveryRateControlOnetooltocontrolbitallocationfortheencodedframesP-andB-frameusingfewerbitsthananI-frameEncoderproducingavariable-ratestreamtogointoabuffer,andaconstanttransmissionrateemptythebufferBufferunderflowandoverflowAmeasureofbufferfullnesstocontrolthequantizationscalefactortoadjustsizeoftheencodedstreamScalableCodingScalablecoding(alsoknownaslayeredcoding)AbletodefineabaselayerandoneormoreenhancementlayersObtainingbasicvideoqualityfromencodinganddecodingbaselayerbasedonthebaselayertoencodeanddecodetheenhancementlayersApplicationsAppliedonnetworkswithverydifferentbit-ratesAppliedonnetworkswithnoisyconnectionsAppliedonnetworkswithvariablebitrate(VBR)channelsSNRScalabilityReferstotheenhancement/refinementoverthebaselayertoimprovethesignal-noise-ratio(SNR)BaselayeremployingacoarsequantizationtotheDCTcoefficientstoresultinfewerbitsandalowqualityvideEnhancementlayerfinelyquantizingtheDCTcoefficientsSpatialScalabilityBaselayertogeneratebit-streamofreduced-resolutionpicturesProducingpicturesoforiginalresolutionbyaddingtheenhancementlayerTemporalScalabilityApplicationsNotspecifyinghowtoimplementtheencoderanddecoderArchitecturesimplificationComputationreductionApplicationsErrorresilienceDataembedding-watermarkingTranscodingErrorResilienceAppliedtomultimediacommunicationstocombatbiterrorsandpacketlossTwocategories:ErrorconcealmentTominimizetheeffectoferrortothebitstreamResynchronizationandDatarecoveryTolocalizetheerrora