视频芯片2课件

高清AVS视频编码芯片结构设计与FPGA验证

高清AVS视频编码芯片结构设计与FPGA验证设计要求设计方案系统结构应用前景

SmartphonePDADVPMPMP4IPTVIPCAMDVB-TDVRVideophone设计要求支持率失真优化(RDO)模式选择仅支持帧模式,不支持场模式。支持去块效应滤波。码率控制算法由嵌入式处理器软件实现。设计方案编码芯片前端设计开发流程：系统模型RTL(寄存器传输级)netlist生成FPGA/ASCI……..VHDL/VerilogHDL细化C/C++描述综合更底层设计载入AVS视频编码结构图熵编码反量化反变换运动补偿预测控制数据量化后的变换系数运动数据帧内/帧间编码控制解码器运动估计变换/量化-0环路滤波帧内预测硬件系统结构系统流水线结构：系统层控制DDRSDRAM视频输入分层IME全搜索亚像素差值FMESmallLumaRef.PelsSRAMsLumaRef.PelsSRAMsCur/Ref.RegArray率失真模式选择DCT/IDCTQ/IQ熵编码去块滤波分层IME全搜索亚像素差值FMELumaPred.PelsSRAMsCur.MBOrg.SRAMs................................................LumaPred.PelsSRAMsLumaRef.PelsSRAMsCur/Ref.RegArraySmallLumaRef.PelsSRAMsIntra预测Upper&LeftpelsSRAMIntraPred.PelsSRAMsCodeNumMBSRAMRec.MBSRAMDeblockSRAMBitstreamSRAMChromaPred.PelsSRAMs色度像素滤波器SmallChromaRef.PelsSRAMsChromaRef.PelsSRAMsChromaPred.PelsSRAMs色度像素滤波器SmallChromaRef.PelsSRAMsChromaRef.PelsSRAMsDDR访问接口状态机第一级（IME）第二级（FME）第三级（MD）第四级（EC/DB）NN-1NN+1VLSI实现系统关键参数分析系统流水结构实时吞吐瓶颈基于RDO模式选择代价函数RDcost复杂度分析:

DCT-H，DCT-V，Q，IQ，ZigzagScan,VLCIDCT-H，IDCT-V候选模式复杂度分析帧内模式Intra：5x4+4x2=28次RDcost计算。

帧间模式:运动预测方向+可变大小块分割模式运动预测方向(前,后,双向对称)由IMEFME完成选择RDOMD仅仅选择可变大小块分割模式和直接模式Inter：6x6=36次RDcost计算。RDO模式选择的可能性

H.264颗粒度更小，模式更多

AVS相对颗粒度适中，模式相对比较少

AVSDCTIDCT块8x8比H.264的4x4块大，硬件消耗也大

权衡有实现RDO模式选择的可能性RDO模式选择算法简化思路:I帧intra模式选择不简化,RDO模式选择P,B帧中intra模式采用基于SAD判据P,B帧内inter模式中的预测方向(前,后,双向对称)由IMEFME完成选择P,B帧内inter模式中的可变大小块模式选择由RDO模式选择实现简化:P.B帧8x8(1),8x8(2),8x16,16x8,16x16,skip/direct,intra----->skip/direct,intra,3种候选模式实际系统时钟频率：

设RDO块级流水周期为25cycles，则RDO一级MB处理时间为25x37=925cycles.MB级流水周期系统时钟频率：1920x1088x30/256=244800MB/s244800x925=226.44Mhz1280x720x30/256=108000MB/s108000x925=99.9Mhz流水线结构第一级：整像素运动估计（IME）:第二级：分像素运动估计（FME）:第三级：编码模式选择、intra预测（DB/IP）:第四级：可变长编码、去块效应滤波（EC/DB）:流水线结构(1)第一级：整像素运动估计（IME）:★算法描述：

·采用分层全搜索算法（3层）。 ·搜索窗为256x192。 ·搜索中心（0，0）点。 ·P帧前向2个参考帧，B帧前后各1个参考帧。整像素运动估计需求分析：

假设采用并行256个PE结构，每个时钟搜索一个侯选MV，需要256×192=49152个时钟完成整个窗口的搜索，如果采用并行结构保证搜索速度，付出的硬件代价是无法接受的。三层全搜索算法：

分层搜索思路可以快速实现搜索收敛。分层搜索的思想是：将当前帧和参考帧按照一定比例降采样，然后逐层搜索。整像素运动估计三层全搜索：4:14:1整像素运动估计·level-2层搜索： 搜索全部[-3232]x[-2424]区间64x48=3072个MV，选择SAD最小的3个MV，以及预测得到的一个MV，保存这4个MV作为Level-1层搜索中心。13fedcba9876542g64481612整像素运动估计·level-1层搜索： 在第Level-1层分别以level-2得到的四个MV为中心，在[-8,8]的范围内搜索，完成了4次迭代后,得到一个最优的点mv1，用于初步确定level-0层实际运动的大致范围,即mvp=mv1。13fedcba9876542gMVP12896整像素运动估计·level-0层搜索：

在第Level-0层上以Level-1层得到的mvp这个点为中心在[-1212]的范围内搜索，最后得到合适的MV。然后以这个点为中心进行亚像素运动估计。13fedcba9876542g25x25192256流水线结构(2)第二级：分像素运动估计（FME）：

以整像素得到的运动向量为中心，当前宏块与1/2、1/4像素插值图象进行再度匹配，以寻找编码性能更好的运动向量。·难点：

整帧插值生成1/2，1/4像素分别是整像素的4倍和16倍数据量。如果以这样的方式进行亚像素计算和保存，则片外存储器的带宽和容量将是芯片设计的严重挑战。·解决方案：

采用即用即算的策略，因此FME中将包括两个功能：像素插值和像素匹配。分像素运动估计·即算即用的方案： 只对整像素搜索到的最佳MV所对应的匹配块进行亚像素插值，插值出一个8x8块周围的所有1/2和1/4像素点需要一个14x14的整像素块。1123456783123456786123456788123456784bc291079105bc整像素1/2像素1/4像素分像素运动估计·1/2像素插值：一行14个整像素垂直滤波器水平滤波器水平/垂直滤波器分像素运动估计·1/2、1/4像素FME搜索全过程：

PE1~PE8实现8个1/2精度MV的代价函数计算（SAD+λ×bits_MVD）流水线结构(3)第三级：率失真模式选择（RDOMD）:★帧内模式决策(采用重构像素作为参考像素预测)

·帧内块预测方法

·I帧的帧内模式决策方法（基于RDO模式选择）·P,B帧的帧内模式决策方法（基于SAD模式选择）★帧间模式决策：·简化的模式决策方法帧内模式决策·帧内块预测方法：

采用原始像素替代重构像素，可以提高计算速度，但在一定程度带来编码失真。(PSNR损失高达0.2-0.5dB)蓝色曲线为：I帧和PB帧的Intra块都采用原始像素值预测。粉色曲线为：I帧和PB帧的Intra块都采用重构像素值预测。帧内模式决策·I帧的帧内模式决策方法：

采用传统率失真优化的模式决策方法。·PB帧的帧内模式决策方法： 采用SAD判别的方法。帧间模式决策方法模式组合=时域预测方向+可变大小块分割模式

预测方向由IMEFME选择帧间模式决策方法·简化的模式决策方法：

为了减小时钟资源，采用基于SAD和率失真优化联合判别的模式决策方法。

减少候选模式（1）skip/direct模式发生的概率比较大，必选（2）16x1616x88x168x8-18x8-2利用SAD判据选择出最优的三种模式，（3）基于SAD判据选择出的最优intra模式

基于RDO判据从5种可能模式中选择最优模式代价函数RDcost复杂度分析:

DCT-H，DCT-V，Q，IQ，ZigzagScan,VLCIDCT-H，IDCT-V候选模式复杂度分析帧内模式Intra：5x4+4x2=28次RDcost计算。

帧间模式:运动预测方向+可变大小块分割模式运动预测方向(前,后,双向对称)由IMEFME完成选择RDOMD仅仅选择可变大小块分割模式和直接模式Inte