视频稳定算法demo说明

视频稳定算法说明撰写人:谭海富（Haiku）公司:兴天实业-影像组时间：2016.08.31_目录TOC\o"1-5"\h\z\o"CurrentDocument"视频稳定算法说明 1\o"CurrentDocument"一、背景与目的 3\o"CurrentDocument"二、测试平台工具 3\o"CurrentDocument"三、算法简要说明 3\o"CurrentDocument"四、应用说明 5、背景与目的视频抖动是指拍摄过程中由于摄像机存在不一致的运动噪声而造成视频序列的抖动和模糊。为了消除这些抖动，需要提取摄像机的真实全局运动参数，然后采用合适的变换技术补偿摄像机的运动，使视频画面流畅而稳定，这项技术通常称为视频去抖动或视频稳定。目前已有的视频去抖动技术分为如下两类：特征法和光流法。特征法在提取每帧图像的特征点的基础上，在相邻帧之间进行特征匹配，然后根据匹配的结果计算摄像机的全局运动参数，最后用滤波后的全局运动变换对原始序列进行补偿。该方法的效果很大程度上取决于特征匹配的精度，当场景中存在移动目标或者纹理特征不明显时，该方法的应用将受到限制。光流法首先计算相邻帧之间的光流，然后根据光流信息，通过运动分析获得全局运动参数随后也是根据滤波后的运动参数来补偿原始序列，该方法的优点是可以获得每个像素的运动矢量；然而如果场景中存在不一致的运动区域，通常要结合视频分割来完成全局运动的估计而这类方法由于要对每一像素点进行分析，一般需要相当大的计算量，此外光流计算固有的孔径问题也是该方法所必须要考虑的。本文在上面两种方法的基础上，结合两种方法各自的优缺点，做一个折中的视频去抖动算法测试，为后面无人机航拍去抖动做算法层面的技术储备。二、测试平台工具笔记本电脑(带较高配置的NVIDIA显卡) 一台三、算法简要说明该视频稳定算法主要基于Harris特征点检测及稀疏金字塔光流法(Lucas-Kanade)来进行运动估算。算法流程图如下：

关键函数说明：vx_nodenvxHarrisTrackNode(vx_graphgraph,//输入图表vx_imageinput,//输入图像vx_arrayoutput,//输出检测的特征点vx_imagemask,//掩码区域vx_arraytracked_points,//跟踪的特征点vx_float32k,//可信度vx_float32threshold,//阈值vx_uint32cell_size,//算法运算单元大小vx_scalarnum_corners//检测的特征点数量)该函数完成检测和跟踪输入图像的Harris特征点。检测出的特征点可用于下一步运动估图：算法流程图图：算法流程图计跟踪操作。vx_nodeVX_API_CALLvxOpticalFlowPyrLKNode(vx_graphgraph,vx_pyramidold_images,vx_pyramidnew_images,vx_arrayold_points,//vx_graphgraph,vx_pyramidold_images,vx_pyramidnew_images,vx_arrayold_points,//参照图表//上一帧图像的金字塔//当前帧图像的金字塔//上一帧图像的金字塔vx_arraynew_points_estimates,//当前估算特征点vx_arraynew_points,//当前帧算法计算出的特征点vx_enumtermination,//算法结束条件vx_scalarepsilon,//误差vx_scalarnum_iterations,//算法迭代计算次数vx_scalaruse_initial_estimate,vx_sizewindow_dimension//算法运行窗口大小)上面函数完成Lucas-Kanade算法跟踪检测的Harris特征点，以得到对象的运动轨迹。下面只要通过特征对象的运动轨迹，弯曲，移动图像，减缓相邻多帧图像相对位置的变化，以达到减缓抖动的效果。四、应用说明由于特征检测，光流法跟踪估计运动等算法需要很大的计算量，为了得到实时的处理效果，借助NVIDIA显卡强大的GPU性能及其加