视频应用技术实训汇总

编 号26成 绩教师签字 长春建筑学院电气与信息学院课程设计报告设计名称：视频图像处理与传输技术研究与应用 专 业 ： 通信工程 班 级： 1201 学生姓名： 李昊男 学生学号： 课程名称： 视频应用技术实训 任课教师： 王金环 设计时间： 12周 设计地点： H楼116 2016 年 11 月 4 日评语：任课教师（签名）： 年 月 日目录 摘要 第一章 绪论 1.1. 课题研究的目的和意义 1.2. 网络视频的特点 1.3. 网络视频技术的应用领域 1.4. 网络视频传输系统中应用的关键技术 1.5. 论文大纲 第二章 项目管理和质量管理理论综述 2.1. 项目管理概述 2.1.1 项目管理相关定义 2.1.2 项目管理知识体系 2.2. 质量管理的定义和方法 2.2.1 质量及质量管理 2.2.2 质量管理的方法 2.3 视频格式之间的相互转换 2.4视频图像网络渐进传输 2.4.1描述图像渐进解码特性的评价标准 2.4.2文件与网络数据流的处理 2.4.3压缩数据流的信道解码 2.4.4插件的设计与功能 第三章 总结与展望 参考文献视频图像处理和网络视频技术的研究与应用摘要目前在视频图像处理领域视频数据的编码、压缩、加密、水印嵌入与传输等方面的研究和开发已经达到了相当高的水平加上近年来兴起的流媒体技术使得视频图像在互联网上的高质量实时传输已经成为了现实。本论文以VisualC+6.0为平台实现了几种常见的视频图像处理样式包括视频图像的加密、视频图像的实时捕捉、压缩与保存以及视频格式的相互转换。首先由一个密钥随机生成器基于 VisualC+6.0编程环境生成一个密钥然后在加解密密钥相同的情况下对视频文件进行加密不获得解密密钥用户就无法正常播放视频文件较好地防止了非授权用户对视频文件的非法使用。视频图像的实时捕捉、压缩与保存部分分别做了以下几种情况的实验捕捉单帧未压缩视频图像和压缩视频图像、指定播放时间的多帧视频图像、限定帧数采用不同压缩格式的视频图像等。从中可以看出未压缩和压缩图像文件容量大小相差几倍甚至上百倍之巨要想实现网络视频图像的实时传输就必须采用合适的压缩和存储格式对视频图像进行合适比率的压缩。本文实现了几种常见视频文件格式的相互转换对转换前后视频图像文件的大小进行了比较提出了网络视频图像渐进传输的基本框架和实现构想引用了一个支持格式视频的实时回放工具选择CIF（352*288）、QCIF（176*144）两种格式的视频文件进行了播放实验文章的最后VisualC+6.0以为工具以视频图像采集工具为媒介实验中应用了摄像头分别实现了局域网中点对点和Internet网络中客户机一服务器两种模式的网络视频传输系统。关键词视频处理视频编码视频传输1.绪论1.1课题研究的目的和意义随着信息和通信技术的发展视频技术已成为当今多媒体研究中的重要课题。视频这种常见的媒体形式已经在计算机通信、视频点播和视频会议等众多领域得到了广泛的应用这中间必然牵涉到许多相关的视频处理问题如视频编码、加密、捕捉、压缩、保存、视频格式的相互转换等。计算机网络和视频编码技术的发展也使得人们对基于网络的视频应用越来越重视。目前视频传输的应用系统如视频会议系统、远程网络监控系统和远程医疗诊断系统等方兴未艾并已经对社会产生了巨大的影响。随着互联网的蓬勃发展使人们对网络视频传输也提出了越来越高的要求。1.2网络视频的特点网络视频具有交互性、实时性、集成性与码率可变、突发性强等特点（1）交互性用户在收看电视时只能被动地观看电视台播放的电视节目不能自由地控制和处理只有频道选择权没有视频播放控制权更不能对视频进行交互式操作。网络视频则具有强大的交互性它允许用户向发送方要求发送指定的视频信息并能控制播放过程如开始、暂停、后退和快迸等。（2）实时性网络视频与时间密切相关并与音频有很大的意义相关性要求接收到的视、音频信息必须严格同步。这就决定了网络视频必须具有实时性即不允许出现停顿的现象。网上直播、网上视频会议的声音和图像都必须严格同步否则会影响观众的观看效果。 （3）集成性网络视频的集成性表现为技术的集成性和媒体信息的集成性两个方面。技术的集成性是指将原来的电话、广播、电视、音像、多媒体等技术与计算机网络技术融为一体。媒体信息的集成性是指网络视频可以与音频、文字、动画等在内的数据信息集成还能与一些附加的控制信息如超级链接信息、脚本信息、特定应用信息等集成。（4）码率可变、突发性强代表网络视频信息的数据流码率是随着不同的信息内容、所处的不同时间而不断变化的如人们讲话时的停顿、所传输场景图像中物体的运动等都会形成码流速率的波动而且这种波动往往呈现出极强的突发性再加上采用各种信息压缩编码的方法更加剧了这种变化。1.3网络视频技术的应用领域目前网络视频技术的应用主要包括以下几个方面（1）网上直播网上直播使观众摆脱了对电视的依赖使信息尤其是视频信息传递的时效性大大加快。宽带网用户可以通过网络看到高质量的音频和视频信号。由于采用了流媒体技术中的智能流技术网络可以根据带宽的动态变化而自动地调整播放质量避免了在播放过程中的信息流中断。 （2）网上视频点播网上视频点播融合了多媒体计算机技术、网络通信技术和视听技术彻底改变了用户被动收看节目的状态实现了节目的按需收看和任意播放能为用户提供实时、交互和按需点播服务。（3）网络教育网络教育可以实现实时“面对面”远程授课、视频课件点播、同步课业辅导、远程交流讨论、交互式答疑等丰富的教学功能突破了课堂教学和课本教学信息单一化的局限能充分开发、组合和利用各种教育信息资源将多学科、多层次的丰富信息通过多种途径传播。（4） 远程诊疗医生通过多媒体通信网传输的视频信息为远在千里的病人提供诊断服务如“面对”病人进行观察和询问通过远端的医疗传感器或仪表对病人进行多项病理检查检查的结果可立即传送到中心为医生诊断提供依据。如果需要通过远程医疗网络还可组织各地的医疗专家为患者进行会诊讨论医疗方案。（5）视频会议利用多媒体通信网络和多媒体终端使身处异地的与会者就同一议题参与讨论与会者不仅可以听到发音者的声音而且还能看到发言者的图像及背景同时还可以交流有关议题的数据、文字、图表等信息。（6）多媒体邮件系统多媒体邮件系统除可传送文件外还可传送图像、视频和音频数据。特别是在接收者不在现场或者信息可以被延迟发送而不要求交互通信的情况下发送者可以编辑某邮件后通过多媒体邮件系统将其传送到对方的邮箱中而接收者可在任何方便的时候取出邮件。该邮件除文字外还包括视频和音频等信息。1.4 网络视频传输系统中应用的关键技术（1）视频压缩原始视频数据会占用大量的带宽为了提高视频传输的实时性和效率有必要对视频进行压缩编码。目前ITU-T和ISO己推出H.263X系列和MPEG-X系列等视频编码标准并且这些标准己得到广泛的应用MPEG-1主要是针对1.5Mb/s以下数据传输率的数字存储介质如（CDROM)运动图像及其伴音压缩编码的国际标准MPEG-2针对标准数字电视和高清晰度电视在各种应用下的压缩方案和系统层的规范标准编码传输率从3-100Mb/s可变它们的制定为VCD、DVD、数字电视和高清晰度电视等产业的飞速发展打下了牢固的基础。MPEG-4主要基于第二代视音频编码技术以视听媒体对象为基本单元实现了数字视音频和图形合成应用、交互式多媒体的集成已经广泛应用于流媒体服务领域。H.261、H.263、H.263+等属于低比特率的视频编码标准图像质量较低用MPEG-X 系列标准压缩的视频图像质量比较好但比特率高。对于实时网络视频传输来说实时性是第一位的因此 H.263 是较为理想的视频编码标准。标准可以提供时间、空间和信噪比三种分层编码模式得到包括基本层和多个增强层的多速率的视频序列能适应不同终端的需求。(2)系统管理和控制对于最简单的点对点模式的网络视频传输系统只有两个参予者。在整个过程中一方只需要听到或看到另一方的声音、图像根据自然习惯由谁发言双方心领神会不需要专门的控制机制。这种模式可以扩充到在系统中建立多个点对点的连接即每个参与者都与其他参与者建立一个点对点的连接。对于客户机一服务器模式的网络视频传输系统则相对来说要复杂一点一般要增加一个专用设备我们称之为多点控制单元来对系统中的资源进行有效的管理和控制。服务器和客户机之间进行视频传输时首先将信息发往控制单元单元则对信息进行统一有效的处理、控制和选择发送媒体的能力从而使得与会终端数据共享工作对象、工作结果、数据资料有效协调各种媒体的同步。(3)视频传输网络视频传输系统可以采用单播或多播方式传输多媒体数据。单播即发送端和接收端之间建立点对点连接多播是指单个发送端和多个接收端之间建立点对多点的连接所有接收端都能同时收到多播发送方每次发送的数据包高效地使用网络的带宽资源。可以利用数据包的优先级策略对不同重要程度的数据包定义不同的优先级。路由器根据输出链路的状况和建立连接时的约定进行视频流处理使不同终端接收到不同质量的视频。(4)拥塞控制机制拥塞控制机制包括速率控制、自适应速率视频编码和速率整形等。速率控制是根据传输方式来控制发送端的发送速率有基于窗口和基于速率两种方式。如TCP采用窗口式流量控制。UDP中没有包含拥塞控制机制为了解决网络拥塞及实现对TCP业务流的公平性 UDP可以采用基于速率的控制方式根据网络上的一些反馈信息实现“加性增加乘性减少”的拥塞控制。自适应速率视频编码是通过调整编码器输出的视频速率来适应信道的拥塞程度即在一定的信道负荷下尽可能好地恢复视频质量。速率整形只是通过平滑视频数据的突发性来减少拥塞。(5)差错控制机制常用的差错控制方法有前向纠错、重发、抗误码、误码掩盖和防误码扩散。前向纠错通过信道编码器增加冗余包的方法来减少包丢失由于带宽的限制冗余包的增加会导致视频质量的下降但可以大大地降低由于丢包引起的视频质量下降的影响而且包丢失引起的视频质量下降往往是人的视觉无法接受的。由于视频的实时性强通常接收端发现包丢失后不是要求发送方重发丢失的数据而是采用误码掩盖技术。编码器可采用一些具有抗误码能力的编码方式如增加重同步信息、独立分割预测、反向变字长编码来减少丢包引起的视频质量的急剧下降误码掩盖只是用在接收端当丢失的数据包无法恢复时利用视频流的时间、空间的相关性使用插值方法来恢复丢失的数据。当解码端发现一些无法纠正的错误时必须要采用防误码扩散技术防止误码在空间域和时司域引起的扩散。1.5论文大纲全文安排如下第一章提出了课题研究的目的和意义介绍了网络视频的特点和网络视频技术的应用领域以及网络视频传输系统中应用的关键技术给出了论文大纲。第二章以Visual C+6.0为平台对视频处理几种模式进行了研究包括视频图像的加解密、视频格式的相互转换、视频图像的实时捕捉、压缩与保存等给出了相应的实验结果及分析提出了网络视频图像渐进传输的基本框架和实现构想引用了一个支持YUV格式视频的实时回放工具选择CIF（352*288）、QCIF（176*144）两种格式的视频文件进行了播放实验。第三章对论文进行了小结并给出了今后的研究方向。2.视频图像处理研究与实验结果分析 2.1视频图像加解密获得授权的播放用户首先输入一个给定的序列号由一个特定的密钥随机生成器生成一个密钥。然后在加解密密钥相同的情况下使用文件加解密器对视频文件进行加密和解密。加密算法如下先将源文件复制到要保存的目标路径后再进行加密操作。然后判断文件头八个字符是否为指定字符是的话则是加密过的不用再加密了。否则取头3000字节逐位和密钥做与操作并将其存于文件的末尾处并在加密后的文件开头处设置一特征字符串并将其它一些重要特征字符和一固定字符串相与后再将其存入文件开头处。解密算法如下先将源文件复制到要保存的目标路径后再进行解密操作。然后判断文件头八个字符是否为加密后指定特征字符串是的话则是加密过的可以解密了否则就不能解密。这时可以计算出特征字后其它一些重要字节的长度将其解密后与指定密钥比较判断是否相同。如果相同则从加密后的文件末尾处取出3000字节逐位和密钥做与操作恢复文件头并将其重写入文件开头处既可。如解密不成功则将已复制到指定路径的文件删除。不获得解密密钥用户就无法正常播放视频文件较好地防止了非授权用户对视频文件的非法使用这对于视频图像的网络传输也是非常重要的。视频文件加密前可以正常播放见图 2-1 加密后不能正常播放显示红屏用超级解霸播放时见图2-2 或提示需要下载新的软件用(RealonePlayer播放时)经过解密以后则可正常播放见图23。图2.1加密前视频文件播放结果正常播放圈2.2加密后视频文件播放结果用超级解霸不能正常播放 图2.3解密后视频文件播放结果正常播放2.2视频图像的实时捕捉、压缩与保存视频图像的实时捕捉、压缩与保存分别做了以下几种情况的实验捕捉单帧未压缩和压缩静止视频图像、指定时间的多帧视频图像分压缩与被压缩两种情况限定视频播放时间为20秒、限定帧数7帧采用不同压缩格式从中可以看出未压缩和压缩图像文件大小相差几倍甚至上百倍之巨要想实现网络视频图像的实时传输必须采用合适的压缩和存储格式对视帧图像进行合适比率的压缩。2.3视频格式之间的相互转换目前市场上流行的视频播放工具很多也存在多种视频文件格式而每种视频文件采用的编码算法又各不相所以编解码器要不可避免地涉及到视频文件的相互转换。表2-3给出了常用各类视频文件格式之间转换前后文件大小的对照情况。表23表明在进行视频文件格式转化的过程中如果不考虑视频图像质量变化的因素文件大小肯定会发生不可避免的改变相对来说AVI、CIF和QCIF格式的文件占用的空间更大一些而采用较好压缩算法的MPEG格式的视频文件占用的文件空间相对来说更小一些。如果要想顺利实现网络视频在Internet上的实时传输必须在不严重降低图像质量的前提下在视频数据传输前采用合适编码算法对视频文件进行压缩从而达到最大限度地利用有限网络带宽的目标。2.4视频图像网络渐进传输计算机和网络的迅速普及以及人们对各种视频信息的迫切需求使得更多的视频图像将通过网络来传输。但目前较为普及的网络一般带宽均很有限即使传输经过压缩的视频图像也需要一定的时间而利用小波变换的多分辨率分析特性则可以方便地实现累进传输编码即采取逐步浮现的方式传输视频图像。图像的渐进传输基于可缩放图像编码技术。总的来说静止图像的可缩放编码技术意味着能实现多分辨率和图像质量分级编码。可缩放编码技术能较为便利地表达图像在不同分辨率和质量级别条件下的解码数据来源。解码系统能通过编码码流的其中一部分进行解码然后生成在某一分辨率和图像质量级别条件下的解码图像。如果码流是安全可缩放性的那么解码器的解码复杂度是同解码图像的质量共存的因为解码效果较差的解码器其解码图像只是原始图像质量的最基本质量级而解码效果稍好的解码器其解码图像的质量将进一步提高。2.4.1描述图像渐进解码特性的评价标准描述图像渐进解码特性的评价标准有信噪比可缩放性和空间可缩放性这两种评价标准能提高在传输过程中的信息容错能力。 可缩放性可缩放性可以保证网络传输图像的最基本的图像解码质量解码图像的尺度与原图像保持一致。这种特性需要在信道中传输相同空间分辨率条件下的最基本图像质量的码流但是相对图像数据而言随着码流的不断增加其解码图像的质量不断提高。图像经过小波变换后其小波系数分别为、和个频带那么为了保证图像的基本信息频带的小波系数是单独进行编码然后进行传输解码而其他所有的高频频带的小波系数随后进行编码然后进行渐进传输直到达到事先的传输码率。 空间可缩放性空间可缩放性在保证图像解码质量的前提下图像的空间分辨率随着码流的增加而不断增强。这种特性充分利用了小波变换的尺度因子解码后的图像在相应变换的尺度条件下完成解码编码器首先完成最高尺度小波系数的编码并进行传输随后进行较低尺度下小波系数的编码和传输直至达到事先设定的传输码率为止。网络渐进图像传输实现可分以下几个过程进行文件与网络数据流的处理压缩数据流的信道解码插件的设计最终实现。2.4.2文件与网络数据流的处理采用基于小波变换的压缩技术即按位平面进行压缩充分利用小波系数的空间对应关系和尺度信息这些都要求数据操作是基于比特位的。实现过程是首先定义一个全新的数据结果实现对文件数据和网络数据流的按比特位操作打开一个比特流文件关闭一个比特流文件从一个比特流文件中读出比特位往一个比特流文件中写入比特位。同时提供一个良好的接口。2.4.3压缩数据流的信道解码压缩数据流的信道解码部分的主要作用是将插件解释、翻译的有效数据流进行解码并组织解码后的数据然后将这些数据交由插件中的函数处理