多媒体处理技术相关知识课件

1、多媒体处理技术相关知识主要内容数字图像的原始文件格式图像浏览工具YUVView文件读取视频解码流程基于DirectShow的多媒体编程数字图像的原始文件格式RGB格式bmp文件图像处理YUV格式yuv文件视频处理bmp文件位图文件头BITMAPFILEHEADER位图信息头BITMAPINFOHEADER调色板Palette实际的位图数据ImageData/14bytestypedefstructtagBITMAPFILEHEADERWORDbfType;DWORDbfSize;WORDbfReserved1;WORDbfReserved2;DWORDbfOffBits;BITMAPFILEH

2、EADER;/40bytestypedef struct tagBITMAPINFOHEADERDWORDbiSize;LONGbiWidth;LONGbiHeight;WORDbiPlanes;WORDbiBitCountDWORDbiCompression;DWORDbiSizeImage;LONGbiXPelsPerMeter;LONGbiYPelsPerMeter;DWORDbiClrUsed;DWORDbiClrImportant;BITMAPINFOHEADER;typedef struct tagRGBQUADBYTErgbBlue;/该颜色的蓝色分量BYTErgbGreen;/

3、该颜色的绿色分量BYTErgbRed;/该颜色的红色分量BYTErgbReserved;/保留值RGBQUAD;调色板Palette是对那些需要调色板的位图文件而言的。24位和32位是不需要调色板的。yuv文件亮度Y数据色度U数据色度V数据浏览工具YUVviewer：完成YUVRGB转换yuv文件读取fileId = fopen(fileName, r);subSampleMat = 1, 1; 1, 1;% read Y componentbuf = fread(fileId, width * height, uchar);imgYuv(:, :, 1) = reshape(buf, wid

4、th, height).; % reshape% read U componentbuf = fread(fileId, width / 2 * height / 2, uchar);imgYuv(:, :, 2) = kron(reshape(buf, width / 2, height / 2)., subSampleMat); % read V componentbuf = fread(fileId, width / 2 * height / 2, uchar);imgYuv(:, :, 3) = kron(reshape(buf, width / 2, height / 2)., su

5、bSampleMat); % reshape and upsample% convert YUV to RGBimgRgb = reshape(convertYuvToRgb(reshape(imgYuv, height * width, 3), height, width, 3);fclose(fileId);imshow(imgRgb);dmdmdmdmNM位移矢量前一帧中的最佳匹配子块前一帧中的搜索区域当前帧中的子块运动估计中的块匹配方法搜索范围SR：SR=(M+2dm)(N+2dm)两个重要问题：1. 匹配准则2. 搜索方法块匹配准则（1）归一化相关函数NCCF (Normalized

6、 Cross-Correction Function) (1)（2）平均均方误差函数MSD (Mean Square Difference) (2)（3）平均绝对差函数MAD (Mean Absolute Difference) (3)通常使用求和绝对差SAD（Sum of Absolut Difference)代替MAD，即搜索方法：1. 全搜索2. 二维对数法3. 三步法4. 共轭方向法5. 正交搜索法i-6 i-5 i-4 i-3 i-2 i-1 i i+1 i+2 i+3 i+4 i+5 i+6j+6j+5 j+4 j+3j+2 j+1 jj-1j-2 j-3j-4j-5 j-6三步法

7、（TSS）dmdmdmdmNM当前帧中的子块位移矢量前一帧中的搜索区域(i,j)前一帧中的最佳匹配子块视频解码流程视频文件(mpg/mov)相应解码器YUV-RGB电视编码显示器电视机 DirectShow是微软公司提供的一套在Windows平台上进行流媒体处理的开发包，与DirectX开发包一起发布。为多媒体流的捕捉和回放提供了强有力的支持。DirectShow的设计初衷就是尽量让多媒体的应用开发得到简化，使程序员从复杂的数据传输、硬件差异、流同步等工作中解放出来。基于DirectShow的多媒体编程DirectShow系统框图DirectShow原理Filter概述Filter Graph

8、媒体类型数据传送状态转换速率调整事件通知音视频同步对硬件的支持Filter概述Directshow是基于模块化的，每个功能模块都采取COM组件方式，称为Filter。Directshow提供了一系列的标准的模块可用于应用开发，开发者也可以开发自己的功能Filter来扩展Directshow的应用。Filter一般是有一个或多个Pin组成，Filter之间通过Pin相互连接。DirectShow使用Filter Grpah来管理Filter。Filter的类型源过滤器（Source Filter）分割过滤器（Splitter Filter）解码过滤器（Decoder Filter）渲染过滤器（R

9、enderer Filter）过滤器的这些分类并不是绝对的，例如一个ASF读过滤器（ASF Reader Filter）既是一个源过滤器又是一个分割过滤器。下面我们用一个例子来说明如何采取Filter来播放一个AVI的视频文件。1) 首先从一个文件中读取AVI数据，形成字节流。（这个工作由源Filter完成）2) 检查AVI数据流的头格式，然后通过AVI分割Filter将视频流和音频流分开。3) 解码视频流，根据压缩格式的不同，选取不同的decoder filters 。4) 通过Renderer Filter重画视频图像。5) 音频流送到声卡进行播放，一般采用缺省的 DirectSound

10、DeviceFilter。Filter GraphAVI格式媒体的Filter GraphFilter Graph建立在DirectShow中，Filter Graph是由接口对象IGraphBuilder实现的，可以调用Win32 API函数CoCreateInstance()建立一个实体。Filter Graph实体建立之后不包含任何的Filter，因此不具有任何实际用途。需要连接合适的Filter来完成FilterGraph的构建。1）RenderFileIGraphBuilder提供了多种智能完成FilterGraph构建的方法。最简单的是使用接口方法IGraphBuilder:Ren

11、derFile。HRESULT RenderFile(LPCWSTR lpwstrFile, LPCWSTR lpwstrPlayList);2）Render这个接口方法从一个输出Pin开始，自动构建剩余的FilterGraph。这个方法自动添加必要的Filter，直到添加到一个Render Filter为止。3）ConnectDriect这个方法尝试将两个Filter直接相连，如果不成功，直接返回。不作其他处理。这个接口方法一般用作两个Pin之间的协商检查，而不直接用于两个Filter的连接。4）Connect这个接口方法是ConnectDirect接口方法的延伸和扩展。同样是连接两个Fil

12、ter，但是与ConnectDirect方法不同的是，这个接口方法首先尝试ConnectDirect方法连接两个Filter，如果不能直接连接，则尝试使用中间Filter连接。5）AddFilter这个接口方法将指定的Filter加入到Filter Graph中，但这个新加入的Filter并不会和Filter Graph中的其他Filter形成连接。6） 手动构建Filter Graph手工构建Filter Graph的基础在于对于媒体文件所需要的Filter有着相当深入清晰地了解的基础上。否则，手工构架的FilterGraph将存在可靠性、健壮性等问题。智能连接RenderFile、Rend

13、er与Connect这三种方法都有自动的功能。在DirectShow中，这种自动机制称为智能连接。为什么在智能连接中不同类型的Filter会连在各自的位置上呢？这是因为这些Filter能接受的媒体类型不同。一般来讲，从源Filter出来的数据流，只简单的带有属于哪种编码格式信息，其它信息都是未知的，所以音/视频解码Filter不能用，音/视频渲染Filter也不能用，只有分离Filter可能匹配这种媒体类型，所以只会试连分离Filter。而从分离Filter出来的数据分为音、视频两路，每路的数据流都加上了是音频还是视频的信息，但没有标明这是何种音频或何种视频的信息，所以可以被音/视频解码器Fi

14、lter接受，但不会被音/视频渲染Filter接受。而从解码Filter出来的数据流带上了是何种格式的音/视频媒体类型的信息，所以能被音/视频渲染Filter接受。媒体类型Filter总是要处理一定格式的数据流。DirectShow便是用媒体类型来描述特定的数据流。媒体类型实际上是DirectShow定义的一个数据结构。当两个Filter连接的时候，他们会就采用哪一种媒体类型达成一致的协议。媒体类型主要用三部分来描述：majortype、subtype和formattype。这三部分各自用一个GUID来标示。majortype：定性地描述媒体类型，如指定这是一个视频(MEDIATYPE_Vid

15、eo)、音频(MEDIATYPE_Audio)或者字节流(MEDIATYPE_Stream)等。subtype：辅助说明majortype，指明具体是哪种格式，例如majortype是视频，subtype可以进一步指明是UYVY、YUY2、RGB24或RGB32等；若majortype是音频，subtype可以进一步指明是PCM格式还是AC3格式等。formattype：指定了一种进一步描述格式细节的数据结构类型，格式细节描述的内容主要包括视频图像的大小、帧率，或音频的采样频率、量化精度等参数。数据传送 Filter通过pin的连接来传递数据，数据流是从一个Filter的输出pin流向相连的F

16、ilter的输入pin。输出pin常用的传递数据的方式是调用输入pin上的IMemInputPin:Receive方法。 在Directshow中用来进行内存分配任务的是内存分配器(allocator)，这是一个COM对象。当两个pin连接的时候，必须有一个pin提供一个allocator。Directshow定义了一系列函数来确定由哪个pin提供allocator，以及buffer的数量和大小。 在数据流开始之前，allocator会创建一个内存池，在开始发送数据流以后，源Filter就会将数据填充到内存池中一个空闲的buffer中，然后传递给下面的Filter。但是，源Filter并不是直

17、接将内存buffer的指针直接传递给下游的Filter，而是通过一个media samples的COM对象，这个sample是allocator创建的用来管理内存buffer。 当一个Filter正在使用buffer，它就会保持一个sample的引用计数，allocator通过sample的引用计数用来确定是否可以重新使用一个buffer。这样就防止了buffer的使用冲突，当所有的Filter都释放了对sample的引用，sample才返回到allocator的内存池，供重新使用。状态转换 Filter Graph在任何时候只有三种状态：运行、暂停、停止。其中暂停可以理解为数据就绪状态，是为

18、了快速切换到运行状态而设计的。作为一种中间状态，暂停也是停止与运行之间切换所必经的一种状态。 对Filter Graph状态的控制也就集中在三种状态之间的切换。在IGraphBuilder上申请IMediaControl接口。获得这个接口后，就可以使用其接口方法：IMediaControl:Run();IMediaControl:Pause();IMediaControl:Stop();IMediaControl: GetState( LONG msTimeout, OAFilterState *pfs);速率调整 媒体文件播放时的当前位置和停止位置相对于开始位置都是不变的。调用IMediaS

19、eeking接口的SetRate方法可以改变播放的速率。当应用程序执行了IMediaSeeking:SetRate后，Filter Graph Manager的内部响应如下：1）调用IMediaSeeking:GetCurrentPosition得到当前播放位置2）如果当前Filter Graph处于暂停或运行状态，则调用Stop3）调用IMediaSeeking:SetPosition将步骤(1)中取得的当前位置重新设置一下4）调用IMediaSeeking:SetRate设置新的播放速率5）如果先前Filter Graph的状态为暂停或运行，则恢复这个暂停 利用IMediaSeeking接

20、口的GetCurrentPosition和SetPosition可以实现媒体的随机定位。事件通知 DirectShow有一种机制，能够让应用程序与Filter Graph Manager之间实现交互控制。这个机制就是事件通知(Event Notification)，即当Filter状态转换、运行时遇到错误或要求重绘视频窗口时，都会发出一个特定的事件，由Filter Graph Manager处理或者转发给应用程序，应用程序可以接受事件，并根据事件类型作出相应的处理。 应用程序调用IMediaEvent:GetEvent方法来接收数据。这个方法会被阻断直到从一个队列中得到一个事件或者超过时限。因

21、为事件通知和消息循环都是异步的，所以在应用程序对消息作出响应时，队列中有可能包含多个事件消息。因此，在事件处理代码中，应不停地的调用GetEvent方法，直至返回失败码，即消息队列已为空。音视频同步 DirectShow的解决方案就是为Filter Graph选择一个公共的参考时钟，并且要求传送到Render Filter的每个Sample打上时间戳；Video Render和Audio Render根据Sample的时间戳以及参考时钟当前的参考时间，来正确安排Sample的播放时机。如果Sample到底的时间晚了，则马上播放这个Sample或丢弃该Sample，然后发生消息要求加快Sampl

22、e的传送；如果Sample到达的时间早了，则Render Filter等待，直到Sample时间戳的开始时间再开始播放，并发生消息要求减慢Sample的发送。硬件支持 为了提高系统的稳定性，Windows操作系统对硬件操作进行了隔离；应用程序一般不能直接访问硬件。DirectShow?Filter工作在用户模式（User mode，操作系统特权级别为Ring 3），而硬件工作在内核模式（Kernel mode，操作系统特权级别为Ring 0），那么它们之间怎么协同工作呢？ DirectShow解决的方法是，为这些硬件设计包装Filter。这种Filter能够工作在用户模式下，外观、控制方法跟普通Filter一样，而包装Filter内部完成与硬件驱动程序的交互。这样的设计，使得编写DirectShow应用程序的开发人员，从为支持硬件而需做出的特殊处理中解脱出来。 硬件的包装Filter#include #include #pragma comment(lib, strmbasd.lib)/ 包含库文件和头文件.IGraphBuilder *pGraph = NULL;IMediaControl *p