音视频通信基础知识

1、音视频基础知识目录视频分辨率和帧率视频接口音频接口协议标准视频会议视频分辨率和帧率 视频分辨率：代表图像静态清晰度的参数完整表述用象素“长*宽”（1920*1080），简要表述用宽（1080P）视频会议常用分辨率：CIF、4CIF（DVD）、720P（HD）、1080P（FullHD）、4K视频分辨率4K=3840*2160或=4096*21601080P=1920*1080720P=1280*7204CIF=704*576=DVDVCD=CIF=352*2881专用词分辨率XGA1024768WXGA (Wide XGA)1280768 1280800 1366768WSXGA (Wide

2、Super-XGA)1280854Quad-VGA1280960WXGA+ (Wide XGA+)1440900SXGA (Super-XGA)12801024WXGA+ (Wide XGA+)1600900SXGA+14001050WSXGA+ (Wide Super-XGA+)16801050UXGA (Ultra-XGA)16001200WUXGA (Wide Ultra-XGA)19201200QXGA (Quad-XGA)20481536WQXGA (Wide Quad-XGA)25601600QSXGA (Quad-Super-XGA)25602048QUXGA (Quad-Ult

3、ra-XGA)320024004K2K40962048VESA标准分辨率VESA（Video Eletronics Standard Association，视频电子标准协会）视频会议双流中，Content经常会遇到这些分辨率1P还是I？1080P和1080i，有什么不同呢P：逐行扫描显示屏显示图像进行扫描时，从屏幕左上角的第一行开始逐行进行，整个图像扫描一次完成。因此图像显示画面闪烁小，显示效果好。目前先进的显示器大都采用逐行扫描方式i：隔行扫描一幅图像分两次扫描，即分两场，第一场扫1、3、5(单数行)，称为奇数场，第二场扫2、4、6(双数行)，称为偶数场。奇数场和偶数场组合起来，就构成一幅

4、完整的图像。缺点当图像上下两行的对比度差别很大时产生行间闪烁1视频帧率视频帧率：代表图像动态流畅度的参数，帧率越高越流畅视频会议主流帧率：30/60（NTSC制）、25/50（PAL制）PAL电视标准，每秒25帧，电视扫描线为625线，奇场在前，偶场在后，标准的数字化PAL电视标准分辨率为720*576,24比特的色彩位深，画面的宽高比为4：3,PAL电视标准用于中国、欧洲等国家和地区。NTSC电视标准，每秒29.97帧（简化为30帧），电视扫描线为525线，偶场在前，奇场在后，标准的数字化NTSC电视标准分辨率为720*486,24比特的色彩位深，画面的宽高比为4：3。NTSC电视标准用于美

5、、日等国家和地区中国的行货设备 一般为PAL制，主要参数表现是25帧/50帧请注意，NTSC30帧与PAL制25帧实现效果是一样的1视频接口将视频信号中的亮度信号（Y）、色度信号（C），和同步信号复合传输和存储的方式复合视频（Composite）通常采用黄色的RCA（莲花插座）接头 也可用BNC接头（同轴电缆）“复合”含义是同一信道中传输亮度和色度信号的模拟信号PALz720*576/50i和NTSC720*480/60i 复合视频接口（CVBS）2VGA（Video Graphics Array）也称作D-SubVGA接口共有15针，是显卡及显示器上应用最为广泛的接口它传输红、绿、蓝模拟信号

6、以及同步信号（水平和垂直信号）支持高清视频信号的输出： WUXGA（19201200）、WQXGA（25601600）由于是模拟信号，线材质量及接头质量不好都可能引起图像中出现虚影、拖尾VGA接口2色差分量接口色差分量（Component）接口采用YPbPr和YCbCr两种标识 - YPbPr：逐行扫描色差输出 - YCbCr：表示隔行扫描色差输出用红、绿、蓝三种颜色来标注每条线缆和接口 - 绿色线缆（Y），传输亮度信号 - 蓝色和红色线缆（Pb/Cb 和Pr/Cr）传输的是颜色差别信号色差分量接口是模拟接口，支持视频信号： - 480i/480p/576p/720p/1080i/1080p2

7、 有DVI-A、DVI-D和DVI-I三种不同的接口形式DVI-D数字接口，24+1PIN,只传数字信号，DVI-I有数字和模拟接口， 24+5PIN,兼容DVI-D和DVI-A，兼容与VGA直接转换是一种国际开放的接口标准，在PC、DVD、高清晰电视（HDTV）、高清投影仪等设备上有广泛的应用DVI-D单通道： 1920 x1200,60HzDVI-D双通道： 2560 x1600,60Hz/1920 x1080,120HzVGA： 2048x1536,60HzDVI-DDVI-IDVI接口24+1PIN24+5PINDVI（Digital Visual Interface），即数字视频接口

8、2HDMI高清晰度多媒体接口（High Definition Multimedia Interface）传输全数字信号不仅能传输高清数字视频信号，还可以同时传输高质量的音频信号HDMI端口支持4K、1080P，720P的高清格式视频输出HDMI 1.4带宽10.2Gbps,最高支持38402160（4K）30FPS帧率HDMI 2.0带宽扩充到了18Gbps，可以支持38402160（4K） 50FPS、60FPS帧率HDMI接口2SDI接口是数字分量串行接口(serial digital interface)接口速率- 标准清晰度SD-SDI：速率分别是270Mb/s- 高清标准HD-SDI

9、： 1.485Gb/s- 3G-SDI：2.97Gb/s支持1080P，720P的高清格式视频输出SDI信号中嵌入数字音频信号物理介质使用75欧姆同轴电缆SDI接口2DP接口DisplayPort也是一种高清数字显示接口标准，20针可以同时传输视频和音频，可以连接电脑和显示器，也可以连接电脑和家庭影院 作为HDMI的竞争对手和DVI的潜在继任者，DisplayPort赢得了AMD、Intel、NVIDIA、戴尔、惠普、联想、三星等业界巨头的支持，而且它是免费使用的。最大支持10.8Gb/S的传输带宽全尺寸DP接口Mini DP接口HDMI与DP对比2USB3.0接口USB 3.0是一种USB规

10、范，该规范由英特尔等公司发起USB2.0的最大传输带宽为480MbpsUSB3.0的最大传输带宽高达5.0GbpsUSB3.0 引入全双工数据传输。新增5根线路中2根用来发送数据，另2根用来接收数据，还有1根是地线可外接高分辨率的视频摄像机；USB接口的数码相机、数码摄像机；2常见视频输入输出设备HD-SDIHDMIDVI-DUSB3.0VGAHDMIVGAHDMIYPbPrCVBSHD-SDIHDMIDVI-DVGAVGADVI-DHDMIHD-SDIHDMI2音频接口XLR（卡农）插头输出/输入平衡信号，高阻抗。分“公”、“母”两种“公”用于输出信号，比如将信号输入给调音台“母”用与接受信

11、号，比如接受话筒的信号等36.35mm音频插头TRS插头，俗称“大三芯”，音频设备连接插头用于平衡信号的传输（此时功能与卡农插头一样）或者用于不平衡的立体声信号的传输TS插头，俗称“大二芯”，单声道信号的传输比大三芯少一个环（Ring），可以直接通过芯对芯，屏蔽层对屏蔽层的焊接与RCA，BNC等用于单声道的接头实现转换只能传输非平衡信号33.5mm音频插头3.5mm插头是直径为3.5mm的同轴音频插头最常见的立体声耳机分三芯，也有两芯的，每一层都有对应的功能31. MIC卡侬插座：连接麦克风2. Line in线路输入端：高阻输入部分，要用 6.35cmTRS立体声接头作平衡输入小鱼声卡输出对

12、接线路输入端（Line）调音台连接方法3.MAIN OUT： L-R主声道输出，XLR卡侬或TRS大三芯4.AUX OUT：辅助输出，监听、录音或连接辅助音箱小鱼声卡输入接口对接AUX输出3音频输入区MIC(XLR卡侬)Line in(TRS大三芯)TAPE in (RCA)音频输出区MAIN OUT：主输出MONITOR：监听输出AUX OUT:辅助输出音效调节区音量调节区重要提示:需要在调音台上小鱼对应的输入通道，将AUX的旋钮调制0小鱼声卡输入接口对接AUX输出小鱼声卡输出接口对接Line in输入33AUX1回声产生的机制InOut常用音频设备及接口调音台XLR卡侬TS大二芯TRS大三

13、芯RCA音箱RCA-3.5mm无线麦克风XLR卡侬TS大二芯TRS大三芯鹅颈麦克风XLR卡侬-TRS大三芯全向麦克风XLR卡侬-TRS大三芯麦克混音器XLR卡侬TRS大三芯3协议标准通信网络如ISDN，E1，ATM，IP专网，互联网等通信标准H.320,H.323,SIP,私有通信标准等系统设备视频会议终端（T),多点控制单元（MCU）,多媒体网关（GW），网闸/网守（GK）视频会议系统组成4通信协议：H.323和SIPH.320基于电路交换在ISDN和E1线路使用已经被H.323取代H.323ITU-T组织提出分组交换，IP网络为视频会议而生，由H.320发展而来定义完整严格细致，扩展困难成

14、熟稳定，目前主流90%以上SIPIETF组织提出一开始是在VOIP中使用定义基础开放，容易扩展互连互通容易，稳定性慢慢被认可Terminal终端Gateway网关MCU多点控制单元Gatekeeper网守IP网PSTN4实时传输协议RTP（Real-time Transport Protocol）该协议提供的信息包括：时间戳（用于同步）、序列号（用于丢包和重排序检测）、以及负载格式（用于说明数据的编码格式）RTP被认为是在IP网络中传输音频和视频的基本标准可视为传输层的子层，介于传输层及应用层之间视频通信常用的传输协议4Video CodecH.264,H.263Audio CodecG.71

15、1,G.729ReceivePathDelaySystem ControlH.245 ControlCall ControlH.225.0RAS ControlH.225.0复用/解复用H.225/H.221LAN接口视频 I/O 设备音频 I/O 设备用户数据应用T.120系统控制用户接口 发端，从输入接口获取的视频和音频信号，经编码器压缩后，同步和复用处理，通过网络发送； 收端，来自网络的数据包首先被解复用，获得视频、音频压缩数据，经解码后送入输出设备，用户数据和控制数据也得到了相应的处理。H.323终端架构4视频编解码算法H.261/263/263+/263+标清时代的视频算法H.264

16、 AVC（H.264HP）高清视频会议主流算法，其中high profile大幅降低了带宽需求，让高清普及H.264SVC/ H.265主流技术发展趋势4H.264/SVC时间上可扩展一次编码产生不同的帧速率，例如：7.5帧、15帧、30帧空间上可扩展一次编码产生不同的分辨率，例如：180p、360p、720p、1080P视频质量扩展一次编码产生不同质量等级的视频H.264 SVC（Scalable Video Coding，可分级编码）视频编解码：H.264 SVC是H.264标准的一个扩展SVC的编码复杂度要超过AVC对于DSP性能或者CPU性能 要求更高对异构系统的适应性更好MCU的计算

17、压力降低，适合云服务4传统视频协议(H.264/AVC)SVC视频协议(H.264/SVC)视频会议可以容忍的网络丢包率20%对网络的要求专线共享线路视频会议延迟:视频会议效果400毫秒实时性一般 200毫秒实时交互异构系统的兼容性兼容性差兼容性极佳视频编解码：H.264 SVC小鱼采用的是更牛一些的H.264 SVC4H.265旨在有限带宽下传输更高质量的网络视频相比H.264,提高了压缩率，可节省39%-44%的带宽相比H.264提升了错误恢复能力，对网络的适应性也显著提升H.265支持4K、8K的超高清视频。视频编解码：H.265/HEVC4G.711带宽：64K采样率：8KHZ带宽高、

18、压缩比小、延时短G.728带宽：16K/8K采样率：8KHZ延时短，算法复杂G.729/G.729A带宽：8K采样率：8KHZ带宽小，低时延，运算要求高付费音频编解码：窄频语音4G.722带宽：48K-64K频宽：7K-14KCD级音质G.722.1C来自POLYCOMG.719带宽：64-128K频宽：20K剧院级音效当前主流AAC带宽：96-128 kbps采样率：44KHZ20KHZ以上宽频语音Opus发展趋势音频编解码：宽频语音4适用于网络上的实时声音传输低码率下Opus完胜曾经优势明显的HE AAC，中码率就已经可以媲敌码率高出30%左右的AAC格式，而高码率下更接近原始音特点6 k

19、b /秒到510 kb / s的比特率采样率从8 kHz（窄带）到48 kHz（全频）支持恒定比特率（CBR）和可变比特率（VBR）从窄带到全频段的音频带宽支持单声道和立体声可动态调节比特率，音频带宽和帧大小网络适应性好音频编解码OPUS:互联网工程任务组（IETF）开发，RFC 6716小鱼采用OPUS音频编解码4视频会议视频会议主要解决异地之间的沟通问题利用计算技术和通信设备，通过传输信道在两点或多个地域之间建立可视通信，实现数据、语音、图像的多方互动视频会议简介520世纪70年代80年代90年代中期2000年以后2015年模拟视频会议黑白图像两点之间会议数字视频会议出现出现了统一的协议得以广泛应用视频会议进入中国基于E1专线链路H.320协议，电路交换H.323会议系统快速发展视频会议在中国普遍应用主要在政府及央企使用互联网、移动互联网迅猛发展视频应用已经深入各行各业Saas服务模式成为新的应用趋势视频会议发展历史模拟数字H.320H.323云