多媒体通信技术(第七章终端)课件

1、第七章 多媒体通信终端程控教研室课堂主要内容基于多媒体计算机的多媒体通信终端基于特定网络的多媒体通信终端多媒体通信终端概述多媒体通信终端相关标准视频会议视频监控概念 多媒体通信终端：是指接收、处理和集成各种媒体信息，并通过同步机制将多媒体信息同步地呈现给用户，同时具有交互功能的通信终端。多媒体终端的构成搜索模块编解码模块同步模块准备模块执行模块用户网络应用协议同步协议接口协议输入交互部分再编辑接口终端的特点CA交互性同步性多媒体通信终端的特点集成性B按照分层结构支持开放系统，模式设计的通信协议要符合国际标准。多媒体通信终端的关键技术 开放系统模式人-机和通信接口技术软硬件集成技术信源编码、数字

2、信号处理终端应用系统与用户的接口、与通信网的接口。 选择兼容性好的计算机硬件平台、网络软件、操作系统接口、多媒体信息库管理系统接口、应用程序接口标准及设计和开发等。 语音、静止图像、视频图像的采集和快速压缩编解码算法的工程实现 、与各种表示媒体的接口、时空组合问题。 多媒体信息库、各种应用软件、和管理软件。 多媒体通信终端的相关标准ITU制定的H.32x系列标准LAN、MAN、Intranet、InternetLANB-ISDN、ATMH.321N-ISDNH.320H.322H.323H.324H.310PSTNATMIETF制定的用于IP的SIP协议H.323标准H.323是ITU-T的一

3、个标准簇，它于1996年由ITU-T的第15研究组通过，最初叫做“工作于不保证服务质量的LAN上的多媒体通信终端系统”。1997年底通过了H.323V2，改名为“基于分组交换网络的多媒体通信终端系统”。 H.323V2的图像质量明显提高，同时也考虑了与其他多媒体通信终端的互操作性。1999年5月ITU-T又提出了H.323的第三个版本。介于传输层与应用层之间应 用 层H323 层传 输 层网 络 层数 据 链 路 层物 理 层协议体系H.323协议站 (TCP/IP)Audio/Video ApplicationC & I(T.126, T.127)G.7xxH.26xRTPRTCPQ.931

4、(H.225.0)H.245T.124T.125Unreliable Transport (UDP)Reliable Transport (TPKP+TCP)Network (IP)Data LinkT.123PhysicalRAS(H.225.0)LL1L2L3L4L6L5L7音频/视频编解码器 音频编解码器G.711(mandatory)A-law, Mu-Law, 64 kbit/sG.723.15.3, 6.3 kbit/sG.729/G.729A8 kbit/s (6.4, 11.8 kbit/s)G.72816 kbit/s, low delayG.722wide band, 64

5、 kbit/s视频编解码器H.261 (mandatory)QCIF, CIFFrame per second according the available bandwidthH.263More efficientBetter quality at low bit rateMore robust to errorsGatekeeperMultipoint ProcessorH.323Multipoint ControllerRouterWAN/InternetRouterfirewallfirewallWAN/InternetH.323 GatewayH.320H.320H.323 网络H.

6、323系统构成 终端网关网守多点控制单元信令与控制实时通信编解码系统控制网关提供了一种电路交换网络（SCN）和包交换网络的连接途径，它在不同的网络上完成呼叫的建立和控制功能。 网守也称为关守、网闸，是H.323系统中的信令单元，管理一个区域里的终端、MCU和网关等设备 完成视频会议的控制和管理功能，它由MC和MP组成。MCU可以是独立的设备，也可以集成在终端、网关或网守中。 H323终端终端用于实现实时双向多媒体通信，H.323终端可以是运行了H.323协议栈软件的PC，也可以是内置了H.323协议栈功能的独立设备。 H.323终端必须支持语音通信，视频与数据通信是可选实现功能。H.323终端

7、必须支持：用于交换终端能力和打开媒体通道的H.245用于呼叫建立和呼叫信令的H.225.0用于向Gatekeeper注册以及其余控制的RAS用于封装音频和视频包的RTP/RTCPQ.931 Call SignalH.245 Multimedia ControlRAS Zone ControlG.711, G.722, G.728, G.723, G.729H.261, H.263T.120RTP /RTCPH.225.0网路接口PBNTransport (Lev 4)TCP/IP,SPX/IPX,LAN (Eth, TR, )InternetISDN (+PPP)PSTN (+PPP)ADSL

8、Frame RelayAudioVideoDataC&IUserH.323 ScopeH.323 终端结构 SIP协议 SIP（Session Initiation Protocol）是IETF（Internet Engineering Task Force，互联网工程任务组）制定的多媒体通信协议，是基于IP的一个文本型应用层控制协议，独立于底层协议，用于建立、修改和终止IP网上的双方或多方的多媒体会话。SIP协议概念会话启动协议SIP（Session Initiation Protocol）是一个在IP网络上进行多媒体通信的应用层控制协议，它被用来创建、修改、和终结一个或多个参加者参加的会话

9、进程。 SIP协议可用于发起会话，也可以用于邀请成员加入已经用其它方式建立的会话。SIP协议透明地支持名字映射和重定向服务，便于实现ISDN、智能网以及个人移动业务。 SIP协议的特点一个正在发展和不断研究中的协议。 简练、开放、兼容和可扩展等原则 。充分注意到因特网开放而复杂的网络环境下的安全问题。 充分考虑了对传统公共电话网的各种业务，包括IN业务和ISDN业务的支持。 SIP体系结构用户代理 (User Agent)： 就是SIP终端，也可以说是SIP用户。 按功能分为两类： 用户代理客户端UAC (User Agent Client)，负责发起呼叫；用户代理服务器UAS（User Ag

10、ent Server），负责接受呼叫并做出响应。 。重定向服务器（Redirect server） 重定向服务器将请求中的目的地址映射为零个或多个新的地址，然后返回给客户端，客户端直接再次向这些新的地址发起请求。 代理服务器（Proxy Server）：可以当作一个客户端或者是一个服务器。具有解析能力，负责接收用户代理发来的请求，根据网络策略将请求发给相应的服务器，并根据应答对用户做出响应，也可以将收到的消息改写后再发出。注册服务器(Register Server )：用来完成UAS的登录。在SIP系统中所有的UAS都要在网络上注册、登录，以便UAC通过服务器能找到。它的作用就是接收用户端的请

11、求，完成用户地址的注册。 1名字翻译和用户定位：确保呼叫达到位于网络的被叫方，执行描述信息到定位信息的映射。 特征协商：允许与呼叫有关的组在支持的特征上达成一致。呼叫参与者管理：在通话中引入或取消其他用户的连接，转移或保持其他用户的呼叫。SIP协议实现的功能呼叫特征改变：用户能在呼叫过程中改变特征。234系统结构差异不同应用领域之分SIP和H.323的不同 基于N-ISDN网的多媒体通信终端 H.320协议栈 基于N-ISDN网的多媒体通信终端 基于H.320标准的多媒体电视会议系统终端结构示意图 基于计算机的多媒体通信终端 数据准备软件 编辑软件 支持多媒体的操作系统 应用软件 基于计算机的

12、多媒体通信终端软件平台Thank You !程控教研室網路電話Session Initiation Protocol (SIP)Speaker:王嘉裕Date:2008/09/11SIP - Session Initiation Protocol前身 - MMUSIC (Multiparty Multimedia Session Control), Sep. 1999由IETF的SIP Working Group 發展開始於 1995Proposed standard RFC2543, February 1999New Version of SIP - RFC 3261, June 2002S

13、IPA Signaling ProtocolCreate, Modify, Terminate Multimedia Sessions使用 IPClient / Server 架構 相似於 HTTP, SMTPUniform Resource Locator (URL)sip:bob.twsip:+886424961356.tw也可以是 tel:+886424961356Request and Response回應訊息SIP藉由現成的 IETF 協定來提供SIP的訊息格式 (HTTP 1.1) RFC 2616描述媒體的連線(SDP) RFC 2327媒體(RTP) RFC 3550 and

14、(RTSP) RFC 2326定址方式 (URL) RFC 1738 and (URI) RFC 2396 名稱解析和位置的移動性(DHCP) RFC 2131 and (DNS) RFCs 1034&1035資料編碼方式 (MIME) RFC 2045安全 (TLS) RFC 2246IPsec RFC 2401&2406SIP的封包格式IHLTotal LengthIdentificationFlagsFragment OffsetHeader ChecksumProtocolTime to LiveSource AddressDestination AddressPaddingOptio

15、nsVersion DSCP ECNIPv4 的表頭Source PortDestination PortChecksumLengthUDP 8 個 Bytes的表頭 (這裡也可以是TCP或者 SCTP)SIP表頭以US-ASCII文字為基礎, 變動長度SIP訊息主體也是變動長度, 視Message-Type的需要而存在可以是任何形式的資料Protocol ZooSource: Henning Schulzrinne,/hgs/internet/SIP組成元件User AgentProxy ServerGatewayProxy ServerLocation ServerRedirect Ser

16、verRegistrar ServerPSTNPLMNGatewaySIP User AgentsUser Agent (UA)用戶端 User Agent Client (UAC)送出 SIP 請求伺服器端 User Agent Server (UAS)回應 SIP 請求 接受或拒絶User Agent = UAC + UASUA 1UA 2LAN AUA 3UA 4LAN BSIP訊息流程RequestResponseMedia SessionUser AgentProxy ServerRedirect ServerLocation ServerUser AgentProxy Server

17、SIP Request methodsRFC 3261REGISTERINVITEACKBYEOPTIONSCANCEL其它的RFCSIP Request methodsINFO (RFC 2976)PRACK (RFC 3262)SUBSCRIBE and NOTIFY (RFC 3265)UPDATE (RFC 3311)MESSAGE (RFC 3428)REFER (RFC 3515)PUBLISH (RFC 3903)SIP Response 說明 範例 1xx Informational 代表請求已收到 100 Trying 180 Ringing 181 Call is Bein

18、g Forwarded 183 Session Progressing 2xx Success 代表請求已被成功處理 200 OK 202 Acceptable 3xx Redirection 代表重新導向 300 Multiple Choices 301 Moved Permanently 302 Moved Temporarily 4xx Client Error 代表用互端錯誤 401 Unauthorized 406 Not Acceptable 407 Proxy Authentication Required 486 Busy Here 487 Request Terminated

19、 488 Not Acceptable Here 5xx Server Error 代表伺服器端錯誤 502 Bad Gateway 503 Service Unavailable 6xx Global Failure 代表整體網路環境錯誤 600 Busy Everywhere 603 Decline SIPINVITE100 TryingINVITE100 Trying180 Ringing 180 Ringing 200 OK 200 OK ACK ACK BYE100 TryingBYE 200 OK200 OKCall Setup Call Teardown Media Sessio

20、nUACUASServer連線過程建立連線通話斷線SIP訊息 範例SIPSDPINVITE sip:bob SIP/2.0Via: SIP/2.0/UDP ;branch=z9hG4bK776asdhdsMax-Forwards: 70To: Bob From: Alice ;tag=1928301774Call-ID: a84b4c76e66710 CSeq: 314159 INVITEContact: Content-Type: application/sdpContent-Length: 142v=0o=Alice 2897654321 2897654321 IN IP4 s=Phone

21、 Callc=IN IP4 t=0 0m=audio 49170 RTP/AVP 0a=rtpmap:0 PCMU/8000SIP HeadersINVITE sip:bob SIP/2.0Via: SIP/2.0/UDP ;branch=z9hG4bK776asdhdsMax-Forwards: 70To: Bob From: Alice ;tag=1928301774Call-ID: a84b4c76e66710 CSeq: 314159 INVITEContact: Content-Type: application/sdpContent-Length: 142SIP HeadersIN

22、VITE sip:bob SIP/2.0Via: SIP/2.0/UDP ;branch=z9hG4bK776asdhdsMax-Forwards: 70To: Bob From: Alice ;tag=1928301774Call-ID: a84b4c76e66710 CSeq: 314159 INVITEContact: Content-Type: application/sdpContent-Length: 142Method 即 命令Request URI SIP 協定版本SIP HeadersINVITE sip:bob SIP/2.0Via: SIP/2.0/UDP ;branch

23、=z9hG4bK776asdhdsMax-Forwards: 70To: Bob From: Alice ;tag=1928301774Call-ID: a84b4c76e66710 CSeq: 314159 INVITEContact: Content-Type: application/sdpContent-Length: 142所有經過的SIP設備都會被列在這裡 branch用來識別不同的連線分支在所有 SIP Requests中都是必要的欄位 INVITE sip:bob SIP/2.0Via: SIP/2.0/UDP ;branch=z9hG4bK776asdhdsMax-Forwa

24、rds: 70To: Bob From: Alice ;tag=1928301774Call-ID: a84b4c76e66710 CSeq: 314159 INVITEContact: Content-Type: application/sdpContent-Length: 142最多可以被幾個Server轉傳SIP Headers在所有 SIP Requests之中除了INFO都是必要的欄位 INVITE sip:bob SIP/2.0Via: SIP/2.0/UDP ;branch=z9hG4bK776asdhdsMax-Forwards: 70To: Bob From: Alice ;

25、tag=1928301774Call-ID: a84b4c76e66710 CSeq: 314159 INVITEContact: Content-Type: application/sdpContent-Length: 142目的地位址SIP Headers在所有 SIP Requests中都是必要的欄位 INVITE sip:bob SIP/2.0Via: SIP/2.0/UDP ;branch=z9hG4bK776asdhdsMax-Forwards: 70To: Bob From: Alice ;tag=1928301774Call-ID: a84b4c76e66710 CSeq: 3

26、14159 INVITEContact: Content-Type: application/sdpContent-Length: 142來源位址 虛擬的隨機亂數 (當作是ID使用)SIP Headers在所有 SIP Requests中都是必要的欄位 James Polk 20050503INVITE sip:bob SIP/2.0Via: SIP/2.0/UDP ;branch=z9hG4bK776asdhdsMax-Forwards: 70To: Bob From: Alice ;tag=1928301774Call-ID: a84b4c76e66710 CSeq: 314159 INV

27、ITEContact: Content-Type: application/sdpContent-Length: 142在網域內獨一無二的識別碼SIP Headers在所有 SIP Requests中都是必要的欄位 INVITE sip:bob SIP/2.0Via: SIP/2.0/UDP ;branch=z9hG4bK776asdhdsMax-Forwards: 70To: Bob From: Alice ;tag=1928301774Call-ID: a84b4c76e66710 CSeq: 314159 INVITEContact: Content-Type: application/

28、sdpContent-Length: 142遞增的序號 SIP Headers在所有 SIP Requests中都是必要的欄位 James Polk 20050503INVITE sip:bob SIP/2.0Via: SIP/2.0/UDP ;branch=z9hG4bK776asdhdsMax-Forwards: 70To: Bob From: Alice ;tag=1928301774Call-ID: a84b4c76e66710 CSeq: 314159 INVITEContact: Content-Type: application/sdpContent-Length: 142直接可

29、以路由到來源位址的完整網域名稱或IP位址SIP HeadersINVITE sip:bob SIP/2.0Via: SIP/2.0/UDP ;branch=z9hG4bK776asdhdsMax-Forwards: 70To: Bob From: Alice ;tag=1928301774Call-ID: a84b4c76e66710 CSeq: 314159 INVITEContact: Content-Type: application/sdpContent-Length: 142用來描述附加的訊息主體格式 (如果有的話)SIP HeadersINVITE sip:bob SIP/2.0V

30、ia: SIP/2.0/UDP ;branch=z9hG4bK776asdhdsMax-Forwards: 70To: Bob From: Alice ;tag=1928301774Call-ID: a84b4c76e66710 CSeq: 314159 INVITEContact: Content-Type: application/sdpContent-Length: 142用來描述附加的訊息主體的內容長度 (Octets)SIP HeadersINVITE sip:bob SIP/2.0Via: SIP/2.0/UDP ;branch=z9hG4bK776asdhdsMax-Forwar

31、ds: 70To: Bob From: Alice ;tag=1928301774Call-ID: a84b4c76e66710 CSeq: 314159 INVITEContact: Content-Type: application/sdpContent-Length: 142SIP HeadersSession Description Protocol (SDP)描述多媒體連線的協定RFC 2327簡單，可以擴充的，以文字為基礎SIP Offer/Answer ModelRFC 3264在每一行欄位=值 值 值 欄位是一個字元 (大小寫有差別)等號兩旁不可以有空格分為Session和Me

32、dia層次SDP的結構內容Session 層次 (從 v=這一行開始)Session Name主動發起的一端活動時間Media 層次 (從 m=這一行開始)媒體形式video, audio, Port number傳輸層協定RTP/UDP/IP, H.320, .媒體格式H.261 video, MPEG video, .SDP的範例SDP的欄位v= (protocol version)例如: v=0o= (owner/creator and session identifier)o= Username 不可以含有空格Session id 和version 建議使用Network Time P

33、rotocol (NTP)的時間戳記來確保值的唯一性 例如: o=john 2887654326 2887654307 IN IP4 s= (session name string)例如: s=SDP Seminart= (start time and stop time)例如: t=2887654321 2887654310(通常設為0)為必要欄位SDP的欄位m= (media name and transport address)m= m= / 例如: m=video 49170/2 RTP/AVP 0 audio, video, application, data and control

34、“RTP/AVP - the IETFs Realtime Transport Protocol using the Audio/Video profile carried over UDPUDPRTP/AVP RFC 3551e= (email address)例如: e=john (John Doe) 或者 e=John Doe p= (phone number)例如: p=+886-4-2496-1356 或者 p=+886 4 2496 1356u-law PCM, single channel, audio sampled at 8KHzSDP的欄位c= (connection in

35、formation)c= 例如: c=IN IP4 2/127通常這個連線位址是一個 class D的 IP 群播位址, /例如: c=IN IP4 /127/3 指的是多個c=IN IP4 /127, c=IN IP4 /127, c=IN IP4 /127如果這一個會議連線不是群播, 則它可以搭配額外的屬性欄位決定是完整網域位址或單一IP位址等等SDP的欄位i= (session information)u= (URI of description)b= (bandwidth information)z= (time zone adjustments)k= (encryption key)

36、a= (zero or more session attribute lines)r= (zero or more repeat times)SIP Methods: INVITE, ACK and BYEAliceBobINVITEINVITE sip:bob0 SIP/2.0Via: SIP/2.0/TCP ;branch=z9hG4bK776asdhdsMax-Forwards: 70To: Bob From: Alice ;tag=1928301774Call-ID: a84b4c76e66710 CSeq: 314159 INVITEContact: Content-Type: ap

37、plication/sdpContent-Length: 142(Alices SDP not shown) SIP Methods: INVITE, ACK and BYEINVITE200 OKAliceBobSIP/2.0 200 OKVia: SIP/2.0/TCP ;branch=z9hG4bKnashds8 ;received=3To: Bob ;tag=a6c85cfFrom: Alice ;tag=1928301774Call-ID: a84b4c76e66710CSeq: 314159 INVITEContact: Content-Type: application/sdpC

38、ontent-Length: 131(Bobs SDP not shown)SIP Methods: INVITE, ACK and BYEINVITE200 OKAliceBobACKACK sip:bob0 SIP/2.0Via: SIP/2.0/TCP ;branch=z9hG4bKnashds8Max-Forwards: 70To: Bob ;tag=a6c85cfFrom: Alice ;tag=1928301774Call-ID: a84b4c76e66710CSeq: 314159 ACKContent-Length: 0SIP Methods: INVITE, ACK and

39、BYEINVITE200 OKSession EstablishedAliceBobACKSIP Methods: INVITE, ACK and BYEINVITE200 OKSession EstablishedAliceBobACKBYEBYE sip:alice SIP/2.0Via: SIP/2.0/TCP 3;branch=z9hG4bKnashds8Max-Forwards: 70From: Bob ;tag=a6c85cfTo: Alice ;tag=1928301774Call-ID: a84b4c76e66710CSeq: 231 BYEContent-Length: 0

40、SIP Methods: INVITE, ACK and BYEINVITE200 OKSession EstablishedAliceBobACKBYE200 OKSIP/2.0 200 OKVia: SIP/2.0/TCP 0From: Alice ;tag=1928301774To: Bob ;tag=a6c85cf Call-ID: a84b4c76e66710CSeq: 231 BYEContent-Length: 0AliceBobSIP Proxy “”透過Proxy ServerINVITEINVITE sip:bob/TCP SIP/2.0Via: SIP/2.0/TCP ;

41、branch=z9hG4bK776asdhds ;received=3Max-Forwards: 70To: Bob From: Alice ;tag=1928301774Call-ID: a84b4c76e66710 CSeq: 314159 INVITEContact: Content-Type: application/sdpContent-Length: 142(Alices SDP not shown) INVITEINVITEAliceBob透過Proxy ServerSIP Proxy “”INVITE sip:bob0/TCP SIP/2.0Via: SIP/2.0/TCP ;

42、branch=z9hG4bK4b43c2ff8.1 ;received=Via: SIP/2.0/TCP ;branch=z9hG4bK776asdhds ;received=3Max-Forwards: 69To: Bob From: Alice ;tag=1928301774Call-ID: a84b4c76e66710 CSeq: 314159 INVITEContact: Content-Type: application/sdpContent-Length: 142(Alices SDP not shown) Via Header for Alices phoneVia Header

43、 for zzz serverMax-Forwardsdecreases 1James Polk 20050503INVITEINVITEAliceBob透過Proxy ServerSIP Proxy “”200 OKSIP/2.0 200 OKVia: SIP/2.0/TCP ;branch=z9hG4bK4b43c2ff8.1 ;received=Via: SIP/2.0/TCP ;branch=z9hG4bKnashds8 ;received=3To: Bob ;tag=a6c85cfFrom: Alice ;tag=1928301774Call-ID: a84b4c76e66710CS

44、eq: 314159 INVITEContact: Content-Type: application/sdpContent-Length: 131(Bobs SDP not shown)Notice both Via headersINVITEINVITE200 OKAliceBob透過Proxy ServerSIP Proxy “”200 OKSIP/2.0 200 OKVia: SIP/2.0/TCP ;branch=z9hG4bKnashds8 ;received=3To: Bob ;tag=a6c85cfFrom: Alice ;tag=1928301774Call-ID: a84b

45、4c76e66710CSeq: 314159 INVITEContact: Content-Type: application/sdpContent-Length: 131(Bobs SDP not shown)Notice one Via headerINVITEINVITE200 OK200 OKAliceBob透過Proxy ServerACKACK sip:bob0 SIP/2.0Via: SIP/2.0/TCP ;branch=z9hG4bKnashds8Max-Forwards: 70To: Bob ;tag=a6c85cfFrom: Alice ;tag=1928301774Ca

46、ll-ID: a84b4c76e66710CSeq: 314159 ACKContent-Length: 0SIP Proxy “”INVITEINVITE200 OK200 OKSession EstablishedAliceBob透過Proxy ServerACKSIP Proxy “”INVITEINVITE200 OK200 OKSession EstablishedAliceBob透過Proxy ServerACKSIP Proxy “”BYE sip:alice SIP/2.0Via: SIP/2.0/TCP 3;branch=z9hG4bKnashds8Max-Forwards:

47、 70From: Bob ;tag=a6c85cfTo: Alice ;tag=1928301774Call-ID: a84b4c76e66710CSeq: 231 BYEContent-Length: 0 BYEINVITEINVITE200 OK200 OKSession EstablishedAliceBob透過Proxy ServerACKBYESIP Proxy “”200 OKSIP/2.0 200 OKVia: SIP/2.0/TCP 0From: Alice ;tag=1928301774To: Bob ;tag=a6c85cf Call-ID: a84b4c76e66710CSeq: