基于Android设备的音视频实时监控系统的设计与实现

1、密级：密级： 保密期限：保密期限： 工程硕士研究生学位论文 题目：题目： 基于基于 android 设备的音视频实时设备的音视频实时 监控系统的设计与实现监控系统的设计与实现 学学 号：号： 08r5328 姓姓 名：名： 张绍起张绍起 专专 业：业： 软件工程软件工程 导导 师：师： 林秀琴林秀琴 学学 院：院： 计算机学院计算机学院 年年 月月 独创性（或创新性）声明 本人声明所呈交的论文是本人在导师指导下进行的研究工作及取得的研究 成果。尽我所知，除了文中特别加以标注和致谢中所罗列的内容以外，论文中 不包含其他人已经发表或撰写过的研究成果，也不包含为获得北京邮电大学或 其他教育机构的学位

2、或证书而使用过的材料。与我一同工作的同志对本研究所 做的任何贡献均已在论文中作了明确的说明并表示了谢意。 申请学位论文与资料若有不实之处，本人承担一切相关责任。 本人签名： 日期： 关于论文使用授权的说明 本人完全了解北京邮电大学有关保留和使用学位论文的规定，即：研究生 在校攻读学位期间论文工作的知识产权单位属北京邮电大学。学校有权保留并 向国家有关部门或机构送交论文的复印件和磁盘，允许学位论文被查阅和借阅； 学校可以公布学位论文的全部或部分内容，可以允许采用影印、缩印或其它复 制手段保存、汇编学位论文。 本学位论文不属于保密范围，适用本授权书。 本人签名： 日期： 导师签名： 日期： 基于

3、android 设备的音视频实时监控系统 的设计与实现 摘 要 出于安全等方面考虑，日常生活中有很多需要用到监控的地方， 如交通、电力、通信、金融、厂矿、场馆、森林防火、远程指挥， 甚至是家庭安防。传统的监控系统一般需要安装专门的传输设备和 网络，价格昂贵，难以实现远距离传输。 另一方面，随着我国 3g 通信网络的全面普及，通信网络数据承 载能力取得了重大进展。在此基础上，各种智能手机、平板电脑等 设备迅速得到了普及。尤其是以 android 作为操作系统的智能设备， 如雨后春笋般一夜之间遍地开花。android 系统具有廉价、开放、 兼容性强、高效等特点，特别适合作为民用智能终端设备的操作系

4、 统。 本文所述内容，是研究并实现一种使用 android 系统作为监控 设备、通过互联网和 3g 通信网络进行数据传送的音视频实时监控系 统。这个系统具有廉价、方便远程监控、安装简单、无需安装专用 设备网络等特点，它可以在某些对图像清晰度要求不是很高的民用 领域内替代传统监控系统。 本文通过分析系统应用场景，明确技术目标和关键技术参数， 对本监控系统所涉及的技术层次进行划分，选定技术模型，确定层 次间接口，然后自下而上逐步进行研究和开发。在此过程中，为了 使系统具有较强的兼容性和可扩展性，力求遵循相关国际标准，采 用众所周知的编码格式和传输协议。本文所设计的系统主要由 android 音视频

5、受监控端和流媒体服务器端两部分构成，主监控端 可以使用 real player 等支持 rtsp 协议的通用流媒体播放器，也可 以使用专门进行开发的客户端进行监控。系统涉及到的技术包括 ffmpeg 移植、android 音视频采集、h.263 编码、g.723 编码、 rtp/rtcp（实时传输协议/实时控制协议） 、rtsp/sdp（实时流协议/ 会话描述协议）upnp（通用即插即用协议）等。 关键词：android 音视频编解码 实时监控 流媒体服务器 design and implementation of audio and video real-time monitoring sy

6、stem based on android devices abstract due to security issues, there are many monitoring systems in our life. they are widely used in many fields, such as triffic, power, communication, banking, factory, mine, venues, forest fire prevention, long distance command, and even family security. generally

7、, special transport equipments and network must be deployed for traditional monitoring systems. it costs much and is hard to transport to a long distance. on the other hand, since 3g becomes overall popular in china, data-carrying capacity of the communication network has made significant progress.

8、as a result, a variety of smart phones, tablet computers and other equipments quickly get the popularization. android devices are the most typical case. they quickly occupied the market in every corner. android is much suitable for being civil intelligent terminal devices operating system as it is l

9、ow-priced, open, compatible and efficient. this paper studies on a monitoring system which captures media by android- device and transports them over internet and 3g communication network. this system features as inexpensive, remote control, simple installation and independent from exclusive network

10、 devices. if the image quality is not the most important factor, traditional civil monitoring system can absolutely be replaced with this system. in this paper, the application scenarios of the system is analyzed, technical objectives and norms are given and the system is planned to develop with a h

11、ierarchical model. it is developed bottom-up after technical model is chosen and interfaces between layers are defined. international standards are used and well- known codecs and transport protocols are implemented overall to make the system compatible and flexible. this system is composed of both

12、android-based monitoring terminal and streaming server. to monitor, one can simply use a streaming player which support rtsp, e.g. real player. as well, a customized client can be developed for this. this system uses many technologies, such as ffmpeg transplant, audio and video capture on android, h

13、.263 codec, g.723 codec, rtp/rtcp (real-time transport protocol/real time control protocol), rtsp/sdp (real-time streaming protocol/session description protocol), upnp (universal plug and play), etc. key words：android, codec, real-time monitoring, streaming server 目 录 第一章第一章 引言引言.1 1.1 课题背景.1 1.2 课题

14、任务.2 1.3 论文结构.2 第二章第二章 相关技术相关技术.4 2.1 音频编码.4 2.2 视频编码.5 2.3 媒体传输协议.6 2.4 媒体传输控制协议.7 2.4.1 rtsp 协议.7 2.4.2 sdp 协议.8 2.5 媒体存储.8 2.6 本章小结.9 第三章第三章 需求分析与架构设计需求分析与架构设计.10 3.1 需求分析.10 3.1.1 应用场景.10 3.1.2 网络环境.10 3.1.3 功能需求.11 3.1.4 性能要求.11 3.1.5 兼容性与扩展性需求.11 3.2 架构设计.12 3.2.1 网络架构.12 3.2.2 设备选型.12 3.2.3 软

15、件架构.15 3.3 本章小结.20 第四章第四章 详细设计与实现详细设计与实现.21 4.1 受监控端.21 4.1.1 ffmpeg 移植.21 4.1.2 音频数据采集.26 4.1.3 音频编码.29 4.1.4 音频传输.29 4.1.5 视频帧数据采集.30 4.1.6 视频编码.31 4.1.7 视频传输.32 4.1.8 网络地址转换.33 4.2 流媒体服务器端.35 4.2.1 音视频媒体流接收.35 4.2.2 媒体持久化.36 i 4.2.3 媒体文件读取.39 4.2.4 音视频传输.40 4.2.5 rtsp 服务器实现.44 4.2.6 处理同时监控问题.49 4

16、.3 本章小结.50 第五章第五章 系统应用系统应用.51 5.1 应用内容.51 5.2 检验方法.51 5.2.1 受监控端.51 5.2.2 流媒体服务器端.52 5.3 应用环境.52 5.3.1 硬件环境.52 5.3.2 网络环境.52 5.3.3 软件环境.53 5.4 应用效果.53 5.4.1 功能性目标.53 5.4.2 性能目标.53 5.4.3 兼容性目标.56 5.5 结论.58 5.6 本章小结.58 第六章第六章 结束语结束语.60 6.1 论文工作总结.60 6.2 问题和展望.60 北京邮电大学软件工程硕士论文 0 第一章第一章 引言引言 1.11.1 课题背

17、景课题背景 音视频监控，是社会、企业和家庭安保的重要部分，是提供照看、监视、 指挥、震慑、司法取证等的重要手段。音视频监控系统，就是实现音视频监控 并支持回放的设备、软件和网络所组成的应用系统。 视频监控系统的历史，已有大约二十几年。在这二十几年中，它从最早的 模拟信号，到数字监控，再到最新的 ip 网络监控，经过了翻天覆地的变化。一 般视频监控系统从技术上可以分为三代： 第一代是传统的模拟信号闭路视频监控系统（cctv） ，他采用模拟信号进行 视频采集、传输、录制和回放，具有传输距离和容量受信号放大器和传输线缆 的硬件限制、存储设备容易损坏或丢失、录制的视频质量不高等问题，目前已 被完全淘汰

18、。 第二代是“模拟-数字”监控系统（dvr） ，它是以数字硬盘录像机（dvr） 为核心的视频监控系统，从摄像头到 dvr 一般仍然采用模拟信号进行传输，只 是在 dvr 将模拟信号转化为数字信号并进行存储和回放。由于 dvr 对信号进行 了数字化处理，因此这种监控系统的传输距离不再是限制，可靠性也有了较大 提高，视频质量也不受存储设备的影响。此外，有些 dvr 系统还支持 ip 网络访 问。第二代监控系统是目前最为广泛使用的监控系统，然而由于国际上没有统 一的标准和接口规范，导致这种系统的实现五花八门、良莠不齐，各个厂家之 间的系统难以互相兼容和对接。 第三代是基于 ip 网络的视频监控系统（

19、ipvs） ，属于下一代监控系统。 ipvs 从视频采集、传输、存储到回放，均采用数字信号，以 ip 网络作为传输 媒介，支持远程传输、支持多种分辨率和编码格式。 然而，不管是第一代还是第二代监控系统，传统的视频监控系统都必须要 配备专用摄像头、同轴电缆、视频画面分割器、矩阵、切换器、vcr、dvr 之类 的设备和网络，需要投入大量的硬件设备。一方面，繁杂的硬件和网络设施导 致了传统监控系统的成本普遍偏高，用户实际需求与投入预算往往难以匹配； 另一方面，当既有系统容量需要进行扩展时，由于设备和原网络架构的限制， 就会出现很多问题。而第三代监控系统目前技术尚不成熟，各个厂家推出的所 谓第三代监控

20、系统鲜有完全符合规范者，大都不过是厂家为了市场利益而打出 的噱头，并不能从根本上解决问题。 北京邮电大学软件工程硕士论文 1 由此可见，为了解决需求与成本的矛盾，为了提高监控系统的的可扩展性， 一种廉价、简洁、方便部署，近似第三代监控系统的解决方案亟待推出。目前 国内外也有相关领域的研究，但一般都是止于理论研究与验证阶段，不具实践 性（受设备体积、功耗等限制） ，或没有真正运用于工程实践。 1.21.2 课题任务课题任务 本文研究的主要内容，是设计一种廉价的、方便部署的、高扩展性的音视 频监控系统。该系统基于 android 嵌入式设备，以 ip 网络作为传输媒介，支持 当前主流国际规范和通信

21、协议。本文的任务是对该监控系统做出详细的需求分 析，确定系统架构，给出详细设计方案，对核心技术进行分析，并列举系统实 现的关键代码，最后对系统实现进行验证。 作者的主要任务，就是利用攻读硕士研究生课程过程中所学到的知识，结 合在企业工作中获得的实际经验，参考各个领域的成熟标准、规范和信息，利 用成熟的技术、应用程序框架等，实现上述监控系统，并以论文的形式对该系 统进行系统的分析与讨论。论文主要内容应包括监控系统相关技术的分析、系 统的需求分析与设计过程、系统整体应用架构（包括硬件、软件、网络等） 、系 统具体实现方式与核心代码、系统应用效果等方面内容。 1.31.3 论文结构论文结构 本文共分

22、为六章，内容安排如下： 第 1 章 引言，介绍本课题的意义、任务、预期目标等。 第 2 章 相关技术，简要分析了音视频实时监控系统在开发过程中将要涉及 到的技术问题，围绕音视频编码、媒体传输协议、媒体传输控制、媒体存储等 关键问题，分别对各项技术的现状、特点进行了介绍与对比，列举了部分可选 的实现方式或协议。 第 3 章 需求分析与架构设计，对本文所论述的监控系统进行需求分析，明 确系统应用场景、网络环境要求、性能要求、兼容性与扩展性需求等信息，为 系统的详细设计与实现方案提供依据。此外，文章深入讨论和分析系统的实现 方式，通过必要的实验和计算，确定设备形式与配置，并对系统网络拓扑结构 进行设

23、计，同时对系统软件、应用软件架构、框架、组件等进行选型。 第 4 章 详细设计与实现，详细分析设计系统每个技术细节的理论依据、工 作原理、应用算法、关键代码等信息，并最终通过软件工程管理手段，将本监 控系统完整实现。 北京邮电大学软件工程硕士论文 2 第 5 章 系统应用，通过对系统在实际工作环境中的应用结果分析，验证系 统是否满足需求分析中提出的各项要求和指标，同时验证基于 android 设备的 音视频实时监控系统设计的合理性、适用，以及对于本文实现方式的肯定。 第 6 章 结束语，对本文工作进行全面总结，给出本文所取得的成果，指出 存在的不足和改进方向。 北京邮电大学软件工程硕士论文 3

24、 第二章第二章 相关技术相关技术 本文所研究的音视频实时监控系统，以 android 嵌入式设备作为受监控端 设备，以 ip 网络作为传输媒介，支持当前主流国际规范和通信协议，实现实时 的音视频监控和音视频记录与回放。 要实现上述功能，所涉及的技术主要包括以下几点： 2.12.1 音频编码音频编码 显然，数字计算机是无法直接处理模拟信号的。麦克风拾取的连续的音频 信号也是也是一种模拟信号，计算机或其它数字设备必须首先将其转化为数字 信号，才能进行下一步处理。然而，将音频信号进行数字化之后，其信息量是 十分巨大的。以双声道 44100hz 采样举例，如果每个采样用 16bit 进行存储， 如果采

25、样 1 分钟，也就是 60 秒的话，见下式： 4410021660 = 84672000bit 10mbyte式（2-1） 如此巨大的数据量，如果通过网络进行传输，需要的网络带宽计算方法如 下式所示： 8467200060 = 1411200bps 1.3mbps式（2-2） 这样的传输带宽要求，对于应用系统的网络环境是比较苛刻的，尤其是在 移动通信网络环境下，目前国内尚难以持续稳定的提供这样的带宽。 所谓音频编码，就是利用数学手段，将连续的模拟音频信号转化为数字信 息，再通过一定的算法对该数字信息进行编码的过程，该过程通常会通过适当 降低音频品质、或减少声音通道等手段，对音频数据进行压缩，以

26、适应诸如剪 辑、声效处理、传输、存储、复制、回放等各种应用的需求。 目前广泛应用的音频编码格式主要有 mp3（mpeg-1 audio layer 3） 、 aac（advanced audio coding） 、amr（adaptive multi-rate） 、g.723、g.729 等，这些编码格式各有优点和缺点，分别适用于不同的领域。本文所讨论的系 统采用 g.723 编码格式。 g.723 编码标准文档已经被 g.7261所取代，它是有 itu（国际电信联盟） 制定的一种双速语音编码，分别为 5.3kbps 和 6.3kbps。在这两种传输速率下， 它分别采用代数码激励线性预测（ac

27、elp）和多脉冲最大似能量化（mp-mlq）技 术，使得在很小的带宽下能够传输电话语音品质的音频信息。 目前，g.723 编码被广泛应用于 voip 服务、视频电话、无绳电话、数字卫 北京邮电大学软件工程硕士论文 4 星系统、数电倍增设备(dcme)、公共交换电话网（pstn） 、isdn 及各种多媒体 语音信息产品领域。 2.22.2 视频编码视频编码 与音频数据一样，视频数据要通过计算机或其它智能数字设备进行处理， 也必须首先量化为数字信息。在计算机中，视频媒体是以帧的形式存在的，而 每一个帧，可以看作是一幅静态的图片，由像素组成。假设一个以 15fps 录制 的视频信息，每帧的分辨率为

28、800 x600，采用 24bit 真彩格式存储，这样的视 频录制 1 分钟，也就是 60 秒，则有： 800600241560 = 10368000000bit 9.7gbyte式（2-3） 如果通过网络传输，其带宽应为： 1036800000060 = 172800000bps 165mbps式（2-4） 显然目前几乎根本不可能为单个监控节点分配如此巨大的带宽。为了解决 这一问题，必须采用一定的算法对视频信息进行编码和压缩，使之能够达到当 前主流硬件和网络设备能够承受的水平。 所谓视频编码，也是利用数学手段，将连续的视频信号转化为数字信号， 并对该信号进行编码，通常是以降低视频分辨率、清晰

29、度、流畅性等为代价， 对数据进行压缩，实现视频数据量级的降低，以方便对视频信息进行剪辑、存 储、传输、复制、回放等操作。 目前广泛应用的视频编码格式主要包括 mjpeg（motion joint photographic experts group） 、h.263、avc（h.264，advanced video coding）等，它们同样各有优缺点，适用于不同的应用场景。本文所讨论的系 统采用 h.263 编码格式。 h.2632编码，也是 itu 制定的一种媒体编码标准，它是专门为低码流应用 系统而设计的。然而 h.263 编码是能够适应很宽的码流范围的，而不仅仅应用 于低码流环境。在很多

30、应用场景下，它被认为是可以完全取代 h.261 编码的。 h.263 标准的优势主要有如下几点： 使用运动补偿技术和半像素精度； 数据流层次结构的某些部分是可选的，使得其即可适应较低的码流环境， 也可以在高码流环境下取得较高的纠错能力； 有四个协商选项来提高性能； 采用无限运动矢量和基于语义的算数编码； 采用预测算法和与 mpeg 中 p-b 帧类似的帧预测算法； 支持 sub-qcif、qcif、cif、4cif 和 16cif 等 5 种图像格式。 北京邮电大学软件工程硕士论文 5 h.263 编码最初是为了用于基于公共交换电话网和其它基于电路交换的网 络进行视频会议和视频电话而设计的，但

31、目前更广泛引用于基于 ip 网络和综合 业务数字网的视频会议系统。 2.32.3 媒体传输协议媒体传输协议 本文中所指的传输协议是指用于实现音视频媒体传输过程的网络通信协议， 在 osi 模型中，处于应用层。常用的媒体传输协议包括 http（超文本传输协议） 、mms（微软媒体服务器）协议、rtp（实时传输协议） 、mgcp（媒体网关控制协 议）等。在这些协议中，有些适用于文本和图片信息的浏览，有些适合流媒体 的传输，有些则更适合运用于电信系统与互联网系统间的媒体互通。 本系统音视频的传输适宜采用 rtp/rtcp 协议。rtp/rtcp 协议其实是两个 协议，一个是 rtp 协议(实时传输协

32、议)3，另一个是 rtcp 协议(实时控制协议)。 rtp 协议最初是由 ietf 在 1996 年提出的一种用于网络传输的协议，它的 目标是保障数据传输的实时性和顺序性，但将数据的完整性置于次要方面。rtp 协议为数据提供具有实时特征的端对端传送服务，如在组播或单播网络服务下 的交互式视频音频或模拟数据。 应用程序通常在 udp（用户数据包协议）上运行 rtp 以便使用其多路结点 和校验服务。rtp 协议也可以与其它适合的底层网络或传输协议一起使用，如 tcp（传输控制协议） 。如果底层网络提供组播方式，那么 rtp 可以使用该组播 表传输数据到多个目的地。 rtp 协议支持承载多种音视频编

33、码格式4，支持动态码率调整和编码格式 的切换，支持动态编码传输。它对 g.723 和 h.263 格式的音视频流的封包和传 输方法，具有明确的定义5。 rtcp 协议是 rtp 协议的伴生协议，它用于监控服务质量并传送正在进行的 会话参与者的相关信息。利用 rtcp 协议，应用程序可以检测到对端的网络状态、 传输带宽、丢包率、延迟等信息，从而动态的调整数据接受或发送的码流大小、 编码格式等信息。此外，rtcp 协议还给出了一种松散的会话管理功能，可以让 应用程序简单的控制或监视数据传输参与者的会话状态（如一个发送或接收者 的加入或退出等） 。 rtp/rtcp 协议被广泛的应用于视频电话、视频

34、会议系统、实时监控系统等 领域。使用 rtp/rtcp 协议作为监控系统音视频的传输协议，可以保障监控的实 时性，同时也可以与几乎所有以相同协议进行媒体传输的其它监控系统、voip 系统等进行对接，具有很强的兼容性。 北京邮电大学软件工程硕士论文 6 2.42.4 媒体传输控制协议媒体传输控制协议 媒体传输的过程，需要通过一定的手段进行控制，比如媒体资源如何表示、 媒体的编码格式如何、媒体的发送端和接收端如何建立或拆除网络通信等，只 有在有效的管理与控制机制下，才能正常工作。本文中所讲的媒体传输控制协 议，就是用于控制媒体的传输过程的网络通信协议，与媒体传输协议同属于 osi 模型中的应用层。

35、常用的媒体传输控制协议包括 sip（会话初始协议） 、 rtsp（实时传输流协议） 、isup（isdn 用户部分）协议等。 本文中讨论的流媒体的媒体传输控制，是通过 rtsp 协议来实现的，具体的 实现形式，就是构建一个 rtsp 流媒体服务器。rtsp 流媒体服务器的通信协议 栈如图 2-1 所示，从功能角度出发，在应用层主要分为 rtsp/sdp 会话模块和 rtp/rtcp 媒体传输模块两部分。 图 2-1 rtsp 流媒体服务器通信协议栈 其中 rtsp 和 sdp 两层代表的是 rtsp/sdp 会话模块，rtp 和 rtcp 代表了 rtp/rtcp 媒体传输模块。其中 sdp

36、层以虚线表示，是因为 sdp 协议数据仅出现 在 rtsp 协议的部分数据包中。 rtsp/sdp 也是两个独立而又相关的协议，一个是 rtsp 协议，一个是 sdp 协议。具体讨论如下： .1 rtsprtsp 协议协议 rtsp 协议6，中文为“实时流协议” ，是用来控制音视频流等流媒体的播 放、暂停、停止、录制等行为的协议，一言以蔽之就是用来控制实时数据的传 输的。rtsp 协议具有如下特点： 可扩展性强，可以很容易的加入新的方法和参数； 易实现，通过标准的类 http 协议和 mime 解析算法即可实现； 独立于传输，rtsp 协议与媒体传输协议是独立的，因此理论上可以

37、集 成任何媒体传输协议； 多服务器支持，rtsp 服务可以与媒体传输服务处于不同的服务器设备， 抑郁性能扩展。 rtsp 协议一般需要与 sdp 协议配合使用。 北京邮电大学软件工程硕士论文 7 .2 sdpsdp 协议协议 sdp 协议（会话描述协议）7，最初被设计为 sap（session announcement protocol，会话发布协议）的一个部件，但之后被广泛的用于与 rtsp、sip 协 议（会话初始协议）8协同工作，也可被单独用来描述多播会话。 sdp 协议的主要功能是为会话通知、会话邀请和其它形式的多媒体会话初 始化等目的提供多媒体会话描述信息。它的设计宗

38、旨是通用性，它可以应用于 大范围的网络环境和应用程序，而不仅仅局限于组播会话目录，但 sdp 不支持 会话内容或媒体编码的协商。 sdp 协议内容主要包括以下信息： 会话名称和意图； 会话持续时间； 构成会话的媒体； 有关接收媒体的信息（如地址，端口等） 。 通过 rtsp 协议与 sdp 协议的配合使用，可以达到会话建立、媒体信息查询、 编码格式协商、传输层信息交换等目的，最终实现建立或拆除流媒体服务连接 的功能。 rtp/rtcp 媒体传输模块，从传输协议的角度讲，与受监控端媒体信息传输 的机制几乎是一样的。唯一的区别，就是流媒体服务器端媒体流信息的传输目 标和过程受 rtsp/sdp 会

39、话模块的控制。 2.52.5 媒体存储媒体存储 为了在一定的时间范围内，可以调取监控历史记录，作为潜在的纪念价值、 娱乐价值、案情分析、法律学证据等，必须对监控信息进行存储。信息的存储 方式主要包括数据库方式、模拟设备录制方式、本地文件方式、云存储方式等 几种。其中：数据库方式不适合大数据文件的存储；而模拟设备录制方式的工 作原理与引言中提到的第一代监控系统无异，具有诸多缺点，属于被淘汰的技 术；云存储虽然具有很大优势，但目前该技术尚不成熟，且能够提供足够带宽 和可靠性服务的厂商不多，价格也比较昂贵。因此，对于本文讨论的系统，最 为可行的形式就是本地文件存储形式。 可选的本地文件类型有： av

40、i、3gp、mp4、quicktime、asf、vob、realmedia 等。本文讨论的监控系统 信息的存储，采用 quicktime 文件格式，它是由 apple 公司制定的一种用于存 储音视频媒体的文件格式。该文件格式在 1998 年被 iso（国际标准化组织）认 北京邮电大学软件工程硕士论文 8 可为 mpeg-4 的基础，它采用原子（atom）结构对媒体信息进行存储，支持多种 音视频编码，如 mjpeg、avc、h.263、yuv、-law、mp3、ac-3 等，特别适合 用作截取、编辑、文件、传播、和播放等目的。 本文设计的实时监控系统以 quicktime 作为媒体信息的文件格式

41、，经实验 测试，在较低码流的编码格式下，其文件增量约为 38kbps，比较适合作为监控 系统音视频媒体历史信息记录使用。 2.62.6 本章小结本章小结 本章对论文所讨论的音视频实时监控系统在开发过程中将要涉及到的技术 问题进行了简要分析，围绕音视频编码、媒体传输协议、媒体传输控制、媒体 存储等关键问题，分别对各项技术的现状、特点进行了介绍与对比，给出了部 分可选的实现方式或协议，并初步选定了适合本文所讨论系统的实现或协议。 北京邮电大学软件工程硕士论文 9 第三章第三章 需求分析与架构设计需求分析与架构设计 本章主要内容，是对音视频实时监控系统的各方面需求进行分析，并根据 分析结果，给出系统

42、整体架构和软硬件技术选型结果。 3.13.1 需求分析需求分析 需求分析就是对监控系统进行详细的分析，弄清系统功能要求、性能要求、 软硬件环境要求等，明确期待结果，确定输出内容。 .1 应用场景应用场景 本文所述音视频监控系统，主要用于一般工业、商业与民用监控，具体应 用场景包括但不限于会场、商场、教室、楼宇、物业、地面车站、车辆、非特 种加工车间、厂房、仓库、农场、计算机房、民宅等。受监控端工作在常温、 常压环境，可能是移动的（如安装在车辆上） ，也可能是固定的。 要求人们能够通过本系统辨别视野内的一般车辆、人物，能够看清目标人 物的动作、表情；要求能够在一定范围内采集音频信

43、息，要求能够听清 5 米以 内的人物对话，能够基本辨别人物音色。 .2 网络环境网络环境 由于采用 android 作为受监控端设备操作系统，可选的网络环境就比较多 了。正如引言中描述的，本系统是基于 ip 网络的。 系统应优先选择有线网络连接，因为这是最为可靠、高效的连接方式，但 缺点是受地理环境和传输距离的限制。 如果有线网络不适用，也可以通过 wifi 网络进行连接，同样可以获得相对 稳定的连接和最高可达 54mbps9的带宽。 在多数室外或移动情况下，是无法保障有线网络和 wifi 网络的。此时 3g 通信网络就成了最佳选择。综合考虑稳定性、网络覆盖范围、带宽等因素，认

44、 为我国北方地区适合选择 wcdma 网络，而南方则适合选择 cdma2000 网络，其理 论带宽分别可以达到 3.84mbps10和 3.1mbps11。 流媒体服务器端，要求具有固定的互连网 ip 地址。不过，如果受监控端、 服务器端和主监控端都在同一局域网中或处于支持 voip 的虚拟专用网络 （vpn）中，则只要求流媒体服务器具有固定的私网 ip 地址即可。鉴于服务器 北京邮电大学软件工程硕士论文 10 处于监控系统的中央节点，其网络接入带宽最好大于 1mbps/终端。 .3 功能需求功能需求 本文讨论的音视频监控系统需要完成的主要功能就是音视频信息的实时监 控。具体而

45、言有以下几点： 在可见光范围内，对视角范围内的视频信息进行实时监视； 对受监控端设备周围 5m 范围内的音频信息进行实时监控； 音视频监控信息可以通过开放的网络协议实时传输； 音视频信息可以通过开放协议进行实时播放，支持主流流媒体播放器客 户端软件； 音视频信息支持存储和回放，存储格式采用常用国际标准； 要求解决内网网络地址转化（nat）等问题。 .4 性能要求性能要求 本文设计的音视频监控系统最主要的性能需求为两方面：一个是实时性和 声音、画面流畅性，另一个是音视频的分辨率。因此，整个系统的所有性能需 求均围绕这两点提出。为了能够达到上述两个方面的需求，使用户获得较好的 使用

46、体验，系统满足如下指标： 音频采样率：8000hz 音频分辨率：8bit 视频帧率：1015fps 视频分辨率：352x288 音视频延迟：2000ms 音视频不同步：200ms 监控节点数：100 个 历史记录：1 个月 .5 兼容性与扩展性需求兼容性与扩展性需求 考虑到本监控系统与当前主流的基于 ip 网络的监控系统（ipvs 或准 ipvs） 、 ip 电话（voip）系统、互联网流媒体系统等的兼容性，应采用国际通用标准和 传输协议，以方便与第三方系统的对接。此外，采用国际通用标准和传输协议， 可以在当前以及可遇见的未来时间内，在技术上做到方便扩展，通过简单的增 加受监控

47、节点和修改服务器配置，即可扩充系统的监控点位和服务能力。 北京邮电大学软件工程硕士论文 11 3.2 架构设计架构设计 系统架构设计过程，就是通过对系统需求进行分析，综合考虑时间、成本、 技术可行性、产品效果等多方面因素，对系统进行技术层面设计的过程。 系统架构设计的原则，是保证技术可行的基础上，追求设备的高性价比， 同时选用遵循国际规范、实现简单、易于开发、高效稳定的软件架构。根据监 控系统需求分析，决定采用以流媒体服务器作为中心节点，受监控端统一向服 务器发送监控信息，用户通过访问服务器进行监控的方案。 .1 网络架构网络架构 本文所设计音视频实时监控系统的网络架构如图 3

48、-1 所示。其中流媒体服 务器具有固定 ip 地址，供主监控端通过 rtsp/sdp 协议进行访问；受监控端可 以通过有线网络、wifi 网络或 3g 网络通过 ip 网络连接到流媒体服务器，将音 视频信息通过 rtp/rtcp 协议发送到服务器。 图 3-1 网络架构 在受监控端，短距离固定监控设施建议采用有线网络接入的方式，通过光 纤或 utp（非屏蔽双绞线）进行连接。考虑到成本问题，推荐使用 utp。如果应 用环境对网络布线具有较强的限制因素，同时监控设施部署在室内，则可以考 虑采用 wifi 网络接入方式。如果要求监控系统处于移动状态（比如车辆内部监 控、自动化厂区巡检等应用环境） ，

49、则受监控端应采用 3g 网络接入方式。 .2 设备选型设备选型 设备选型的主要参考因素有三方面，即实现难度、性能和价格。其中首要 因素是是否易于实现，有无技术可行性；其次要保证监控系统的性能和效果， 北京邮电大学软件工程硕士论文 12 以满足各项技术指标；最后，还要严格控制系统成本，使得系统具有实用性和 规模化生产的可行性。 受监控端设备 在受监控端，可选的方案包括：使用 android 成品手机或平板电脑等设备、 使用 android arm 开发板套件、自行设计并制作 android 设备。 arm 又被称为“高级精简指令集机器（advanced risc machine）

50、 ” ，顾名思 义，它是一种能够运行精简指令集的处理器。arm 是有 arm ltd.公司设计的， 但是该公司并不是将 arm 的技术细节完全隐藏起来，而是将该处理器的设计方 案、技术指标、指令集标准等信息在有限商业授权的条件下，向合作厂商开放， 并允许他们按照完全相同的方案，进行生产和销售。arm 本身的优点，再加上 这种开放的商业模式，使得 arm 愈发优秀并稳稳占领了移动设备市场。 很显然，使用成品手机或平板电脑等设备在性能上可以有较大的选择空间， 且实现特别容易，但是成本过高，不宜选用。自行设计并制作 android 设备需 要专业的硬件设计和制造水平，也需要专业的生产配套设备的支持，

51、难度过高。 故各方面因素比较均衡的方案，就只有使用 android 开发板套件了。好在目前 市场上 android 开发板种类很多，各种配置均可买到，甚至还可以根据客户需 求定制开发。 1:1.2 图 3-2 android 开发板 图 3-2 是本文设计的音视频监控系统受监控端所选用的 arm 开发板设备照 北京邮电大学软件工程硕士论文 13 片，其型号为 tq210，配有三星 cortex-a8 处理器（s5pv210，主频 1ghz） ，1gb ddr2 内存，能够为系统给予充分的性能支持，保障系统运行。该开发板套件的 主要部件详细参数如下： cpu：三星 s5pv210 内存：1gb

52、ddr2 nand flash：1gb 摄像头：cmos，15fps 音频：外接 mic 以太网接口：100mbps wifi 模块：sdio 或 usb（可选） 3g 模块：wcdma 或 cdma2000（可选） 显示屏：7 lcd 电阻屏（可选） cortex-a8 处理器是一款 armv7 体系的 arm 处理器，相比于之前的推出的 arm 处理器，它的主频可以达到从 600mhz 到 1ghz。同时，它使用超标量微体系 结构和用于 simd 处理的 neon 技术，与 arm926、arm1136 和 arm1176 处理器保 持二进制级兼容，使得其具有高性能、低功耗、应用广等有点。

53、 目前，cortex-a8 处理器已广泛应用于智能手机、平板电脑、上网本、数 字电视等领域。尤其是三星 s5pv210 处理器（代号“蜂鸟” ，cortex-a8 的三星 公司实现版本） ，具有强大的多媒体处理能力，特别适合作为音视频监控系统的 核心处理芯片。 流媒体服务器 服务器端设备形制已非常成熟，采用一般的机架式服务器即可。在选择具 体配置参数的时候，主要应该考虑的因素主要是性能和容量。 性能计算 根据实验测试情况，一台具有 2 颗 intel xeon 2.0ghz cpu、2gb ddr2 内 存的机架式服务器，在处理音视频监控信息时的负载变化如表 3-1 所示： 表 3-1 服务器

54、负载实验表 序号序号受监控节点（个）受监控节点（个）cpucpu 占用率占用率 （%） 内存占用内存占用 （mbmb） 105902 217922 328941 4310961 5412980 北京邮电大学软件工程硕士论文 14 65131000 76151020 87171040 98181059 109201079 1110221099 由此可以推算，平均每个受监控节点 cpu 占用增量约为 1.7%，内存占用增 量约为 19.7mb。则当监控节点为 100 个时，cpu 伪占用率将达到 175%，同时内 存伪占用量将达到 2872mb。 若按上述负载计算，cpu 综合参数应为实验机的 1

55、.7 倍左右。如果要保证 系统负载最高不超过 70%，则应为 2.4 倍左右。据此，cpu 应选择 4 颗 xeon 2.4ghz。 同理，内存容量应为实验数据的 2.9 倍左右，如果内存负载不超过 70%， 容量应为实验机的 4.1 倍左右，即 4100mb。 容量计算 由于监控系统需支持历史信息回放，则必然需要进行数据存储。假设以 quicktime 格式进行文件存储，分辨率为 352288，实测单节点数据产生速率 约为 38kb/s。那么，30 天产生的数据量为： 3024606038100 = 9849600000kb 9.8tb式（3-1） 最终选型 根据上述计算所得数据，以各部件标

56、称系列进行匹配如下： cpu：xeon 2.4ghz，4 颗 内存：4gb 硬盘：10tb 具体设备选型推荐使用 ibm system x3650 m3，具体配置参数如下（列表 中未给出的，按标准配置考虑）： cpu：xeon e5160（3.0ghz，双核） ，2 颗 内存：金士顿 2gb ddr2 800 ecc，2 条 硬盘：ibm 2tb sas，5 块 考虑到数据存储的可靠性，可以考虑使用 raid 技术，考虑到廉价性因素， 可以选择 raid5 方式（ibm system x3650 m3 内建支持 raid5） ，则此时： 10tb = (n - 1)2tb式（3-2） 可得 n

57、 = 6，即需要的硬盘数量为 6 块。 北京邮电大学软件工程硕士论文 15 .3 软件架构软件架构 本监控系统主要运用的是音视频媒体的实时传输技术。具体而言，包括 android 音视频采集、音视频编解码、rtp 传输、rtsp 服务、upnp 等。这些技 术均依赖于特定的操作系统、软件环境与应用程序框架等。 受监控端软件架构 图 3-3 受监控端软件架构 如图 3-3 所示，音视频实时监控系统的受监控端软件主要包括用户界面、 音视频采集模块、音视频编码器、流媒体传输模块、网络地址映射模块和设备 驱动层等几部分组成。其中用户界面用于设定设备工作状态、服务器信息等， 负责受监控端

58、的人机交互；音视频采集模块通过间接调用设备驱动层功能，采 集音视频信息；音视频编码器负责将采集到的原始音视频信息编码成为适合通 过网络进行实时传输的格式；网络传输的功能由流媒体传输模块实现；在流媒 体传输的过程中，如需解决内网网络地址映射的问题，则交由网络地址映射模 块来解决。 受控端操作系统 受监控端采用 google 公司主持开发的 android 操作系统，具体版本为 4.1，api level 16，代号“jelly bean” ，该系统具有资源占用小、运行效率 高、多媒体支持程度高、节能稳定等特点，适合本监控系统应用。 考虑到移植的方便性，可以直接选择上文中提到的 tq210 and

59、roid 开发板 套件厂商提供的发行版本，以降低实现的复杂度。 受监控端音视频编码器 android 系统支持录制音频和视频，mediarecorder 对象可将其按照一定的 编码格式和存储格式保存到文件，如 3gpp 文件、m4a 文件、mp4 文件等。然而 android 只能将音视频保存为文件，录制完成后再回放，不支持输出原始媒体 流，故无法直接将采集的到媒体实时传输出去。 为了解决这一问题，可以直接从 mediarecorder 中采集音频波形数据和视 频帧数据，然后使用第三方编解码库对其进行编码。本监控系统使用的是当前 被广泛使用的、公认最高效的编解码库，ffmpeg12。本文会在后

60、续的章节详细 北京邮电大学软件工程硕士论文 16 讲解如何将其移植到 android 平台中并进行调用。 受监控端媒体传输组件 流媒体的传输采用 rtp/rtcp 协议。android 4.1 的 api 中虽然有相关的 api，但是仅仅是一组简单的接口，还很不完善。本文选用的 rtp 应用程序 api 是 jlibrtp13，它由纯 java 语言实现，方便进行移植，且接口简单，使用灵活， 支持自定义 timestamp 和 mark 标志。 受监控端 upnp 组件 当受监控端设备通过有线网络或 wifi 网络接入的时候，包括某些 3g 网络 接入的情况，设备往往是处于局域网中的。这种受监