基于海思3510的音视频监控系统的设计与实现 精灵论文

1、基于海思 3510 的音视频监控系统的设计与 实现吕锋，李名山（武汉理工大学信息工程学院，武汉 430070）5摘要：目的实现基于海思 Hi3510 芯片的音视频监控系统，采用海思公司的高性能音视频编 解码芯片 Hi3510 芯片作为核心主芯片。此系统能够在保证画面质量的前提下，提供传统视 频监控的所有功能。能够提供报警，用户通过软件平台，可以方便地获得和查看报警信息； 提供了高质量的，清晰的语音对讲功能，同时，管理员通过软件平台，不仅可以浏览监控画 面，还能听到音频。此系统主要模块有时间同步模块，日志模块，视频输入模块，视频编解10码模块，音频模块，音频编解码模块。给出了系统的整体结构框图,

2、程序主流程图和嵌入式 Linux 下设备驱动的加载和设备访问方法。关键词：数据处理；Hi3510；音视频编解码；存储中图分类号：TP31115Design and Implementation of Audio and Video MonitoringSystem based on Hisilicon 3510Lv Feng, Li Mingshan(School of Information Technology in Wuhan University of Technology, WuHan 430070)Abstract: Purpose on the design of functio

3、n of audio and video based on Hisilicon Hi3510.It uses the20Hisilicons high-performance audio and video Hisilicon codec chip Hi3510 chip as a nuclear Heart chip.This system can ensure the picture quality under the premise of providing all the features of traditional video surveillance. Able to provi

4、de the alarm, the user can easily access and view the alarm information through the software platform; This system provides a high quality, clear voice intercom functions, at the same time, the administrator not only can browse the monitor screen, but also can hear25the audio through the software pl

5、atform . The main modules consists of the system time synchronization module, the log module, video input module, the video codec module, audio module,audio codec module. It gives the system's overall structure diagram, the main program flow chart and embedded Linux device drivers under load and

6、 device access methods.Keywords:Data Processing; Hi3510; Audio and video codecs; Storage300引言随着人民生活水平和消费观念的改变，视频监控系统已经广泛地应用在社会安全防范， 信息获取和指挥调度方面。视频监控系统是根据某种特定的应用条件和使用目的，包括视频 采集、视频处理、视频传输、视频管理和系统控制等相关设备和传输介质组成的一个有机整35体。利用视频图像技术对重要对象实施监控，已经逐渐成为现代生活中必不可少的部分。图 像监控系统已经是安全防范技术体系中不可缺少的重要组成部分，目前已经广泛应用于交 通、金融

7、、商业、医院、工矿企业、住宅小区等1。Hi3510 是华为海思公司新近推出的一款高性能的音视频编解码芯片,其高速的音视频处 理能力以及良好的编解码效果,特别适合于实时视频通信,数字图象监控等领域。本文正是基40于该芯片的优越性能,从硬件和软件上设计了一套音视频监控系统。作者简介：吕锋，（1957-），男，教授，主要研究方向：计算机网络通信与现代通信技术通信联系人：李名山，男，在读研究生，主要研究方向：计算机通信. E-mail: lmsgeny1基于 Hi3510 的监控系统总体方案设计1.1视频开发平台的工作原理视频开发平台的原理框图如图 1 所示45图 1 Hi3510 视频开发原理图TW

8、2815 与 VI 接口连接，是 1 个 4 通道的 QUAD 视频控制器，内嵌 4 个高质量的PAL/NTSC 视频解码器，2 个彩色显示控制器和 2 个 PAL/NTSC 视频编码器。TW2815 包含504 个 10bit VAD，专用的数字增益和梳状滤波器，高质量的 Y/C 分离器5。TW2815 完成的 主要功能如下：SCALER 功能可以实现不同尺寸的图像输出；4 个内嵌的运动和盲区检测，符合安防系统的应用；TW2815 还包含图形叠加功能，用来显示字符/位图/方块/鼠标；55可通过 IIC 接口（地址配置为 0x44）进行初始化和控制。ADV7179 主要将 BT656YUV 4

9、:2:2 格式视频信号编码成标准 PAL/NTSC 制式电视信号 输出，与 Hi3510 VO 接口连接。1.2 Hi3510 的工作过程Hi3510 的工作过程：视频输入单元通过 ITU-R BT.656 接口接收由 VADC 输出的数字视60频信息，并通过 ABH 总线把接收到的原始图像写入到外存（SDRAM）中；视频编解码器 从外存中读取图像，进行运动估计（帧间预测）、帧内预测、DCT 变换、量化、熵编码（CAVLC+Exp-Golomb）、IDCT 变换、反量化、运动补偿等操作，最后将符合 H.264 协议 的裸码流和编码重构帧（作为下一帧的参考帧）写入到外存中4；视频输出单元从外存中

10、读 取图像并通过 ITU-RBT.656 接口送给 VDAC 进行显示；ARM 对视频编码器输出的码流进行65协议栈的封装，然后送网口发送。Hi3510 内置多端口静态和动态存储控制器（MEMC）用于提供访问外部 SDRAM 和静 态异步存储器的通道，为系统提供灵活的外部存储系统方案。其他单元可通过该控制器访问 芯片外部的静态（包括 nor flash）和动态存储器。图 2 为 flash 系统框图70图 2 FLASH 系统框图1.3设计的具体模块如下图 3 为设计的具体模块框图：75图 3 设计模块框图2音视频的软硬件实现2.1 硬件设计音频处理芯片 TLV320AIC31B 是高性能的立

11、体声音频编解码器，内部集成运放，实现80音频信号的 AD/DA、输入输出放大衰减、与外部接口等。音频 CODEC 可通过 I2C 进行初 始化和配置。视频处理芯片 TW2815 与 4 路 VI 接口连接，完成 4 通道视频和音频数模转换。 TW2815 包括 4 个集成的模拟抗锯齿失真(anti-aliasing)滤波器、10 位 CMOS 模拟数字转换 器，以及符合所有 PAL/NTSC 标准的高性能自适应 4H 梳状滤波器，可提供 54MHz 的随85路时钟实现单通道同时传输 2 路 D1 视频数据或者 4 路 Half D1 视频数据，并且耗电极低（通常为 480mW500mW）2。此

12、外，TW2815 提供 4 个集成的音频模拟数字转换器和 1 个 数字模拟转换器，并可支持多信道音频混合模拟输出及标准的 I2S 接口以供录制输出和回放输入。如图 4 为 tw2815 与 Hi3510 连接示意图:90图 4 连接示意图系统前端由 CCD 摄像头取得模拟视频信号通过 CVBS 信号格式输入 Hi3510 视频开发平台的 TW2815 芯片，TW2815 将其转换成数字信号通过 BT656 接口输入到 Hi3510 处理器。Hi3510 收到视频数据，经过图像处理后，进行 H.264 编码。952.2音视频软件设计图 5 音视频设计总体结构100Hi3510 的视音频数据流处理

13、过程如下：步骤 1 远端摄像头采集视频信号，以 CVBS 信号格式输入 TW2815（视频源也可以选 择 CMOS Sensor 采集 Digital camera 信号直接输入到 Hi3510 芯片）。步骤 2 两片 TW2815 最多可以采集 8 路 PAL 或 NTSC 视频信号，把 8 路视频合成 4 路 2D1BT.656，转换成数字信号通过 BT.656 接口输入到 Hi3510 芯片。另外，8 路音频信 号也是通过 TW2815 采集输入，通过级联的方式通过 I2S 接口送给 Hi3510 芯片编码。105110115120125130步骤 3 Hi3510 芯片收到视频数据，经

14、过图像处理后，进行 H.264 编码。对音频信号通 过 ARM 软件编码，具体编码标准根据具体要求定。步骤 4 经 Hi3510 芯片编码后的视频流通过 PCI-SATA 电路，存储在硬盘上，TLV320AIC31采集音频信号，音频信号进行模数转换后，Hi3510 芯片将其编码成相应的音频码流。 可以通过 TLV320AIC31 实现一路双向语音对讲。步骤 5 Hi3510 芯片业务层软件把视音频复合流（或独立的视频/音频流）封装。3511 芯 片进行解码，在经过 ADV7179 进行 D/A 转换后直接输出。还可以转换成 VGA 输出，可 外接显示器显示。2.2.1音频软件设计部分音频输入输

15、出接口 SIO（Sonic Input/Output），用于和片外 Audio CODEC 芯片连接， 完成声音的播放及录制。Hi3510 提供 2 组音频接口 SIO0 和 SIO1。SIO0 配合 TW2815 可 以完成 8 路音频的输入和输出，SIO1 配合 TW2815 只支持 8 路的输入。SIO 接口支持 PCM（Pulse Code Modulation）、I2S 两种模式。其中 PCM 接口主要用 于语音通道，比如 VOIP 电话5。而 I2S 接口主要用于配合 AUDIO CODEC 完成音频播放 和录制。音频播放的步骤如下：步骤 1 用户传送音频数据到 SIO。步骤 2

16、按照设定的采样率，把音频数据通过 I2S 或 PCM 接口传送给连接的 AUDIO CODEC。步骤 3AUDIO CODEC 进行 DA（Digital-to-Analog）转换后进行声音播放。 音频录制的步骤如下：步骤 1 通过 I2S 或 PCM 接口， SIO 接收对 接 AUDIO CODEC 进行 AD（Analog-to-Digital）转换后的音频数据，并存入内部 FIFO。 步骤 2 由 CPU 取走并存储数据，从而完成音频录制功能。1）编解码流程 音频采集及编码的业务流程系统初始化等待线程结束设置 AD销毁 AENC 通道设置并启用 AI 设备和通道禁用 AI 通道和设备创

17、建 AENC 通道关闭 AD启动线程获取 AI 音频帧，送编码后获取 码流系统去初始化图 6 采集及编码流程解码过程系统初始化打开并配置DA(Tlv320)启动线程获取解码后音频帧并 送 AO 输出销毁 ADEC 通道配置并启用 AO设备及通道禁用 AO 设备及通道创建 ADEC 通道等待获线程结束启动线程将音频 码流送解码关闭 DA系统去初始化135图 7 解码流程2）属性设置音频输入输出属性设置140145150155160165170175AIO_ATTR_S：音频输入输出设备属性结构体 AUDIO_FRAME_S：音频帧结构体 AEC_FRAME_S：音频回声抵消参考帧信息结构体 AU

18、DIO_FRAME_INFO_S：音频回声抵消参考帧信息结构体 音频编码属性设置结构体在选择了编码协议之后，对各协议下的音频编码属性进行设置，对应编码属性设置结构 体如下：AENC_CHN_ATTR_S：定义音频编码通道属性结构体。用来设置编码协议类型， 缓存 大小和具体协议属性AENC_ATTR_AMR_S：定义 AMR 编码协议属性结构体。 AENC_ATTR_G711_S：定义 G.711 编码协议属性结构体。 AENC_ATTR_G726_S：定义 G.7 26 编码协议属性结构体。 AENC_ATTR_ADPCM_S：定义 ADPCM 编码协议属性结构体。 AENC_ATTR_AAC

19、_S：定义 AAC 编码协议属性结构体。 如例：AENC_CHN_ATTR_S *stAencAttr;/音频编码通道属性结构体stAencAttr->enType = PT_ADPCMA;AENC_ATTR_ADPCM_S stAdpcmAenc;/ADPCM 编码协议属性结构体stAencAttr->pValue = &stAdpcmAenc; 音频解码属性设置结构体 ADEC_CHN_ATTR_S：定义解码通道属性结构体。 PAYLOAD_TYPE_E enType音频解码协议类型 具体协议属性指针，与下面的属性结构体对应 ADEC_ATTR_AMR_S ：定义 AM

20、R 解码协议属性结构体。 ADEC_ATTR_G711_S：定义 G.711 解码协议属性结构体。 ADEC_ATTR_G726_S：定义 G.7 26 解码协议属性结构体。 ADEC_ATTR_ADPCM_S：定义 ADPCM 编码协议属性结构体。 ADEC_ATTR_AAC_S：定义 AAC 解码协议属性结构体。 如例：ADEC_CHN_ATTR_S stAdecAttr; ADEC_ATTR_ADPCM_S stAdpcm; stAdecAttr.enType = PT_ADPCMA; stAdecAttr.u32BufSize = 5;stAdecAttr.enMode = ADEC_MODE_PACK;/pack 模式或者 stream 模式stAdecAttr.pValue = &stAdpcm;2.2.2视频软件设计部分1）多画面预览通过对 VI 模块、VO 模块、以及 AD 芯片的配置和组织调度，实现多画面预览。1802）双码流方式编码图 8 多画面预览流程图对同一视频源进行 1 路 D1 的 MJPEG 编码和 1 路 CIF 的 H.264 编码，并分别将码流 保存到文件。同时启动该路视频源的