双目视觉平台-高校本科教育电子实践与就业解决方案

双目视觉平台-高校本科教育电子实践与就业解决方案一、平台概述

本平台主要针对电子、计算机、自动化、光电子、通信等专业高年级本科、硕士等同学的深入学习，通过完整的双目视觉平台硬件（包括摄像头模组、MPSOC核心板、接口板），理解整个图像传输、处理的硬件系统，通过整体的双目视觉软件（包括PL端固件程序、ARM端裸跑程序、PC机网络程序）理解视频的同步传输、AXI总线的中断、VDMA视频传输、网络LWIP协议栈、视频传输与视频显示等，深入理解底层数据流的传输过程、连续流中中断、内存管理机制，网络TCP/UDP

IP机制。通过该套件的学习，为同学们打下良好的嵌入式底层硬软件结合的基础，为未来从事图像处理、人工智能、芯片设计、云智能视频等领域的工作做好充分准备。二、双目视觉平台套件简介

双目视觉平台套件，以MPSOC芯片为基础，通过核心板+扩展板的模式来设计，核心板和扩展板之间使用高速板间连接器连接。搭建起了从摄像头到主处理器、到接口电路的完整结构。其整体框架如下：套件内容如下：

这款MPSoCs开发平台采用核心板加扩展板的模式，方便用户对核心板的二次开发利用。核心板使用XILINX

Zynq

UltraScale+

CG芯片ZU3EG的解决方案，它采用Processing

System(PS)+Programmable

Logic(PL)技术将双核ARM

Cortex-A53

和FPGA

可编程逻辑集成在一颗芯片上。另外核心板上PS端带有4片共2GB高速DDR4

SDRAM芯片，1片8GB的eMMC存储芯片和2片共512Mb的QSPI

FLASH芯片；核心板上PL端带有1片512MB的DDR4

SDRAM芯片

。

在底板设计上我们为用户扩展了丰富的外围接口，比如1个FMC

LPC接口、1路SATA

M.2接口、1路DP接口、1个USB3.0接口、1路千兆以太网接口、1路UART串口接口、1路SD卡接口、2个40针扩展接口、2路CAN总线接口，2路RS485接口等等。满足用户各种高速数据交换，数据存储，视频传输处理，深度学习，人工智能以及工业控制的要求，是一款"专业级“的ZYNQ开发平台。为高速数据传输和交换，数据处理的前期验证和后期应用提供了可能。相信这样的一款产品非常适合从事MPSoCs开发的学生、工程师等群体。实验箱

1串口线

2双目摄像头

1下载器

1读卡器

1TF卡

1用户手册

1软件内容如下：实验名称文件夹ARM的LWIP网络传输实验pro_ZU3EG_LWIP_V202007AXI总线的vdma图像传输pro_ZU3EG_AN5642_lwip_V202007单路CMOS图像

Sensor转DP显示实验pro_ZU3EG_AN5642_DP_V202007双路视频网络传输实验pro_ZU3EG_AN5642_lwip_V202007三、板卡概述在这里，对这款AXU3EG

MPSoCs开发平台进行简单的功能介绍。开发板的整个结构，继承了我们一贯的核心板+扩展板的模式来设计的。核心板和扩展板之间使用高速板间连接器连接。

核心板主要由ZU3EG

+

5个DDR4

+

eMMC

+2个

QSPI

FLASH的小系统构成。ZU3EG采用Xilinx公司的Zynq

UltraScale+

MPSoCs

EG系列的芯片，型号为XCZU3EG-1SFVC784I。ZU3EG芯片可分成处理器系统部分Processor

System（PS）和可编程逻辑部分Programmable

Logic（PL）。在ZU3EG芯片的PS端和PL端分别挂了4片和1片DDR4，每片DDR4容量高达512M字节，使得ARM系统和FPGA系统能独立处理和存储的数据的功能。PS端的8GB

eMMC

FLASH存储芯片和1片总512Mb的QSPI

FLASH用来静态存储MPSoCs的操作系统、文件系统及用户数据。

底板为核心板扩展了丰富的外围接口，其中包含1路M.2接口、1路DP接口、4路USB3.0接口、2路千兆以太网接口、2路UART串口接口、1路SD卡接口、2个40针扩展接口、2路CAN总线接口，2路RS485接口，1路MIPI接口和一些按键LED。通过示意图，我们可以看到，我们这个开发平台所能含有的接口和功能。

•

ZU3EG核心板由ZU3EG+2GB

DDR4（PS）+512MB

DDR4（PL）+8GB

eMMC

FLASH

+

256Mb

QSPI

FLASH组成，另外有2个晶振提供时钟，一个单端33.3333MHz晶振提供给PS系统，一个差分200MHz晶振提供给PL逻辑DDR参考时钟。

•

M.2接口1路PCIEx1标准的M.2接口，用于连接M.2的SSD固态硬盘，通信速度高达6Gbps。

•

DP输出接口1路标准的Display

Port输出显示接口，用于视频图像的显示。最高支持4K@30Hz或者1080P@60Hz输出。

•

USB3.0接口4路USB3.0

HOST接口，USB接口类型为TYPE

A。用于连接外部的USB外设，比如连接鼠标，键盘，U盘等等。

•

千兆以太网接口

2路10/100M/1000M以太网RJ45接口，PS和PL各1路。用于和电脑或其它网络设备进行以太网数据交换。

•

USB

Uart接口2路Uart转USB接口，PS和PL各1路。用于和电脑通信，方便用户调试。串口芯片采用Silicon

Labs

CP2102GM的USB-UAR芯片,

USB接口采用MINI

USB接口。

•

Micro

SD卡座1路Micro

SD卡座，用于存储操作系统镜像和文件系统。

•

40针扩展口2个40针2.54mm间距的扩展口，可以外接黑金的各种模块（双目摄像头，TFT

LCD屏，高速AD模块等等）。扩展口包含5V电源1路，3.3V电源2路，地3路，IO口34路。

•

CAN通信接口

2路CAN总线接口，选用TI公司的SN65HVD232芯片，接口采用4Pin的绿色接线端子。

•

485通信接口

2路485通信接口，选用MAXIM公司的MAX3485芯片。接口采用6Pin的绿色接线端子。

•

MIPI接口

2个LANE的MIPI摄像头输入接口，用于连接MIPI摄像头模块（AN5641）。

•

JTAG调试口1个10针2.54mm标准的JTAG口，用于FPGA程序的下载和调试，用户可以通过XILINX下载器对ZU3EG系统进行调试和下载。

•

温湿度传感器板载1片温湿度传感器芯片LM75，用于检测板子周围环境的温度和湿度。

•

EEPRO