多核并行图像显示接口设计

1、    多核并行图像显示接口设计1、引言集成电路制造工艺技术的不断进步提供了越来越多的资源，如何将这些资源转变为芯片的功能和性能是IC设计的持久话题。传统上以频率为主要手段的性能提升技术遇到致命瓶颈功耗和散热问题。由于CMOS晶体管特征尺寸的缩小导致单位面积上晶体管数目的增加，加上时钟频率的提升，使得单位面积上晶体管漏电流不断增大。研究表明，处理器性能每提升1，功耗将增加31。如果按照这种趋势发展而不采取其他降低功耗的1、引言集成电路制造工艺技术的不断进步提供了越来越多的资源，如何将这些资源转变为芯片的功能和性能是IC设计的持久话题。传统上以频率为主要手

2、段的性能提升技术遇到致命瓶颈功耗和散热问题。由于CMOS晶体管特征尺寸的缩小导致单位面积上晶体管数目的增加，加上时钟频率的提升，使得单位面积上晶体管漏电流不断增大。研究表明，处理器性能每提升1，功耗将增加31。如果按照这种趋势发展而不采取其他降低功耗的措施的话，在2015年，每平方厘米面积上的功耗密度将达到上千瓦。由此而导致的热量积聚将使得芯片根本无法工作。多核系统芯片（Multi-processor SystemonChip, MPSoC）就在这种背景下出现。首先，MPSoC能解决频率瓶颈难题。一方面，每个核的功能可以不需要那么复杂，频率也无需过高，因此每个核的功耗会降低很多；另一方面，使用

3、多个低功耗的核，不仅可以分散功耗密度，降低单位面积所产生的热量，而且可以实行功耗的动态管理，对没有任务的处理器进行动态功耗控制。其次，MPSoC技术可以依靠处理器级的重用技术，提高设计效率，使得集成电路技术继续沿着摩尔定律的预测发展。本文在已有MPSoC的工作基础上2，结合多媒体图像处理类应用，设计适用于多核体系结构的并行图像显示接口，探讨MPSoC数据输入输出的存储结构问题。以屏幕显示为典型应用，设计面向显示的多核MPSoC原型芯片：在文2的基础上设计显示存储模块，按照一定次序存储多个处理器处理后的数据；设计显示接口模块，从显示存储器中读取数据，按照显示接口协议生成显示同步信号，并形成相应的

4、显示数据。在第二节介绍相关工作，第三节介绍多核体系结构及其并行图像显示接口，第四节介绍实验，第五节给出本文结论。2、相关工作自本世纪初多核技术的出现至今，已有不少单位开多核研究工作，并取得相当的进展。在学术机构方面，瑞典皇家技术学院3、Stanford4等可谓多核/片上网络技术的先驱；在工业界，Intel5、AMD6、IBM7以及Sun8等公司的多核产品享誉全球。在多核并行图像处理方面，文献9使用多核技术设计实现了面向实时需求的图像处理系统，而其它工作1011均把图像处理作为实验载体，用于评估所提结构的性能，并未考虑所处理图像的显示问题。本文在并行图像/运动轨迹计算的基础上，设计显示接口，实现

5、FPGA原型芯片，在实际原型系统中运行动态轨迹显示等应用。3、多核并行显示系统体系结构3.1 系统结构多核MPSoC结构示意图如图1所示。图中多个处理器器之间使用层次化总线连接与通讯。按照与通讯主体的邻近关系将总线分为两个层次：全局通讯总线和本地总线。本地总线连接处理器与本地存储器，每个处理器独享本地总线的控制权；全局总线连接多个处理器与共享存储器以及全局共享模块，当处理器需要访问共享模块时，首先需要通过全局总线仲裁模块获得访问权限，然后才能访问共享模块。图1 多核MPSoC结构示意图按照功能将图中模块分为三大类：计算节点、总线模块和显示部分。计算节点包含处理器、本地存储器以及总线桥等模块。全

6、局总线包含译码器、仲裁器以及数据通道等模块。而显示部分包含显示存储器和显示接口，把多核并行计算产生的图像/轨迹显示输出到显示器上来。本文的几种应用如图2所示。每个彩色方块对应一个处理器，每个处理器运行不同轨迹运动的计算任务：线段（或折线）沿矩形轨迹运动、圆弧沿圆周运动、圆的半径绕圆心作圆周运动以及弦在圆周上运动。图2 四种动态轨迹显示示意图每个处理器把所计算的轨迹坐标数据存储到显示存储器中。由于显示存储器为四个处理器所共享，为了避免数据冲突，将显存分为四个区间，每个处理器的计算数据存储在各自独立的区域。显示接口读取显示存储器中轨迹坐标，按照一定的混色方案，将所计算的轨迹输出显示到屏幕上。随着所

7、输出轨迹坐标的不断变化，显示在屏幕上的轨迹按照相应的规律运动，达到不同轨迹的运动效果。3.2 显示接口在硬件电路设计上，计算节点、全局总线等模块在文2中已有详尽叙述，在此不再赘述。本文重点介绍显示存储器以及显示接口的设计。显示存储器存储需要实时显示的数据。显示接口则产生控制逻辑，控制行、场同步信号的生成以及象素的输出。首先介绍显示存储器。从结构上看，显示存储器分为总线接口和存储阵列两部分。由于采用AMBA协议，把总线接口分为主设备接口和从设备接口两类。显示存储器为从设备，因此该接口符合从设备接口协议。从时序上看，显示存储器既要与全局总线相连，又要与显示接口相连，两端的时钟域可以彼此独立，因此使

8、用双端口RAM作为存储阵列，不仅可以隔离不同时钟域，而且可以提高显示存储器的访存效率。在显示方案上，屏幕上的像素点分为两类：背景像素和轨迹像素。为了节约存储空间,处理器只需计算轨迹上当前所显示点的轨迹坐标，把坐标值按照扫描顺序存储在显存中。在600*800的显示屏上，每个象限需要300*400个点。一条轨迹上只有大约140150个点，这与通过单纯存储整个区域的300*400个点相比，不仅大大压缩了存储空间，而且简化了显示控制模块的设计，提高了设计效率。图3 显示控制模块主要电路结构图显示控制模块包含三个子模块：信号同步模块、控制模块以及像素产生模块。信号同步模块产生显示输出所需的同步信号，如水

9、平同步信号（hsync）、垂直同步信号（vsync）等。图3给出了主要同步信号和控制信号的电路结构图。图中的hsync、vsync受水平同步计数器(h_cnt)和垂直同步计数器(v_cnt)控制（图中虚线框部分所示）。将两个计数器值与预设的行、场同步前、后肩参数相比较，产生相应的行、场前后肩（h_synneg、h_synpos、v_synneg、v_synpos）信号以及行消隐前肩(h_blkneg)信号，最终通过图3所示逻辑产生水平、垂直同步信号。图3仅仅包含了水平、垂直同步两组信号的电路逻辑。除此之外，信号同步模块还需要产生消隐信号，其电路逻辑为：由水平同步计数器和垂直同步计数器产生行消隐

10、信号和场消隐信号，再把两个消隐信号逻辑相与则产生显示控制消隐信号。控制模块还产生显存地址信号从显存中读取坐标值，并与当前行、场计数器比较，如果二者匹配，则将匹配信号置高电平，否则置为低电平。如果匹配信号为高电平，则将相应的地址计数器加一，以产生下一个显存单元的地址。与此同时，像素产生模块也根据匹配信号决定当前像素值是轨迹色还是背景色。其中轨迹色采用白色（ffffff），四块背景色分别用ff00ff、8000ff、408080、ff8080对比较强的颜色。4、实验把上述MPSoC在AlteraEP2S180 FPGA上实现，编写轨迹运动程序，得到原型芯片，在系统上运行并输出显示结果。每条轨迹的基

11、本处理流程如下：首先根据轨迹的起始点计算一帧的轨迹显示点，然后根据显示扫描的先后顺序对轨迹点进行排列，并存入相应的显示区域，待显示完毕后继续对下一帧按照同样的方式进行处理。如此循环，直到所显示轨迹的起始点与初始点相同，则继续下一次轨迹计算。分别编写矩形轨迹、圆弧轨迹、半径轨迹以及弦轨迹的显示程序，在不同处理器上运行，用软硬件协同设计方式设计原型芯片如图4（a）、（b）所示。图4 面向显示的4核MPSoC原型芯片图4（a）为4核MPSoC原型芯片运行时照片。图中的主板为EP2S180开发板，风扇下是FPGA器件，4核MPSoC原型芯片固化在其中。图4（b）为运行时屏幕截图。整个原型芯片的运行频率

12、与显示屏像素频率相同，为38.25Mhz。从图中可以看出，显示程序在4个核上正常并行运行，运动轨迹按照预期设计显示在屏幕上，面向显示的原型芯片达到了预期的设计目标。表1 并行图像处理显示MPSoC资源表图5 各部分模块所占的面积比重原型芯片所用资源如表1所示。第一列为各模块名称，括号中为该模块的例化数目。第二、三、四列分别为所使用的组合逻辑、时序逻辑和存储器资源。为直观起见，把表中数据用面积比重的方式在图5中表示出来，图中的“数据总线”部分包含了总线桥、仲裁器和数据通道三个部分，“处理器”部分仅含处理器与本地存储器。可以看出，所用资源最多的模块为4个处理器。显示存储器紧随其后。这是由于显示控制

13、模块对显示存储器的特殊时序要求决定的。它要求在地址生成后的下一个时钟上升沿之前就将显示数据准备好。而在FPGA同步设计方案中，使用宏单元RAM的方式无法满足时序要求，因此只有大量使用组合逻辑和逻辑寄存器生成双端口RAM，才能达到要求。故显示存储器模块的组合逻辑达整个芯片的25，时序逻辑达63.5。而显示控制接口所占面积比重最少，组合逻辑和时序逻辑分别为整个芯片的0.32和0.14。5、结论本文在FPGA上实现了并行图像处理、显示的多核MPSoC原型芯片。以矩形、圆形、弦、弧等运动轨迹为实验载体做了动态演示。实验结果表明，该接口不仅可以动态显示所设计轨迹，而且所占面积比例较小，组合逻辑、时序逻辑

14、分别仅占整个芯片的0.32和0.14。参考文献1 Plarform 2015, Intel peocessor and platform Evaluation for the next decade. White book J, 2005.2 Wei Zhang, Gao-Ming Du, Yi Xu, Ming-LunGao, Luo Feng Geng, Bing Zhang, Zhao-Yu Jiang, Ming Hou, Yi-Hua Tang. Design of a Hierarchy-BusBased MPSoC on FPGA C. ICSICT 2006. Shanghai

15、. 2006:1966-19683 A. HEMANI, et al., Network on a chip: An architecture for billion transistor era C. Proc. Proceedings of the IEEE NorChip Conference., 2000: 166-173.4 L. Benini and G. De Micheli, Networks on chips: a new SoC paradigm J. Computer, 2002, 35(1): 70-78.5 Intel® Core2 Duo Proce

16、ssor EB/OL. specifications.htm.6 AMD Multi-Core Products EB/OL. 7 D. Pham et al. The design and implementation of a first-generation Cell processor C. IEEE ISSCC Dig. Tech. Papers, 2005: 184-185.8 Poonacha Kongetira, Kathirgamar Aingaran, Kunle Olukotu. Niagara: A 32-WayMultithreaded SPARC Processor

17、 J. IEEE Micro Magazine 2005: 21-29.9 J. Joshi, et al., Multi-core Image processing system using Network on Chip interconnect C. Proc. Circuits and Systems. 50th Midwest Symposium on, 2007: 1257-1260.10 C. Hilton and B. Nelson, PNoC: a flexible circuit-switched NoC for FPGA-based systems J. Computers and Digital Techniques, IEE Pro