四通道沉浸式投影融合互动系统

1、四通道沉浸式投影融合互动系统技术方案1.前言沉浸式虚拟现实提供参与者完全沉浸的体验，使用户有一种置身于虚拟世界之中的感觉。其明显的特点是：利用显示设备把用户的视觉、听觉封闭起来，产生虚拟视觉，同时，它利用数据手套把用户的手感通道封闭起来，产生虚拟触动感。系统采用识别器让参与者对系统主机下达操作命令，与此同时跟踪器的追踪，使系统达到尽可能的实时性。临境系统是真实环境替代的理想模型，它具有最新交互手段的虚拟环境。常见的沉浸式系统有：基于头盔式显示器的系统、投影式虚拟现实系统。沉浸式虚拟现实显示系统基于多通道视景同步技术、三维空间整形校正算法、立体显示技术的房间式可视协同环境，该系统可提供一个同房间

2、大小的四面（或六面）立方体投影显示空间，供多人参与，所有参与者均完全沉浸在一个被三维投影画面包围的高级虚拟仿真环境中，借助相应虚拟现实交互设备，从而获得一种身临其境的高分辨率三维立体视听影像和6自由度交互感受。由于投影面几能够覆盖用户的所有视野,所以沉浸式虚拟现实显示系统能提供给使用者一种前所未有的带有震撼性的身临其境的沉浸感。这种完全沉浸式的立体显示环境，为科学家带来了空前创新的思考模式。5 / 22'.多通道投影融合沉浸式虚拟现实系统采用边缘融合拼接系统是指整幅投影画面由不同的投影机投射通过软硬件的结合处理,画面拼接组成，每个单独的投影画面拼接中有着投影光线和画面内容的重叠部分，消

3、除光线重合部分的多余亮度，从而确保整幅画面上面没有任何接缝，亮度均匀一致，给观众完美的视觉冲击。（见下图）工控主机本方案中采用边缘融合大屏幕拼接。1.1 与单屏大屏幕相比，四通道投影融合沉浸式虚拟现实系统的优势1 .增加图像尺寸；画面的完整性：多台投影机拼接投射出来的画面一定比单台投影机投射出来的画面尺寸更大；鲜艳靓丽的画面，能带给人们不同凡响的视觉冲击，采用无缝边缘融合技术拼接而成的画面，要很大程度上保证了画面的完美性和色彩的一致性。2 .增加分辨率：每台投影机投射整幅图像的一部分，这样展现出的图像分辨率被提高了。例如，一台投影机的物理分辨率是1280X800,融合带为320个像素点后，四台

4、融合后图像的分辨率就变成了3840*800。3 .增加画面层次感：由于采用了边缘融合技术，画面的分辨率、亮度得到增强，同时配合高质量的投影屏幕，就可使得整个显示系统的画面层次感和表现力明显增强O1.2边缘融合大屏幕拼接的优势1 .在融合拼接中，由于采用融合处理技术，消除了光学缝隙，这样和普通硬拼接系统相比，在技术水平和显示效果上，就有了质的差异和提高，从而使显示的图像完全一致，无光学分割，保证了显示图像的完整性和美观性。2 .在融合拼接系统中，所有图像都经过融合处理器进行了校正和统一，这样在大屏幕上进行图像显示和切换时，无论切换什么格式的图像，整个屏幕的亮度、色彩、鲜艳度、均匀度都比较一致，不

5、会出现传统拼接系统中经常出现的由于信号更换而导致系统显示质量的变化。3 .在融合拼接系统中，由于在处理器中对投影显示图像进行了处理，可以对不同投影信号间的色差、亮差、均匀度进行调整，这也使得该系统显示的图像质量优于传统拼接系统。4 .边缘融合图像处理器除了具有边缘融合和图像多画面处理功能外，还具有图像存储和调用功能，可以把本身存储的高分辨率图像直接作为大屏幕系统的背景进行显示，这在实际使用中非常有实用价值。2 .项目概述本项目是四通道投影融合沉浸式显示系统，采用了4通道投影边缘融合360。显示，采用纯硬件图形处理技术，向参与者展示更加逼真的展示了图像文字内容。3 .设计依据3.1. 通用投影显

6、示设计依据3.1.1. 影响图像质量的因素人对图像质量的感觉是由许多相关因素结合起来决定的，尽管在显示系统中人们最重视的是亮度，但其它因素也严重影响着人们对图像的感觉。这些因素有对比度和分辨率，对比度决定了系统的动态范围，分辨率决定了系统显示细节的能力。3.2. 四通道投影融合沉浸式显示系统特殊设计要求1 .融合区的宽窄直接影响整幅画面的亮度和色彩均匀性，因此，融合区重合尺寸一般在6%到8%左右。2 .屏幕要保证其视觉上的“无缝”感，平整度高，均匀性好。3 .应选择宽视角、低增益的屏幕，以使获得较宽的整体水平和垂直观看视角，降低融合区的重合感。4 .投影机的选择应考虑其亮度和色彩均匀性、边缘几

7、何特性。5 .融合控制器的融合区范围可调整，具有对重合带的亮度和色彩羽化处理功能。6 .融合控制器能接收多路输入信号，信号可以窗口的方式显示，在整屏上任意漫游。3.3 四通道投影融合沉浸式显示系统的组成部分1 .图形工作站：四通道投影融合沉浸式显示系统所需的计算机系统具有很高的计算速度和图形处理能力。高性能图形工作站是虚拟现实和系统仿真的最佳计算机平台，不仅具有可扩性好、编程容易和计算能力强等优点,而且它的图形处理速度极快，具有多管道（Pipe）、多通道（Channel）图形输出能力。工作站的每个图形管道输出一个画面到一个投影面。2 .投影设备：在四通道投影融合沉浸式显示系统中，投影机分别接收

8、来自工作站的图形信号，然后把信号直接(或通过反射镜反射后)投影到沉浸系统的三个投影屏幕上，故整个视景系统一个的立方体结构。投影机不仅要求可靠性好，而且要求具有投影距离长、图形分辨率高、亮度高、水平和垂直方向具有一定的光学可调整性等性能。整个图象具有较高的完整性和清晰度。3 .跟踪系统：系统支持多种不同的跟踪系统，用于跟踪用户肢体动作，与投影面上图象的刷新频率同步。在这样一个沉浸式显示环境中，工程师与虚拟世界(包括场景、物体对象)可实现6自由度的实时交互，实现信息交流，辅助决策研究。3.4 四通道投影融合沉浸式显示系统的优越性能1 .沉浸感(Immersion):又称临场感，指用户感到作为主角存

9、在于模拟环境中的真实感受。2 .构想性(Imagination):所见即所得，指用户沉浸在多维信息空间中，依靠自己的感知和认知能力全方位获取知识，发挥主观能动性，寻求解答，形成新的概念。3 .交互性(Interaction),指参与者对虚拟环境内物体的可操作程度和从环境中得到反馈。4 .多感知性(Multi-Sensory):指除了一般计算机技术所具有的视觉之外，还有听觉、力觉、触觉、运动感等。5 .跟踪系统：用以确定参与者的头、手和身躯的位置；3.5 可扩展接口系统采用先进的全模块化设计，系统具有良好的可扩展性，并且易于维护。其模块更换、扩容简单快捷。接口系统主要用于对虚拟现实系统各种信息的

10、采集和控制，并且留有一定的扩展接口，以备将来进行控制系统开发、教学系统开发、视景系统以及相关技术等相关功能的开发和使用。4.四通道投影融合沉浸式显示系统设计方案投影系统：投影仪的投影面积更大、距离更远、光亮度很高，而且一般还支持多灯泡模式，能更好的应付大型多6/22'.变的安装环境，在办公、教育、展览展示、娱乐等领域都很适用。主机服务器：模拟计算机来运行软件及。服务器指一个管理资源并为用户提供服务的计算机软件，运行应用程序软件的计算机服务器在稳定性、安全性、性能等方面都要求高，投影幕投影幕作为一种能显著扩大观众视野的形式，随着科学技术的不断进步，为了使幕布装备简单化、轻便化。投影系统就

11、是采用多个投影系统组合而成的多通道显示系统，它比普通的标准投影系统具备更大的显示尺寸、更宽的视野、更多的显示内容、更高的显示分辨率以及更具冲击力和视觉效果。融合机数字图像融合机是无缝隙硬件融合显示设备；可对图形进行单像素几何校正、自动色彩校正、无痕边缘融合等综合处理，构建无缝统一、色彩均匀、无变形失真的画面，完美实现大屏显示领域应用。音箱音箱一般用作音响系统的主力，来完成系统声音效果。虚拟现实软件平台参与者互动教学的主体，承担互动交流与反馈任务。4.1 该系统必须具备的最基本技术条件：考虑到系统的稳定性，图像处理设备及边缘融合器采用全硬件构架技术，无CPU和操作系统，不需要操作系统支持，上电即

12、可工作，稳定性高，无病毒感染风险，启动时间小于20秒，多总线并行处理，处理功能强大；可24小时365天持续工作，随时断电不会对系统造成任何损伤该方式实现的大屏幕系统同样能实现以箱体拼接技术实现的大屏幕功能。实现各种图形、图像的任意选择、输出和放大，并可任意位置移动和任意组合，每一屏可单独显示，也可与相邻的几个屏组合显示一个图像，图像大小可任意缩放、漫游，能显示全局，也能局部特写。系统组成本系统的设备组成及各部分作用如下：投影机一一接收信号，投射图像屏幕成像融合控制设备一一接收原始信号源，产生图像重合区，输出融合信号。结构件一一固定投影机、屏幕信号交换与传输设备：计算机信号矩阵、视频信号矩阵、分

13、配、传输驱动设备、电缆等。信号源：视频、计算机系统功能多路视频信号、计算机信号显示画面可大小不同、位置互异地开窗显示在大屏幕上。多路计算机显示画面可通过切换矩阵按不同窗口布局显示到大屏幕上。大屏幕上的显示窗口可任意拖动、缩放、叠加、跨屏、漫游。系统特点采用高亮度、高分辨率的LCD投影机，可以获得明亮、细腻的图像可同时显示多路VGA信号和视频信号通过对投影机和融合控制器的调整，获得良好的亮度、色彩、几何特性。边缘融合控制器采用嵌纯硬件构架计，无需CPU内存和操作系统等计算机常规配件，处理速度极快,边缘融合控制器支持对所有视频窗口进行任意缩放、任意漫游和任意叠加。边缘融合控制器是硬件控制器，不需要

14、操作系统支持，上电即可工作，启动迅速，稳定性高。设备选择和介绍4.1.1投影机投影机采用日本松下FDW84CLK高清工程投影机NECPX700W+详细参数型号PX700W+投影方式1DLP芯片（0.65英寸，显示宽高比16:10）分辨率*11280x800像素(WXGA)镜头可选电动变焦和聚焦镜头移动+0.5V,+/-0.1H(NP07ZL,NP08ZL,NP09ZL,NP10ZL)+0.43V,+/-0.1H(NP31ZL)灯泡400瓦x2光亮度*2*37200流明对比度*3（全白：全黑）2100:1（动态模式）影像尺寸（对角线）40-500英寸输入2个RGB/组合（D-sub15针），5个

15、BNC连接器，1个支持HDCP的A型HDMI（19P,HDMI?连接器）1个支持HDCP的DisplayPort（20针连接器），1个S-视频（DIN4针），1个视频（BNC）,1个可选插槽输出1个RGB(D-Sub15针)控制串口1个控制串口端口槽（D-Sub9针）有限遥控1个立体声微型插孔有线局域网端口槽1个RJ-45端口方t(10BASE-T/100BASE-TX)无线局域网端口槽（可选）IEE802.11b/g/n（需要可选的USB无线LAN部件）USB1个A色彩还原10位信号处理（10.7亿色）（阅读器，网络：彩色，1670万色）模拟：VGA/SVGA/XGA+/WXGA/WXGA+

16、/SXGA/SXGA+/UXGA/WUXGA/480i/480P/兼容信号*4576i/576P/720p/1080i/1080pHDMI:VGA/SVGA/XGA/WGA/WXGA/SXGA/SXGA+/UXGA/WUXGA/480p/576p/720p/1080i/1080p水平分辨率540电视线：NTSC/NTSC4.43/PAL/PAL-M/PAL-N/PAL60300电视线：SECAM扫描率水平：15千赫兹至100千赫兹（RGB:24千赫兹或以上）垂直：48千赫兹至120千赫兹（HDMI:50赫兹至85赫兹）同步兼容分离同步/复合同步/绿色同步I电源要求200-240伏特，50/60

17、赫兹交流电输入电流5.2安培标准模式（双灯）931瓦功率标准模式（单灯）494瓦待电（省电）不足1瓦安装方位桌面/正投,桌面/背投，吊顶/正投，吊顶/背投尺寸504毫米（宽）x192毫米（高）x516毫米（深）（不包括突出部分）重量19.7千克（不包括镜头）环境|操作环境操作温度：0oc至40°c,（35oc至400c自动开启节能模式），20%至80%湿度（无结露）设计保存环境保存温度：-10oc至50°c,20%至80%湿度（无结露）符合规则ccc认证，符合GB4943;GB9254;GB17625.14.1.2 投影机支架和调整机构主要实现投影机的左右前后方向的精确移动

18、和俯仰调整等，要实现连续细腻的调节，保证投影机光束垂直屏幕且不产生失真（上下、左右梯形失真或混合失真）。是高质量图像拼接系统中的重要设备。屏幕的选购：屏幕材质与分辨率画面的分辨率直接影响到画面的清晰程度，不同的屏幕材料拥有不同的分辨率，各种透镜材料的屏幕不论从视角还是分辨率方面都会影响到画面的显示分辨率和清晰度。屏幕的增益及视角在以前的拼接投影系统中，由于受技术限制，投影机的亮度无法做到很高，所以为了增加投影亮度，对屏幕一般都要求比较高的增益率，但是这样会影响对比度和色彩细腻程度。如今投影技术的发展非常迅速，投影机的亮度已经不是问题，所以对投影幕的要求中，增益率就放在了比较低的位置，而主要考虑

19、屏幕的平整度、视角对比度和均匀度。投影屏幕的增益与视角是一对矛盾，屏幕的增益越大屏幕的视角就会越小，因此在大屏幕无缝拼接系统中对于屏幕增益的选择一致认为1.0（+/-0.5）可以获得更好的成像效果，这样可以保证即使观众站在边缘区域也很难看屏幕画面的融合部分，这样画面的整体均匀度更好。屏幕均匀度好的均匀性能够保证屏幕水平方向、垂直方向从0-180度观看时，画面亮度和色彩的一致性，屏幕的均匀性不但和投影机的投影技术息息相关，还和屏幕本身的材料有关，屏幕表面材料的均匀性对投影机的画面均匀性起到了良好的补充作用。屏幕的平整度完美的屏幕应无折痕和褶皱。超大无缝在满足用户对投影屏幕亮度高（增益高卜平整度好

20、、均匀性高的要求的同时，大屏幕无缝拼接系统中对于屏幕还要求足够大并且屏幕本身没有缝隙缺憾。显然，这个时候用拼接的屏幕将大大降低屏幕的效果，影响屏幕直观的视觉冲击。所以，整张无接缝的大屏幕更符合大屏拼接系统的需求。4.1.3 边缘融合和图像处理设备功能简介高性能多通道边缘融合机，边沿融合及非线性失真校正处理机，可方便获得无缝几何校正的剧场投影效果。输出信号：信号格式：模拟RGB或数字信号接口：DVI-I处理延迟：50us-12ms（典型为250线期）视觉无延迟。对任意通道曲面矫正、边缘融合。支持对任意通道进行颜色调整，解决投影偏色。支持多路信号输入，开多窗口。输入信号：支持VGA输入、视频输入、

21、HDMI输入,同时融合显示3路立体彳t号（6台投影组成的3通道立体系统）。纯硬件构架融合器为纯硬件构架，硬件核心为大规模FPGA阵列，系统属于纯硬件数据处理，没有运行Windows和Linux操作系统，不是一台方t算机，不需要CPU、内存、硬盘、光驱、显卡等常规计算机配件。系统采用模块化设计，模块数目随输入输出信号的多少而增减。纯硬件构架的控制器，它本身不是一台计算机而是一台专业的图像处理设备，和基于工控机的插卡式拼接器有本质区别。独创的FPGA硬件图形并行处理技术融合器的处理核心就是FPGA芯片阵列。系统具有高速信号处理技术，保证高分辨信号输入输出的实时处理，并且保证每一祯都能够实时的处理完

22、毕，输入与输出之间没有时间拖延。在多单元显示一路信号、一单元显示多路信号、多单元多信号漫游叠加等情况下，显示信号均无延迟。即便在所有输入信号都漫游叠加在一起的极限情况下，所有信号一样保持动态实时性。系统采用基于输入端口的信号并行处理技术，有效的增加了输入信号个数。系统通过芯片阵列，对高速图形数据流进行逐级处理，每一路信号输入都对应一列处理器。这样就相当于很多处理器同时工作，做到数据的并行处理，极大的提高了系统运算速度。有效的是用并行处理技术使得数据得到分散处理，没有了工控机单处理器的速度瓶颈，从而使得增加信号输入个数，并不增加系统的总体运算负担，这样系统就能够接纳多个高速信号。最新的基于LVD

23、S高速数字信号交换体系采用所有输入通道并行方式进入核心处理模块，每条总线使用4个高速LVDS信号，这与工控机边缘融合器的PIC总线有本质上的区别。普通工控机插卡式边缘融合器的PCI总线，基本结构是多个PCI插卡使用同一组总线，如下图所示，6个卡使用同一PCI总线，实际上进入核心处理器的数据只能是其中21 / 22'.的一个卡上的信号，PCI总线要分时复用。由于CPU核心处理器同一时间只能处理一个信号，速度缓慢。主忡口楹入藏也部分采用并行总线接入方式，就是说每个通道都有独自的总线接入核心处理系统。采用超高速LVDS进行信号传输。LVDS特点是信号传输速度快，LVDS信号速度为2.5G/S

24、,下图为BR-VP6000基本系统节构图。FP；港列；输入通道1 1(入逋通匚匚网;输出通道1 )接网理部分输出通道台下输出诵诵目I希出通道Z多通道并行总线结构及串行通信方式RGB信号实时并行处理融合器采用先进的高速数字信号多总线并行处理机制，系统给每一个输入，通道都分配独立的处理模块和数据总线，所有模块并行工作，系统对每个通道的处理速度是固定的，处理速度与通道数的多少无关，因此可实时处理多个VGA视频。目前，融合器能够在24个屏的投影系统上同时显示多达32路实时的RGB信号，所有信号的颜色深度均为24位，均能做到信号的不丢桢，无延迟。启动速度快融合器为纯硬件构架，启动过程快，开启后10秒开始

25、工作。硬件系统的启动等待时间是恒定的，不会随机器规模变大而启动时间增长。支持高分辨率输入信号融合器处理功能强大，可处理极高分辨率信号，同时可支持用户自定义的信号。而传统的工控插卡式拼接器无此功能。安全性、稳定性好融合器无操作系统，病毒无法感染；全并行工作，无系统整体崩溃危险；系统数据出厂前已固化，无法更改，意外断电不会造成数据丢失，控制器可经受频繁开关机。工控机插卡式拼接器所安装的软件操作系统存在安全性、稳定性的隐患。自动图像识别重建融合器具有信号自动识别重建功能。对系统中新接入的VGA信号，控制器不但能自动识别信号的分辨率与刷新频率，还能通过复杂运算，确定信号的位置偏移和相位误差，自动校准。

26、融合器能检测不同输入信号在幅度、相位、频率等方面的细微差别，并把这些差别作为信号的唯一标识，连同校准参数一起记录在案。当校准过的信号再次接入系统时，控制器无需对信号重新校准，而是自动套用参数，这就是控制器的信号自动识别重建功能，此功能极大方便了用户的使用。而工控机插卡式拼接器无此功能。强大的融合处理功能1.融合边带处理融合边带处理功能主要实现光学拼缝消融，融合器内置多种伽马渐变模式，同时也支持用户自定义模2.自动色彩均衡自动色彩均能可消除投影设备间的颜色和亮度差异，保证投出的大画面色彩均一、亮度一致。3.单像素几何校正单像素几何校正修正了投射图像的几何形状，保证了融合控制器能适应多种屏幕构型，

27、如平面构型、柱面构型、球面构型等，投射到幕上的画面无几何失真。5 .工程实施计划针对本次的项目实施，我公司将组建项目实施小组，按客户的要求和相应的设计方案，完成设备采购要求的伴随服务中的安装调试环节，实施过程采用项目管理方式进行管理和运作。在项目组成员的选择上，我公司会选择经验丰富的项目管理人员出任项目经理，并挑选各类资深认证工程师及商务、物流接口人组成专门的项目组。针对客户项目的设计和实施需求，安装实施项目大致可分为以下阶段。5.1 立项、启动和计划阶段控制过程主要完成以下工作：任命项目经理，召开项目启动会项目实施计划、项目流程管理规范、执行文档模板的撰写项目资源规划及落实建立顺畅的沟通渠道

28、和机制5.2 考察、咨询、方案设计阶段主要完成以下工作：客户安装现场环境考察客户需求沟通，并提供安装、调试及系统架构相关技术咨询项目实施技术方案撰写实施方案完善并提交客户审核提交现场环境需求书和整改建议5.3 跟踪阶段此阶段公司将指定专人进行跟踪。及时跟踪产品的各项环节，及时汇报进展程度和进度预期。项目组将对可能发生的延误风险进行及时的处理，以避免和缓解影响。5.4 实施准备阶段针对项目实施所用到的工具、设备、介质和其他资源进行检测，确保完好可用完成初步的实施、维护、使用及测试验收文档模板5.5 到货交付阶段完成货物运输流程协调人员进行现场货物交接和签收对交付中产生的问题进行记录，并尽快积极解

29、决，达到合同要求5.6 安装、调试阶段项目经理跟踪项目执行和服务质量监控相关现场人员对到场设备拆除包装上架对现场环境进行复查检测，已确认符合安装规范要求协同工作进行拓扑连接、上电验机按客户规划要求和实施方案指导进行硬件、软件安装调试项目组成员共同处理安装调试时发生的异常情况责任人对实施、维护、使用及测试验收文档进行最终的完善5.7 初验、监控阶段按照计划安排和认可的测试流程进行设备功能性测试对测试中遇到的问题和故障进行处理提交实施、维护、使用及测试验收文档在监控期安排工程师职守随时处理问题5.8 终验阶段进行最终产品配置功能测试完成验收主要环节对于实施、维护、使用及测试验收文档验证及及最后的修

30、正组织相关技术人员针对客户使用、维护等相关问题进行技术咨询解答客服人员对项目组成员工作进行客户回访和满意度调查项目经理对项目执行成本进度分析（内部）项目经理归纳整个项目的执行情况，进行项目总结5.9 设备维保服务阶段针对客户的维保服务，成立单独的项目运作小组，通过热线、远程技术支持和现场服务等手段及时满足客户的服务需求，保障设备良好运转。电话响应服务请求现场服务按合同条款提供维修备件客户回访阶，段性总结与沟通6 .售后服务承诺售后服务是为保证系统安全、可靠、高效的运作。系统安装完毕后，将以系统交给用户，使用户人员能够独立使用，并进行简单的故障诊断排除。我公司特提供了如下服务：6.1 咨询服务客

31、户使用过程中，出现故障或不正常现象随时通过电话或书面提出问题，我公司通过电话解决，电话解决不了时派人员到现场服务。6.2 维修服务 公司设有专门的维修售后服务部门为客户提供专业的技术服务。客户通过电话可以得到有效的服务支持。 除故障维修服务外，提供定期的保养使用情况，保证系统正常运行。公司对全部系统提供一年的免费保修服务。保修期外，提供长期的维护。远程服务：如果用户在我们技术人员指导下通过自己的操作仍然未能解决问题的，在客户授权的条件下，我们还可为客户提供远程服务。现场服务：当出现不能通过远程控制解决的问题，我们将提供技术人员的上门服务，现场解决问题。我方将提供维修及指导手册，内容包括： 设备安装说明 主要设备及配件的明细说明 维修及错误检查指示，包括日常维修细则 所推荐之备用零件及清洗剂 制造商指引，包括施工图纸等性质的印刷品。我方负责保持系统的正常运行和用户的正常使用，定期对系统进行调试和维修。我方为系统提供一年免费保修服务。在用户提出维修事项通知后72小时内到现场进行维修。不属保修范围的情况因不正常操作及人为或自然灾害引起的故障。 自行拆卸改变设备的结构及任何部分后造成的损坏。 非我方指定的专业技术人员指导安装而引起的故障。 对于以上人