虚拟现实技术之VR的计算体系结构

虚拟现实技术讲课老师：王洪群whq_lanzhou@163.com1虚拟现实技术之VR的计算体系结构第1页第四章VR计算体系结构绘制流水线基于PC图形体系结构基于工作站体系结构分布式VR体系结构2虚拟现实技术之VR的计算体系结构第2页一、“VR引擎”在VR中所处位置对象建模：几何结构、表面纹理、智能行为、以及硬度、惯性、表现塑性等物理建模开发平台，编程软件包：比如：WorldToolKit和Java3DVR引擎“VR引擎”：是任何VR系统关键部分，它从输入设备中读取数据，访问与任务相关数据库，执行任务要求实时计算，从而实时更新虚拟世界状态，并把结果反馈给输出显示设备。这个术语是一个抽象，从单个计算机到支持给定仿真经过网络互联在一起多个计算机。3虚拟现实技术之VR的计算体系结构第3页绘制流水线“绘制”普通是指把组成虚拟世界展示出来。比如：把三维几何模型转变成二维场景，也包含其它模态，如触觉反馈绘制流水线：指是把绘制过程划分成几个阶段，并把它们指派给不一样硬件资源。图形绘制流水线触觉绘制流水线OpenGL图形绘制流水线三个阶段GE—GeometryEnginesRU—RasterizerUnits4虚拟现实技术之VR的计算体系结构第4页（1）应用程序阶段：由CPU经过软件方法完成。目标：读取虚拟世界几何数据库和来自鼠标、跟踪球、跟踪器或传感手套用户输入。响应用户输入和任务。（2）几何处理阶段：经过软件和硬件两种渠道来实现。模型变换光照变换场景投影剪裁映射（3）光栅化阶段：通常由硬件方法完成。目标：把几何处理阶段输出顶点信息（比如颜色和纹理）转换成视频显示器需要象素信息。经过应用软件所产生图像被分成为两大类，即矢量图形和位图图像。光栅化是将一个图元转变为一个二维图像过程。二维图像上每个点都包含了颜色、深度和纹理数据。将该点和相关信息叫做一个片元（fragment）。确定最正确迫近图形象素集合，并用指定颜色和灰度设置象素过程称为图形扫描转换或光栅化。

5虚拟现实技术之VR的计算体系结构第5页反走样(antialiasing)在光栅显示器上显示图形时，直线段或图形边界或多或少会呈锯齿状。原因是图形信号是连续，而在光栅显示系统中，用来表示图形却是一个个离散象素。这种用离散量表示连续量引发失真现象称之为走样(aliasing)；用于降低或消除这种效果技术称为反走样(antialiasing)。光栅图形走样现象除了阶梯状边界外，还有图形细节失真(图形中那些比象素更窄细节变宽)，狭小图形遗失等现象。惯用反走样方法主要有：提升分辨率、区域采样和加权区域采样。反走样处理后图象质量效果对比6虚拟现实技术之VR的计算体系结构第6页绘制流水线举例HPVisualizefx卡流水线体系结构浮点数据整数数据象素格式7虚拟现实技术之VR的计算体系结构第7页理想流水线输出与真实流水线输出关于场景复杂度函数对比理想流水线输出HP9000流水线输出流水线瓶颈CPU－限制变换－限制填充－限制因为应用程序阶段出现瓶颈瓶颈出现在几何处理阶段瓶颈出现在光栅化阶段8虚拟现实技术之VR的计算体系结构第8页图形流水线优化当出现瓶颈后，需要采取某种办法降低重复处理过程中瓶颈，这些办法就称为流水线优化。CPU－限制（1）高速CPU取代低速CPU（2）降低场景复杂度，比如降低多边形数目，采取低分辨率模型（3）优化仿真软件，如经过编程技巧，用低精度变量，降低除法数目13万个多边形1000个多边形9虚拟现实技术之VR的计算体系结构第9页图形流水线优化变换－限制（1）降低仿真中虚拟光源数目（2）采取简单明暗处理模式Phone光照模型反射光表面向量(单点光源)环境光光强度物体表面对环境光慢反射系数观察者看到波长为光强度对象慢反射颜色大气衰减因子波长为点光源强度(多点光源)对点光源漫反射系数镜面反射系数镜面反射颜色（3）采取简单表面多边形类型10虚拟现实技术之VR的计算体系结构第10页图形流水线优化变换－限制（1）降低仿真中虚拟光源数目（2）采取简单明暗处理模式Gouraud明暗处理模型双线性光强插值是由Gouraud于1971年提出，又被称为Gouraud明暗处理，它先计算物体表面多边形各顶点光强，然后用双线性插值，求出多边形内部区域中各点光强。

它基本算法描述以下:a)计算多边形顶点平均法向。b)用Phong光照明模型计算顶点平均光强。c)插值计算离散边上各点光强。d)插值计算多边形内域中各点光强。双线性光强插值公式（3）采取简单表面多边形类型11虚拟现实技术之VR的计算体系结构第11页图形流水线优化面片明暗处理人腿骨模型变换－限制（1）降低仿真中虚拟光源数目（2）采取简单明暗处理模式面片明暗处理Gouraud明暗处理（3）采取简单表面多边形类型12虚拟现实技术之VR的计算体系结构第12页图形流水线优化填充－限制（1）降低显示窗口尺寸（2）降低显示窗口分辨率碰撞阶段触觉绘制流水线CPU1CPUn计算力力平滑力映射触觉纹理用户输入触觉接口力计算阶段触觉计算阶段主要是从数据库中加载三维对象物理特征，包含表面柔性、光滑度、重量和表面温度等，执行碰撞检测基于各种物理仿真模型计算触点压力。还有力平滑和力映射。绘制触觉纹理，主要是绘制仿真过程接触反馈分量。13虚拟现实技术之VR的计算体系结构第13页二、基于PC图形体系结构PC机VR引擎14虚拟现实技术之VR的计算体系结构第14页VRTeachingLaboratory使用基于PCVR引擎15虚拟现实技术之VR的计算体系结构第15页PC图形加速卡IBMGT1000几何处理芯片IBMRC1000光栅处理芯片活动眼睛同时器、数字显示、模拟RGB视频ATIFireGL2最大16个光源27M无纹理Gouraud明暗处理多边形每秒410M个象素200M个纹理象素1280×1024下100Hz刷新率ATIFireGL2ElsaGloriaIIIxBox16虚拟现实技术之VR的计算体系结构第16页PC图形加速卡ATIFireGL2ElsaGloriaIIIxBoxElsaGloriaIIIGPU—geometryprocessorunit31M无纹理Gouraud明暗处理多边形每秒1000M个象素M个纹理象素1280×1024下120Hz刷新率NVIDIA250MHzGEForce217虚拟现实技术之VR的计算体系结构第17页PC图形加速卡ATIFireGL2ElsaGloriaIIIxBoxxBox游戏平台可编程流水线125M纹理Gouraud明暗处理多边形每秒1000M个象素NVIDIA300MHzGEForce3UMA－unifiedmemoryarchitechture18虚拟现实技术之VR的计算体系结构第18页图形基准测试非营利性组织标准性能评定企业(StandardPerformanceEvaluation.Co,简称SPEC)开发了基准测试程序：viewperf。Viewperf有标准虚拟世界或应用程序组成。Viewperf6.1.2版提供了六个虚拟世界或应用程序viewset,测试：（1）AdvancedVisualizer:动画应用程序，包含11个测试；（2）DesignReview:三维计算机模型检验软件包，5个测试；（3）DataExplore:可视化应用程序，10个测试；（4）Lightscape:辐射度可视化应用程序，包含4个测试；（5）MechanicalCAD：MCAD设计应用程序，12测试；（6）Pro/Designer:ProCDRS工业设计应用程序，包含10个测试。研究令人信服基准测试程序也是一个研究方向19虚拟现实技术之VR的计算体系结构第19页四、基于工作站体系结构世界主流工作站制造商SunMicrosystems企业Hewlett－Packard企业SiliconGraphics企业（SGI）工作站－－多处理器体系结构SunBlade1000工作站UltraPortArchitecture,简称UPAViewperf基准测试得分比PC图形卡低20虚拟现实技术之VR的计算体系结构第20页SGIInfiniteReality体系结构每秒可绘制860,000个Gouraud明暗处理纹理多边形HIP－－HostInterfaceProcessorDMA－－直接存放器存取方式图象被分片并行绘制显示列表高速缓存对InfiniteReality绘制能力影响－－－速度提升6倍21虚拟现实技术之VR的计算体系结构第21页四、分布式VR体系结构“分布式VR引擎”：是指使用两个或多个绘制流水线VR引擎。这些流水线能够执行图形或触觉计算，能够位于一台计算机中，也能够位于多台协作计算机中，或者位于集成在一个仿真系统中多台远程计算机中。22虚拟现实技术之VR的计算体系结构第22页多流水线同时需要同时原因若缺乏垂直扫描方式上同时，因为磁场干扰，造成图象闪烁。对于降低系统延时、建立一致刷新率，从而降低仿真病同时方法（1）软件同时法，在并行流水线应用程序阶段，让其都开始新一帧。（2）帧缓冲器交换同时。（3）帧视频同时。23虚拟现实技术之VR的计算体系结构第23页多流水线同时软件软件和帧缓冲器交换软件、帧缓冲器和视频24虚拟现实技术之VR的计算体系结构第24页多流水线同时Genlock和multiview同时交换同时Genlock能够重置PC机内部视频电路25虚拟现实技术之VR的计算体系结构第25页图形和触觉流水线同时联合定位绘制流水线“联合定位绘制流水线系统”：是由一台带有多流水线图形加速卡计算机，或者并排放置计算机（每台指定一个不一样绘制流水线），或者是它们任意组合。多流水线图形卡WildcatII511026虚拟现实技术之VR的计算体系结构第26页联合定位绘制流水线双流水线体系结构不需要genlock(同时锁相)和外部multiview电缆图形卡中最快27虚拟现实技术之VR的计算体系结构第27页PC集群使用一台PC机问题PC机AGP插槽有限，wildcat占两个插槽共享AGP总线时，总线阻塞，吞吐量变小32台绘制服务器4台控制服务器用于平铺视觉显示ChromiumPC集群控制服务器，对OpenGL命令进行8位编码分块划分查表解码28虚拟现实技术之VR的计算体系结构第28页PC集群WireGL通信模式与广播通讯模式下帧刷新率与集群PC数目关系比较只有绘制服务器状态与网络缓冲区中数据不一样时，控制服务器才给其发送29虚拟现实技术之VR的计算体系结构第29页四、分布式虚拟环境“分布式虚拟环境”：是指它驻留在两台或两台以上网络计算机上，这些计算机共享整个仿真计算负荷。分布式虚拟环境使得远程计算机能够访问和参加仿真，两个或多个用户共享一个分布式VR，用户之间能够合作和协作。“合作(collaborate)”：是指他们依次执行给定仿真任务，在某一时刻只有一个用户与给定虚拟对象交互。“协作(cooperate)”：是指他们同时与给定虚拟对象交互。确定分布式虚拟环境网络类型应该考虑主要原因：（1）用户行为；（2）交互多模态（图形、语音和触觉）；（3）用户数目；（4）出现通讯故障时仿真抗毁性；（5）能忍受延迟级别；（6）通信可靠性和可量测性等。设计分布式虚拟环境两个主要问题就是：网络类型和带宽