远程沉浸式虚拟奥运博物馆关键技术研究

远程沉浸式虚拟奥运博物馆关键技术研究潘志庚浙江大学CAD&CG国家重点实验室引子我们实验室的研究方向图形图像声音动画几何信号都能处理媒体娱乐光照特征生物信息皆可计算虚拟现实与多多媒体研究室漫步虚拟环境脚踏实地探索游戏动画敢为人先浙江大学有关虚拟现实(VR)的研究机构CAD&CG国家重点实验室计算机学院机械系有关VR的项目:973863国家基金重点基金,面上项目欧盟科技计划省内项目虚拟现实的其他情况中国图象图形学会虚拟现实专业委员会挂靠单位国际虚拟现实期刊主编单位“虚拟现实及其在工业中的应用”国际会议的发起单位“寓教于乐”国际会议EDUTAINMENT的发起单位—项目背景和研究意义(1)在申奥时，提出建立“虚拟奥运博物馆”的计划[01年2月]在获得奥运会主办权后，把该项目列入行动计划[01年9月]

“虚拟奥运博物馆”是虚拟现实与数字博物馆技术的结合，它通过数字化和网络技术，介绍奥运历史、赛事等内容。图：位于瑞士洛桑的奥林匹克博物馆（外景）图：位于瑞士洛桑的奥林匹克博物馆（内部）—项目背景和研究意义(2)介绍奥运的历史、发展，让中国人更加了解奥运。充分展示中华古代体育文明，让世界更加了解中国。为科技奥运服务，促进一系列相关技术的发展与进步。图：洛桑奥林匹克博物馆中关于北京的介绍图：中国古代体育项目—马球二相关研究工作及存在的问题(1)

数字博物馆利用计算机技术，对博物馆中的展示对象进行数字化，可以从时间、空间上对实物展品进行延伸。

借助三维、全景摄影等现代化手段，观众可从不同角度欣赏观察展品。

数字博物馆还增加了观众的选择性，变“给你看什么就看什么”为“我想看什么就看什么”。数字博物馆已在国内外广泛应用。二相关研究工作及存在的问题(2)古代奥林匹克虚拟博物馆

[美国Dartmouth

College]奥运博物馆DVD/VCD[洛桑]现有系统的不足：以二维图片或视频形式展示的比较多。缺乏对运动项目的虚拟展示和仿真。系统的交互性不够。虚拟展品的绘制质量不高。有些系统是单机运行的。图：古代奥林匹克运动场教堂遗迹图：虚拟漫游系统二相关研究工作及存在的问题(2)虚拟奥运博物馆的功能它是一个大规模的分布式虚拟环境，支持奥运知识的介绍、用户对体育项目的体验、奥运场馆的虚拟漫游等。它是一个可以通过远程来访问的系统，支持多种接入设备，可以是PC机，也可以是像PDA或手机那样的移动设备。而对于不同的设备，需要考虑支持不同的交互模式和绘制精度。*考虑到系统要处理海量的多媒体数据，后台的计算平台可以是并行机、CLUSTER或网格环境。可以考虑利用网格计算方面的一些现成结果，重点解决大规模场景的漫游、图形的分布式并行绘制和多媒体数据的存储、检索和管理等关键问题。*为了达到项目提出的沉浸性和展示的效果，我们认为除了前面几种简单的接入设备外，将来还应该在北京配置支持沉浸感的大屏幕投影系统。三研究内容(1)建模与实时绘制技术数字博物馆的交互技术运动项目虚拟展示与虚拟人技术面向数字博物馆的数据存储与检索虚拟奥运博物馆原型系统建模与实时绘制技术几何和图像的多分辨率表示基于图像/视频的建模和绘制(3)实时绘制算法研究三

研究内容

(2)数字博物馆的交互技术基于虚拟化身的人-机交互协同交互技术远程交互和多平台接口三研究内容(3)运动项目虚拟展示与虚拟人技术虚拟人体建模及参数化技术运动控制技术(3)运动库的构建三研究内容(4)面向数字博物馆的数据存储与检索有效的多媒体数据存储结构基于网格环境的数据存储与管理(3)基于内容的检索（图像、视频检索）虚拟奥运博物馆原型系统基于网格环境的虚拟博物馆的体系结构(2)虚拟奥运场馆的漫游(3)体育运动相关游戏三研究内容(5)四关键问题与技术路线(1)虚拟环境的实时绘制技术虚拟奥运博物馆中的交互技术虚拟人运动控制及运动项目的逼真展示基于奥运特征的多媒体信息的高效存储与检索虚拟奥运博物馆的体系结构及原型系统的实现虚拟环境的实时绘制技术对复杂场景使用基于图像的绘制技术，包括全景图和基于单张照片的漫游；使用基于视频的绘制技术，合成任意视点的图象，满足交互和个性化需求；使用多细节层次模型和GPU的方法来加快绘制速度。虚拟奥运博物馆中的交互技术在系统中提供一个虚拟向导，她负责导引用户在虚拟环境中进行浏览，可以与虚拟化身（代表用户）进行交互。考虑到多个用户有时需要相互对话和讨论，将VRML技术与Java等其它技术结合，提高Internet环境下协同环境的交互性。四关键问题与技术路线(2)虚拟人运动控制及运动项目的逼真展示从多种数据源（三维扫描仪器、交互式造型工具、照片）建立人体模型；基于运动捕获数据的运动控制方法；建立运动信息库，并对运动项目进行模拟。基于奥运特征的多媒体信息的高效存储与检索作为现有博物馆的藏品，其描述是非常准确和充分的。因此，大部分信息检索需求可以通过对藏品标注的信息进行全文检索处理来服务。根据奥运媒体内容的特殊性，选择一套独特的特征集合，来完成基于内容的信息检索处理。四关键问题与技术路线(1)（5）虚拟奥运博物馆的体系结构及原型系统的实现综合利用原始录像资料、动画、多语言解说、互动点播等多种手段，以三条 线性内容(时间线、事件和人物线、文物和艺术品线)为观众进行展示。开发普适性的三维展厅生成工具，提供一种信息集成的手段，同时与页面、视频、声音、动画等其它媒体展现方式有机融合。利用Globus提供的网格支持提供自治的资源管理和任务调度机制；使用多种数据网格技术，开发适用于虚拟博物馆数据分布存储的数据网格中间件。考虑到不同系统的带宽以及登录设备的特性（如屏幕大小，分辨率，计算速度等），需要支持特定于设备类型的远程交互机制。四关键问题与技术路线(1)五特色和创新之处基于视频的任意视点的场景漫游。系统允许用户从多个视点观看比赛场景，增加用户对比赛的体验。运动项目的逼真展示。基于虚拟人及其运动控制技术，对多种运动项目进行交互式的虚拟展示。支持多平台的接入设备。在使用PC平台时，为了增加虚拟奥运场景的真实感，提供基于GPU的实时阴影生成。友好的用户界面和交互性。Avatar使得界面人性化，交互更具亲切感