国家自然科学基金重点项目

国家自然科学基金重点项目目录项目总报告石教英课题组总结项目总报告一、项目概况二、项目研究背景、目标与内容三、项目成果统计四、四年来研究工作主要成果概述石教英课题组总结一、基于图像的建模（IBM）技术二、基于图像的绘制（IBR）技术三、基于预计算及采样的实时高真实感图 像的绘制技术四、统一数字几何处理框架研究一、项目概况项目名称：

虚拟现实中基于图像的建模和绘制项目负责人：

石教英，浙江大学项目承担单位和学术领导人：浙江大学石教英教授和彭群生教授，中科院自动化所胡占义研究员，软件研究所吴恩华研究员起止年月：2001年1月至2004年12月资助金额：110.00万元四年已到款金额：110.00万元经费结余金额：4万元二、研究背景，目标与内容(1)项目的研究背景虚拟现实(VR)技术是信息领域的前沿，对视觉建模和绘制的真实感和实时性有很高的要求计算机图形学面临的两大挑战：高度真实感，实时性IBMR（基于图像的建模和绘制）是1990年代初提出的新兴研究方向，鲜明特点：具有高度真实感和较好的实时性缺乏几何信息二、研究背景，目标与内容(2)TraditionalComputerGraphicsInput:Geometry,MaterialProperties(Color,Reflectance,…etc.),Lighting.TransformationandRasterization.ComputerVisionmethodstorecovermodels.Transform(&Lighting)Rasterization二、研究背景，目标与内容(3)TopLevelSurvey3DGraphicsImage-BasedRendering&ModelingGeometryorSurfaceBasedRendering&ModelingSle-BasedGraphicsVolumeRendering二、研究背景，目标与内容(4)二、研究背景，目标与内容(5)WhyIBR?Problemsoftriangle-basedgraphics:Alwaysstartsfromscratch.Millionsofsub-pixeltriangles.GeometryIBRModelingDifficultEasyComplexity#triangles#pixelsFidelitySyntheticAcquired二、研究背景，目标与内容(6)项目的研究目标采用基于图像的建模技术来替代传统的建模，以及采用图像空间变换操作来替代传统的图形绘制过程，试图解决VR建模复杂度，绘制速度及绘制质量等相互制约的矛盾研究IBMR的基础理论和算法二、研究背景，目标与内容(7)项目的研究内容基于图像的三维场景表示及漫游基于像素采样点的光照属性和表面几何重建虚拟景物与现实场景画面的无缝合成IBMR采样图像的实时、高效压缩和存取IBMR场景图像采样方法和技术优化实现一个在CAVE环境下的IBMR实时漫游系统三、项目成果统计(1)四年来已发表论文统计说明：论文数量较多，质量较高；国际著名期刊论文达13篇（未包括已录用论文数）论文的年平均数也可看出四位学术带头人的平均产出，达31篇年度国际期刊国际会议国内一级学报小计SCIEIISTP20010515201134200231222374172200369153071592004492538792总计133577125195417年平均3.258.7519.25314.7513.54.75三、项目成果统计(2)2.人才培养统计 毕业博士生23名年均培养毕业博士生5.75名 毕业硕士生14名年均培养毕业硕士生3.5名 博士生平均发表论文125篇/23名=5篇四、四年来研究工作主要成果概述(1)1、杰出成果简介 本项目推动了我国计算机图形学与计算机视觉两个学科的交叉研究，取得了一批瞩目的成果。四、四年来研究工作主要成果概述(2)1、杰出成果简介（1）在摄像机外参数标定的PnP问题上纠正了前人一直认为的基于距离的PnP问题和基于变换PnP问题相互等价的错误结论；深入研究了PnP多解的几何分布问题。在摄像机自标定这一国际研究热点问题上，证明了对变参数摄像机仅仅知道平移运动不足以达到仿射重建，纠正了存在于学术界长达十余年的错误结论；提出多种基于主动视觉的摄像机自标定理论和算法，包括新的线性摄像机自标定方法和基于射影重建的摄像机自标定方法等。有多篇论文发表在IEEETrans.PAMI，PatternRecognitionLetters,ImageandVisionComputing及国内一级学报上。四、四年来研究工作主要成果概述(3)1、杰出成果简介（2）国际上首次解决了基于（深度）图像自动重建基于点与平面混合表示模型的复杂虚拟场景的技术难题，提出一系列创新算法有：能自动地将庞杂输入数据划分为点与平面模型的像素分类算法；基于Jacobi矩阵的采样密度比较算法；重建平面的空洞分析和预填补算法；针对基于点表达的物体的局部重建和重采样算法以及针对点面混合表达的实时漫游算法等。该项工作作为KluwerAcademic出版社于2004年1月出版的“IntegratedImageandGraphicsTechnologies”专著的一章发表，是一项国际领先水平的成果。四、四年来研究工作主要成果概述(4)1、杰出成果简介（3）提出了一个统一的数字几何处理框架，解决了将网格模型参数化到球面（或平面）的全局参数化的方法。在该框架下，所有成熟的数字图象处理技术都可以运用于3D几何数据处理上。论文也为后续应用研究奠定了理论基础。该项工作进一步促进了计算机图形学和图像处理两个学科在表示和处理层次上的交叉和融合。应用统一的数字几何处理框架，提出了曲面滤波处理方法，我们的主要贡献在于提出了两步法球面参数化方法。有关论文发表在国际著名期刊ComputerAidedDesign以及国内计算机学报英文版等期刊上。四、四年来研究工作主要成果概述(5)1、杰出成果简介（4）基于预计算及采样的实时高真实感图像的绘制技术提出了一种球面光辐射传输映射的新绘制方法。已有的预计算光辐射传输函数方法局限于单个物体或静态场景的绘制。我们提出一种处理包含动态场景的预计算方法,可以高效地绘制环境光源下动态场景中的软阴影和相互反射。另外还提出了一种称为光照相关纹理的新绘制方法——光照相关纹理技术。这是一种基于采样的实时高真实感图像绘制技术，是基于图像绘制技术的新发展。相关论文发表在ComputerGraphicsForum和Computers&Graphics等国际著名期刊上。四、四年来研究工作主要成果概述(6)1、杰出成果简介（5）提出了基于相关系数的多源图像最优融合方法和线性最优融合方法，并证明了两者的等价性，改进了计算的时空复杂性。考虑人类视觉对图像局部区域的敏感程度，提出了一种新的基于人类视觉系统（HVS）的小波图像融合新算法，大大改善了图像融合的结果。有关论文发表在国内一级学报上。四、四年来研究工作主要成果概述(7)1、杰出成果简介（6）开发了多个具有较高应用前景的基于图像建模和绘制的原型系统，如基于序列图像的建筑场景建模原型系统（SIBM），基于图像绘制的胡雪岩故居及灵隐寺景观漫游原型系统等。四、四年来研究工作主要成果概述(8)2、完成情况概述1）计划任务书上所列6项研究内容都作了相关研究，并取得相应的结果（参见历年年度进展报告），但是各项内容完成质量是不平衡的。作为本项目的基础，即第1，2两项内容取得了较多和较高水平的成果。这部分成果可以看作为本项目的代表性成果。2）完成多个具有重要应用前景的IBMR原型系统。3）本项目在完成原定研究计划外，还新增了几项与图象、视频以及真实感图形实时绘制等方面相关的研究内容，也取得较高水平的结果。3、四位学术带头人总结报告四、四年来研究工作主要成果概述(9)

石教英课题组总结报告1、基于图像的建模（IBM）技术2、基于图像的绘制（IBR）技术3、基于预计算及采样的实时高真实感图像的绘制技术4、统一数字几何处理框架研究1、基于图像的建模（IBM）技术主要贡献论文[文1]提出了一种强壮的特征点匹配算法。论文提出了基于硬几何约束的“匹配强度”概念，可减少匹配歧义性，同时提出了一种扩展指派算法用于全局优化，可达到最终消除匹配歧义问题。论文还改进了Harris特征点提取算法，增强对噪声的扼制能力。特征点匹配是计算机视觉的一项重要研究内容，具有重要应用价值，特别在基于图象建模方向上更是一个基础性工作，本文算法为下步基于图象建模工作打下了扎实基础。四、四年来研究工作主要成果概述(10)

石教英课题组总结报告四、四年来研究工作主要成果概述(11)

石教英课题组总结报告四、四年来研究工作主要成果概述(12)

石教英课题组总结报告四、四年来研究工作主要成果概述(13)

石教英课题组总结报告1、基于图像的建模（IBM）技术主要贡献论文[文72，73，74]针对建筑物模型的规则性，提出一种基于平面的建筑物模型重建算法，包括相机定标，基平面提取，平面位置和方向计算等子过程，最后通过交互操作指明场景中各平面之间的相互关系，递归求解各平面位置和法向，达到根据图像重建建筑物场景表面模型的目的。四、四年来研究工作主要成果概述(14)

石教英课题组总结报告基于序列图像建筑场景建模软件原型系统（SIBM）SIBM系统功能模块

采样图像重建模型

四、四年来研究工作主要成果概述(15)

石教英课题组总结报告2、基于图像的绘制（IBR）技术主要贡献提出了一种新的基于图像的场景表示方法：平面狭缝图像场，以及一种称为深度狭缝图像全景拼图的新方法，形成一种新的基于图像的绘制方法，可实时生成具有高真实感的漫游场景。四、四年来研究工作主要成果概述(16)

石教英课题组总结报告2、基于图像的绘制（IBR）技术主要贡献论文[会28,29]是对著名的“画中游”(Tourintopicture-TIP)技术的一种改进，提出了TIP建模中相对深度的新概念，应用相对深度概念可以方便地定义参考图象的位置，从而可以方便地构建TIP的模型。论文给出了单灭点TIP和双灭点TIP相对深度的计算方法。实验证明本文方法的可行性和正确性。四、四年来研究工作主要成果概述(17)

石教英课题组总结报告

胡雪岩故居及灵隐景区漫游系统界面（点击左图进入视频演示）四、四年来研究工作主要成果概述(18)

石教英课题组总结报告3、基于预计算及采样的实时高真实感图像的绘制技术主要贡献论文[文8]提出了一种球面光辐射传输映射的新绘制方法。球面光辐射传输映射是一种预计算的光辐射传输函数技术，该技术用于实时的全局光照绘制。已有的预计算的光辐射传输函数方法局限于单个物体或静态场景的绘制。我们提出一种处理包含动态场景的预计算方法。球面光辐射传输映射技术可以高效地绘制环境光源下动态场景中地软阴影和相互反射。

DEMO1

DEMO2四、四年来研究工作主要成果概述(19)

石教英课题组总结报告3、基于预计算及采样的实时高真实感图像的绘制技术主要贡献论文[文9]提出了一种称为光照相关纹理的新绘制方法——光照相关纹理技术。利用这一技术，可以将真实材料表面的三维纹理移植到虚拟模型上，在环境光的照射下，进行实时绘制。这是一种基于采样的实时高真实感图像绘制技术，是基于图像绘制技术的新发展。

DEMO四、四年来研究工作主要成果概述(20)

石教英课题组总结报告4、统一数字几何处理框架研究主要贡献论文[文33]提出了一个统一的数字几何处理框架，即提出了将网格模型参数化到球面（或平面）的全局参数化方法。在论文的框架下，所有成熟的数字图象处理技术都可以运用于3D几何数据处理上。论文也为后续应用研究奠定了理论基础。四、四年来研究工作主要成果