资料教案成果讲稿a

1、及其发展1，(100876)增强现实装配宋，邮电大学自动化学院，：sjz2008摘 要： 增强现实装配技术是增强现实技术在设计与领域的重要应用之一，已引起工业界和研究机构越来越广泛的重视。分析了增强现实装配装技术的国外研究现状，对增强现实装配中虚实对象的相互作用机制、深度感知、碰撞感知等进行了综述；在此；指出了目前增基础上，给出了一个增强现实装配系统的体系结构及其相关技术的实现强装配技术研究中的问题以及其发展方向。： 装配；增强现实；碰撞检测；深度感知号：TP391.7; TP391.91引言利用虚拟环境进行装配，可以使用户以模拟实际装配操作的方式建立的装配序列和装配路径，经过可视化和可感知的

2、评价分析，得到合理、适用的装配工艺。然而，完全基于3D环境的纯虚拟装配系统，缺少直接的感觉反馈通道，只能给用户以有限的“现实”体验，同时需要消耗大量的计算资源，难以适应复杂装配等环境下的复杂建模、实时交互等要求，混合真实物体（如物理样机、零件、工具等）与虚拟设计对象的增强装配技术则能避免上述问题。增强现实装配技术为用户提供了一个虚实对象相互融合的混合现实界面，人们可以同时与真实物体和虚拟物体交互，大大提高了其对周围真实环境的直接感知。在增强环境中，设计者可以利用已有的物理样机，只对需要更改设计的零件进行虚拟设计和评价，同时避免了装配工作空间、可变形物体等难以完全定义的复杂对象的虚拟建模，从而实

3、现的快速研发。它所具有的“虚”、“实”结合的特点，在数字化设计、装配规划、维修等应用领域极具发展潜力。，目前学术界对增强现实装配系统的研究还处于起步阶段1。对增强现实装配环境的研究，目前大多直接采用虚拟装配系统中以单一碰撞检测为中心的响应、集中处理的系统运行机制2,3，大量的研究工作主要集中在增强现实环境下的虚实等基本问题上4-6，对增强现实装配应用研究中的虚实物体相互作用机制与等新问题的研究较少。基于碰撞检测的集中响应处理机制，它根据虚拟环境中的来激活虚拟对象的行为代码，其算法复杂度高，且系统无法理解人的交互意图，环境感知能力较弱。而且还可能由于设计参数的不当导致整个装配过程无法进行下去或因

4、装配场景的高度复杂性使系统的运行无法达到实时7。此外，在增强现实环境下，真实物体与虚拟物体的碰撞感知、深度计算与遮挡判定等也都是增强现实装配环境系统需要解决的关键共性问题8 9。本文首先对增强现实装配装技术的国外研究现状进行了简要的分析,然后对增强现实装配中虚实对象的相互作用机制、深度感知、碰撞感知等进行了综述；并在此基础上，给出了一个增强现实装配系统的体系结构及其相关技术的实现，最后指出了增强装配的不足及其发展方向。2国内外研究现状分析增强现实装配是增强现实技术的典型应用之一，其中有最有代表性的研究工作之一是波1本课题得到高等学校博士学科点专项科研基金（项目编号：200800131026）的

5、资助。-1-音公司的机上接线器和缆线的增强现实装配系统10。近年来，新加坡国立大学、芬兰 VTT技术研究中心、德国 Fraunhofer IGD 计算机图形学院等究。新加坡国立大学 Y.Pang 和 A.Y.C.Nee 等人研究开发了一个面向装配设计、评价的增强也展开了增强现实装配环境的研的增强现实技术，将真实零件和来自 CAD 环境的现实环境系统。该系统采用基于虚拟对象到一个统一的环境中进行装配规划。系统提供了基于数据手套等交互对虚拟对象进行选择和操作的功能，采用了基于碰撞检测机制对装配过程进行，装配过程设计有约束引导，零件的最终精确定位利用“虚拟磁力”来实现。但目前该系统还没有深入研究解决

6、增强装配环境中虚实对象之间的碰撞检测与反馈等相互作用问题1。芬兰 VTT 技术研究中心在增强现实应用基础方面展开了深入研究，Charles Woodward教授等人在 2006 年 1 月专门设立了一个关装配的项目“AugAsse”，其主要目标即是研究利用增强现实技术提高装配工作的效率(见图 1)。图 1 利用动力单元增强拖拉机附件的装配在他们最近开发的一个增强现实装配工作演示系统中，系统主要研究了基于标志点的注册跟踪技术、增强装配环境下的手势和语音等多通道交互输入技术，以及如何利用虚拟物体和可视化装配指导 为装配工作提供帮助，但并没有考虑虚实物体如何相互交互11。德国 Fraunhofer

7、IGD 计算机图形学院先后展开了 ARVIKA 项目12和 ARTESAS 项目13的研究，这两个项目主要研究增强现实技术在开发、生产和维修服务等方面的应用。他们目前致力于研究基于工业的直线特征等进行无标志虚实物体，并在此技术基础上研究如何为装配师实时地提供与正在被装配对象相关联的上下文敏感的装配辅助，提高装配工作的正确性与效率，从而使汽车、飞机等复杂的装配过程更加高效、优化。在国内，作为虚拟现实技术的延伸，增强现实的研究也越来越成为热点，有代表性的研头盔显示器及数字圆明园项目14, 作系统15，华中科技大学的基等17，以及最近由浙江大学牵头、究理工大学研制的航空航天大学机现实的车间布 航空航

8、天大学、联合承担的 973器人研究所基现实的局系统16、增强现实数控四川大学、科学院研究所、大连海事大学、浙江工商大学等项目“混合现实的理论和”，邮电大学承担的 863 项目“基于双路视觉的研究”等。此外，哈尔滨工业大学、上海交通大学、作增强现实理工大学等单位也进行了增强现实技术在不同应用领域的探索性研究工作，并取得了一批研究成果1819。但是,目前国内在增强现实装配方面的应用研究还较少。从上述分析可以看出，界对增强现实装配环境系统的研究还处于初始阶段，大-2-多数的研究工作还集中于虚实等增强现实基础问题的解决上，对增强装配技术的应用还停留在提供装配辅助等简单应用上，现有增强装配环境的运行还主

9、要基于碰撞检测和事件响应，缺乏感知机制和感知能力，无法理解人的交互意图。对增强现实装配环境应用中的关键共性问题，如虚实对象、虚拟对象或真实物体之间的相互作用机制、碰撞检测、遮挡深度感知等问题还没有进行深入的研究，目前只有少数学者对这些问题作了初步的研究，下面分别对其研究状况论述如下。2.1 增强现实装配环境中的感知机制装配环境的目标一是设计验证，二是装配工艺的自动生成，要完成这两个任务，首先是要使系统能进行方便的 3D 操作，其次应使得装配场景中具有丰富的工程语义。目前多种直接交互的应用，丰富了人机交互的，但人很难使用这些进行空间精确定位，导致装配过程中人的操作负荷和认知负荷繁重。降低这些负荷

10、，构造一种人机和谐的装配环境系统是装配的一项重要任务。装配场景高度的复杂性集中表现在装配对象的结构复杂以及对装配操作的精确要求上，由于人在空间位置精确计算方面能力不足，而计算机具有极其强大的计算能力，因此要构建人机和谐的装配环境系统，就必须合理分担人机认知负荷，强化装配环境的感知能力20。目前已有的装配环境系统主要采用碰撞检测21、接近感知22、触觉反馈23等作为辅助装配。虽然碰撞检测是装配环境中的一种重要感知过程，但由于装配场景高度复杂，单纯基于碰撞检测的装配环境系统往往很难满足实时性需求。因此，建立装配环境系统的感知机制对解决增强现实环境中虚实对象的复杂交互、碰撞检测等问题非常必要。关于这

11、方面的问题，国内研究者装配原型系统中结合虚拟装配环境下的感知机制进行了构造研究，并在其开发的虚拟箱的装配过程进行了实验验证，取得了很运行效果20。但由现实装配环境中同时着虚拟物体和真实物体两种对象，这种完全基于虚拟对象之间的感知机制和研究。并不适用现实装配，对该问题的解决还需要进一步专门展开深入2.2 虚实对象遮挡的深度感知在基于的增强装配环境系统中，利用摄像机捕捉真实装配场景图像，将其和计算机生成的虚拟物体通过各种配准算法，并最终显示在头盔显示器上。这种增强现实系统相对廉价，因而应用较广，但这种系统大多数只是简单地将虚拟物体叠加在真实场景图像上，造成了虚拟对象一直遮挡真实对象的情形24。这种

12、错误的遮挡，不仅会给长时间执行装配任务的使用者造成眼疲劳和因视觉错乱引起的病，更会引起用户在装配操作过程的感官方向迷失和空间位置感错乱，给装配操作带来严重的错误。因此，它是增强现实装配系统中必须解决的一个重要问题。，仅靠真实场景图像只能获取稀疏、非确定和整的,这给实时的遮挡处理带来了极大的。研究虚实对象遮挡的深度感知，实现准确、快速地求解出真实物体的深度，是解决增强装配环境中虚实对象遮挡问题的关键。在国外，Yokoya 等人研究利用视觉来计算真实场景图像上物体的深度，然后。由于深度根据深度以及观察者的视点位置来解决真实物体和虚拟物体之间的遮挡求解的计算量大，因而求解只局限于绘制虚拟物体所在的区

13、域内25。Lepetit 等人提出了一种根据真实物体的轮廓来估计深度的，但是由于不同视角下真实物体的轮廓不同,该不能应用于视角变化的装配应用系统中26。Edward 等人则从心理学角度出发，以自-3-我中心深度感知理论为依据建立了距离和深度的线性27。在国内，理工大学等人根据匹配求出了场景图像的稠密深度图，虚实物体的遮挡根据它准确得出，为加快深度图的求解速度,他们利相机极线约束线性校正对左右图像进行校正，将匹配点的搜索范围从二维降至了一维，减少了计算量，提高了精度28。浙江大学、等人采用视觉方式来求解真实物体的深度，他们采用非线性误差扩散核相结合,提高并加快了物体前景轮廓模型提高了对极几何的求

14、解精度，将全局和局部线的提取精度和速度。这种仅用轮廓线上的点进行匹配的，加快了真实物体深度反求的速度，取得了很效果24。但要将这些虚实物体遮挡的深度求解用现实装配应用，还需要进行大量的研究工作，例如需要开发一整套增强装配感知机制支持下的虚实物体遮挡的深度感知算法，以及研究如何提取并利用装配等。的几何特征加快轮廓线检测2.3 虚实对象间的碰撞感知目前国内外学者对虚拟环境中虚拟对象之间的碰撞检测已进行了较为深入的研究，提出了空间分解法和层次包围盒法等主流碰撞检测算法。但在增强现实环境中，除了虚拟对象之间的碰撞问题，更常见的是虚实对象之间的碰撞感知问题。D.Aliaga 曾提出了一种基于真实物体几何

15、模型的虚实对象碰撞检测，该先通过 CAD 建模等获得真实物体的几何模型，并将它与真实物体的图像进行配准，然后用其几何模型作为替代与虚拟物体进行碰撞检测29。虽然利用基于模型的，可将虚实物体间的碰撞检测问题转换成传统的虚拟物体间的碰撞检测问题来解决，但是这种有较大的局限，因为在很多情况下真实物体的 CAD 模型难以获得或者有些物体难以完全定义和建模（如电缆、弹簧、管路等可变形柔性零件）。与基于模型的不同，David E. Breen 等人提出了一种基于深度图的虚实物体碰撞感知算法，该先通过相机获得真实物体的视点相关深度图，然后将虚拟物体也变换到相机坐标系，最后通过比较两者的 Z 值来进行碰撞检测

16、30。实际上，在装配过程中，由于装配过程的复杂性和随意性，装配中的碰撞检测算法除了要具有实时性以外，还需考虑模型表达对碰撞检测的影响。目前虚拟现实系统中的碰撞检测算法大多多边形面片模型，而多边形面片模型在模型表达上仅是一种近似，这种近似虽然能够满足视觉显示的需要，但给碰撞检测带来很大的麻烦。例如，圆柱等半径的圆柱轴时，会检测到轴孔之间发生碰撞（由于多边形表达中圆柱面已近似地表达为棱柱面），这就导致等半径的轴孔在虚拟环境中无法进行装配。因此，基于装配的的碰撞检测不仅要能实时、精确地虚拟物体间是否发生碰撞，同时还要对实际发生区域，根据零部件之间的几何约束配合，进行精确的剔除21。因此，采用单一的检

17、测往往难以满足装配系统的性能要求31。研究在装配感知机制的支持下,基于多视角图像重构真实物体的可见外壳（Visual Hull），并以之与虚拟对象进行碰撞判别计算，解决可变形真实物体在内的各种虚实对象间的碰撞问题,将是一种行之有效的。该可以避免在整个装配场景中遍历每一个模型，只在到达装配位置时进行相应的碰撞感知。3系统体系结构及相关技术的实现在上述有现实装配系统及其的综合分析基础上,本文提出一种基于虚实对感知机制的增强现实装配系统运行环境,其体系结构如图 2 所示。-4-在图 2 中，已有的无需重新设计的真实部件通过双目视觉后与新设计的CAD 零件模型经过虚实头盔等交互、显示后融合在增强装配场

18、景中。用户可以通过六度鼠标、与增强装配环境进行交互。整个增强现实装配环境系统的运行采用基于用户的交互以及虚实对象的相互感知机制来驱动。根据多 Agent 的思想，将系统划分为子装配体 Agent、场景管理 Agent、深度感知 Agent、碰撞感知 Agent、特征 Agent 和一个图 2 增强现实装配系统的体系结构用于装配情景动态转换描述的 Petri 网。各个 Agent 相互协调，并且基于对装配情景 Petri 网的推理，感知用户的交互意图，做出相应的装配操作响应，供装配规划、装配可行性评价及装配特征的设计修改等。（1）虚实对象的感知机制构造对增强现实装配环境中的各种对象进行和定义，对

19、具有环境主动感知能力和行为选择、执行能力的子装配体等智能体对象，采用基于 Agent 的建模进行定义和描述，建立虚实对象获得彼此状态和属性的行为机制。在此基础上，融入装配工艺过程知识，通过对交互装配过程的时序逻辑进行抽象分析，依据装配情景转换过程，建立装配情景转换推理的层次对象 Petri 网模型，最后通过推理规则库来实现对用户交互意图及装配场景变化的感知，并做出行为选择。（2）基于装配情景感知的虚实对象深度感知采用基于融合的增强装配环境系统，通过特征提取、匹配自动获取装配环境中虚实物体的深度，来解决装配场景中的虚实遮挡问题。基于装载到 HMD 上的双路立体视觉，采用基于装配情景感知的场景图像

20、背景剔除算法。根据装配情景及其转换，可-5-能发生遮挡的虚实物体及其遮挡范围，对左右图像，结合对装配情景的感知，利用局部颜色直方图进行场景图像的背景剔除处理；基于机械几何特征提取和对极约束匹配进行深度反求。提取装配对象上的直线、椭圆弧线等基本几何特征进行轮廓线重构，根据轮廓线上的匹配点对，利用匹配误差最小化优化模型进行对极约束求解，通过反求空间点获得对象物体的深度。具体实现流程如图 3 所示。图 3 虚实对象的深度感知（3）基于装配过程理解的虚实物体碰撞感知首先，通过视觉提取、用户交互、以及从 CAD 设计中提取等获取并建立的装配特征。然后基于对装配情景的转换推理，随着装配过程的进行，依次进行

21、装配特征之间的匹配感知、零件的约束感知以及装配特征间的配合定位感知；当装配特征到达配合位置时，调用虚实物体碰撞检测模块，并利用可视化符号、声音、颜色、点光源等进行碰撞响应表现以及碰撞穿透的计算恢复。虚实物体之间的碰撞检测过程如图 4 所示。多视角图像获取 体积，体的可见外壳内可见外壳生成图 4 虚实物体之间的碰撞检测-6-碰撞响应表现投影锥壳求交对虚拟物体的每个三角面片，其是否在真实物图像分割，提取真实物体的2D像素图集(S(Oi)在上述碰撞求解过程中，可利用图形卡的纹理和模板缓存功能进一步体积的求解。此外，在虚实对象碰撞求解过程中，采用基于图像的可见外壳（Image basedVisual

22、Hull， IBVH）生成算法，利用真实物体的可见外壳与虚拟对象进行碰撞求解，从而避免重构真实物体的三维模型。这种，计算量较小，特别适合于动态装配场景。4的不足及今后的发展方向增强现实装配技术作为增强现实技术在设计与领域的具体应用，其发展在很大程度上受制处。现实技术的发展。当然，增强现实装配技术自身也一些不足和有待发展之（1）当前的增强现实装配技术大多集中在为装配操作过程提供可视化指导或进行装配工作空间的布局等层面。而为装配过程提供碰撞检测和响应、深度及遮挡判定等无疑更加有助于装配过程和评价。（2）目前在增强现实装配中，只注重研究真实物体对虚拟物体的单向交互作用，虚拟物体如何影响真实物体以及虚

23、实物体间的相互感知机制与一个有趣而重要的研究方向。，实际上更是将来的（3）如何利用机械的高级几何特征（如平面、椭圆、孔、槽等）、拓扑以及轮廓线的重构等加快图像对的匹配速度和精度，从而提高基于的增强现实场景的虚实融合水平，也是一个重要的研究方向。已有基于角点、端点、的特征匹配往往会因装配场景中特征点检测的质量和数量的不造成误匹配。参考文献1Y.Pang, A.Y.C.Nee, Kamal Youce-Toumi, et al. Assembly Design and Evaluation in an Augmented Reality EnvironmenC. Singapore-MIT All

24、iance Symposium, 2005.01, Singapore23,. 虚拟装配中基于相对位置的碰撞检测J. 计算机应用, 2006, 26(1):103-105,等. 虚拟装配环境下快速碰撞检测的研究J. 系统学报, 2005, 17(9):2167-21704 M.L. Yuan, S.K. Ong, and A.Y.C. Nee. Registration Using Natural Features for augmented Reality SystemsJ.IEEE Tranions on Visualization and Computer Graphics, 2006,

25、 12(4):569-5805 Bernd Schwald, Blandine Laval. An Augmented Reality System for Training and Assistance to Maintenance in the Industrial ContextJ. Journal of WSCG, 2003, 11(1)6 Harald Wuset, Didier Stricker. Tracking of Industrial Objects by using CAD M Reality and Broadcasting. 2007, 4(1)sJ. Journal

26、 of Virtual7. 虚拟装配中感知机制构造J.学报, 2002, 13(12):2324-23308 Wang, X., et al. Rapidly Incorporating Real Objects for Evaluation of Engineering Designs in a Mixed Reality EnvironmentC. “New Directions of 3D IU” Workshop of IEEE Virtual Reality,20059 Ronald Azuma, Yohan Baillot, Reinhold Behringer, et al. R

27、ecent Advances in Augmented RealityJ. IEEE Computer Graphics and Applications, 2001, 21(6): 31-4710 Barfield W., Caudell T. Fundamental of Wearable Computers and Augmented RealityM. Lawrence Erlbaum Associates, Publishers, 2001, 447-47111 Tapio Salone, et al. Demonstration of Assembly Work Using Aug

28、mented RealityC. CIVR07, Amsterdam,The Netherlands, 2007,7: 120-12312 Wolfgang Friedrich. ARVIKA Augmented Reality for Development, Production, and Service. 2003R13 Fraunhofer Institute for Computer Graphics IGDR. Achievements and Results Annul Report 2005.14 林 倞, 1146-1151,等. 基于图像匹配的户外环境算法J.图像图形学报,

29、2005.9, Vol.10, No.9,15,苗,等. 基现实的作系统研究J. 系统学报,2004.5,Vol.16,No.5,943-94616,陈幼平,胡广华,.基现实的车间布局系统的设计与开发J. 机械与，2007(1),PP64-6717,陈幼平.增强现实数控中虚拟技术研究J.机械与，2007（4），p7-10-7-18413-419,. 基于约束的虚拟装配技术研究J. 计算机集成系统, 2006, 12(3):19 夏平均, 2007,43(4)：44-51,. 基于虚拟现实和仿生算法的装配序列优化J. 机械工程学报,2021. 虚拟装配中面贴合感知构造研究J. 计算机研究与发展,

30、 2002, 39(10): 1331-1336,. 基于虚拟装配的碰撞检测算法研究与实现J. 系统学报, 2004, 16(8)：1775-177822 Lennart E Fahlen, Gharles Grant Brown, Olov Stahl et al . A Space based m for user Interaction in Shared Synthetic EnvironmentsC. In Inter. CHI93. Amsterdam: ACM Press, 1993, 24-2923 Peter J Berkelman, Ralph L Hollis, Davi

31、d Baraff. Interaction with a Real-time dynamic Environment Simulation Using a Magnetic Leviation Haptic Interface DeviceC. The 1999 IEEE Inter. Conference. Robotics & Automation, Detroit, Michigan, 1999241624-1628. 用视觉计算实现增强现实遮挡处理J. 计算机辅助设计与图形学学报, 2007, 19(12)：25 Yokoya N, Takemura H, Okuma T, e

32、t al. Stereo Vision BasedSee-through Mixed RealityC.Proceedings of the 1st International Symposia on Mixed Reality, Yokohama, 1999: 85-9426 Lepetit V, Berger M O. A Semi-automatic Method for Resolving Occlusion in Augmented RealityC. Proceedings of IEEE Conference on Computer Vision and Pattern Reco

33、gnition, Hilton Head Island, South California, 2000: 2225-223027 Edward Swan II J, Livingston M A, Smallman H S, et al1. A Perceptual Matching Technique for Depth Judgments in Optical See-through Augmented RealityC. Proceedings of IEEE Virtual Reality Conference, Alexandria, Virginia, 2006: 19-2628,

34、等. 增强现实系统中的深度检测技术研究J. 计算机应用, 2006 , 26 (1) : 132-13729 D. Aliaga. Virtual and Real Object Collisions in a Merged EnvironmentC. Virtual Reality Software &Technology (Proc. VRST '94), Singapore, 1994: 287-298.30 David E. Breen, Eric Rose, Ross T. Whitaker. Interactive Occlusion and Collision of Real and Virtual Objects in Augmented RealityR. Technical report ECRC-9