虚拟校园增强现实可视化技术研究

错误!未找到引用源。 世界坐标系：即真实场景坐标系，用来描述真实世界物体的位置和姿态。设空间中一点在世界坐标系中位置为（X,Y,Z）该点在摄像机的摄影下成像为点（x，y）。 理想屏幕坐标系：摄像机对现实世界物体进行数字化采集，使用的数字图像里的坐标系，其平面与摄像机光轴垂直。 摄像机坐标系：视频采集设备内部的坐标系，摄像机坐标系与理想屏幕坐标系的转换关系一般由视频采集设备内部的参数决定。 世界坐标系下的点与摄像机中投影点的像素坐标关系如下：mxy1=f10q其中，f1、f2、p、q和m为摄像机内参，可由摄像机标定求解，R、T为摄像机外参，即摄像机在世界坐标系中的位置和姿态，可估算。第四章增强现实显示设备和交互方式4.1增强现实显示设备和显示技术目前增强现实系统的显示技术主要有头盔显示器、投影式（显示技术）、可穿戴显示器、普通显示器。头盔显示器：即在头盔中安装显示设备，用户穿戴头盔，头盔内含有各种传感器和震动装置，头盔随着用户头部移动而移动，使用户更加有沉浸式体验。可以实时跟踪眼睛和头部的位置，从而计算虚拟物体或场景与眼睛和头部的空间相对位置，将其叠加在现实世界显示，达到增强现实的效果。投影式显示技术：利用光学成像系统将虚拟图像投在屏幕上显示，例如电影放映、幻灯片等、全息影像。克服了头盔显示范围有限的问题，投影可以显示范围更广更加细致的图像，增强用户的体验。普通显示器：包括液晶显示、手机屏幕显示。随着智能手机和移动互联网的发展，目前手机的增强显示应用占据了很大一部分市场。增强现实也逐渐由桌面端转换到手持移动端。可穿戴显示器：用户穿戴在身上，可以进行显示、追踪和交互的设备，如数字眼镜，这些设备上一般有陀螺仪、GPS等各种传感器。目前最火的增强现实的可穿戴显示设备主要是头戴式的眼镜，但是其价格昂贵且技术不是十分成熟。例如2018年很火的MagicLeap公司的首款定价2295美元AR产品“MagicLeapOne”包括谷歌在内的各大公司为其注资23亿美元，该装置由可穿戴计算机、连线、触摸控制装置，以及头戴装置组成，号称摆脱了PC机的束缚可全身心拥抱大自然（目前仍以室内应用为主）。其圆盘状可穿戴计算机内置6核英伟达“Parker”处理器，集成帕斯卡级别GPU;板载8GB内存，128GB闪存。但是该装置仍需改进，其头部和眼球跟踪仍不可靠，画面与背景的重合度仍需调整。图3-4MagicLeapOne（来源：MagicLeap） 2019年微软在世界移动大会上正式发布HoloLens2混合现实设备，搭载了高通骁龙850处理器，包含全新的全息处理单元（HPU）和人工智能协处理器，将在今年发售，定价更贵，为3500美元，其主要卖给工人，不是给消费者使用，主要是给一线工人设计的，方便那些很难将电脑或智能手机融入日常工作的工人设计的。4.2AR设备交互方式 用户与增强现实进行交互的途径主要有两种：裸手操作和语音控制。在未来的实际应用场景中，AR头部显示器作为一个移动设备，使用一个额外的控制设备会显得比较不实用、不方便。而手势操作和语音控制都不涉及额外的控制器。裸手操作已经出现很多年，技术比较成熟，在增强现实的应用中很多公司将其作为主要的技术方向。包括很多的游戏机都含有体感控制器，增强玩家的游戏体验。裸手操作包含两部分，第一部分是手势跟踪，通过计算机视觉的方式精确的追踪用户的双手位置和手部的姿态。反应到交互上就是用户在不佩戴任何设备的情况下，将手作为控制器来使用，例如直接用空手去点击空间中的虚拟对象。这当然是很困难的，需要计算机视觉建立起对于用户手部姿态的空间重建，并且判断手的位置是否与渲染出来的虚拟对象有接触，然后触发相应的事件。第二部分是对手势的理解，这需要在手势跟踪的基础上理解用户手势的含义：例如手掌往左往右挥动就是左右滑翻页操作,OK手势就是确定。第一部分中手势跟踪技术上的最大限制就是精度问题，交互最重要的就是要得到反馈，例如，用手指头触碰虚拟物体，就需要计算机视觉非常精确的判断这个触碰是否成立。如果计算机判断失误就会导致误操作。让用户得到错误的反馈，从而影响用户的交互体验。第二部分的难度更高，把手势跟踪比作“看到”用户的手势，那么手势理解就是“看懂”用户的手势。这就需要考虑到人工智能，通过人工智能和图像识别来看懂千变万化的手势。手势操作还有几个问题，例如手势的隐喻，各种手势代表什么意思，如何规定统一的手势操作规范，这需要大量的时间来普及，建立起手势的隐喻。手势还有高能耗问题，能广泛应用的交互手段大部分都是低能耗的。语音交互也很大程度上与手势交互相似，语音识别是人工智能中的一方面的应用，目前技术比较成熟。但是仍不够智能。在AR方面跟技术关系不大，主要是场景的问题，在很多场景语音控制可能并不适用，例如AR的一个方面应用是游戏娱乐，而这些娱乐场所都很嘈杂，语音交互就可能失效。在一些场合也不是发声，比如剧场、图书馆等。未来的AR交互设备会包括以下特性：（1）拥有按钮，可以点击，但是不必太复杂。（2）拥有触摸屏，何以利用手指进行交互操作。（3）拥有震动反馈。（4）拥有标记，能让AR设备对其在三维空间中进行六自由度的定位有惯性传感器（6）有一定的接触感应，可以获得手指的状态，能跟踪手指的状态和力度。

第五章虚拟校园增强现实可视化系统的实现5.1总体技术流程5.1.1技术流程图图5-1增强现实应用系统技术流程图5.2开发环境介绍5.2.1Unity3D 为什么要选择unity3D作为构建增强现实应用的平台，因为该软件下载安装很简单，而且市面上很多的游戏以及AR应用都是基于这款引擎开发的，这款引擎十分成熟，配套的学习视频、脚本API以及各种学习资料十分完善，在很多学习网站上都可以找到学习资料，这款软件有免费学习版和企业版，而且免费版不限时，十分适合初学者和从业者使用。还支持Vuforia插件。全英文界面可能是该软件的一项难点，学习起来有些困难。要注意的是下载安装unity时要勾选支持Vuforia插件，如果采用别的开发方式，如采用ARCore开发方式就勾选ARCore，本文采用的是Unity3D+Vuforia的方式来进行开发的。图4-1unity官网下载个人版unityUnity新建一个项目时在“Template(模板)”选择框要勾选“3D”这个选项。Unity的初始界面如上图右边所示，Unity采用的是组件式开发模式，左侧为当前场景的所含物体的目录树，中间上半部分是场景、资源商店、游戏和动画视图，可来回切换，下半部分是该项目所包含的资源包以及各类数据、脚本、预制体，可以导入新的资源，也可以导出。右侧为组件视图，可以通过为某个物体添加组件的形式来进行开发，例如给某个人物添加一个脚本组件并对其编程来控制人物行走。建立一个AR应用，通常包括以下几个基础部分：ARCamera、Imagetarget（标识图）、虚拟模型、挂载的组件。5.2.2Vuforia为什么要选择Vuforia这个AR开发工具包，首先是因为这款开发包学习难度较ARToolkit小，没有很多涉及底层算法的编程需要，而且Vuforia直接以插件的形式完美支持了Unity，在导入Vuforia的数据库时直接在网上下载并拖拽进unity的资源栏就可以成功导入，十分简捷方便。在Unity的官网上可以找到基于Vuforia开发的AR应用的小例子，便于初学者进行学习。而且Vuforia免费功能强大，是当前AR应用开发的热门工具包。5.2.3Sketchup Sketchp是一套直接面向设计方案创作过程的设计工具，它的界面简洁方便用户短期内掌握，适用范围广，方便的推拉功能，通过一个图形就可以方便的生成3D几何体，不需要复杂的三维建模，google于2006年收购Sketchup及其开发公司。本文的模型均由SketchUp建模，该软件较3DMax操作更简单，而且也方便将模型导入Unity3D中。5.2.4C#脚本语言 Unity用的编译器是C#的跨平台开源编译器mono，而且是unity更改过的mono，这个编译器是给予C#.net2.0的语法的，但是由于unity的更改，使得它也支持了一些.net3.5的语法。C#脚本语言的跨平台性能更好。5.3详细开发步骤5.3.1创建AR系统所需的基本组件ARCamera和ImageTarget首先要删除新建的unity项目中左边目录树中的Maincamera（因为为了防止与ARCamera冲突，ARCamera中有实现AR 应用的组件和挂载的脚本，MainCamera没有，MainCamera主要用充当开发游戏的摄像头，不适合AR应用，所以删除），然后点击主菜单栏GameObject->VuforiaEngine->ARCamera新建一个ARCamera，这个时候unity会提示VuforiaEngine导入提示，点击Import导入，看到左侧出现ARCamera。图4-2VuforiaEngine导入点击GameObject->VuforiaEngine->Image,创建一个标识图，unity会提示你是否导入默认数据库，如果你还没下载Vuforia官网上的自己制作的标识图数据资源包就可以点击导入默认的数据资源，就会出现默认资源，会看到默认的标识图，如果只是制作一个简单的DEMO,就可以将这个标识图照片下载打印出来，实现一个简单事例应用。接下来将如何制作Vuforia的标识图。进入Vuforia的官网，注册一个账号并登录，点击上边的Develop然后点击GetDevelopmentKey,获得一个开发者密钥,等会要用。图4-3Vuforia注册登录获取密钥在TargetManager中点击AddDatabase，创建一个存放标识图的数据库。点进你的数据库，上传标识图图片，也可以是自己制作的，或者直接在一张图里面截取的局部标识，Vuforia支持4种标识类型，SingleImage(单张图片、Cuboid（长方体）、Cylinder（圆柱体）、3DObject（3D模型物体）。本文使用的是单张标识图类型。然后服务器会对你上传的图像进行特征点提取，以便后续的图像识别。下图右图中的小的黄色“＋”号即为标识图的特征点，Augmentable后的评星即为标识图打分，满星5个。标识图选取应该尽量选择具有高对比度、丰富的细节、棱角分明和没有重复元素的图片，尽量不要选择对称图形。识别图必须是8位或者24位的PNG或者JPG图片。JPG文件必须是RGB无灰度（非灰色），最大支持文件2.25M。图4-4上传标识图图片并由服务器提取特征点点击主菜单栏File->BuildSettings该对话框左下角的PlayerSettings中勾选VuforiaAugmentedReality以此来激活ARCamera中的VuforiaBehaviour组件，并点击该组件中的打开VuforiaEngineConfiguration按钮进入配置界面，将第（3）步获得的密钥复制粘贴到配置界面中的AppLicenseKey这一项中。配置界面中部的MaxSimultaneousTrackedimages和MaxSimultaneousTrackedobjects就是同时能追踪识别的图片或物体数量，可以自己设置任意大小，与电脑性能有关。图4-5ARCamera配置界面下载标识物数据库并导入unity中。将下载的Database的unity包拖拽到unity界面下Assets（资源）目录下。点击import导入。图4-6下载database资源包并导入unity点击GameObject创建一个三维物体立方体。然后将其拖拽到左侧标识图子目录下，根据两者坐标位置不同，在场景视图里拖拽该立方体位于标识图正上面尽量与其贴合。点击屏幕上方的播放按钮，在游戏视图里就能看到程序运行的界面，调用了电脑的摄像头来捕捉画面，当捕捉到你的标识图照片与你下载的标识图数据库里的图片进行匹配，匹配成功就能将虚拟物体叠加在你的标识图上。这样一个小的AR的DEMO就完成了。图4-7AR小事例Sketchup建模并导入unity在SketchUp中建立校园的三维模型并导出为FBX文件格式存放。因为SketchUp相对3Dmax简单比较适合初学者，只需要简单学习就能建模，SketchUp的模型要导入Unity必须转换为FBX文件格式才能导入。图Sketchup中建立的三维模型图4-8导入unity中的三维模型导入LeanTouch的资源包，并添加各交互组件在unity中进入AssetStore（资源商店）搜索LeanTouch，下载导入这个资源包，在左侧目录树下右键新建Lean->Touch。然后给每个你上一步建立的空物体添加三个Lean的组件，这三个组件分别是：LeanTranslate、LeanRotate、LeanScale。这几个组件分别用来实现用户与虚拟模型的移动、旋转、放大缩小的交互操作，这是在移动端通过手指的手势操作来实现的。图4-10导入LeanTouch手势资源包旋转主要代码： protectedvirtualvoidRotate(floattwistDegrees) { varcamera=LeanTouch.GetCamera(Camera,gameObject); if(camera!=null) {// varaxis=transform.InverseTransformDirection(camera.transform.forward); transform.rotation*=Quaternion.AngleAxis(twistDegrees,axis); } }移动主要代码：protectedvirtualvoidTranslate(Vector2screenDelta) { //确认相机的存在 varcamera=LeanTouch.GetCamera(Camera,gameObject); if(camera!=null) { //要移动的物体在屏幕的位置 varscreenPoint=camera.WorldToScreenPoint(transform.position); //添加增加的位置 screenPoint+=(Vector3)screenDelta; //转换到世界坐标系 transform.position=camera.ScreenToWorldPoint(screenPoint); } }放大缩小主要代码：protectedvirtualvoidScale(Vector3scale) { if(ScaleClamp==true) { scale.x=Mathf.Clamp(scale.x,ScaleMin.x,ScaleMax.x); scale.y=Mathf.Clamp(scale.y,ScaleMin.y,ScaleMax.y); scale.z=Mathf.Clamp(scale.z,ScaleMin.z,ScaleMax.z); } transform.localScale=scale; }导入手机端接下来介绍如何将unity的程序导入手机终端实现调用手机摄像头扫描标识图来实现增强现实应用。因为手机摄像头比电脑摄像头的像素高很多，所以对标识图的图像识别更有帮助，识别也更精准。点击File->BuildSettings->PlayerSettings->OtherSettings,这里面有几个必要项要设置好，Identification下的PackageName必须按照其要求填写，如果不符合要求，点build时会提示这里的错误。还要将AndroidTVCompatibility这一项的勾选去掉。其他一些无关紧要的设置例如图标设置，可以不用设置，系统会用默认的unity的图标和载入界面。在ScenesInBuild栏目中看到有别的场景将其删除后点击AddOpenScenes添加当前场景进去，左下角的平台根据你的移动终端选择IOS或者Android，本文移动端用的是安卓系统，选择Android,点击Build，等待一会，生成APK文件，将其发送给手机端安装运行，就可以运行手机端的增强现实应用了。图4-11导入手机端图4-12手机端截图手机端的摄像头不能自动对焦，需要对ARCamera添加控制脚本使其能自动对焦，否则，手机端的系统只能捕捉第一时间对准的焦距，就不能调整焦距了。首先给ARCamera添加一个C#脚本组件，然后将下面这段代码加入进去运行之后，手机里的这个应用就能根据与图像的距离自动调整焦距。publicclassCameraMode:MonoBehaviour{//StartiscalledbeforethefirstframeupdatevoidStart(){VuforiaARController.Instance.RegisterVuforiaStartedCallback(OnVuforiaStarted);VuforiaARController.Instance.RegisterOnPauseCallback(OnPaused);}//UpdateiscalledonceperframevoidUpdate(){}privatevoidOnVuforiaStarted(){CameraDevice.Instance.SetFocusMode(CameraDevice.FocusMode.FOCUS_MODE_CONTINUOUSAUTO);}privatevoidOnPaused(boolpaused){if(!paused){//resumed//SetagainautofocusmodewhenappisresumedCameraDevice.Instance.SetFocusMode(CameraDevice.FocusMode.FOCUS_MODE_CONTINUOUSAUTO);}}}5.3.6弹出框交互设计设计用户交互点击按钮弹出显示模型的信息的弹出界面。在创建的标识图子目录下右键创建一个Button按钮和一个Image,这两者都在画布Canvas下面作为子物体。在Image下创建一个Button按钮和一个文本框，这个按钮用来关闭弹出框，文本框用来显示模型信息介绍。修改各个按钮与文本框的位置避免互相叠加在一起（会影响按钮的响应），其他设置可以试着修改。然后将Image物体配置界面顶部的勾去掉就会发现Image中设置的文本框和按钮不见了。给第一个添加的Button设置点击响应事件，在配置界面的OnClick（）点击“+”，添加一栏，将Image从左侧拖入到RuntimeOnly下的框内，并将后面的勾打上。函数选择，GameObject.SetActive，来激活弹出框。设置完成。给取消按钮同样设置，只不过后面不打上勾。图4-13弹出框交互设计5.3.7对所有模型实现上述步骤最后将所有模型导入unity与一整张标识图对应调好空间位置。图4-14所有模型导入5.4关键技术5.4.1模型坐标系与unity世界坐标系的转换 由于SketchUp中模型的坐标系与unity中心坐标系不同，所以在导入unity后可能坐标值是相同的但是与标识图位置不同，虽然可以直接拖拽到标识图上，但是这样会导致之后的交互操作出现问题，比如旋转放大缩小模型。Unity中有pivot和center两个坐标系。Pivot就是模型的真实坐标轴，就是建模软件中的坐标轴，center是unity自己个根据模型的mesh（网格）计算的中心位置坐标系，和模型的真实坐标轴无关，每个物体都有一个自带的Transform组件，这个组件里可以调整该物体的位置、大小、旋转。Transform的坐标位置就是pivot坐标系的位置。一般的平移旋转操作只能对pivot进行操作，而不能直接对center坐标系操作，因此，我们需要建立一个空物体，将模型挂载在这个刚创建的空物体之下，并将空物体坐标系位置设置在模型坐标系位置。首先将模型拖入场景中（可以直接拖入左侧目录树中），将模型的坐标位置设置为（0，0，0），可以看到从外界导入unity中的模型虽然坐标位置都设置为0了，但是离unity坐标系原点位置仍有很远的距离。这里需要计算模型中心位置，就是center坐标系的位置，这也是下面代码的核心。publicclassCalcuCenter:MonoBehaviour{publicGameObjectgameObjectMeshRender;//UsethisforinitializationvoidStart(){Debug.Log("对象网格中心在世界坐标系位置："+gameObjectMeshRender.GetComponent<MeshRenderer>().bounds.center.ToString("f4"));}}在导入的模型新建一个c#脚本组件然后将这段代码加进去，在模型的配置界面会看到一个GameObjectMeshRender栏，将导入模型点开将模型模型子目录下的Mesh拖拽到该栏目下。然后点击运行在控制台就可以看到打印输出的模型在center坐标系位置。图4-9计算模型网格中心在世界坐标系的位置新建一个空物体，然后将其位置设置为上图显示的坐标位置，然后将该模型拖拽到这个空物体下作为它的子物体，这样以后就可以直接通过控制同属于unity坐标系下的这个空物体来控制模型的平移、旋转、放大缩小等等。5.4.2实现点击某个模型实现移动、缩放、旋转功能首先在左侧目录树建立一个空物体命名Select3D（Tap）然后给其添加LeanFingerTap和LeanSelect两个脚本组件。对每个上述建立的存放三维模型的父物体添加一个BoxCollider（碰撞器），用来检测手指的触碰。通过LeanTouch获取手指操作信息然后使用手指操作信息对三维模型进行相应的操作。然后给每个存放三维模型的父物体添加一个LeanSelectable组件，用这个组件来实现对该物体的选择，否则当你移动、旋转或者缩放时一个三维模型时其他三维模型也会跟着一起移动、旋转或者缩放。图旋转操作总结与展望6.1总结 随着增强现实技术的成熟，国内外各大企业和高校都着手与增强现实应用的研究与开发。尽管大部分为人熟知的增强现实应用都是偏向娱乐游戏为目的的。但是也有很多学者和研究人员已经将增强现实技术应用到科学研究、医疗、教育、维修等各个与人们息息相关的领域。增强现实正在融入人们的生活当中。本文通过对增强现实技术的研究与分析，开发了一款增强现实虚拟校园系统。结合虚拟校园，来对地图可视化进行增强现实表达，将虚拟校园叠加在纸质地图上，并开发了移动端交互操作功能，扩展了纸质地图的表达纬度，增强了纸质地图的交互性、可操作性、动态性。让纸质地图表达内容更加丰富，实现了手机终端与纸质地图的融合，给用户带来了更多层次的体验。6.2展望本文将大部分重要步骤都详细的展示出来，可以供大家学习参考使用。但是由于本人水平有限，目前很多可以实现的很棒的功能在本系统中还没有实现。例如：导航功能。通过指定目标将虚拟线路叠加在地图上进行现实，或者结合GPS定位技术直接在手机端显示实时路线。空间分析功能。缓冲区分析、通视分析、坡度分析等复杂的空间分析功能。娱乐游戏功能。例如像之前很火的增强现实游戏Pokemongo，可以实现与地图更多有趣的交互操作。还可以与电子地图结合起来使用，对地图进行标记、查询等内容，结合虚拟校园的图书馆，实现在线借书或者在线阅读。可以进行室内浏览、导航。

参考文献叶辉，史瑞芝，王帅，移动增强现实在纸质地图中的应用，测绘与地理空间信息，2018，41（1）199-200朱淼良,姚远,蒋云良.增强现实综述[J].中国图象图形学报,2018,9(7):767-774.CaudellTP,MizellDW.Augmentedreality:anapplicationofheads-updisplaytechnologytomanualmanufacturingprocesses[C]//ProceedingsoftheTwenty-FifthHawaiiInternationalConferenceonSystemSciences.IEEE,2002.DonMcMahon,DavidF.Cihak&RachelWright(2015)AugmentedRealityasaNavigationTooltoEmploymentOpportunitiesforPostsecondaryEducationStudentsWithIntellectualDisabilitiesandAutism,JournalofResearchonTechnologyinEducatio