虚拟农业技术现状研究分析 计算机专业

目录TOC\o"1-4"\h\u摘要 1文献综述 1.1国内研究现状 1.1.1虚拟农业技术的国内研究概况 1.1.2虚拟植物的国内研究现状 1.2国外研究现状 1.2.1虚拟农业技术的国外研究概况 1.2.2虚拟植物的国外研究概况 1.3研究目的与意义 2技术路线与关键技术 2.1技术路线 2.1关键技术方法 2.1.1小麦植株点云数据预处理 2.1.2虚拟场景的可视化处理 3面向沉浸感的小麦三维形态可视化系统设计 3.1系统设计原则 3.2系统结构设计 3.2.1小麦植株生育期的点云重构 小麦植株苗期的点云重构 小麦植株冬前分蘖期的点云重构 小麦植株越冬期的点云重构 小麦植株返青拔节期点云重构 3.2.2小麦生长场景三维点云模型重构 地面三维激光扫描点云数据 生长场景的模型重构方法 构建模型 3.2.3基于HTC·vive设备的沉浸与人机交互处理 沉浸式环境下的处理 交互设计的实现 小麦生长场景的漫游 VR场景渲染技术 3.3系统功能设计 4面向沉浸感的小麦三维形态可视化系统开发与实现 4.1系统开发环境与工具 4.2系统实现及效果 4.2.1场景实现 4.2.2交互模块的实现 4.2.3系统测试与优化 5总结与展望 5.1总结 5.2展望 参考文献 摘要当前，针对VR技术和农业信息化的研究有以下三种热门话题：小麦可视化三维形状重构、人机交互以及沉浸式虚拟场景构建。VR头显能呈现出极高的图像质量、场景逼真性和身体感知的交互作用，这些都是沉浸感的构成要素。当前，以往的虚拟现实技术营造的沉浸感效果不佳，设备无法带来真实感，模型重构技术还需优化，三维可视化技术还有很大提升空间。以规则和图像为基础的操作有很高的技术要求，模型达不到逼真效果，无法适应渲染大场景和高精度表现图的需要。为了解决上述问题，利用三维点云数据重构不同品种、不同栽培措施的小麦植株及其生长场景模型，有助于对三维形态可视化的渲染效果进行优化。以模型重构、虚拟场景构建、沉浸式交互设计为基础，本文通过研究分析，构建了虚拟现实系统的仿真模拟平台。综上所述，本文的主要的研究内容如下：（1）构建小麦植株的点云重构。针对获取小麦苗期点云数据存在大量噪音；小麦分蘖期点云数据中包含大量的冗余数据；小麦拔节期数据存在一些离群点云数据和点云数据的不均匀表面将影响后续模型重构优化结果。通过使用点云数据去噪、精简、平滑数据表面等重建方法，以实现较高质量的重建，获得更真实的可视化效果。（2）设计生长期场景的点云重构。由于扫描获得的小麦生长场景是大面积、高密度的点云数据，针对数据量非常庞大，数据存在偏差，同时没有经过点云注册处理，这会对后期几何造型的处理产生不利影响。因此需要减少点云数据的误差拼接，选择合适的点云数据质量建模。实现了从数据采集、数据处理、数据建模以及后期渲染输出全过程，最后以河南省长葛县农技推广区域站为例，构建了小麦生长场景的三维模型。（3）基于HTC·vive设备的沉浸式虚拟场景。本文从小麦生长场景沉浸体验方式、小麦植株的展示手段、沉浸感式体验等方面,因为设备类型的不同和体验方式各有差异，虚拟现实漫游将HTCVR设备与unity开发结合使用，虚拟现实摄像机通过STEAMSDK开发。结合最新的自然人机交互技术，利用HTC·vive头盔和手柄，驱动虚拟漫游动作，完成交互功能。建设虚拟场景能使系统虚拟现实内容提供更逼真的沉浸式体验，它是一种有效提升的途径。（4）设计实现基于Unity3D的小麦三维形态可视化系统。通过在Unity3D系统中对HTC·vive方法的调用，利用Unity3D引擎对实现UI场景加载、VR渲染技术的优化，通过小麦生长模型与物联网数据融合，实现了栽培知识的触发交互功能和场景的动态加载。关键词：小麦植株；点云数据；三维重构；沉浸式虚拟场景；可视化系统；1文献综述国内研究现状1.1.1虚拟农业技术的国内研究概况虚拟农业源于虚拟现实。为顺应农业现代化的发展要求，必须大力研发虚拟农业技术，这对计算机技术而言，是一次技术上的转型和革新。以计算机辅助技术为基础，通过运用现代农业科学和信息技术，从新的角度研究农业技术，这是虚拟化技术的关键所在。农业和VR技术发展迅猛，因此，对于农业信息现代化而言，虚拟农业技术日益显现出其重要性，当然，这对农业资源管理水平和农业生产力水平会有巨大的提升作用。农业在我国占有十分重要的地位，因此，研发虚拟农业技术就显得很有意义。通过对虚拟农业技术的创新，会有助于我国的农业生产、新产品开发、病虫害研究和农业科研教学的快速发展。虚拟农业技术的应用包括虚拟实验，虚拟育种，虚拟温室，虚拟农场，虚拟立体农业，虚拟教学和农业科技推广等[2]。虚拟农场是基于计算机技术，设计逼真的农作物生长空间。用计算机设计出植物生长的三维模型，在实现作物的性状的清晰描绘的同时，丰富种植方式的多样性。在我国，香港中文大学开发的一款带有教育意义的游戏，取名为“农场狂想曲”，这是以动机理论和任务驱动经验为基础的研究策略，提高农民对于植物育种和农场管理的知识水平。当前在国内，胡林等人深入研究了虚拟农业教育仿真平台，开发了虚拟农业教育模拟软件，将农业知识模型和知识库作为软件设计的内容之一，通过三维可视化技术以建设农业虚拟环境]。此外，张杜鹃、杨安祺等人通过运用无线网络技术和虚拟现实技术，以期达到提升农业生产效率的研究，是一次很有意义的尝试，并对发达国家的现代农业温室气体技术指标进行了深入探讨。近年来，许多研究者发起了一项针对特定作物品种的虚拟可视化技术的研究[6]。在基于虚拟作物研究的作物生产系统中，虚拟作物主要利用高效的数据采集系统来监测农业环境因子变化量化作用规律的生长发育、作物形态环境问题及相应的作物[7]。虚拟作物理想的作物模型系统，对探索作物，优化生长控制措施，建设园林设计和植物形态及虚拟实验教学非常有价值。使用虚拟作物生长技术，虚拟实验在虚拟环境下农场系统中，可以替代现实工作中困难的部分或耗时严重的且费力、昂贵的测试。创建的虚拟农场可在教学、科学教育和农业科技领域进行广泛应用，通过将虚拟农场与一些先进的软件系统进行结合，可以让学生或农民通过计算机来进行作物的种植，管理虚拟农场。因此，虚拟农业技术是一种非常高效的技术，具有良好的推广前景[8]。1.1.2虚拟植物的国内研究现状植物在自然界中，以多种方式，种类繁多，是自然景观的重要组成部分。自20世纪60年代开始，人们开始研究使用计算机来模拟植物的动态生长过程。由于技术限制，研发部门开发的模型主要偏向于植物功能的模拟[9]。近几十年来，随着科学技术的飞速发展和计算机处理能力的大幅提高，植物形态的计算机模拟也进入了一个新的时代，虚拟植物的概念也随之出现。虚拟植物涉及计算机图形学、植物学、地理学、农业、虚拟现实、遥感、土壤科学等多个领域，是一门集多领域研究成果于一体的新兴交叉学科[10]。这类研究利用计算机图形学对植物生长进行建模，模拟植物的动态生长过程，并通过虚拟现实（VirtualＲeality）以多维度的方式显示植物的生长发育的形态过程。它在农业、林业、娱乐、科研、教育等领域具有高效、广泛的应用价值[11]。虚拟植物建模方法按建模的方法和目的不同可将虚拟植物模型分为三类：第一类是基于模型的植物三维重建。它是以植物形态变化、作物生长提取规律、作物形态变化过程建模、模拟动态模型为基础的重建方法为主要特征的器官。这种模式类型可以模拟，真实自然生长的植物从生理和生态上，对于一些具有特殊性的植物，可运用技术，将主要器官的植物转换成模型参数[12]。具体来说，三维重建模型技术包含两种主要技术：L-系统及参考轴技术。第一类是基于模型的植物三维重建。为对我国农作物进行模拟研究，国内学者也运用L-系统这一技术，目前，从研究进展上来说，小麦、玉米、大豆和棉花等领域发展较快。三维建模技术是个比较棘手的问题，主要是因为以下两点：植物根系形态结构复杂及生长过程不可见，因此，运用L-系统技术对农作物复杂根系的生长过程形态结构及其空间分布进行了模拟[14]。第二类是基于图像的三维重建。提取场景三维深度信息的方法和从多张图片中计算对象的方法，获取三维深度信息，用一个强烈的现实物体或场景重建三维模型。基于三维图像重建技术的计算机辅助设计（CAD）和计算机图形学是一个非常重要的研究领域[15]。重建是根据拍摄到的场景或物体的二维图像，并通过计算机匹配自动计算，计算出二维物体或场景的几何信息和深度信息，从而构建三维模型[16]。李云峰等（2005）通过运用图像分割和三维重建技术，提取了植物叶片图像的轮廓，并进行了三角定位，以植物真实图像为重建基础，实现具有极高仿真度的植物模型，但存在三维空间缺乏立体感等不足。胡少军等（2007）以植物真实图像为基础，通过运用小麦叶片边缘检测法，重建三维模型，同时还重建了叶片卷曲形状的模型，此种方法可形成一种逼真的小麦叶片卷曲扭曲的模拟效果。第三类是基于点云数据的植物三维重建。通过对感测装置和扫描装置的运用，在进行农业生产生活时，充分运用激光扫描仪和三维数字化仪的优势。能从多个角度及不同时间段，掌握植物的根的位置信息，具体而言，有以下四大优势：植物冠层的三维位置信息的提取，植物生长的三维信息的全程追踪，点云数据的获取，植物器官参数的有效及时获取。目前具有代表性的是谷晓英等提出了基于激光扫描点云数据的表面重建，文章中讨论了激光扫描仪获得的点云数据的特征，并且基于点云数据提出了一种快速表面重建方法[20]。基于B样条曲线和曲面插值理论，结合自由曲线和曲面重建方法，将曲面称为梯形曲面。这种表面重建方法充分利用了激光扫描系统点云数据的特点。实验结果验证了该方法的有效可行[21]。郭浩等（2011）通过对体着色三维重建法的运用，针对三维点云预处理、消除点云噪声、孔洞修复几个方面，实现了更具精细度的三维体重建模型，并在表面重建后重建三维点云。运用可视化模拟技术完成了表面模型的重建。孙智慧等（2012）利用获取的点云数据，对植物叶片进行了重建，主要有以下三个步骤：第一步，将3D扫描仪获得的植物叶片点云数据的噪声点进行消除，并对数据进行了精简预处理，第二步，针对叶片表面的漏洞问题，通过运用Delaunay三角测量方法来解决，第三步，完善表面网格细节，使植物叶片的三维模型更具有精细度。王勇健等（2014）通过对3D扫描仪完成对叶片点云数据的提取，完成点云简化、注册和去噪三个环节后，实现了叶片点云数据模型的精细化，通过利用点云数据，实现了叶片网格生成和渲染效果的细化处理。最终实现了植物叶片重构模型的精确化。相较而言，在针对空间规律的研究领域，虚拟植物模式比原有模式的优点更多。在这之前，针对实验测量和模拟植物冠层空间的光分布的问题，一直难度较大。而虚拟植物模型是以计算机为基础进行三维模型的重构，可以通过运用计算机图形模拟技术，表现植物冠层中光分布情况等，可以准确地计算出一个叶片获取的值[25]。而视觉上的感官体验，使我们能够对农田、森林等生态系统的研究更加清晰直接，这是原有模式无法实现的。国外研究现状1.2.1虚拟农业技术的国外研究概况当前，农业技术发展十分迅速，因此必须不断进行创新才能顺应时代需求。传统的栽培方式已经渐渐被其他农业技术所替代。因此，虚拟现实技术提供的沉浸感与真实感的体验具有明显优势。通过对这种技术的运用，可在模拟真实场景中，建立立体模型和具有高度真实的环境等，基于计算机的数据分析，制定出最佳方案。从而使农业生产摆脱受环境气候等外界因素的干扰。上述优势是当前在农业领域里，虚拟现实技术如此热门的重要原因。目前国外研究现状中，法国和中国两国的科学家共同研发了GreenLab模型，通过建立植物结构功能反馈机制，来实现植物生长周期的模拟。ThwaitesT等学者通过构建系统的体验式虚拟农场，为使用者提供改变虚拟农业环境和栽培措施等服务，使用者可以对虚拟作物的生长情况有清晰的掌握，以及对产量和品质变化的及时关注，以期研发出更多样的新技术和新品种。通过建立虚拟草地模型，对生物量转移情形进行模拟，为放牧密度和牧草产量提供最佳解决方案。在此领域，德国科学家研发的Astragon软件，构建了农场运营模拟系统“模拟农场”，在此场景中，用户能够对昼夜温差、气候变化已经作物收获都能够有清晰的掌握。针对虚拟仿真的研究，我国进行了大量的探索。ChangZhuang等人通过对虚拟现实技术的运用，针对灾害模拟仿真度不够和模拟训练不及时的问题，研发了虚拟消防模拟系统软件，提供了一种灾害模拟和消防决策评价的方法[30]。1.2.2虚拟植物的国外研究概况通过对虚拟现实技术的运用，构建了植物生长发育的三维空间模型。虚拟植物具有很高的仿真度，实现了对现实植物的性状的高度还原。通过对虚拟植物技术的运用,基于计算机的分析手段，在很短时间内就能对作物的从发芽到果实生长的生长全程进行模拟，只需花费很少的时间就能完成对作物的观察和分析。国外研究在基于模型的植物三维重建方面，Prusinkiewicz等人通过将L-系统进行计算机图形学理论的运用，通过不断优化DOL系统，形成了能随机构造拓扑结构的随机L-系统、可调控参数完成植物灵活三维建模的参数L-系统以及具备模拟植物相关性的上下文相关L-系统[31];此外，由于构建植物持续生长模型的难度较大，针对此情况，随后又提出了开放L-系统的概念，此系统可对具有植物生长环境信息交互作用进行模拟。Honda等学者开创性的建立了Honda模型，第一次完成了对树结构模拟的重构。Fournier等学者对L-系统的不足之处进行了优化，对参数系统进行了精简，对小麦生长周期的三维模型进行重构，使传统的参数获取过程变得更简单。基于图像的三维重建方面，目前具有代表性的是Quan等学者（2006）以计算机视觉原理为重建基础，制定了以图像为核心的植物几何建模方案。通过使用多角度拍摄形成的图像，再利用多个图像，对植物表面点的三维信息进行提取和还原，重建叶片和枝干的三维模型。但是这种方法需有以下两点作为前提：第一，较强的计算能力，第二，高精度的拍摄设备。Mundermann等学者（2003）利用拍摄的单幅叶片图像，对叶片轮廓特征信息进行收集，基于对叶片骨架的计算，通过完成旋转，变换等环节，实现重建植物叶片的三维模型。Frasson等（2010）学者基于对叶片玉米冠层标记的特征点的提取，通过对摄像机的运用，采集和处理图像信息，并收集定位和标记特征点信息，特征点信息进行匹配计算，获取多幅图像的三维坐标，进而实现对玉米叶片和冠层的三维重构。基于点云数据的植物三维重建。点云重建以精确重现被测物模型的性状特征等为重建目标。Livny等人基于被测物的点云框架下，提供采用最佳方案，完成了植物的三维重构，此种重建方式的优点是：既无须分割点云数据，又能完成对重叠的树点云的高度还原重建，在树点云模型重建领域，此种重建方法比较常见。为解决数量比较大的点云重建问题，Tamal等人通过对八叉树方法的运用，对云点密集的数据进行精准高速的处理；Galvez和Andres则是通过重建B样条曲面，通过运用粒子群优化（PSO）法进行计算分析，将噪声数据曲面化，此重建方式以表面参数的拟合和计算为基础，其优点是具有高精度的重建效果；Yoshihara等人学者在散乱点云的框架下，对拓扑表面进行自动随机构建；Lu-Xingchang等提出了另一个基于激光扫描的3D模型重建。3D激光扫描可以快速、大规模地收集点云的空间位置，得到目标表面的3D坐标。三维激光扫描提供了一种新的技术方法。快速创建目标的3D图像模型。在图形图像和计算机视觉领域，获取目标的三维模型是一个具有挑战性的问题，已成为一个重要的研究课题。本文提出了对空间目标物体进行激光扫描的方法。建模时，在获得深度数据后，通过分割图像获取图像，并对图像进行注册，以检测两个视角之间的关系。最后对网格进行三角化网格分析，得到目标物体的表面三维模型[41]。基于基于模型的植物三维重建，用形式语言对植物的生长过程进行描述，该方法简单易懂，表达形式多样，定义简单，有结构化的高度，易于实现。它是分形自然景观模拟的理论基础，但仅限于模拟不适合实际植物生长过程的视觉真实植物图形，以及生态模式的构建。以图像为基础的建模方法有诸多优点：如操作简便、高速、精准、还原度高、非接触等等，其主要通过运用计算机图形学和双目立体视觉技术对三维特征点进行提取，以实现作物三维模型的高精度重建。但此种建模方法也有很多不足之处，比如在提取作物特征点时，与作物生长模型参数难以融合，导致和作物的生长模型的融合难度较大，从而很难进行作物的生长周期的模型重建。而植物三维重建则不同，它是以点云数据为基础的，通过提取真实的三维数据来对三维坐标点进行定位，正因为如此，能构建出具有高度还原的曲面三维模型，其细节处理效果非常良好，其优点是模型丰富，文件输出格式多样，并提供了定标和操作简单，通用性强的图像处理系统[43]。研究目的与意义对于虚拟植物研究领域，虚拟小麦的研究是其中的一部分,针对小麦的内在生理特征和外在表现，分别建立两种三维模型：即生理生态模型和可视化模型，这是虚拟小麦的研究目标。当前，世界上的很多专家对小麦生理生态模型有很深入的研究,其小麦生理生态模型的构建很完善。但由于小麦形态结构比较特殊，因此，比较少有人运用计算机图形学来建立虚拟小麦的可视化模型。但是小麦作为一种重要的农作物，且形态发生依然有迹可循,如叶片和分蘖具有很强的规律性,所以当前的虚拟小麦研究，小麦生长可视化模型的构建已经是很重要的领域。本文以农作物冬小麦为例，使用户认识到不同品种、不同栽培方式下的小麦单株生长形态以及相对应的栽培信息知识的表达，并与VR头盔设备相结合可以让体验者感受到虚拟世界中真实体验以及高度仿真的虚拟场景，在虚拟的环境中享受沉浸式的交互体验。2技术路线与关键技术2.1技术路线本文中的建模方法是以过程为基础的，利用手持式三维扫描仪对小麦植株的点云数据进行提取，通过对点云的三维信息的运用，进行小麦植株模型的重建。为使虚拟视觉呈现效果更为逼真，本人通过利用Unity3D开发平台的虚拟场景实体建模，以使得利用Unity3D生成的虚拟场景在外界实际数据驱动下，仍能以符合现实世界客观规律和主观要求的形式加以展现。借助物联网技术进行数据采集，利用prefab实现高效信息输入，利用xml格式进行数据存储，最后利用HTC·vive虚拟现实头盔的手柄交互时作为触发展现。所以，小麦植株可视化模型重建以及达到沉浸式交互式体验和高仿真的虚拟视觉呈现效果，这是本文的研究重点。其技术路线如下图所示：图2-1技术路线图2.1关键技术方法2.1.1小麦植株点云数据预处理三维点云数据的精简通过手持式三维扫描仪所捕获和采样小麦植株不同时期、不同栽培方式的点云数据，对于采集到的原始数据不能直接用于重建和杂乱多余数据过多的问题，如果直接对原点云数据进行三角测量，整个过程将耗费大量时间和计算机资源，大大降低三维重建的效率。有必要确保前提仍然接近物理模型的前提下，并尽可能加快点云数据简化处理和优化速度的提升[44]。消除三维点云数据中的噪声通过对点云数据进行简化后，发现还是存在细节处理不到位和点云噪声两大问题，针对此情况，需要精细处理三维点云数据中的噪声，以对离群点噪声进行消除，建立高精度的三维模型。三维点云数据重建材料贴图的选择起着至关重要的作用。其主要功能是完成模型的基本装饰工作。在经过上述技术方法处理后的点云数据得到较为真实的小麦植株点云模型，大部分材质的应用都需要使用位图纹理来实现，材质通过位图纹理可以使对象的数量进行更丰富的编辑。尤其是小麦叶片纹理，为了使小麦叶片更真实、自然地显现出来，可以通过高清摄像设备获得小麦植株和小麦近距离的大量真实纹理图像，以达到在复杂的色彩环境中对小麦植株枝叶轮廓形状、表面纹理、色彩等信息进行提取。点云封装后，模型可以生成三角网格数据。为了保证三角网格的平滑处理，应先删除非流型的三角网格。需要完成的建模应该与3dmax软件结合使用，进行三维重建并提高渲染效果，使得三维模型重建出小麦植株更为直观、精确。2.1.2虚拟场景的可视化处理（1）凝视点技术。Unity+HTC·vive虚拟现实通过与场景交互输入，确定手的位置和方向，以实现在虚拟现实场景中，能将玩家的双手位置、手柄方向、手心朝向体现出来；二是提供了凝视点（注视点）技术，利用眼动追踪，提高了用户交互的趣味性。本文所做的实验中交互方面主要运用VRSamples中摄像机投射的凝视点判定摄像机距离及投射物表面来显示合适的比例以及正确的朝向，还运用了通过凝视环填充进行确认选择的交互方式。通过替换场景中默认的相机，更改输入EventSystem对象的模块，添加OVRInspector/Resources/Prefabs/GazePointerRing预置体到场景中来指示当前凝视的位置，并设置Canvas的属性。凝视效果如图2-2所示。图2-2凝视效果运行显示（2）实时三维图形生成技术。当前在我国，三维图形生成技术的研发已经颇有成效，此技术的核心就是图形生成的实时性。因此，图形的刷新率必须要保证不低于15帧/秒，最好是高于30帧/秒，才能实现实时生成。如今，此技术的研究方向是保证图形的质量和复杂度的同时，不断提高刷新频率。通过对Unity3D引擎图形编辑器的运用，提升小麦生长场景建模效果。通过对自然场景进行建模，编辑器能生产出更高精度的场景模型效果。以自然场景为基础，加入定义的模型和交互，将天气效果，小麦麦田与其他地形进行统一编辑，能建设出沉浸感良好的虚拟现实项目。本文在进行研究时，主要以HTC·vive的漫游为研究基础，以达成相应小麦单株的交互和小麦栽培知识的动态加载。将需检测部位的触发器和碰撞器进行设定，这样呈现出来的视觉效果具有更高的仿真度。3面向沉浸感的小麦三维形态可视化系统设计3.1系统设计原则基于小麦栽培知识本体，构建小麦不同品种，不同生育期的三维点云模型，设计虚拟时空环境下小麦种植关键生育期的漫游场景，基于物联网气象数据与生产场景映射，进行小麦生过程的交互，使栽培知识融于交互过程，系统有效整合小麦植株的点云数据模型和所涉及的栽培信息，运用三维动画设计和沉浸式虚拟头盔的结合，较强的真实感、沉浸感绘制技术进行互动仿真表达，对于小麦不同品种、不同栽培方式下长势情况的表达提供了新方式。实时性针对虚拟现实系统而言,尽管三维图形生成和立体图形生成技术已达到很高的技术水平。但一直是但对于计算机图形学来说，复杂场景的实时显示技术一直是其研究的主要方向。实时显示的全过程分为四个阶段：第一，建立工作三维场景，第二，导入与定位静态模型，第三，描述运动物体的运动属性，第四，实时生成及显示动态环境。在实时显示小麦单株模型和小麦生长场景模型之前，静态建模已经完成,因此，在实时显示过程中需要对该三维对象进行高度的还原。实时渲染建立完成的三维模型的规则对象。主要内容是在三维场景中交互变化此规则对象,几何变换内容有三种：对象的平移、旋转、比例缩放。结构稳定性稳定性，体系结构是系统设计的第一要素。本文设计的可视化系统，稳定性主要指的是渲染后的结果是否可以在多个不同配置PC机上完美运行。对于任何三维应用来说，追求场景是一个现实的目标，无穷无尽，其结果是使我们的场景越来越复杂，建模的精细化程度越来越高，这必然会给计算机硬件负载带来超载，使它们无法实现实时渲染的帧速率。因此，优化渲染是必不可少的工作。在进行渲染优化之前，需要对应用程序性能评估系统进行识别，以降低对流程的影响。（3）交互的合理性为将实现与虚拟环境进行良好交互，这需要更具有可行性且科学的交互方法作为基础。所述手柄装置使用与所述按钮类似的功能，所述每个按钮包括避免的多个功能。设计的互动手势合理、平易近人，避免手势不符合生理结构。3.2系统结构设计本文研究的是面向小麦可视化的沉浸式虚拟场景，本系统主要包括三个方面进行设置。小麦单株不同生育时期的点云数据重构；小麦生长场景的点云重构；基于HTC·vive设备的沉浸与人机交互处理。本章就针对以上三个方面详细阐述。3.2.1小麦植株生育期的点云重构为了将小麦栽培技术和知识形象直观的表达，通过知识可视化虚拟映射，利用三维引擎unity3D实现对小麦栽培知识的各个生长周期苗期、冬前分蘖期、越冬期、返青拔节期、拔节抽穗期、开花成熟期、成熟期一系列形态和生理变化的搭建点云模型的扫描与重建。本文实验研究对象选取不同品种、不同栽培措施的小麦植株进行采样。N0N15N22豫麦49豫麦49豫麦49矮抗58矮抗58矮抗58表3-1选取的小麦对象名称以及不同施氮量按照实验流程图3-2-1所示，采用具体的点云处理办法对单株小麦的三维点云模型进行整体的实验设计和实现。图3-2-1点云数据处理流程图小麦植株苗期的点云重构全田50%籽粒第一片真叶露出胚芽鞘，出苗时，会有2-3厘米的真叶露出地面。关于出苗期的界定：田间有超过一半的麦苗达到上述标准。此时的小麦植株叶片较细软，在通过手持式三维扫描仪在获取点云数据的过程中，不可避免的会产生如较大偏差的测量结果，或较大噪声点和部分叶片扫描不准确、叶片缺失等情况。上述这些情况，主要是由于仪器精度不高、被测物体表面质量较差及外部环境不佳等因素造成的，本文在考虑点云噪声点空间分布的基础上，提出了点云噪声点的去噪方法。根据点云中噪声点的空间分布，按照状态不同，噪声点又可分为以下两种：第一种是离散点，顾名思义，就是一些离点云主体较远的散点。这些离群点有一个共同的特征：具有高频率，此特征会影响到后期的模型优化与渲染输出，为避免出现上述情况，应首先消除离群点的噪声。第二种是混合点，是指与有效点云体混合的高频率点云。通过仪器得到小麦点云模型初始状况，如下图3-2-2所示。图3-2-2获取点云信息时的噪音点因此，本文对这两种类型的噪声去除点云采用了不同的方法。第一步是删除具有较大比例的离散点。对于肉眼能识别的一些异常点和散点，可以直接用手选择和删除。对于难以区分和手动选择不便的点，可以通过GeomagicStudio软件去除了隔离点和体外降噪等功能。为使噪音得到完美消除，可运用点云来提前观察减噪效果，以更好的对细节进行平滑处理，此外，还可以采取通过模型软件过滤后自动计算偏差的方式。然后将其他跟正确点云融合的混杂点进行消除，以文献作为前提，基于双边滤波和三边滤波，通过对法矢修正的运用消除小尺度的噪点，从而深度数据转换为灰度图像，进行二次双边滤波，再转换为深度数据，去除噪声的同时很好的保留了边缘数据的完整性。通过对上述方法的运用，可以自动地将噪声点过滤掉。具体情形如下所示。图3-2-3点云去噪效果前后对比根据以上的方法对小麦植株进行处理。通过VXelements软件同步形成三维点云，转换成面，对环境噪音进行消除，同时优化点云坐标。GeomagicStudio作为一款逆向工程软件，能够以点云数据为基础，高速完成三维模型的重构。重建三维模型所需的物体包含以下三种：提取点数据、合成多边形及处理表面数据。并且全过程都是自动化的，减噪后的点云含有很多冗余数据，可以通过统一采样将数据进行简化，这样既可以减少点云的数据量又可以提高数据分析与建模速度，但在采样时最好要勾选保持边界以免采样过程中点云表面特征丢失，从而影响建模精度。最后通过点云数据封装来创建多边形网格，在模型管理器里创建一个新对象。小麦植株冬前分蘖期的点云重构小麦从出苗到拔节这中间的一段时间被称为冬前分蘖期，这一时期小麦主茎从长出第一片叶到第7-8片叶，该阶段是根、叶、分蘖等成长的关键期，这一时期，小麦的根系会高速生，同时还是生殖器官发育的关键期。并且在这一时期，会生长出全部的近根叶，有四分之三的总叶片数在这一时期长出。随着小麦的生长，不断有新叶子从根部生长发育，一是新叶子细小对扫描数据来说很困难；二是叶子不断增多，相互叠加交错，扫描数据有阻碍，多组点云数据重合在一起，对后期的制作模型造成影响。针对上述提出的问题，本文作者从两个方面对该阶段的小麦植株进行解决。一方面，从硬件上对新长出叶片的状态扫描，为确保数据质量的良好,在每个实验开始前或实验对象发生温度变化、发现表面质量不佳时都要进行校准。扫描仪必须指向圆圈所示的校准板中心的位置，并应将红线对准到绿色矩形内，即扫描仪的高度和方向。对于软件的配置情况要根据待扫描表面的类型传感器的配置快门时间。关于软件的配置根据待扫描表面的类型配置传感器快门时间。本实验对象是小麦植株，由于植物的叶片比较细长，弯曲度比较大，经实验证明，配置数据在0.6S到0.75S最合适小麦叶片扫描。如下图3-2-4展示设备校准方式。图3-2-4设备校准对分蘖期的小麦植株进行三维点云数据扫描时通过对对象采取添加粉末一种显像剂，它是一种快速渗透、快速显像。实验先将小麦植株叶子表面擦洗干净，将显像剂充分摇匀后，对被检物体保持距离150mm-300mm处均匀喷涂。渗透5-15分钟，即可开始扫描；喷涂显象剂后的小麦植株如下图3-2-5所示。图3-2-5喷涂显象剂后的小麦植株另外从点云处理上，三维扫描得到的点云密度很大，有大量的冗余信息。如果直接对原点云数据进行三角测量，整个过程将耗费大量时间和计算机资源，大大降低三维重建的效率。有必要确保前提仍然接近物理模型的前提下，并尽可能加快点云数据简化处理和优化速度的提升[50]。通过构造曲面片命令进行曲面片的构造，曲面片计数选择自动估计，构造完成后，可以通过位置编辑功能和减缓曲面处理不合理的贴片，通过执行构造栅格命令对曲面片修改参数，获得更小的曲面片，最后通过拟合曲面功能自动拟合成一个连续的Nurbs曲面。下图3-2-6展示曲面阶段处理参数。经过这两步骤的操作，实验证明，扫描结果比未采取措施状态下的结果效果有明显的提高。图3-2-6曲线工具对话框采用三维激光扫描仪能够提取的原始点云数目为172138。然后通过设置阈值threshold，简化采集的小麦植株点云。为对计算效率与精简阈值的关系进行分析，使点云模型的精简阈值更具有规律。通过不断调整阈值threshold，将数值从10提高到80，在这个过程中，模型中点云数目会逐渐下降，但没有改变点云模型的形状特征，在点云密集和稀疏的地方，保留的点数目多少是相对应的。通过对阈值进行调整以简化原始点云，如下图所示，是精简后的点云数目、精简率和消耗时间的具体情况。表3-2小麦植株点云精简消耗时间对比从表3-2中可以看出，随着阈值的增加，还原后的点云数量越来越少，阈值从10增加到80，剩余点云数目从52698下降至7098，点云数量减少86.53%，相对应的，也减少了耗时。处理时间分别为1669ms和1092ms。阈值分别为10和80，减少的时间仅为34.57%。通过上述处理可以得到精简后的点云模型，如下图3-2-7所示精简点云前后对比。点云数据精简前 b.点云数据精简后图3-2-7精简前后的点云数据局部放大效果小麦植株越冬期的点云重构冬麦区冬前日平均气温连续3天降至0℃，麦苗基本停止生长，到次年春季平均气温会超过摄氏度三度，麦苗开始继续生长。而麦苗无法生长的这一段时间就是常说的越冬期。由于小麦越冬期叶片偏软，叶片与叶片叠合匍匐地面较多，都会对后期的处理造成困难。对扫描出的模型是那些模型上的没有明确贴图目标的面，也就是“闲置”面对贴图会造成错误。再者，重建算法的复杂度或重建精度与小麦植株表面存在正相关关系，都可能导致重建点云不完整，显示点云数据在错开叶片表面有缺失现象，必须在进一步处理之前对其进行修复，以避免生成和后期再侦察的视觉精度低。加载错误的曲面模型，导致有关配置参数的信息不正确[52]。针对以上三个问题，分别使用UnwarpUVW修改器编辑，空洞的修补以及点云的曲面重构。对这些小麦植株模型的叶片处理，只要这些面选择被放置在UVW修饰符编辑坐标窗口中的纹理空白区域中，当将纹理坐标分配给模型的这些“空闲”面时，可以将其指定为面部坐标类型，并且在缩放后分配它们以映射空白区域不会影响最终结果。这样在UVW修改器的编辑坐标窗口里只能看到一个完整的线框，只需调整一个面的坐标线框即可影响到整个ID面的编辑。下图3-2-8是处理完并烘焙输出后的效果图。图3-2-8烘焙输出后的效果图点云封装后，模型可以生成三角网格数据。为了保证三角形的平滑处理，应先删除非流型的三角网格。由于经过点云封装后产生在模型上有一些三角网格的漏洞，且受不完全遮挡因素和小麦植株目标表面反射的影响较大，在扫描时存在残缺较多的现象。为了提高建模精度，必须对这些孔或间隙进行填补和修复，修复内部孔洞通常有两种方式：即内部孔填充和搭桥填充方式。通常来说，可通过运用内部孔填充对小型孔洞进行修复，孔洞较大时可以先利用搭桥方式进行分割成若干小孔在按内部孔填充，对于缺口边界不封闭的按照边界孔的方式进行填充，无论进行哪种孔洞填充都有点、线、面3种效果应用，填充时要根据缺失和孔洞实际情况灵活选择。对一些复杂的孔洞进行填充时也许存在一些三角面扭曲或相交的现象，那么，需要对噪声点进行消除，然后再修复孔洞，一直要到符合实际情况为止。但在孔洞填充完成之后，也许还会出现多边形投影较明显及粗糙区域等情况，这些区域会影响模型的精度，需要对松弛多边形网格砂纸进行消除，对多边形区域的细节进行光滑处理。然后，逐渐对多边形三角形网格函数数目进行消减，降低其内存占用率，从而达到提高建模速度和对象模型显示质量的目标。下图是处理前后的点云模型对比。图3-2-9模型采集后出现的空洞图3-2-10GeomagicStudio软件中进行操作处理后的效果小麦植株返青拔节期点云重构小麦返青拔节期主要指到了次春天，气候变暖，小麦又继续生长，在这一时期，有一半的植株新长出的叶片（多为冬春交接叶）会有一到二厘米的叶鞘伸出，且大田颜色会发生转变，即从暗绿变向青绿色变化，我省2月下旬。以对象采集小麦品种为矮抗58，施氮量N15为例，返青拔节期小麦植株新旧叶片交错重接，并有较多明显特征时，对1次扫描不能满足要求，需要多次扫描进行拼接。后期制作出现渲染明显迟钝严重影响了操作。针对上述问题，处理的方法为：当扫描物体的表面较大或无明显特征时，可通过运用扫描表面及标志点拼接来解决此问题，(1)扫描表面:两次扫描，获得每次扫描小麦单株在采样器中正常摆放和侧放的摆放角度，删除植株点云主体之外的噪声点和标记植株特征位置的的辅助标志点。需消除物体表面之外的全部辅助定位标点，来应对零件与标志点的相对位置出现的变动情况。(2)扫描表面标志点拼接:选择目标最佳拟合中对最少匹配点的添加，设置4个点云特征，同时进行两次扫描，并完成对齐，接受，合并，保存文件等步骤。通过将2个文件进行扫描、合并后，使扫描数据更为精准。下图3-2-11所示小麦单株进行合并的工作。图3-2-11所示小麦单株进行合并的工作3.2.2小麦生长场景三维点云模型重构地面三维激光扫描点云数据在具体的工程项目中，测量工作是一个非常重要的组成部分。随着计量工作的不断发展，应用相关科学技术具有重要的现实意义。在绘制地形图时，所要测量的地方并不都是平坦的，有些地方很难测量，如小麦整块田地、重叠屋顶和树木剖面。对于这些困难区域，以前的技术通常无法完成测量工作，因此使用更先进的技术三维激光扫描技术，可以很好地和快速地完成工作。三维激光扫描技术目前在我国工程测量工作中得到了广泛的应用，也被称为实时复制技术。这是计量领域的另一项技术创新。在具体的工程测量中，不需要与具体的测量对象接触，通过对三维点云数据的运用可精准测量地形图。完成对密集的散乱点云数据的提取之后，借助Geomagic软件完成点云拟合。再将保存的点云数据导入到3DMax软件中，可实现点云数据建模。该点云数据无须多次导入，只需一次即可，保存时，选择max格式，再将建模任务进行分配。由于场景点云有海量数据需要处理，且场景模型不规则，距离固定扫描点的模型有远有近。实际的建模过程是多任务分工，以完成最后的总结，而笔者在建模场景中分别对建筑中的模型进行处理，可对此时点云数据量进行优化处理，此办法的好处是，防止受到多点云的干扰，由于其针对性很强，对建模效率有极大的提升。并且，以计算机图形处理能力为基础，可以在软件级调整稀疏点云中提供详细信息，从而使计算机获得运行与3dsmax很好匹配的加载点云的能力[54]。本实验小麦生长场景点云数据采集与处理的流程图如下图3-2-12所示。图3-2-12点云数据采集与处理的流程图生长场景的模型重构方法在绘制地形图之前，利用三维激光扫描系统对真实地形进行扫描。该系统可以在真实地形中自动找到具有鲜明特征或标志性建筑。这些被称为地形特征点。这些特征点和地标将被编辑为数据，并使用数据链接导入地图编辑软件。除特征点外，数据还具有与特征点周围事物的相对位置以及特殊比例。真正还原真实场景，方便后期的地形图编辑工作。下图3-2-13所示得到的小麦麦田及周围目标的点云数据。图3-2-13场景原始数据的点云处理删除点云噪点。由于三维激光扫描仪在运行过程中没有全方位的扫描，因此中心站将记录所有特征数据。利用噪声点进行去噪算法编译器的进一步优化处理。对于点云数据拼接的后续处理，为了加快数据拼接的处理速度，将不需要一个与目标点云相关联的建筑物移除，只留下与点云相关的信息，在测量扫描数据的基础上为了便于注册和后续拼接点云数据，需要在去噪的基础上进行细化。为使点云数据能够按顺序进行排列，常见的去噪方法有以下三种：即高斯滤波、中值滤波、平均滤波。其中，在处理高斯噪声的随机分布和随意性时，高斯数据的表达式能最有效地过滤出高斯噪声；中值滤波，其效果在消除波峰中最为显著；平均滤波是随机消除点云噪声数据[55]。那么，该怎样消除无序的点云数据的噪声呢？这些数据没有建立中点，而且拓扑点之间没有任何关联性，鉴于此，第一步是先要使这些点之间具有一定的关联性，比如生成三角形网格或配置成曲线。从而进一步去噪[56]。去噪后如图3-2-14所示。图3-2-14点云去噪后的整个场景模型点云的数据拼接。点云数据拼接的本质是一种解算过程，主要是将多个坐标系中的三维空间数据转换到一个坐标系中来。点云配准方法有目标缝合、缝合坐标两种方式。理想状态缝合精度可达0.1毫米。由于坐标拼接需要手动选择特征点，人为因素会间接导致误差增加，从而导致数据超出极限。一般来说，两组点云数据它们是拼接重叠的部分，要保证总面积中有20%-30%为重叠区域，且不能对重叠区域形成太大控制，对处理速度影响应保证不大也不小，因为太大会使操作复杂化，太小则会影响缝合精度。构建模型以点云数据为模型基础，即以点云为源模型来确定大小和位置，从而完成模型的构建，模型构建地位外在形状和云点大小相同。相较于3dsmax软件建模的早期阶段，通过在软件中运用点云数据可以使准备工作和后期的维比较工作简单化，并且点云还有一个很大的好处，就是在建模过程中减少大量时间和精力的耗费。（1）本文主要研究对象是小麦单株植株。想要达到更逼真的场景效果。首先需要对整个麦田进行重构，由于扫描仪器的位置，决定了麦田场景模型的点云有密集有稀疏的情况，并且植株状态较一致。故选取扫描仪固定地点0.5M范围内的一个区域对小麦群株做重构。下图展示小麦麦田框选合适范围对其进行重构。图3-2-15选中小区域麦田进行重构由于目标点云比较密集，且位于地面，分布范围较广，建立点云数据封装，并利用格栅软件、简化多边形等填充修补模型的毛孔，将受损部分缩小为一个逼真的三维模型。下图3-2-16展示小区域麦田的轮廓特征，并进行优化。图3-2-16展示小区域麦田的轮廓特征（2）通过观察场景中的具体某处建筑可知，房屋、树木、农用工具、道路、标牌等是选区模型的主要构成部分，因此，在建模过程中，可以点云的外在形状为基础，再进行拉伸、挤出、优化、附加等命令，以及移动、旋转、缩放、对象捕捉等实现对房屋的建模。如下图3-2-17所示选中初始点云数据中的房屋以及农田浇灌机。图3-2-17所示选中初始点云数据中的房屋以及农田浇灌机此外，由于建模场景面积很大，要将全部模型进行整合对计算机的数据处理能力是个巨大的挑战，一般来说，模型所占多边形数目越多，模型所占内存就越大，因此，在制作模型过程中既要保证模型外观不变形，有要最大程度的减少面数的使用。3.2.3基于HTC·vive设备的沉浸与人机交互处理本章结合上一节结论得到的小麦植株模型以及小麦生长场景模型，利用HTC·vive虚拟头盔以及Unity3D等软硬件设备，营造了具有沉浸式体验的虚拟现实场景，完全实现了沉浸式交互系统的构建。并且，本文基于交互系统平台，进行了小麦生长场景的加载和对小麦单株模型的观察两个交互场景的构建，使得在进行虚拟实现时，能给使用者提供一种沉浸式的交互体验。沉浸式环境下的处理通常来说，沉浸感即为空间临场感，从广义上来说，媒体内容给使用者带来嫉妒逼真的感受时，使用者就有一种置身于此环境中的独特感受”。针对如何提升沉浸感的问题，学者有着不相同的意见。假如将现实世界的沉浸度设定为100%，而如果HTC·VIVE头盔能实现其一半的沉浸度，其余需要依靠内容来填充。沉浸感的提升有以下两种方法：第一，建设更为逼真的VR环境模型；第二，使VR环境中的物体具有一致性。这里以本文所研究内容和实现的系统为例，对沉浸感给出结论。需要丰富的环境模型，主要包括：多通道信息感知。不同的感官联系紧密；信息的感知完整性；高环境意识和事件。高仿真度的环境模型或情节对使用者有巨大的吸引力，代表将自己作为使用者，集中注意力投入到模拟环境中。下图3-2-18展示本文实验对环境因素添加晴天的天气状况；图3-2-19展示雪天的天气状况。通过环境改变来影响用户的沉浸感效果。图3-2-18展示晴天的天气状况图3-2-19展示雪天的天气状况另一个因素是达到事物的一致性。所谓的一致性在本文作者实现的系统所指的是：虚拟世界中的视觉线索是统一的；游戏世界事物的行为前后会保持一致，虚拟世界的行为不能违背现实世界的基本常识；事物必须得到完整的呈现，在虚拟世界中，空间线索要保持连贯性。虚拟环境要与事物有联动性，指的是用户能够正常地操作机器等等。交互设计的实现在现实世界中，手是我们与其产生互动的主要工具，同样的，在虚拟世界中，手依然是主要的互动工具。从最简单的手势交互，例如英梅吉和HoloLens几个固定手势，在VR世界中，通过捕捉使用者的手指关节运动数据来模拟全手的LeapMotion、uSens，本文系统用到手持HTC·VIVE手柄在虚拟空间中交互和触摸。构成虚拟现实中的主要是由两方面完成，一方面是沉浸感，让用户有沉浸感。沉浸式虚拟交互是一个非常重要的因素，一个好的沉浸式体验使用户感到沉浸；另一个是互动式的，虚拟交互是场景，通过用户的参与对其状态进行适当的改变。本次研究的终极目的是设计出一种交互平台，通过将良好沉浸感和交互作用进行融合，以实现具有高度仿真的虚拟场景。要实现上述目标，要进行如下几个步骤：使用户的活动空间进一步扩大利用是Unity3D搭建了一个地形，对HTC·vive手柄参数调大、调扁该圆柱体范围，为其添加BoxCollider，使其覆盖整个地形，即可实现设置为瞬移区域扩大用户的活动区域。（2）提升虚拟场景的仿真度本文所提到的系统中，通过对HTC·vive设备的运用，将高仿真度的交互环境提供给使用者，通过使用手持式扫描仪获取小麦植株的点云模型和地面激光扫描仪获得的生长场景的模型，充分考虑Unity3D的特征，以此作为模型设置以及尺寸和粒子系统的使用的基础，从而使虚拟场景更加具有仿真度。（3）保证交互的合理性一个科学高效的交互方法是实现与虚拟环境的良好交互的前提。所述手柄装置使用与所述按钮类似的功能，所述每个按钮包括避免的多个功能。设计的互动手势合理、平易近人，避免手势不符合生理结构。根据以上三个方面，结合交互性设计，本文作者完成了可视化系统中交互部分。在场景交互设置的系统结构设计如图3-2-20所示。主要解决通过手柄对场景和小麦单株模型对象的控制和漫游，以及栽培知识和物联网气象数据的信息触发。图3-2-20场景交互设计的框架图为使抓握手势更为自然，需要通过对HTCVive手柄控制器两端的抓握键的使用（Grip）来完成物体的抓取和松开等操作。给物体设置为自然重力的物理属性，满足现实状态的物体落体运动。通过执行VRTK_InteractableObject程序,将操控模型设置为可被抓取物体（IsGrab）。当物体被双手同时抓取时，为使抓取更精准，应不能改变物体与手柄的相对位置，在按Grip键时，通过手柄触碰物体的时间先后来确认主手柄与子手柄。使用者可通过水平移动双手，再旋转手腕的方式来实现小麦单株模型的相关操作。针对手柄与物体的交互，设计出绕固定点旋转的操作方法，要实现这种操作，要同时使用两个手柄。当使用者通过手柄抓取到物体时，手柄的轮廓会出现半透明状态。上述操作是以VRTKSDK为基础实现的。手柄与物体交互的示意图如图3-2-21所示，图3-2-21手柄与物体交互示意图小麦生长场景的漫游VR漫游系统是一个虚拟环境，主要是通过在固定范围中给使用者提供用户视觉和听觉的双重感官体验，在使用VR漫游系统时，使用者可通过对VR设备的使用，自由随意的游览虚拟场景，并观察虚拟场景中全部事物。本小节针对虚拟头盔的头部跟踪原理和手柄交互实现进行叙述。使用陀螺仪、重力传感器等帮助定位传感器观察使用者头部的运动图像并作出相应反应，以产生近似真实的视觉反馈[57]。虚拟现实类跟踪可使用跟踪红外摄像机标定的方法，并在空间坐标系中，通过获取头部安装显示器x,y,z轴上的pitch,yaw和roll的数据，实时输入空间数据传输到PC跟踪端进行CPU-GPU处理，计算运行向前或向后相邻两个数据，将实时信息性反馈到本系统虚拟场景中。提供两个Prafab为Unity3D开发人员，分别是第一人和第三人控制控制器Prafab。虚拟现实相机与系统默认的相机的区别主要在于虚拟现实相机不仅需要空间操作的位置，还需与红外位置跟踪设备进行连接，运用跟踪器与头戴式显示器之间的空间距离变化以及与显示数据转换器相对应的空间。虚拟现实场景主要会受漫游摄像机的移动、关联跟踪器、变换和阴影等因素。下图3-2-22展示VR场景漫游下手柄的控制。图3-2-22VR场景漫游下手柄的控制VR管理者类不仅是单例模式，也是VR硬件的接口，负责管理HTC·vive的实时操作。它将提供给Unity的SteamSDK，包括HTC·vive中用于配置相机特性的帮助方法。fig类在其内部的初始实例中是其内部静态类成员的其余部分。VR装配类主要是对立体渲染和头部跟踪进行控制，能够将所有基本参数进行初始化，VR装配类主要有以下几个部件：2个Unity相机；左眼瞄点、中间眼睛瞄点、右眼瞄点；空间物体跟踪取代了Unity场景中常规的摄像机。如下图3-2-22所示导入SteamVR文件里的预制体模型[CameraRig]到场景中。图3-2-23VR预制体模型导入VR跟踪器类主要负责实现随HMD头部的跟踪，VR管理者类负责将跟踪状态进行启动，以获取HMD的位置的实时状态。VR显示类，主要负责渲染状态、内容和视锥体等信息的更新，VR管理者类负责将显示状态进行启动，对渲染值进行设定和更新数据。如下图3-2-24所示给[CameraRig]模型添加VRTK_BasicTeleport脚本。用来制作手柄漫游行走功能。图3-2-24手柄漫游行走功能预设在HTC的VRTK插件里交互最常见的就是依靠手柄发出一条射线然后和界面进行交互。左臂右臂分别通过不同的脚本控制。首先记录手臂的位置，初始的坐标，记录为repos。通过VRTK_DeviceFinder获取手柄的位置，记录坐标。在update函数中，执行过程中不断监听记录手柄的位置变换，分别计算x轴y轴z轴的位移量偏差，定义新的三维数组，将位移量偏差与手臂的初始位置叠加，使手臂根据手柄位置进行实时运动[59]。与场景交互漫游需要给控制器添加两个脚本：VRTK_UIPointer脚本用来跟UI进行交互，VRTK_SimplePointer脚本是用来发射线的脚本，默认的交互方式都是按住手柄的方向键，然后在点击扳机键进行交互。例如某个按钮点击后会触发某一事件，触发方式和非VR状态一样只是操作方式换成了手柄，当射线指到按钮上并且按下手柄的方向键按钮会变成红色，然后点击手柄的扳机键就会触发事件了。如下图所示。图3-2-25不同手柄的控制射线VR场景渲染技术场景渲染阶段针对需要佩戴虚拟头盔达到沉浸感效果，渲染的显示窗口要区别于传统渲染方式。另外渲染的优化帧频和在不同配置机器上完美运行是影响系统设计稳定性和可扩展性原则，造成用户操作体验差。（1）由于以上3D成像原理需要渲染两张不同角度方位的图像，这在渲染流程上也增加了一些处理环节。如下图3-2-26所示.在渲染流程图中，与传统渲染流程有差异的主要是在“剪裁投影”环节，由于传统渲染流程中屏幕只有一个，或者说显示窗口只有一个，所以只需要确定一个视口，但是VR头盔中需要显示两张不同角度的图，那么在VR渲染流程中就需要两个摄像机和两个视口。也就是同一个三维世界中的场景，要在两个平面上以稍有差别的角度进行投影，就如同两部相机同时在两个位置进行拍照。渲染到VR设备时，需要确定“两个”视口，以及摄像机。在一开始的开发过程中，需要人为的设置两个摄像机和视口，随着开发引擎版本的更新，这个过程将不再需要开发者来考虑。但是对于设备的数据而言，针对每一个相机无论是顶点shader程序的处理、变换矩阵、3D剪裁都需要做两次，栅格化之后的片元shader、光照雾化处理、模板处理、缓冲区处理也都是双倍的数据量。栅格化之后两个视口的片元将合成一张矩形的片元矩阵（混合处理之前的像素称作片元）。图3-2-26VR渲染流程（2）最慢的阶段决定最终的渲染速度。那么，该如何评估3D应用程序呢？第一步，分析CPU端或GPU端渲染性能指标的影响因素，以实现对输出对象进行改进。当前，图形加速硬件的处理水平很高，因此，在CPU端进程中，可任用一些工具来优化CPU端的操作。把一些复杂的计算移值到GPU上，例如在本实验的处理对象上对小麦生育期场景的模型制作用到了硬件骨骼蒙皮。在实验计算机上当GPU端是超荷负载,因为有过多的渲染填充和模型多边形数量太多的影响。产生这种问题主要有以下两个因素，一，ai计算太过复杂，代码的低效运行，二，批处理渲染不到位或不合理的资源管理。下图3-2-27所示本实验在当前运行系统时的帧频显示情况[60]。所以针对上述处理，对本文小麦生长场景进行处理采用静态场景优化和场景管理的优化。包括合并多个小纹理为一张大纹理和利用顶点shader来统一不同矩阵的情况。

图3-2-27当前运行系统时的帧频批是场景优化指的是一次渲染调用（DP），渲染该物体的多边形数量用批处理大小来表示。每次调用批量调用都会占用图形卡一定的CPU内存，一批中的多边形数量远远低于所绘制的最大数量。因此，尽可能在一次批渲染中，以减少批的数量，最终减少CPU时间，优化效率[61]。

假如有十几种不同的作物存在于同一个场景中，尽管其纹理各有差异，但又相同的渲染状态。具体方法是，第一步，可将其统一导入到一个大的包纹理中，第二步，将不同的UV与植被模型进行匹配，这样一来，就可通过渲染一个调用来实行全部对象渲染，从十几个批次到一个批次。该方法适用于精度要求不高，物体表面纹理数量不多的场景。例如，本次小麦麦田的大规模植株状态，就可以使用该方法，渲染效果同样达到理想状态。如下图所示。图3-2-28优化后的帧频并且，在同一场景中，就算有一致的全部材质对象，假如它们的矩阵状态各有不同，也会破坏原始批次。针对此种情况，可通过对顶点shader技术的运用来解决，可以利用常量寄存器，将要乘的变换矩阵传输到shader程序中，这样一来，物体的矩阵状态就保持了统一，也就无须调用多个批量进行渲染。优化场景分割，包括场景管理、可见性剔除等。物体体积小且占据多个分布点，因此节点数目过多。可通过将这些小对象划分为大节点的方法来解决这一问题。可见性剔除中运用遮挡约简方法，通过对此方法提前产生的信息进行运用，简化计算遮挡约简，将遮挡约简计算速度进行提升，对场景性能有一定的提高。根据本章小节的处理方法优化，使用同一台电脑，同一个位置下的CPU帧频数为37.5，比有优化前的帧频数43.4有明显的减弱，证明此方法有效。下图3-2-29所示优化后的帧频。图3-2-29优化后的帧频3.3系统功能设计图3-3-1系统模块设计框架图根据系统模块设计框架图，确定系统主要功能模块如下：沉浸交互模块：利用HTC·vive虚拟头戴式头盔和Unity3D等软硬件设备，营造一种沉浸式的虚拟环境，完成了沉浸式交互系统的构建。通过此平台，对头戴式头盔设备进行运用，给使用者提供沉浸式交互体验，在设置模型大小、尺寸以及摆放位置时，要充分以Unity3D的动画为基础，以实现更具有仿真度的虚拟场景。为了，一个合理高效的交互方法是实现用户与虚拟环境良好交互的前提。针对手柄设备的设置问题，采用一个按钮来表示相同的功能。场景整合模块：利用Unity3D对搜集的物联网气象数据和小麦蜘蛛的栽培信息进行融合显示。通过异步附加式加载方式对小麦的不同生育期不同品种完成场景的加载。在交互中，使用VREyeRaycaster脚本中的Reticle的类对小麦植株观察时，触发信息的显示。最后通过渲染调用DP，通过改变setRenderState的渲染状态，设置纹理状态、深度写入等来降低CPU的时间，达到最优渲染。4面向沉浸感的小麦三维形态可视化系统开发与实现4.1系统开发环境与工具设备参数PC机（1）处理器：英特尔Corei7-8500@3.40GHz六核内存：16GB显卡：NvidiaGeForceGTX1060Ti(8GB/华硕)PC机（2） 处理器: 英特尔Corei7-4710MQ2.50GHz内存:8GB显卡:NVIDIA®GeForce®GTX970HTC·vive虚拟头戴式头盔屏幕：双AMOLED屏幕，对角直径3.6吋分辨率：单眼分辨率为1080x1200像素（组合分辨率为2160x1200像素）刷新率：90HZ视场角：110度传感器：SteamVR追踪技术、G-sensor校正、gyroscope陀螺仪、proximity距离感测器表4-1系统开发硬件参数系统开发的硬件主要是PC机两台，用于渲染优化的对比，找到最优的处理方法；一台HTC·vive虚拟头戴式头盔设备等，相关设备参数如表5-1所示。系统开发的软件主要有建模软件3Dmax（64位），虚拟引擎Unity3D5.5.6f(64-bit),导入SDK：SteamVRPlugin和ViveInputUtility，VXelements2012，GeomagicStudio2014等。4.2系统实现及效果4.2.1场景实现通过不断检测和优化，实现了具有沉浸感的小麦三维形态可视化系统的研发。这是一个高精度且有极强沉浸感的系统，气象数据与栽培知识数据真实有效，具有高仿真度的虚拟现实环境，有极高的画面品质，系统运行流畅且兼容性强。（1）基础初始场景设计，在Unity3D中构建UI界面，该界面包括两部分，上边是小麦栽培知识不用时期的略缩图以及对应的不同名字，底下是小麦栽培知识介绍。小麦栽培知识包括不同生育时期，不同品种，不同栽培方式和不同施氮量。信息的展示体现在UI界面的交互方面。设计一个好的VR用户界面，需要满足三大条件：1、具有一个极具沉浸感的虚拟环境。2、具有简单逻辑结构的层级关系。3、页面的信息展示简约直接。基于Unity引擎的UGUI系统而设计的UI界面。下图是其UI控制的基本UML类图具体情况图4-2-1UI控制的基本UML类图主界面的UI控制部分又分为几大环节，UI控制是以不同的控制脚本编写为基础的，脚本都继承BasePanel这一基础类，在该基础类中，对UIPanel的进入，暂停，返回，退出等控制方法进行了界定，并在UIManager中视阶段不同分别进行调用。主要通过继承BasePanel的各个子类，通过对控制方法进行重写来完成所有的UI的控制。UI响应是指对场景中的按钮进行点击来实现的交互逻辑。通过执行有针对性的脚本，可以对小麦三维形态可视化模型中的UI交互进行处理。本系统的运行效果如图4-2-2所示。图4-2-2初始场景UI界面（2）构建小麦三维形态可视化系统的场景，场景内部包括手持式三维扫描仪得到的小麦植株点云模型；利用FAROFocus3DS350三维激光扫描仪采样并处理了整个环境的点云模型，比如楼房，树木，浇灌机等；最后通过Unity3D建立一个天空盒。具体的虚拟现实环境画面情况如下图，使用者可在虚拟现实环境中进行自由游览来观察小麦的生长情况。如图4-2-3所示。图4-2-3场景内的显示4.2.2交互模块的实现构建小麦不同品种、不同栽培知识下的生育期场景，由于实现方法相同，本文只列举其中一个小麦品种为矮抗58，施氮量为N15的模型来展示知识场景的实现过程：（1）利用凝视点（准心）技术显示当前的小麦生育期，方便用户快速了解当前状况。如下图4-2-4所示看到麦田时上方显示当前小麦的生育期。图4-2-4看麦田时上方显示当前小麦的生育期（2）通过对一些省市气象局和气象数据网、天气预报网以及农业物联网系统的资料进行梳理总结，得出了本文所提到的相关数据。所以根据河南省的地理位置，以及小麦的生长发育周期，选取了从播种至今的气象数据，包括河南省许昌市地区2018年11月份至2019年3月间的气象数据，按照类型不同，这些数据可分为温度、相对湿度、风速、位置信息等四类，间隔单位是小时。数据的使用根据当天采集的小麦植株时的气象资料。并对采集到的数据整合预处理，形成一个数据库文件，方便后续实验的导入。下图4-2-5展示收集整理部分有关的气象数据。图4-2-5整理有关部分的气象数据在Unity中，关于提取和保存数据的问题，通常可通过连接数据库来解决。这里我们使用Sqlite数据库，Sqlite数据库是一个轻量级、跨平台的关系型数据库，尤其是跨平台更是和Unity非常的搭配，但是因为轻量化，一些小型游戏使用可以满足需求，unity做游戏，有很多配置数据需要在本地读取，一般的方法有：1、xml读取存储；2、二进制文件；3、直接将数据存到预制体上。以上三个用法，都是需要将数据源文件打包为AB包，然后读取使用。在xml存储读取基础上，改进方案，制作prefab存数据。数据变更进程为excel–>xml–>prefab–>ab–>游戏运行读取使用。直接跳过xml读取，从excel直接导出自动生成prefab。本文所做的实验数据导入unity中的思路：读取本地化xml文件A，实例化对象a存储。动态生成一个prefab，上面挂一个脚本B，里面要有xml数据对象b，然后将读取的文件数据对象a赋值给b，最后将prefab保存到本地即可得到unity读取到物联网气象数据资料。本文实验部分利用手柄对小麦植株进行沉浸式观察，通过手柄触屏时，跟随头盔显示出数据库中的物联网气象数据和有关小麦栽培知识的相关显示。如下图4-2-6所示沉浸环境里的手柄对小麦近距离观察时触发知识的显示。图4-2-6触碰小麦时的触发条件信息显示（3）通过点击左右手柄不同的按键来对小麦模型进行可操作抓取，可以实现与这些小麦植株的近距离互动。图4-2-7所示沉浸环境里的手柄对小麦近距离观察。图4-2-8通过手柄观察麦地的小麦（4）图4-2-9所示该用户正在使HTC·vive手柄互相配合完成场景漫游过程。佩戴穿戴式头盔使用户处于一个四维的虚拟世界之内，用户各种感觉器官、特别是视觉器官对虚拟世界发生适应性正向反馈。通过和头部的位姿传感采集的数据配合，让三维引擎与头部转动方向保持一致，通过高频显示对三维头像进行实时更新，用户头部转动方向与三维引擎模拟的三维画面视觉保持相同，让用户觉得放佛是通过一个大窗口在观察一个虚拟的三维世界，使得用户体验更好的沉浸感效果。图4-2-9用户使用HTC·vive设备进行漫游4.2.3系统测试与优化在Unity3D中进行模型加载过程中，使得在虚拟环境中，内存消耗模型需要加载大量渲染，为避免系统出现崩溃，就必须对模型进行优化，以适应虚拟小麦植株、生长阶段的场景，对渲染面数进行精简。针对场景面积很大且渲染效率很低的情况，本文通过改进场景渲染技术，从而实现渲染帧速率的提升。最后，通过对Mashlab的运用，使小麦植株和建筑模型面数得到精简，针对场景中的远距离场景模型，通过对LOD技术的运用，以面数较低的模型进行替换，从而减少渲染的工作量。通过综合运用以上三种方法，可使Drawcall的使用效率得到提升，不断完善系统，使系统运行更为流畅。在系统开始运行的一段时间内，对FPS进行采样分析。在本系统中运行的PC端环境为专业游戏主机，通过设置场景内不同小麦植株数量的参照标准，对比分析麦田里多量小麦植株和少量小麦植株情况下的系统运行帧速率，分析结果如图4-2-10所示。通过对不同数量小麦植株模型的场景帧速率进行测验，并通过对其运行渲染结果进行对比发现：就算场景中存在多量小麦植株的麦田，对这种需要极高帧速率的要求，本系统的平均渲染速率同样达到了标准。图4-2-10多量小麦与少量小麦渲染帧速率对5总结与展望5.1总结在对国际国内的农作物三维信息获取、小麦植株可视化和虚拟现实技术进行分析总结，本文