江苏省高等学校

江苏省高等学校大学生创新创业训练计划项目申报表（创新训练项目）推荐学校：南京信息工程大学（盖章）项目名称：基于MATLAB的SFM三维重建算法研究项目类型：■重点项目□一般项目□校企合作基金项目所属一级学科名称：08工学所属重点领域：项目负责人：余铖洋联系电话导教师：曹爽联系电话报日期：2023/3/20江苏省教育厅制二○二三年四月填表说明一、申报表要按照要求逐项认真填写，填写内容必须实事求是表述准确严谨。空缺项要填“无”。二、格式要求：表格中的字体采用小四号宋体，单倍行距；需签字部分由相关人员以黑色钢笔或签字笔签名。三、项目类型为重点项目、一般项目和校企合作基金项目等。四、项目来源：1.“A”为学生自主选题，来源于自己对课题的长期积累与兴趣；“B”为学生来源于教师科研项目选题；“C”为学生承担社会、企业委托项目选题。2.“来源项目名称”和“来源项目类别”栏限“B”和“C”的项目填写；“来源项目类别”栏填写“863项目”、“973项目”、“国家自然科学基金项目”、“省级自然科学基金项目”、“教师横向科研项目”、“企业委托项目”、“社会委托项目”以及其他项目标识。五、所属重点领域：省级重点项目选填，如果属于重点领域的则填报。具体包括10类：泛终端芯片及操作系统应用开发、重大应用关键软件、云计算和大数据、人工智能、无人驾驶、新能源与储能技术、生物技术与生物育种、绿色环保与固废资源化、第五代通信技术和新一代IP网络通信技术、社会事业与文化传承。六、表格栏高不够可增加。七、填报者须注意页面的排版。项目名称基于MATLAB的SFM三维重建算法研究项目所属一级学科08工学项目所属二级学科0812测绘类项目类型（√）重点项目（）一般项目（）校企合作基金项目所属重点领域（省级重点项目选填）项目来源ABC来源项目名称来源项目类别√教师横向科研项目项目实施时间起始时间：2023年4月完成时间：2024年4月项目简介(限200字)随着图像处理和计算机视觉技术的快速发展，三维重建在多个领域的应用越来越广泛。运动恢复结构法（StructureFromMotion，SFM）是目前三维重建的主流方式，但SFM算法存在计算量大耗时长的问题。MATLAB平台简单易于操作，利用MATLAB环境运行可以解决SFM算法存在的问题。本项目将实现一个基于MATLAB的SFM三维重建算法框架，极大降低了运算时间，通过真实场景的图像数据进行实验验证和性能评估，最终得到高精度的三维重建结果。申请人或申请团队姓名年级学号所在院系/专业联系电话QQ邮箱主持人余铖洋2021级202113500049遥感与测绘工程学院测绘工程专业158866835512661099500@成员曲冰若2021级202113500040遥感与测绘工程学院测绘工程专业137705865221943947908@彭程2021级20213500060遥感与测绘工程学院测绘工程专业158504544983179762460@指导教师第一指导教师姓名曹爽单位遥感与测绘工程学院年龄46博士主要成果科研文章吉宸佳，曹爽，张杰，李虹颖，顾冲，郭奕.无人机航测虚拟仿真实验系统开发与设计[J].地理空间信息，2022，20（9）：58-62.顾冲，曹爽，吉宸佳，张杰，郭奕.基于多元回归随机抽样一致性算法的圆柱拟合[J].工程勘察,2022,50(5)：49-54+68.（3）ShuangCao,BaoSong,FuyangKeandXingwangZhao.IntelligentInspectionoftheHigh-SpeedRailwaySparePartsUsingThree-DimensionalLaser[C].IC32019:TheSecondInternationalCognitiveCitiesConference,2019,9.（4）曹爽,潘锁艳,管海燕.机载多光谱LiDAR的随机森林地物分类[J].测绘通报，2019(11):

79-84.（5）ShuangCao,YongtaoYu,HaiyanGuan,DaifengPeng,WanqianYan.Affine-FunctionTransformation-BasedObjectMatchingforVehicleDetectionfromUnmannedAerialVehicleImagery[J].RemoteSensing,2019,11（14):1708;doi:10.3390/rs11141708.（6）曹爽,马剑,马文.基于单镜头无人机倾斜摄影的建筑物三维模型构建[J].桂林理工大学学报，2019,39(3):643-649.（7）曹爽,赵显富,马文.一种基于曲面变化的工业构件点云数据精简方法[J].测绘通报,2018(11):20-24.二、专利1、曹爽、赵轩、赵显富、张育锋、王新志、孙景领，基于两台激光扫描仪的异型构件几何数据检测装置，实用新型，2013.08.28，中国，ZL201320124884.22、曹爽、赵轩、赵显富、孙景领、王新志、张育锋（学生），基于直线空间距离的异型构件几何轴线空间位置关系确定及检测方法，发明专利，2015.11.18授权，中国，ZL201310128614.33、曹爽、赵显富、管海燕，基于点云数据的工业构件仿真安装方法，发明专利，2018.5.29，ZL201610840339.1。专利授权（2018.3.7），专利转让（2018.5.29）5、软件著作权：云处理软件V1.0，曹爽，王新志，马文，赵好好。2011.5.31，登记号：2011SR033299。三、指导学生获奖1、2022年全国大学生测绘学科创新创业智能大赛测绘技能竞赛团体二等奖。2、2022年全国大学生测绘学科创新创业智能大赛测绘技能竞赛——无人机航测虚拟仿真比赛一、二等奖各一项。3、2020年江苏省测绘学科优秀毕业论文一等奖。4、2019年江苏省测绘学科优秀毕业论文一、三等奖各一项。5、2018年第五届全国高校大学生测绘技能大赛二等水准测量（二等奖），团体二等奖。6、2018年江苏省测绘学科优秀毕业论文一等奖。7、2017年第九届全国南方优立杯测绘学科论文竞赛二等奖。四、教学获奖1、2022年首届全国高等学校测绘类专业教师教学创新大赛一等奖。指导学生大创1、“基于三维激光扫描技术的工业构件仿真安装研究”，江苏省高等学校大学生创新创业训练计划省级一般项目，2016.6-2018.6，魏懂、葛劲文、唐子闰、马峻、马剑。2、“无人机航空摄影测量虚拟仿真实验系统开发与设计”，江苏省高等学校大学生创新创业训练计划省级重点项目，2019.4-2021.4，吉宸佳、顾冲、郭奕、张杰、李虹颖。3、“基于多波束测深数据及无人机影像的水陆三维地形融合”，校级大学生创新创业训练计划省级重点项目，2022.4-2023.4，朱丽、唐婉、叶欣宇、陈筱、王彤彤。第二指导教师姓名单位年龄主要成果一、申请理由（包括自身具备的知识条件、自己的特长、兴趣、已有的实践创新成果等）目前，三维数据已广泛应用于测量、虚拟现实等多种领域，是认识环境、感知世界的重要工具。三维数据需要通过三维重建技术获得。广义三维重建是指通过测量工具与解算方法，获取目标局部点三维坐标、面三维结构乃至整体三维模型；狭义三维重建指通过重建技术，获取包括结构、纹理、尺度等的目标完整三维信息，其是广义三维重建的最高形式。基于三维重建方法众多,如何依据不同的实际需求和条件选择合适的方法,是获得所需三维重建问题的关键。目前三维重建方法包括单目三维重建、双目三维重建和RGB-D三维重建，其中单目三维重建方法中的SFM方法是主流趋向。现阶段SFM处理方法主要为COLMAP，MATLAB作为数学软件，在用于数据分析、图像处理与计算机视觉等领域效果颇好，它将数值分析、矩阵计算、科学数据可视化以及非线性动态系统的建模和仿真等诸多强大功能集成在一个易于使用的视窗环境中，为科学研究、工程设计以及必须进行有效数值计算的众多科学领域提供了一种全面的解决方案，并在很大程度上摆脱了传统非交互式程序设计语言（如C、Fortran）的编辑模式，更加方便高效。故本项目将利用MATLAB平台进行基于SFM算法的三维重建研究。项目指导教师曹爽老师从事摄影测量教学多年，主要研究方向为摄影测量数据处理，拥有足够经验以及丰富的专业理论知识。项目组成员已经熟练掌握了MATLAB平台的使用方法以及SFM方面的相关专业知识，有一定的编程基础，具备了完成该项目的基本条件，可以达到该项目的预期目标。余铖洋：遥感与测绘工程学院2021级测绘工程学生，入学一年多来努力学习，对自己要求严格，获得校二等奖学金。大一时期获得英语四级证书和六级证书以及计算机二级证书。能够灵活运用专业知识完成并熟悉查询资料和收集资料的方法。掌握C语言、C#语言、MATLAB等编程语言。做事认真。参加过一些团体活动，有良好的团队协作能力以及动手操作能力。在课外时间热爱音乐，担任大艺团管弦乐团副团长。希望通过此次创新项目来锻炼自己，提升自己的研究创新能力。曲冰若：遥感与测绘学院2021级测绘工程学生，是本次项目的成员之一。专业学习成绩优秀，很好掌握了所学的专业知识，具备一定的实践动手能力，对科研项目有浓厚兴趣。基本掌握C语言等编程语言，同时在课外也学习了Python语言和MATLAB软件，正在学习ArcGIS专业软件以及编程语言。平日在学习方面专注力强、认真耐心、不怕吃苦，善于发现问题和解决问题，遇到困难能够沉着面对，在班级中担任团支书一职，工作认真负责拥有组织活动的经验，有良好的沟通能力和团队协作意识。本次申请大学生实践创新项目旨在提高个人的专业素质，锻炼个人的实践能力。彭程：遥感与测绘工程学院2021级测绘工程专业学生，是团队成员之一。曾作为遥测院组织部一员开展过系列主题活动，具有良好的统筹组织能力；学习方面，专业课成绩优异，曾获校三好学生、校一等奖学金、优秀实习生等荣誉。很好地掌握了所学的专业知识并具有一定的实践动手能力，对此类创新实践类科研项目感兴趣；基本掌握ArcGis、Blender等软件，基本掌握C语言、C#、MATLAB等编程语言，善于思考，意志力坚定，专注力强，善于与人交流，沟通能力强，具有较强的团队协作意识。本次申请大学生实践创新项目旨在对专业有更进一步的深刻了解，提高个人的专业素养，增加知识的积累。二、项目方案1、项目研究背景（国内外的研究现状及研究意义、项目已有的基础，与本项目有关的研究积累和已取得的成绩，已具备的条件，尚缺少的条件及方法等）1.1研究现状近年来，随着计算机技术的飞速发展，三维重建技术也得到了广泛应用和研究。无论是在国内还是国际上，人们都在不断地探索新的三维重建技术，以应对日益增长的应用需求。在这种背景下，国内外在三维重建技术的研究和应用方面都取得了显著进展，不仅在制造、医疗、文化遗产保护等领域得到了广泛应用，还在智能交通、无人机、虚拟现实等领域展现出广阔的发展前景。基于多视图三维重建的研究最早起源于20世纪70年代发达国家，Longuet-Higgins提出该研究后，众多研究者纷纷开始对其进行更深一步的研究。早期的SFM技术在进行重建时，需对摄像机提前进行标定(即计算摄像机的内外参数)，才可以输出场景三维结构的信息[1]。近年来，国内学者雷成[2]通过研究得到了在图像采集过程中基于Kurppa原理实现摄像机自动标定的方法。国外学者在三维重建的算法和技术方面同样取得了许多成果，如Kinect技术、激光扫描、结构光扫描等。此外，还有一些开源软件，如Blender、Meshlab、OpenCV等，可以用于三维建模、处理和分析。1.1.1三维重建技术随着社会经济的不断发展，机器视觉学科蓬勃发展，三维重建学科应运兴起。三维重建是一门融合了机器视觉、图像处理和计算机制图学领域知识的新技术，相较于二维图片来说，三维的数据模型具有类似真实的效果，可以从不同的位置直观地观察，有实时虚拟、交互等特点。这使得三维重建技术应用范围不断扩大，从测绘行业到建筑行业、医疗行业、人工智能行业、虚拟现实行业等等。因此，对三维重建技术进行深入研究具有重要的理论与现实意义。三维重建技术主要研究三维空间中点云的稀疏和稠密重建，基于多幅图像的点云重建，以及三维重建后的图像处理。目前有基于光流、基于机器学习和基于特征检测的三维重建算法。其中，基于特征检测的重建算法应用最广泛。基于图像进行三维重建研究一直是计算机视觉领域的热门课题，仅通过二维图像的变化就可得到具有真实感的三维模型。利用图像进行三维建模的技术从获取多视图图像开始，逐步通过相应的算法恢复场景中物体的三维结构。国内的三维重建技术研究起步相对较晚，但近年来也在不断追赶和超越。目前国内在三维重建领域的主要研究方向包括立体视觉、深度学习、光线跟踪等。国内学者王楠[3]基于SFM原理，将改进的随机抽样一致(RandomSampleConsensus，RANSAC)算法应用到匹配点优化和建筑物的三维重建中，最终恢复出摄像机的相对位姿及三维场景位置信息。李永露[4]以大型无人机航拍影像作为数据输入，综合改进SFM算法和其他三维重建开源技术构建出了无人机影像三维重建原型系统，该系统能自动处理人机影像的各种数据，可有效满足一定的大型无人机航拍影像三维重建模型的需求。张昕[5]在基于视频序列的三维模型重建研究中，优化了传统特征匹配方法，最后创建出不同角度的地球仪和爱因斯坦雕塑的稠密点云模型[1]。同时也出现了一些优秀的三维重建软件，如SketchUp、Rhino、Maya等。采用基于不同视角的二维图像进行三维重建的方法凭借其设备成本低、条件约束少和建模精度高等优势迅速成为一个热点研究方向，而运动恢复结构(StructureFromMotionSFM)是该技术的关键内容[6-7]。1.1.2运动恢复结构（SFM）算法运动恢复结构(StructureFromMotion，SFM)方法是一种广泛使用的三维稀疏点云重建算法。早期SFM方法主要基于相对定位的原理，通过解决相对位置关系来重建三维场景。这些方法通常需要使用多个相机拍摄同一场景，并在计算过程中进行相对位姿估计和三角化等操作[8]。这些方法虽然可以在特定条件下重建三维场景，但存在诸多局限性，如需要多个相机拍摄同一场景、计算过程中易受到误差干扰等。随着计算机视觉和图像处理技术的发展，SFM方法逐渐从基于相对定位的方法转向基于特征的方法。这些方法通常需要从图像中提取关键点和特征，并通过匹配这些特征点来计算相机位姿和场景三维结构。这些方法具有较高的鲁棒性和精度，可以处理不同角度、不同尺度和部分遮挡等情况。这种方法仍然存在误差累积和计算复杂度高等问题[9-13]。为了解决这些问题，基于优化的SFM方法应运而生。这些方法通常将SFM问题转化为一个优化问题，通过最小化重投影误差或其他约束来优化相机位姿和场景三维结构。这些方法可以在更高的精度和鲁棒性下进行场景重建，但需要更多的计算资源和优化策略[14-17]。近年来，深度学习技术的发展对SFM算法的研究和应用产生了重要影响。许多研究者通过使用深度学习技术辅助特征提取、匹配和场景重建等步骤来提高SFM算法的性能和效率。这些方法通常需要大量的标注数据和计算资源，但可以在复杂的场景下实现更高的精度和鲁棒性[18-20]。目前随着三维重建技术的发展，SFM算法也在许多领域展现出优势。包括增强现实、自主导航、运动捕捉、手眼标定、影像视频处理、基于影像的三维建模、遥感、图像组织与浏览、分割与识别、军事应用等[21-23]。国内外出现了很多优秀的算法软件、以及相关的基准数据集；同时对SFM技术中的数据关联建立、光束法平差、多视立体视觉与融合等方面进行很多的研究。算法软件除了前面提及的增量式SFM的三个典型算法与软件外，在全局式SFM方面，出现了Theia、OpenMVG。在数据关联环节，除了COLMAP提出的场景图方法外，还有提出的StreamingConnectedComponentDiscovery；在光束法平差环节出现了CeresSolver、PBA、SSBA等优秀的算法;在多视立体视觉与融合方面，除了COLMAP算法外，还有OpenMVS等算法。虽然SFM算法在许多应用场景下具有优势，但SFM算法需要在多个步骤中处理图像，包括特征提取、匹配、三维重建等，其中每一步骤都需要参数调整和优化。这些操作需要耗费大量的时间和精力，需要专业的计算机视觉知识和技能。此外，对于不同的应用场景和数据集，需要对算法进行不同的调整和适应。此外，算法的计算复杂度也会受到数据规模、计算资源和优化策略等因素的影响，需要合理的优化和调整[24-26]。1.2研究意义三维重建技术通过深度数据获取、预处理、点云配准与融合、生成表面等过程，将真实场景转化为数学模型。这种模型可以在文物保护、游戏开发、建筑设计、临床医学等领域发挥辅助作用。在景物深度信息已知的条件下，三维重建技术只需要进行点云数据的配准和融合即可实现场景的三维重建，并且基于三维重建模型的深层次应用研究也可以随即展开。因此，三维重建技术在各个领域的应用前景十分广泛，对于推动科学技术的发展和社会进步都具有重要意义。目前三维重建主要有3种方法:第1种是使用三维建模软件创建三维模型，常用软件如3dsMax、Maya等，此方法成本低，但耗时大且模型较粗糙。第2种是通过三维扫描设备获取目标模型，该设备一般采用激光、结构光及红外深度传感等技术，这种重建方法扫描快速且精准度高，但设备价格高昂、体积大，因而无法实现对目标物体随时随地进行数据采集。第3种是基于图像的三维重建，其主要思想是通过手机或摄像机拍摄不同视角的二维图像，来重建物体或场景的三维模型。相较于前2种建模方法，该方法只需要普通的RGB摄像头来采集图像或视频，人力物力资源消耗少，在室内和室外均能使用，极大地弥补了三维扫描仪不便携带和受环境约束多的缺点，因此，近年来采用SFM技术进行三维重建的应用越来越广泛[27]。在COLMAP环境中进行SFM算法实验往往只能获得稀疏点云，进行稀疏重建，而如果希望得到精度更好的结果则需要利用MVS算法进行额外的密集重建[28]。MVS算法计算量大，耗时很长，在实际应用中没有那么经济。基于这个问题，本项目选择利用MATLAB环境进行SFM算法处理。基于MATLAB平台利用新的函数算法对SFM实现三维重建的方式更加经济。1.3项目已有的基础矩阵计算：SFM算法中涉及到大量的矩阵计算，需要熟练掌握MATLAB中的矩阵运算、线性方程组求解等相关函数。特征点提取：SFM算法需要在图像中提取出特征点，常用的特征点包括SIFT、SURF等。需要掌握MATLAB中的相关特征点提取函数。特征点匹配：SFM算法需要对不同图像中提取的特征点进行匹配，以建立它们之间的对应关系。需要掌握MATLAB中的特征点匹配函数。三角测量：SFM算法需要对图像中的特征点进行三角测量，以确定它们在三维空间中的位置。需要掌握MATLAB中的三角测量函数。优化算法：SFM算法中需要对估计的相机位姿和三维点坐标进行优化，以提高重建精度。需要掌握MATLAB中的非线性优化算法函数相机标定：SFM算法需要知道相机内参和畸变参数才能进行姿态估计和三维重建，因此需要进行相机标定。MATLAB提供了相机标定工具箱[3-5]。1.4参考文献[1]王巧丽,徐增波,张玲.基于运动恢复结构三维重建的应用与研究进展[J].毛纺科技,2021,49(07):95-98.DOI:10.19333/j.mfkj.20201102805.[2]雷成，吴福朝，胡占义．Kruppa方程与摄像机自标定［J］.自动化学报，2001(5):621－630．[3]王楠.基于SFM的建筑物三维重建技术研究及应用[D].东北石油大学,2017.[4]李永露.基于无人机影像的运动恢复结构技术（SfM）研究[D].哈尔滨理工大学,2017.[5]张昕.基于视频序列的三维模型重建研究[D].中国石油大学(华东),2016.[6]WEIY,KANGL,YANGB,etal.Applicationsofstructurefrommotion:asurvey[J].JournalofZhejiangUniversity-ScienceC(Computers&Electronics),2013,14(07):486-494.[7]LiuZhendongetal.AnEfficientandRobustHybridSFMMethodforLarge-ScaleScenes[J].RemoteSensing,2023,15(3):769-769.[8]王子,吴振宇.SFM算法在无人机航拍影像中的应用研究[J].科技创新与生产力,2021(08):104-107.[9]Jing

Zhou

et

al.

Evaluating

Geometric

Measurement

Accuracy

Based

on

3D

Reconstruction

of

Automated

Imagery

in

a

Greenhouse[J].

Sensors,

2018,

18(7)

:

2270-2270.

[10]DeGol

Joseph

and

Bretl

Timothy

and

Hoiem

Derek.

Improved

Structure

from

Motion

Using

Fiducial

Marker

Matching[M].

Springer

International

Publishing,

2018

:

281-296.[11]ChrisSweeneyetal.LargeScaleSFMwiththeDistributedCameraModel.[J].CoRR,2016,abs/1607.03949[12]BiRuietal.Multi-ViewAnalysisofHigh-ResolutionGeomorphicFeaturesinComplexMountainsBasedonUAV–LiDARandSfM–MVS:ACaseStudyoftheNorthernPitRimStructureoftheMountainsofLufeng,China[J].AppliedSciences,2023,13(2):738-738.[13]YusoffIntanNorsheiraetal.Discontinuitypatterndetectionandorientationmeasurementfortunnelfacesbyusingstructurefrommotionphotogrammetry[J].Displays,2023,76[14]MeyerJoachimetal.MappingsnowdepthandvolumeatthealpinewatershedscalefromaerialimageryusingStructurefromMotion[J].FrontiersinEarthScience,2022,[15]LiangYubinetal.EfficientandAccurateHierarchicalSfMBasedonAdaptiveTrackSelectionforLarge-ScaleObliqueImages[J].RemoteSensing,2023,15(5):1374-1374.[16]TengPochingetal.AccuracyEvaluationandBranchDetectionMethodof3DModelingUsingBackpack3DLidarSLAMandUAV-SfMforPeachTreesduringthePruningPeriodinWinter[J].RemoteSensing,2023,15(2):408-408.[17]WangTaoetal.AQuadrifocalTensorSFMPhotogrammetryPositioningandCalibrationTechniqueforHOFSAerialSensors[J].RemoteSensing,2022,14(15):3521-3521.[18]蒋华强,蔡勇,张建生,李自胜.基于改进SFM的三维重建算法研究[J].电子技术应用,2019,45(02):88-92.DOI:10.16157/j.issn.0258-7998.183096.[19]MarioMicheliniandHelmutMayer.Structurefrommotionforcompleximagesets[J].ISPRSJournalofPhotogrammetryandRemoteSensing,2020,166:140-152.[20]赵云皓,贺赛先.增量式SFM中特征点检测与匹配方法的改进[J].激光杂志,2020,41(03):59-66.DOI:10.14016/ki.jgzz.2020.03.059.[21]LauriaGabrieleandSineoLucaandFicarraSalvatore.Adetailedmethodforcreatingdigital3Dmodelsofhumancrania:anexampleofclose-rangephotogrammetrybasedontheuseofStructure-from-Motion(SfM)invirtualanthropology[J].ArchaeologicalandAnthropologicalSciences,2022,14(3)[22]MaliVijayKisanetal.Demonstrationofstructure-from-motion(SfM)andmulti-viewstereo(MVS)closerangephotogrammetrytechniqueforscourholeanalysis[J].Sādhanā,2021,46(4)[23]Jing

Zhou

et

al.

Evaluating

Geometric

Measurement

Accuracy

Based

on

3D

Reconstruction

of

Automated

Imagery

in

a

Greenhouse[J].

Sensors,

2018,

18(7)

:

2270-2270.[24]李美燕.增量式SfM方法在航拍图像三维重建中的应用[J].中国科技信息,2023(01):36-38.[25]吴文琪,孙增圻.机器视觉中的摄像机定标方法综述[J].计算机应用研究,2004(02):4-6.[26]DeGol

Joseph

and

Bretl

Timothy

and

Hoiem

Derek.

Improved

Structure

from

Motion

Using

Fiducial

Marker

Matching[M].

Springer

International

Publishing,

2018

:

281-296.[27]ElkhrachyIsmail.3DStructurefrom2DDimensionalImagesUsingStructurefromMotionAlgorithms[J].Sustainability,2022,14(9):5399-5399.[28]PaoloDaboveandNivesGrassoandMarcoPiras.Smartphone-BasedPhotogrammetryforthe3DModelingofaGeomorphologicalStructure[J].AppliedSciences,2019,9(18)2、项目研究目标及主要内容2.1研究目标鉴于目前SFM算法在三维重建领域中存在计算量巨大，耗费时间长等问题，本项目在深入研究SFM算法的原理、理论的基础上，进一步学习MATLAB开发语言，探索基于MATLAB的SFM三维重建算法方法，最终实现基于MATLAB的SFM三维重建算法的三维重建，用以解决目前存在的问题。本申请的研究目标是：探索基于MATLAB的SFM三维重建算法方法使用基于MATLAB的SFM三维重建算法实现三维重建2.2研究内容（1）相机成像几何关系的研究在计算机视觉领域中，可以使用各种坐标系表示图像中指定位置。坐标系用于放置相互关联的元素、像素和空间坐标系中的坐标与图像中的位置有关。3D坐标系中的坐标描述了系统的3D定位和原点。坐标系分为像素坐标系、图像坐标系、相机坐标系和世界坐标系。需要根据不同坐标系之间的关系，推导出相机成像的几何关系。（2）增量式SFM算法SFM算法对两视图进行特征点检测和匹配，求解该图像间的几何关系;其次选取一对匹配较好的两视图进行初始化重建，通常采用随机采样一致性算法剔除错误的匹配点;再次对初始化生成的相机位姿和3D点集进行BA优化。此后，不断添加新图像，进行相机位姿求解和特征点的三角定位，同时每添加一次新图像并重建完成后都需要进行一次光束平差以减少误差累积，增加SFM的鲁棒，直到所有图像添加完毕，最终整个场景重建完成。（3）MATLAB密集重建实验的研究采用MATLAB软件计算机视频工具箱编写增量式SFM算法实现相机位置估计和稀疏点云重建。研究从使用MATLAB相机校准器校准的相机拍摄的一系列2D视图重建3D场景。实验主要分为两个部分：相机运动估计和密集场景重建。3、项目创新特色概述SFM是三维重建主流应用手段，但通常使用COLMAP平台实现。MATLAB作为数学软件，在用于数据分析、图像处理与计算机视觉等领域效果颇好，它将数值分析、矩阵计算、科学数据可视化以及非线性动态系统的建模和仿真等诸多强大功能集成在一个易于使用的视窗环境中，为科学研究、工程设计以及必须进行有效数值计算的众多科学领域提供了一种全面的解决方案，并在很大程度上摆脱了传统非交互式程序设计语言（如C、Fortran）的编辑模式，更加方便高效。基于MATLAB的运动恢复结构三维重建算法是一种新的处理方式，为研究高效SFM构建三维重建算法提供了新的机遇。（1）利用MATLAB算法实现增量SFM算法应用采用MATLAB软件计算机视频工具箱编写增量式SFM算法实现相机位置估计和稀疏点云重建。（2）利用相机位姿和三维点云，开展SFM算法应用使用成对点匹配来估计当前视图相对于前一个视图的相机姿态，然后使用MATLAB将成对匹配连接到跨越多个视图且更长的点轨迹。这些轨迹用作多视图三角测量的输入，并使用BundleAdjustment函数对相机姿态和3D场景点进行优化。项目研究技术路线针对基于MATLAB的SFM三维重建算法研究的研究内容，本课题拟采用的技术路线与实验手段如REF_Ref130137817\h图1所示。图SEQ图\*ARABIC1基于MATLAB的SFM三维重建算法研究技术路线（1）相机成像几何关系相机成像几何关系REF_Ref129875879\h图2所示，Qw-XwYwZw为世界坐标系，描述了相机的位置，单位m。Qc-XcYcZc为相机坐标系，以光学中心为原点，单位m。o-xy为图像坐标系，光轴Zc与图像交叉点为原点，o单位为mm。uv像素坐标系，原点为图像左上角，单位pixel。点P(Xw,Yw,Zw)为世界坐标系中的真实的点。点P(Xc,Yc,Zc)为相机坐标系中观察到的点，即与出界坐标系下的点P是同一点。点P(x,y)是点P在图像中的成像点，在像素坐标系中的坐标为(u,v)。图SEQ图\*ARABIC2相机成像几何关系图假设在相机坐标系下，观察点P(Xc,Yc,Zc)在图像坐标系中的投影为点P(x,y),它们的投影齐次矩阵关系如下式：p=KI0式中，p为图像坐标，Pc为相机坐标，K不同相机位置观察点P(Xw,Yw,Zw)得到各个相机坐标系下是不同的P(Xc,Yc,Zc)，为了客观描述目标在世界坐标系中的现实客观位置，需要将相机坐标系与世界坐标系进行旋转(R)和平移(T)变换，它们的齐次矩阵关系如下式：Pc=RT0式中，R为旋转矩阵，T为平移矩阵，Pc为相机坐标，P将式（2）代入式（1），求得世界坐标系下的点P(Xw,Yw,Zw)投影到图像坐标系中点P(x,y)的投影关系，其齐次矩阵如下所示：p=KRT式中，RT将式（3）中内参数矩阵K和p=p=Mpw式中：M称为投影矩阵。使用外部参数将世界点转换为相机坐标，使用内在参数将相机坐标映射到图像平面。（2）SFM算法原理SFM算法是一种基于各种收集到的无序图片进行三维重建的离线算法，在完成图像的特征点提取与匹配工作之后，就可以对目标物体进行稀疏点云重建。SFM算法的原理如REF_Ref129875894\h图3。图图SEQ图\*ARABIC3SFM算法原理REF_Ref129875894\h图3为同一个世界坐标系下的某一空间点在多个相机不同坐标系下所成的图像，空间点X与投影点X1，X2，X3满足的关系式为：uv=K×R式中：uv为图像上定义的一个直角坐标系；K为内参矩阵且不同相机具有相同的内参数；RsTs为相机拍摄的影像位姿；xX1TFX2式中：F为基础矩阵，然后利用基础矩阵F与本征矩阵E分解计算图像的位姿RT，从而计算出空间点的三维坐标，获得建筑物的稀疏点云。但是在进行稀疏三维重建过程中，由于陆续不断添加新的图像，计算所产生的误差会逐渐积累，此时需要采用光束平差（BundleAdjustment，BA）算法，其目的是最小化重投影误差。根据误差公式minxipif式中：pi为损失函数；fi为代价函数；xin为需要优化的参数。BA（3）MATLAB密集重建实验该部分由两个主要部分组成：相机运动估计和密集场景重建。1.相机运动估计拍摄多张不同角度的图像。利用MATLAB平台成对点匹配，估计当前视图相对于前一个视图的相机姿态，并将成对匹配连接到跨越多个视图，得到长的点轨迹，用以估计每个视图的相机姿势。2.密集场重建迭代视图序列，利用MATLAB平台工具箱中的函数跟踪视图中的一组密集点，得到密集点云，以计算场景的密集3D重建。5、研究进度安排2023年4月—6月，可行性方案制定；熟练掌握MATLAB平台相关的函数使用；SFM算法深入研究。2023年7月—9月，影像数据采集；基于MATLAB进行三维重建项目实现。2023年10月—2023年12月，实验分析，完善成果。2024年1月—2024年4月，研究成果的整理和项目验收。6、项目组成员分工1）余铖洋：利用MATLAB进行数据分析处理，得到点云等数据，进行3D建模，撰写论文。2）曲冰若：获取实验图片数据，利用MATLAB进行数据匹配，计算初始3D点位数据，撰写论文。3）彭程：使用MATLAB进行3D建模，对建模数据进行优化处理，撰写论文。三、学校提供条件（包括项目开展所需的实验实训情况、配套经费、相关扶持政策等）学校十分重视大学生创新精神和创新能力的培养，积极鼓励学生申报大学生实践创新训练计划项目，并积极地调动教师来指导我们进行自主研究性学习、参与实验或实践活动。学校教务处以及学院认真组织，精心谋划，加强实验室实训设备设施建设，取得