基于神经网络的图像3D建模算法设计与实现

1、基于神经网络的图像3D建模算法设计与实现摘要：随着计算机的发明和普及，网络速度和计算能力的快速增长深刻地影响和改变着人们的生产生活方式，其中以3D技术的影响最为突出。图像3D建模技术，是目前图像处理领域主要的研究方向之一。本文主要研究如何从图像中提取3D信息。包括多种不同的基于多视角图像3D建模方法以及最新的基于神经网络的图像3D建模方法。最后，本文还重现了基于多角度单张图像对3D物体的重建算法。该实验基于Matlab平台，图像数据及训练网络来源于卡耐基梅隆大学计算机视觉课程。实验结果显示该算法能够生成准确的2D图片深度图，并较为完整的重建了图片的3D模型。关键词：图像处理；神经网络；3D重建

2、；点云算法Abstract:Withtheinventionandpopularizationofcomputers,therapidgrowthofnetworkspeedandcomputingabilityhasprofoundlyaffectedandchangedpeople'slifestyles,especiallyforthe3Dtechnology.Inparticular,image3Dmodelingtechnologyisoneofthemainresearchdirectionsinthefieldofimageprocessing.Therefore,thi

3、spapermainlyconsidershowtoextract3Dinformationfromsingle2Dimage.Itmainlyanalyzesavarietyofdifferent3Dmodelingmethodsbasedonmulti-viewimagesandneuralnetworks.Finally,thispaperalsoreproducesthereconstructionalgorithmfor3Dobjectsbasedonmulti-anglesingleimages.ThisexperimentwasbasedontheMatlabsoftware,a

4、ndtheimagedatacomesfromthecomputervisionclassatCarnegieMellonUniversity.Theexperimentalresultsshowthatthisalgorithmcangenerateaccurate2Dimagedepthmapsandreconstructthe3Dmodeloftheimagescompletely.Keywords:Imageprocessing;Neuralnetwork;3Dreconstruction;Pointcloudalgorithm摘要LAbstractL目录U.1 引言11.1 研究背景

5、及意义11.2 图像3D建模12 多视角图像在3D图像建模中的应用32.1 基于深度图重建42.2 基于点云重建52.2.1 点云重建算法62.2.2 点云重建结果82.3 本章小结93神经网络在3D图像处理中的应用93.1 人工神经网络93.2 卷积神经网络(ConvolutionNeuralNetworks,CNN)103.2.1 卷积层103.2.2 下采样层113.2.3 激活函数层113.3 卷积神经网络的应用133.4 本章小结1343D图像建模仿真实验144.1 理论背景144.2 实验步骤164.3 实验结果194.4 本章小结195结论与展望19参考文献19致谢21II1引言

6、1.1 研究背景及意义近年来，随着阿凡达、捉妖记等为代表的3D高票房影片出现。3D电影独特的空间表现力为电影艺术的展现开辟了新的维度，推动了当代电影市场的空前繁荣。有关3D电影的制作问题也引起了广泛的讨论。除了直接使用昂贵的立体深度摄像机直接引导三维场景外，还可以在原始二维图像的基础上进行转换1。利用预测的深度信息，通过不同的方法重建二维图像，实现基于深度图像的三维图像绘制（DIBR）技术。3D场景图像的构建关键因素在于获取图像对应的深度图。因此，如果能够从二维图像中准确估计出深度，具不但能够应用于2D电影转制3D电影领域，还能广泛应用于其它计算机视觉领域。目前，计算机领域存在着一个固有的瓶颈

7、，即当三维世界的信息被映射成二维图像时，不可避免地会造成局部空间结构信息和表面形状信息缺失。这将导致物体形状2的错误重建。在图像语义分割方面，也会造成遮挡、粘连等投影方向的多目标分割网。因此，该技术也可应用于语义分割，姿态估计，场景理解。综上可得，一旦能够精确地恢复二维图像的深度图，整个计算机视觉领域将会向前迈出坚实的一步。1.2 图像3D建模我们生活在一个三维的世界中，但对它的观察通常是用相机拍摄的二维影像的形式。因此在计算机视觉领域，一个关键目标是恢复这些基于2D图像的3D结构。对真实物体或场景的三维几何进行建模是一项非常具有挑战性的任务，目前研究人员已经采用了不同的工具和方法，例如计算机

8、辅助设计（CAD）工具、胳膊探测器、活动方法和被动的基于图像的方法等。其中，基于单幅图像的3D模型重建方法是本文主要研究的主题，它提供了一种基于小部分成本获取准确3D内容的快速方法。基于单幅图像的三维重建算法的方法可以被描述为一一通过给定一组物体或第1页（共21页）场景的照片，根据已知材料，视点和照明的假设估计最有可能解释这些照片的3D形状条件（见图1-1）。该定义强调了该任务的假设，即材料，视角和照明已知的假设。因此，如果没有进一步的假设，单一算法就不能单独从照片正确重建3D几何模型。在一组合理的假设下，例如刚性的朗伯纹理表面，最先进的技术甚至可以从数百万张照片中对物体进行高度详细的重建。图

9、1-1基于图像的三维重建进行这种推理的尝试很多，可以追溯到该领域的最早几年。尽管如此，目前研究进展缓慢的原因有几个：首先，这项任务本身就是不合适的。因为对象总是出现在自我遮挡下，并且有无数的3D结构可能会引起特定的2D视角。解决这个问题的方法是通过学习统计模型来识别哪些3D结构是可能的，哪些不是。其次，即使有了这样的统计模型，推论也是棘手的。这包括将图像像素映射到3D表示的子任务，在相同结构的不同图像之间检测和建立对应关系以及处理该3D空间中表示的多模态的子任务。第三，目前还不清楚3D结构如何最好地表现出来，例如，通过密集的体素，通过定义多面体网格的顶点，边和面的集合，或其他类型的表示。最后，

10、由于地面实况三维数据收集起来很困难且成本很高，因此迄今为止数据集的规模和范围相对有限。在本文中，我们使用基于多视角单幅图片的点云算法来学习生成3D结构模型,并通过神经网络算法进行概率推理，从而从2D图像中恢复3D结构。第2页（共21页）2多视角图像在3D图像建模中的应用本章主要讨论几种当前流行的多视图（multi-viewstereo,MVS）算法在3D图像重建中的应用。图2-1、2-2展示了现代MVS算法所使用的两种输出场景表示法：深度图和点云法。同时值得注意的是，由于点云重建通过基于点的渲染技术可视化4,因此可能会呈现完整纹理映射网格模型的外观，但它们只是具有颜色的独立3D点图2-2基于点云重建为了评估MVS算法的准确性，研究人员进行了定量评估来验证。2006年，Seitz,Curless,Diebel,Scharstein和Szeliski等人为MVS定量评估奠定了基础5,该算法评估了两个低分辨率（640X480）图像对象数据集上的MVS算法。这个评估被称为MiddleburyMVS评估。虽然使用低分辨率图像可能并不能等同于高分辨率数码相机，但它具有将校准误差影响降至最低的优势：因为较高的图像分辨率需要更精确和可重复性的机械设备（例如，机器人手臂）。几年之后，StrechaHa