基于流模型的三维点云生成方法

1、基于流模型的三维点云生成方法作者：杨天宇谭台哲王俊锴来源：电脑知识与技术2021年第30期高斯分布从而实现图像的生成，优化了数据对数似然的下界,VAE在图像牛.成上是可并行的，但是VAE存在着牛成图像模糊的问题。VAE的优势在于小样本学习，他专注于从给定集合中生成新的样本3。2.3生成对抗网络(GAN)GAN抛弃具体的密度分布模型，只要样本的特征。通过博弈来训练一个分布函数得到符合的很好的样本特征。GAN在图像生成任务中比较有优势，在很多GAN的拓展T.作中也取得了很大的提高。但是GAN生成的样本多样性不足以及训练过程不稳定是GAN普遍存在的问题，同时CAN没有潜在空间编码器，从而缺乏对数据的

2、全面支持。2.4流模型流生成模型是一种出简单的分布Pz)(例如高斯分布倒复杂数据分布如(町的可逆映射。分布P,Z)的一个随机变量z经过一个可逆的映射f后，就将z的分布转换成了关于样本x的分布如CO,即他们满足如下关系:X=f(z)(1)通过变量变换定理(change-of-variablestheorem)n以得到X准确的概率密度函数PxW,PxW=%Cie(2)现实中，要将一个简单分布转换成高度复杂的分布是非常闲难的，往往需要多个可逆映射f才可以很好的拟合。设是尸到2的可逆映射,并且令z=z,zn=x(i=0,-,n)o则他们的关系如公式和公式(4),其中运算符号表示一系列嵌套函数。实际上，

3、办，L，九通常被实例化为具有易于计算雅可比行列式I血”黑7.)1的体系结构的神经网络。af.(JWJPjfU)离J*曲带图2点云生成过程数拡母图3网络训练过程图4点云生成过程图5生成样本表1模型评估结果类别l-NNACDEVD飞机r-GAN93.55%99.51%75.6H%75.06%我们73.94%71.57%汽车r-GAN97.S799.86%PoinlFkw60.65%62.36%找们6L98%63.57%椅子r-GAN71.75%9.47%PoirilFlnvt60,S8%59,89%血9邂6357%摘要：随着三维点云数据在计算机视觉任务的逐渐流行，合成或重建高分辨率、高保真点云的能

4、力变得至关重要。虽然深度学习模型最近在点云识别和点云分类任务中取得了成功，但点云生成任务还困难重重。本文提出了一种基于流模型的点云生成模型，使用深度学习技术训练好该模型之后，只需要从简单的高斯分布随机采样数据，然后通过我们的模型就可以产生全新的高质量的点云形状。基于我们模型生成的点云的质量比大多数现存的模型都要好，可以为其他一些任务提供很好的先验点云，比如三维重建、点云补全任务。关键词：点云;生成模型;流模型;深度学习;先验点云中图分类号：TP18文献标识码：A文章编号：1009-3044（2021）30-0033-04开放科学（资源服务）标识码（OSID）：3DPointCloudGener

5、ationMethodBasedonFlowModelTANTai-zhe,YANGTian-yu,WangJun-kaiSchoolofcomputersscience，GuangdongUniversityofTechnology，Guangzhou510006，China)Abstract：Withthegradualpopularityof3Dpointcloudincomputervisiontasks，theabilityofhigh-fidelitypointcloudtobesynthesizedorreconstructedgradually.Althoughthedeepl

6、earningmodelhasrecentlyproposedastreammodel-basedpointcloudgenerationmodelinpointcloudrecognitionandpointcloudclassificationtasks，aftertrainingthemodelusingdeeplearningtechnology，itonlyneedstorandomlysampledatafromasimpleGaussiandistribution.Thenwecangenerateanewestimatedpointcloudshapethroughourmod

7、el.Thequalityofthepointcloudgeneratedbasedonourmodelisbetterthanmostexistingmodels.Itcanprovideagoodpriorpointcloudforsomeothertasks，suchas3Dreconstruction，andpointcloudcompletiontasks.Keywords：pointcloud;generativemodel;flowbasedmodel;deeplearning;priorpointcloud1引言随着点云在自动驾驶、三维建模，考古与文物保护等任务的流行，研究点云

8、成为了一种趋势。目前点云分类任务和点云目标检测任务已经取得了不错的成绩，然而，点云生成任务还比较少的研究。Diego等人在2019年提出了tree-GAN模型，运用GAN来做点云生成，但是训练起来非常困难，不能生成指定的点云。PMandikal在2019年的WACV通过编码器-解码器结构的网络生成稀疏的点云，但是其在密集點云的生成任务表现不佳。自从基于流模型的GLOW提出后，研究人员们视线再一次关注到流生成模型。来自康奈尔大学和英伟达的研究人员在2019ICCV提出了三维点云生成模型PointFlow，使得更多的研究人员关注到基于流模型三维点云的生成任务。2生成模型所谓生成模型，就是给定训练数

9、据，我们要生成与该数据分布相同的新样本。假设训练数据服从分布，生成样本服从分布，生成模型的作用就是使得这两个分布和尽可能的相似。所以生成模型的本质就是希望用一个我们知道的概率模型来拟合给定的训练样本，即我们能够写出一个带参数0的分布。深度神经网络作为万能的函数拟合器，却不能够随意拟合一个概率分布，因为概率分布有“非负”和“归一化”的要求。为了解决这个问题，研究学者们提出了四种生成模型：自回归模型、变分编码器、对抗生成网络、流模型。自回归模型自回归模型在PixelCNN和PixelRNN上展示了很不错的实验效果，但是由于是按照像素点去生成图像导致计算成本高，在可并行性上受限，在处理大型数据如大型

10、图像或视频是具有一定麻烦的。2.2变分自编码器（VAE）VAE是在自编码器的基础上让图像编码的潜在向量服从高斯分布从而实现图像的生成，优化了数据对数似然的下界，VAE在图像生成上是可并行的，但是VAE存在着生成图像模糊的问题。VAE的优势在于小样本学习，他专注于从给定集合中生成新的样本3。2.3生成对抗网络（GAN）GAN抛弃具体的密度分布模型，只要样本的特征。通过博弈来训练一个分布函数得到符合的很好的样本特征。GAN在图像生成任务中比较有优势，在很多GAN的拓展工作中也取得了很大的提高。但是GAN生成的样本多样性不足以及训练过程不稳定是GAN普遍存在的问题，同时GAN没有潜在空间编码器，从而

11、缺乏对数据的全面支持。2.4流模型在使用深度学习训练网络的时候，似然对数函数E：2021知网文件28-303001xs202130Imageimagel7_l.png就作为损失函数，而黑盒常微分方程（ODE）求解器可用于估计连续归一化流的输出和输入梯度2。基于流的生成模型总结一下具有以下优点：a）精确的潜在变量推断和对数似然评估，在VAE中编码后只能推理出对应于数据点的潜在变量的近似值。在像Glow这样的可逆生成模型中，可以在没有近似的情况下实现潜在变量的精确的推理，还可以优化数据的精确对数似然，而不是其下限5。b）高效的推理和合成，自回归模型如PixelCNN，也是可逆的，然而这样的模型合成

12、难以实现并行化，并且通常在并行硬件上效率低下。而基于流的生成模型如Glow和RealNVP都能有效实现推理与合成的并行化。c）自回归模型的隐藏层有未知的边际分布，使其执行有效的数据操作上很困难由于GAN沒有编码器，所以很难表征完整的数据分布。基于流的模型能够学习高维数据中的复杂依赖关系，并学习语义上有意义的潜在空间，实时生成大量合成样本。3流模型在点云生成的应用流模型现在已经很成熟的应用在图像生成任务上，并且效果也还不错比如OpenAI在2018的NeurIPS提出的GLOW模型5。而将流模型运用在点云生成任务上的研究相对比较少。来自康奈尔大学和英伟达的研究人员在2019ICCV提出了一种基于

13、流模型的三维点云生成模型PointFlow，这是流模型第一次应用在点云生成任务3。PointFlow通过为分布的分布建模，分别建立物体形状的分布和给定物体的点云的分布，以此来完成对于物体点云的生成任务。为了生成点云，作者对分布的分布进行建模，也就是说不仅需要为形状分布进行建模，同时需要对特定形状下的点云进行建模。研究人员通过先验分布点的可逆参数化变换代替了直接对点云分布的建模。这意味着在给定模型的情况下，首先从通用的高斯先验中进行采样，而后基于参数变换将他们移动到与目标形状对应的新位置，使得参数化的变化和变量的分布都可以利用这一模型进行描述。更重要的是，这种模型还带来了更强大的表达能力。在可以

14、估计概率密度、提升变分下限的同时，还可以避免由GANs带来的复杂训练。但是PointFlow有着它的缺点，一是训练时间非常久;二是对于稀疏的点云，生成效果不是很好。基于PointFlow的不足，我们提出了一种改进的模型。我们同样使用连续归一化流来为给定形状下点的分布进行建模。连续归一化流可以视为三维欧式空间中的向量场，它可以通过对某一通用的先验分布进行转换（例如高斯分布）推导出点云的分布。连续归一化流是一系列可逆的映射，可以将已知的初始化分布映射到更为复杂的分布上去。点云生成过程我们的目标是生成点云，根据图1将我们的模型网络结构设计如图2。首先，从高斯分布里面随机采样M个数据y1,y2，yM。

15、每个数据表示一个点云，并且他们各自包含有对应点云的x轴、y轴和z轴坐标。然后将这M个点云通过可逆的网络g,网络g就会移动这些点云位置，从而获得新的点云。因为同一个类别的点云会有不同的形状，比如飞机这个类别就有客机,战斗机等等,所以为了使我们的模型产生不同形状的点云,我们使用一个高维度的隐变量S来控制生成点云的形状。我们从高斯分布里面随机采样数据（采样的数据维度和S相同），然后将采样的数据送入可逆的网络f,这样就可以获得一个S。接着将S送入网络g就可以生成不同形状的点云。网络训练过程根据图2可知训练的过程和点云生成的过程是逆向的。我们想要从熟知的高斯分布生成点云,而点云所处的分布非常复杂且我们还

16、不知道表达式。这时,我们借助于数据集的点云,从点云采样数据，然后逆向通过可逆网络g和可逆网络f,只要这样产生的分布和高斯分布一样，则可逆网络g和可逆网络f训练完成。如图3,训练过程我们分成2个分支，分支1（图2的上部分）：首先把从数据集获得的点云数据采样M个点。将这M个点通过一个编码器获得隐变量S,然后将S喂入可逆网络f-1产生S，f-1训练目标是使得S和从高斯分布采样得到的高维向量尽量接近。分支2（图3的下部分）：可逆网络g-1的训练目标是将之前从数据集点云数据采样的M个点移动到新的位置，使得他们和从高斯分布采样的点的位置尽可能的接近。受到图像分类任务的启示，我们对从数据集点云数据采样的M个

17、点进行数据增强，具体来说就是对每个采样到的点随机加一下噪声扰动。得益于流模型的可逆性带来的似然计算,我们的网络可以端到端稳定地训练。训练结束后，我们就可以获得编码器、可逆网络f-1和可逆网络g-1的参数。4实验与大多数做点云生成的任务一样，我们使用ShapeNet核心数据集中的三种不同类别（飞机、椅子和汽车）进行实验，每个类别分别训练。在模型训练阶段，我们随机从点云形状采样2048个点作为训练样本，使用2张2080tiGPU进行训练。一共训练了15000个轮次。实验结果图4展示了基于我们模型的点云生成的大致过程。最左边是从高斯分布随机采样的点云，最右边是我们模型最终生成的点云。从左往右展示了点

18、云的生成过程。上面的是汽车，中间是椅子，下面的是飞机。图5展示的是从我们模型生成的一些新样本。第一行飞机，第二行汽车，第三行椅子。从图中我们知道，模型可以生成不同形状的点云，比如飞机类别，可以生成客机或者战斗机，机翼的大小和方向也不同，尾翼形状也各异。再看椅子类别，或是生成靠背的椅子，或是生成沙发，或是不带扶手，或是带扶手的。椅子的凳脚也是各种样式。模型评估我们使用由Lopez-Paz和Oquab7提出的1-NNA来评估我们的模型性能。1-NNA的理想分数为50%。为了计算1-NNA，可以使用两种不同的距离度量，倒角距离（CD）和运土距离（EMD）来测量点云之间的相似度。1-NNA的生成结果如

19、表1所示。2.4流模型在使用深度学习训练网络的时候，似然对数函数E：2021知网文件28-303001xs202130Imageimage17_1.png就作为损失函数，而黑盒常微分方程（ODE）求解器可用于估计连续归一化流的输出和输入梯度2。基于流的生成模型总结一下具有以下优点：a）精确的潜在变量推断和对数似然评估，在VAE中编码后只能推理出对应于数据点的潜在变量的近似值。在像Glow这样的可逆生成模型中，可以在没有近似的情况下实现潜在变量的精确的推理，还可以优化数据的精确对数似然，而不是其下限5。b）高效的推理和合成，自回归模型如PixelCNN,也是可逆的，然而这样的模型合成难以实现并行

20、化，并且通常在并行硬件上效率低下。而基于流的生成模型如Glow和RealNVP都能有效实现推理与合成的并行化。c）自回归模型的隐藏层有未知的边际分布，使其执行有效的数据操作上很困难由于GAN没有编码器，所以很难表征完整的数据分布。基于流的模型能够学习高维数据中的复杂依赖关系，并学习语义上有意义的潜在空间，实时生成大量合成样本。3流模型在点云生成的应用流模型现在已经很成熟的应用在图像生成任务上，并且效果也还不错比如OpenAI在2018的NeurlPS提出的GLOW模型5。而将流模型运用在点云生成任务上的研究相对比较少。来自康奈尔大学和英伟达的研究人员在2019ICCV提出了一种基于流模型的三维

21、点云生成模型PointFlow,这是流模型第一次应用在点云生成任务3。PointFlow通过为分布的分布建模，分别建立物体形状的分布和给定物体的点云的分布，以此来完成对于物体点云的生成任务。为了生成点云，作者对分布的分布进行建模，也就是说不仅需要为形状分布进行建模，同时需要对特定形状下的点云进行建模。研究人员通过先验分布点的可逆参数化变换代替了直接对点云分布的建模。这意味着在给定模型的情况下，首先从通用的高斯先验中进行采样，而后基于参数变换将他们移动到与目标形状对应的新位置，使得参数化的变化和变量的分布都可以利用这一模型进行描述。更重要的是，这种模型还带来了更强大的表达能力。在可以估计概率密度

22、、提升变分下限的同时，还可以避免由GANs带来的复杂训练。但是PointFlow有着它的缺点，一是训练时间非常久;二是对于稀疏的点云，生成效果不是很好。基于PointFlow的不足，我们提出了一种改进的模型。我们同样使用连续归一化流来为给定形状下点的分布进行建模。连续归一化流可以视为三维欧式空间中的向量场，它可以通过对某一通用的先验分布进行转换（例如高斯分布）推导出点云的分布。连续归一化流是一系列可逆的映射，可以将已知的初始化分布映射到更为复杂的分布上去。点云生成过程我们的目标是生成点云，根据图1将我们的模型网络结构设计如图2。首先，从高斯分布里面随机采样M个数据y1，y2，yM。每个数据表示

23、一个点云，并且他们各自包含有对应点云的x轴、y轴和z轴坐标。然后将这M个点云通过可逆的网络g，网络g就会移动这些点云位置，从而获得新的点云。因为同一个类别的点云会有不同的形状，比如飞机这个类别就有客机，战斗机等等，所以为了使我们的模型产生不同形状的点云，我们使用一个高维度的隐变量S来控制生成点云的形状。我们从高斯分布里面隨机采样数据（采样的数据维度和S相同），然后将采样的数据送入可逆的网络f这样就可以获得一个S。接着将S送入网络g就可以生成不同形状的点云。网络训练过程根据图2可知训练的过程和点云生成的过程是逆向的。我们想要从熟知的高斯分布生成点云，而点云所处的分布非常复杂且我们还不知道表达式。这时，我们借助于数据集的点云，从点云采样数据，然后逆向通过可逆网络g和可逆网络f,只要这样产生的分布和高斯分布一样，则可逆网络g和可逆网络f训练完成。如图3,训练过程我们分成2个分支，分支1（图2的上部分）：首先把从数据集获得的点云数据采