基于神经网络函数的数据拟合

1、基于神经网络函数的数据拟合基于神经网络函数的数据拟合基于神经网络函数的数据拟合基于神经网络函数的数据拟合思考问题的范式：变换到不同空间来考虑问题将信息（数据）变换到不同的空间再在该空间解决问题：建模、算法、实现一个熟知的例子：Fourier分析：从时域变换到频域思考问题的范式：变换到不同空间来考虑问题将信息（数据）变换什么是“变换”：抽取特征变换就是函数：参数化变换后的空间称为隐空间（Latent space）变换后的数据称为“特征”(Feature)曲面参数化什么是“变换”：抽取特征变换就是函数：参数化曲面参数化“变换”的例子1：曲面特征检测特征线将顶点变换到曲率相关的一个空间“变换”的例子

2、1：曲面特征检测特征线将顶点变换到曲率相关的一“变换”的例子2：曲面编辑将顶点的欧氏坐标变换到Laplace空间“变换”的例子2：曲面编辑将顶点的欧氏坐标变换到Laplac“变换”的例子3：图像特征检测将像素的RGB表达变换到各种度量空间“变换”的例子3：图像特征检测将像素的RGB表达变换到各种度初始空间称为观察空间(ambient space)，变换后的空间称为隐空间(latent space)变换后的数据称为“特征”初始空间称为观察空间(ambient space)，变换后如何将数据变换到合适的空间，是研究该问题的关键因素！（注意：可以进行多次变换”Deep”）然后在这个合适的空间来建立数

3、学模型、进行求解如何将数据变换到合适的空间，是研究该问题的关键因素！（注意如何表达一个变换（函数）？如何表达一个变换（函数）？函数的维数函数的维数函数有哪些函数？幂函数三角函数对数函数指数函数幂函数指数函数(反)三角函数对数函数函数有哪些函数？幂函数指数函数(反)三角函数对数函数更复杂的函数用若干简单函数(“基函数”)线性组合成复杂函数线性组合张成一个函数空间多项式函数空间幂基三角函数空间三角函数基空间的完备性：这个函数空间是否可以表示（逼近）任意函数？更复杂的函数用若干简单函数(“基函数”)线性组合成复杂函数万能逼近定理：多项式函数空间是稠密的万能逼近定理：多项式函数空间是稠密的例子：拟合(

4、Fitting)/回归(Regression)输入：一些观察的数据点输出：反映这些数据规律的函数例子：拟合(Fitting)/回归(Regression)输拟合：插值或逼近插值逼近零误差最小平方误差(最小二乘拟合)拟合：插值或逼近插值逼近零误差最小平方误差Overfitting（过拟合）误差为0，但是拟合的函数并无使用价值！Overfitting（过拟合）误差为0，但是拟合的函数并无过拟合（Overfitting）如何选择合适的基函数？High bias(underfitting)“Just right”High variance(overfitting)需要根据不同的应用与需求，不断尝试（不

5、断“调参”）过拟合（Overfitting）如何选择合适的基函数？分类问题的过拟合分类问题的过拟合避免过拟合的常用方法数据去噪剔除训练样本中噪声数据增广增加样本数，或者增加样本的代表性和多样性模型简化预测模型过于复杂，拟合了训练样本中的噪声选用更简单的模型，或者对模型进行裁剪正则约束适当的正则项，比如方差正则项、稀疏正则项避免过拟合的常用方法数据去噪岭回归正则项选择一个函数空间基函数的线性表达最小二乘拟合Ridge regression （岭回归）岭回归正则项选择一个函数空间稀疏正则化冗余基函数（过完备）通过优化来选择合适的基函数系数向量的L0模（ L1模）尽量小挑选出合适的基函数稀疏正则化冗

6、余基函数（过完备）稀疏学习（稀疏优化)稀疏学习：“学习”合适的基函数冗余基函数（过完备）工具：稀疏优化稀疏学习（稀疏优化)稀疏学习：“学习”合适的基函数从另一角度：压缩感知已知y和 ，有无穷多解x对于稀疏信号x，可通过优化能完全重建x在一定条件下 (on ) Candes and Tao 2005L0 优化从另一角度：压缩感知已知y和 ，有无穷多解xL0 优化从神经网络的角度看函数从神经网络的角度看函数将函数看成网络将函数看成网络多元函数和向量值函数多元函数和向量值函数图形学中的例子：曲面拟合输入：空间点云输出：用一张B样条曲面拟合点云图形学中的例子：曲面拟合输入：空间点云曲面拟合的方法输入点

7、云参数域拟合曲面参数化用B-样条基函数进行拟合曲面拟合的方法输入点云参数域拟合曲面参数化用B-样条基函数进参数化对曲线/曲面拟合的影响参数化对曲线/曲面拟合的影响将曲线拟合看成网络将曲线拟合看成网络将曲面拟合看成网络将曲面拟合看成网络一个问题：如何解决基函数选取纠结的问题？一个问题：如何解决基函数选取纠结的问题？一个想法：用元函数及其变换平移变换伸缩变换一个想法：用元函数及其变换平移变换伸缩变换如果有足够多的变换所构成的函数，其张成的函数空间的表达能力如何？如果有足够多的变换所构成的函数，其张成的函数空间的表达能力如万有逼近定理万有逼近定理高维Input: 将线性函数复合一个非线性函数作为一个

8、“神经元”biasweightsA simple functionActivation functionSigmoid Function高维Input: 将线性函数复合一个非线性函数作为一个“神经高维Input: 将线性函数复合一个非线性函数作为一个“神经元”高维Input: 将线性函数复合一个非线性函数作为一个“神经神经元单变量多变量神经元单变量多变量单隐层神经网络：一个复杂的函数：由很多小函数组合而成单隐层神经网络：一个复杂的函数：由很多小函数组合而成多隐层神经网络：多重复合函数一个复杂的函数：由很多小函数复合而成多隐层神经网络：多重复合函数一个复杂的函数：由很多小函数复合Activati

9、on Functions（激活函数） 使用简单元函数及其平移构成“基函数”（归一化）【类比：径向基函数(RBF)】Activation Functions（激活函数） 用神经网络函数来拟合数据Regression problem: Input: Given training set (x1, y1), (x2, y2), (x3, y3 ), . Output: Adjust parameters q (for every node) to make: 用神经网络函数来拟合数据Regression problem优化算法（BP算法）优化算法（BP算法）基于神经网络函数的数据拟合多隐层的几何意义

10、将数据变换到不同的空间，即参数化多隐层的几何意义将数据变换到不同的空间，即参数化数据的真实维度？图形学：三维曲面已知是二维流形一般问题：并不知道数据的真实维数流形学习数据的真实维度？图形学：三维曲面已知是二维流形神经网络函数的表达能力神经网络的表达能力取决于其参数个数网络足够大，参数就足够多，表达能力就足够强任何一个特定的网络不可能表达任意复杂的函数神经网络函数的表达能力神经网络的表达能力取决于其参数个数深度神经网络不是新发明，为什么近年来爆发？大数据高效算法高性能机器深度神经网络不是新发明，为什么近年来爆发？大数据机器学习机器学习深度学习：基于深度神经网络的数据拟合优势：自动抽象特征、无须预

11、测模型！整合了两个过程（端对端）！深度学习：基于深度神经网络的数据拟合优势：自动抽象特征、无Key: Extracting Feature HierarchiesKey: Extracting Feature Hierar！统一的深度网络框架！TraditionalfunctionDNNRBF networkELM！统一的深度网络框架！TraditionalDNNRBF nRecap: 深度神经网络函数中间的任何一个隐层都可以作为特征中间的任何连续多层之间都可作为一个函数(function blocks)，可以任意组合与拼接Recap: 深度神经网络函数中间的任何一个隐层都可以作为轻松看懂所有

12、网络结构！轻松看懂所有网络结构！Unsupervised Feature Learning(Auto-Encoder)EncoderDecoderCodeUnsupervised Feature LearningVariational Auto-Encoder (VAE)Variational Auto-Encoder (VAE)变种的神经元卷积神经元（Convolutional cells）池化神经元和插值神经元（Pooling and interpolating cells）概率神经元：均值神经元和标准方差神经元（Mean and standard deviation cells）循环神经

13、元（Recurrent cells ）长短期记忆神经元（Long short term memory cells）门控循环神经元（Gated recurrent cells）变种的神经元卷积神经元（Convolutional cell不断涌现出的各种神经网络及学习方法Convolutional Neural Network (CNN)Recurrent Neural Network (RNN)Generative Adversarial Network (GAN)Reinforcement LearningTransfer learningMetric learning层出不穷的新名字-machine “机”-net “网”不断涌现出的各种神经网络及学习方法Convolutional使用深度学习的方法理解问题数学建模设计合适的神经网络调试和修改网络使用深度学习的方法理解问题机器学习：不仅仅是深度神经网络逻辑回归SVMKNN决策树随机森林Clustering（聚类分析）Boosting贝叶斯网络非监督学习机器学习：不仅仅是深度神经网络逻辑回归三维数据的深度学习的三种方法三维数据的深度学习的三种方法压缩感知与深度学习：殊途同归方法的不同性压缩感知：基