从逻辑回归到神经网络(共7页)

1、从回归(hugu)到神经网络 人类(rnli)对于事物的认识过程大致是先通过听、闻或者感知在大脑储存相关描述信息，描述信息包含对事物形态如尺寸，颜色等。以后当我们再次看见同样东西时候一下子能根据之前大脑所记忆关于它的特征来识别它是什么，例如当看见(kn jin)如下事物： 我们通过颜色，大小，外形等特征很快就能分别出“它”是什么。这些信息通过视觉转化（由光信信转化为生物电信息）交由大脑分析比对。然而，对于机器而言上面的事物是一堆数据。254325135876154857554694568465324264869623442425465082131325225788756768745546864

2、35 机器要做的事情是从一大堆数据中找到事物规律，建立和认知模型和分析预测等能力。在机器学习领域，从大量数据中探知知识的过程称为数据挖掘。数据挖掘可以看成是信息技术自然进化的结果，在该进化过程中近年出现的一种数据存储结构叫数据仓库，数据仓库是一种多个异构数据源在单一站点以统一的模式组织，并且支持管理决策功能的存储模式。回归分析 我女朋友是教小学数学，一次我看见她们班试卷上有这么一个题： 给出一列数字0，2，4，6，8，？。请问？代表数值几？当然你一眼就看出来其中的规律，都是偶数，并且递增，答案是10。那么再来看一个实际中的问题： 下图是某地的2009年到2014年的财政收入表，预测2015年财

3、政收入值。单位（亿）20092010201120122013201420150.140.571.292.293.575.14？这就不那么容易看出来了吧。把这些点对应(duyng)映射到坐标轴上如下图：沿着(yn zhe)曲线的走势能够推算出2015年值约为7亿。这便是(bin sh)一个简单回归问题。我们做了一条曲线，并且让曲线平滑按照走势延伸。当然如果该地区发展是平稳的，那么曲线会一直平滑下去。应当指出的是，所推算出的7亿是可能存在一定误差的，而且随着推算时间的延长如要基于以上数据预测2020年收入， 2020预测值误差势必大于2015年预测的误差。实际上，回归问题可以定位为一个曲线拟合问题

4、，即让一条平滑曲线能够穿过尽量多的数据点。也就是能够找出一个可接受误差范围内的方程式能够让我提供输入数据后计算出可信赖的结果。 可是，对于机器而言要能建立这么一个方程式，它需要通过一些算法。首先我们引入简单一元线性回归，其表达式 y = kx +b。k，b是参数，x代表了变量因子，y则是输出结果。如果对于任意的（x，y）满足y = kx +b这便是严格的线性关系。然而生活中更多的我们会遇到如下的情况：对于该图，我们可以建立一个简单(jindn)的线性方程 y = kx +b 。可以看见图中并不是所有点集中在一条直线上，因此建立出来的线性方程必然存在一定误，目标(mbio)是让所有点尽量均匀分布

5、在直线附近，从而(cng r)减小与真实值得误差。换句话说，如果我们能建立一种误差体系，使误差控制在一个极低可接受的范围，那么我们就拟合了一条曲线，它能够表达x与y的关系。假定对于某一个点（Xn，Yn）。其误差为 。又被叫做n的残差。依据最小二乘法原理对于总体误差即： 该问题就变成了总体误差最小既 最小的问题了，和由历史数据可以得到。是一个二元二次函数，其三维曲面图如下：kb如何(rh)求解是一个纯数学问题，为此我将说明最小二乘法的原理。从整体(zhngt)上考虑近似函数同所给数据(shj)点(i=0,1,m)误差(i=0,1,m)的大小，常用的方法有以下三种：一是误差(i=0,1,m)绝对值

6、的最大值，即误差 向量的范数；二是误差绝对值的和，即误差向量r的1范数；三是误差平方和的算术平方根，即误差向量r的2范数；前两种方法简单、自然，但不便于微分运算 ，后一种方法相当于考虑 2范数的平方，因此在曲线拟合中常采用误差平方和来 度量误差(i=0，1，m)的整体大小。这便是在使用平方值得原因。数据拟合的具体作法是：对给定数据 (i=0,1,，m)，在取定的函数类中,求,使误差(i=0,1,m)的平方和最小，即 从几何意义上讲，就是寻求与给定点(i=0,1,m)的距离平方和为最小的曲线 （下图示）。函数 称为拟合函数或最小二乘解，求拟合函数的方法称为曲线拟合的最小二乘法。例子：某次实验得到

7、了四个数据点：、。我们希望找出一条和这四个点最匹配的直线，即找出在某种“最佳情况”下能够大致符合如下超定线性方程组的和：最小二乘法采用的手段是尽量使得等号两边的方差最小，也就是找出这个函数的最小值：最小值可以(ky)通过对分别(fnbi)求和的 HYPERLINK /wiki/%E5%81%8F%E5%AF%BC%E6%95%B0 o 偏导数(do sh) 偏导数，然后使它们等于零得到。如此就得到了一个只有两个未知数的方程组，很容易就可以解出：也就是说直线是最佳的。知道了最小二乘法原理，算出拟合曲线方程只是一个计算过程而已。上面的例子可以推广到多元线性回归，在此将不再阐述。 一般来说，回归不用

8、在分类问题上，因为回归是连续型模型，而且受噪声影响比较大。如果非要应用进入，可以使用logistic回归。logistic回归本质上是线性回归，只是在特征到结果的映射中加入了一层函数映射，即先把特征线性求和，然后使用函数g(z)将最为假设函数来预测。g(z)可以将连续值映射到0和1上。函数g(z)表达如下： 在复杂的问题中往往会出现一个问题“过度拟合”，我们的拟合曲线是依据求解方程式时用到历史数据（也叫做训练数据）。过度拟合，言下之意是“你这曲线函数太过完美了，反而不真实了”。下图中分别采用多项式拟合来说明各种拟合的情况：欠佳拟合图中 g函数原型是逻辑回归函数： 适当拟合过度(gud)拟合随着

9、特征次数增加，函数对于训练(xnlin)数据的效果异常的显著，但问题是：随着图线延伸对于未知的数据，可靠性有多大？通常有两个方法来解决过度(gud)拟合的问题：降维和正则化参数。前者较少特征数量，提取了最优特征。后者主要是降低参数（实际上也叫做权）的影响。对于回归如广义回归等，将不做延伸。神经网络由一元一次回归可以推导出多元多次回归，以及多项式回归的等曲线回归。多数情况中曲线回归会表现出比直线回归更加优异的效果，同时带来的问题是增加了拟合的复杂程度。随着变量的维度的增加，回归的方法越来越麻烦。如对于一张像素为100*100的灰度照片，用二次多项式拟合它的特征为50000000个，如果是彩色照片

10、其特征量将乘以3倍。由于随着维度的增加导致回归规模的巨大增量和不可解决性苦恼之时，“神经网络”取得了巨大的研究成果。神经网络是一种运算模型，由大量的节点（或称“ HYPERLINK /wiki/%E7%A5%9E%E7%B6%93%E5%85%83 o 神经元 神经元”，或“单元”）和之间相互联接构成。是模仿了生物神经网络的结构和功能的计算模型。每个节点代表一种特定的输出函数，称为激励函数（activation function）。每两个节点间的连接都代表一个对于通过该连接信号的加权值，称之为权重（weight），这相当于人工神经网络的记忆。网络的输出则依网络的连接方式，权重值和激励函数的不同

11、而不同。而网络自身通常都是对自然界某种算法或者 HYPERLINK /w/index.php?title=%E5%87%BD%E6%95%B0%E7%9A%84%E9%80%BC%E8%BF%91&action=edit&redlink=1 o 函数的逼近（页面不存在） 函数的逼近，也可能是对一种逻辑策略的表达。下图为一个单一的生物神经元图：最左部分(b fen)是神经元的树突，树突负责接收(jishu)信号。接收到后再神经元内部经过处理转化为输出，这个输出也可能是其他神经元的输入。下图为多个(du )基础神经元作用：在数学模型上，一个神经元的功能是求得输入向量与权向量的 HYPERLINK /wiki/%E5%86%85%E7%A7%AF o 内积 内积后，经一个非线性传递函数得到一个 HYPERLINK /wiki/%E6%A0%87%E9%8