稀疏自动编码器学习笔记

1、Sparse AutoencoderSparse Autoencoder 稀疏自动编码器稀疏自动编码器 杨明洋，王鹏宇杨明洋，王鹏宇目录目录l自动编码器l神经网络中的损失函数以及残差l稀疏自动编码器l程序实现l附录AutoencoderAutoencoderl在讲稀疏自动编码器之前，我们先看看自动编码器。 自动编码器，非监督 模式识别，要求得到 的输出近似于原始输 入，提取其主要特征AutoencoderAutoencoder如果我们输入一张10*10的图像，这样就有100个像素，所以输入层和输出层的节点数量就是100。而我们取隐藏层节点数量为25。这样就会迫使隐藏层节点学习得到输入数据的压缩

2、表示方法，逼得隐藏层要用25维数据重构出100维的数据。这样也就完成了学习过程。神经网络的损失函数和残差神经网络的损失函数和残差定义： 为第L层第j个单元的节点激活量。 为第L层的节点数目。具体表达式:其中f(x)函数为sigmoid函数或则为tanh(x)函数。当L=1时， 为输入，即)(lja)*(1)1()1()1()(lsilliljiljbaWfa)(ljals神经网络的损失函数和残差神经网络的损失函数和残差定义: 为第L层节点j激活量的输入。具体表达式： = 最终的表达式就用 ， ，以及偏置 表示)(ljz1) 1() 1() 1(*lsiljliljibaW)(ljz)()()(

3、ljljzfa)(lja)(ljiW)(lb神经网络的损失函数和残差神经网络的损失函数和残差在逆向算法更新权值时，假设有一共m个训练集。定义：J(w,b)为损失函数，其中第一项称为平均平方和误差，第二项为调整项。第二项是为了减少权值的量级以及防止过度拟合。神经网络的损失函数和残差神经网络的损失函数和残差为了使J(w,b)这个包含W和b的函数最小化（误差最小），我们使用梯度下降法来进行求解。神经网络的损失函数和残差神经网络的损失函数和残差梯度下降法,基于这样的观察:如果实值函数F(x) 在点a处可微且有定义,那么函数 F(x)在 a点沿着梯度相反的方向 下降最快。如果 对于0 为一个够小数值时成

4、立，那么 F(a) F(b)。考虑到这一点，我们可以从函数 F 的局部极小值的初始估计x0 出发，并考虑如下序列 x1,x2,x3.使得因此可得到F(x0)F(x1)F(x2).最终收敛.神经网络的损失函数和残差神经网络的损失函数和残差对于每一次迭代其中神经网络的损失函数和残差神经网络的损失函数和残差定义： 为第L层的第i个节点对最终输出值的残差贡献值，称之为残差。计算方法：1.计算前向过程中的节点激活量2.计算最终层的残差, 此时 为输出。(L)ilnia神经网络的损失函数和残差神经网络的损失函数和残差3.根据上面的算式，让这个式子可以这么理解，对比最终层的节点误差，当 括弧里的算子实际上是

5、逆向算法，是最终层的残差与权重的乘积和即上图中的这个节点产生的总残差.证明. 2,.,1, 1llnnl1lnl神经网络的损失函数和残差神经网络的损失函数和残差4.通过梯度下降法，求得证明神经网络的损失函数和残差神经网络的损失函数和残差获得损失函数及其偏导数之后，便可以采用梯度下降法求网络最优化的参数，整个流程如下:Sparse Autoencoder自动编码器中当隐层节点数过少，隐层节点则需要对原始输入进行压缩，当输入为随机高斯序列的时候，对原始输入提取特征则会变得困难。如果隐藏层节点数量很大，甚至比输入层节点数量还要多时，我们仍然可以使用自编码算法，但是这时需要加入 稀疏性限制 。这就是稀

6、疏自编码器。核心思想：将隐层进行约束，使其变得稀疏。Sparse Autoencoder定义： 为隐含层节点j的平均激活量(也有的翻译为平均输出值)，也就是对应m个不同训练集的平均激活量。具体表达式：因为我们要让隐含层约束为稀疏的，那么当大多数的 接近于0时(0.05)，大多数隐含节点变为非激活状态，整个隐含层变为稀疏。具体表现就是sigmoid函数的输出大多数状态是0，tanh函数的输出大多数状态是-1。这样有什么好处？这样能够迫使隐藏神经元发挥最大的潜力，在很不利的条件下学习到真正的特征。 jjSparse Autoencoder为了迫使 是接近于0，引入一个额外项KL divergence(相对熵)来惩罚 偏离 的情况。 这里给定了 为0.2，实际 我们需要 为更小的值。 当 为0.2时整个KL为0. jjjSparse Autoencoder于是损失函数就变为同时，残差也相对应更新为再优化网络参数，得到训练好的稀疏自动编码器sigmoid函数与