深度学习深度信念网络

1、深度学习-深度信念网络(Deep Belief Network)概述深度信念网络(Deep Belief Network, DBN)由 Geoffrey Hinton 在 2006 年 提出。它是一种生成模型，通过训练其神经元间的权重，咱们能够让整个神经网 络依照最可能率来生成训练数据。咱们不仅能够利用DBN识别特征、分类数据，还能够用它来生成数据。下面的图片展示的是用DBN识别手写数字:图1用深度信念网络识别手写数字。图中右下角是待识别数字的黑白位图，它的上方有三层隐性神经元。每一个黑色矩形代表一层神经元，白点代表处于开启 状态的神经元，黑色代表处于关闭状态的神经元。注意顶层神经元的左下方即

2、便 别结果，与画面左上角的对应表比对，得知那个DBN正确地识别了该数字。下面是展示了一个学习了大量英文维基百科文章的DBN所生成的自然语 言段落：In 1974 Northern Denver had been overshadowed by CNL, and several Irish intelligence agencies in the Mediterranean region.However, on the Victoria, Kings Hebrew stated that Charles decided to escape during analliance. The mansi

3、on house was completed in 1882, the second in its bridge are omitted, while closing is the proton reticulum composed below it aims, such that it is the blurring of appearing on any well-paid type of box printer.DBN由多层神经元组成，这些神经元又分为显性神经元和隐性神经元(以下简称显元和隐元)。显元用于同意输入，隐元用于提取特征。因此隐元也有个 别名，叫特征检测器(feature de

4、tectors)。最顶上的两层间的连接是无向的， 组成联合内存(associative memory).较低的其他层之间有连接上下的有向 连接。最底层代表了数据向量(data vectors),每一个神经元朝表数据向量的 一维。DBN的组成元件是受限玻尔兹曼机(Restricted BoltzmannMachines, RBM)。训练DBN的进程是一层一层地进行的。在每一层中，用数据向量来推断隐层，再把这一隐层看成下一层(高一层)的数据向量。受限玻尔兹曼机如前所述，RBM是DBN的组成元件。事实上，每一个RBM都能够单独 用作聚类器。RBM只有两层神经元，一层叫做显层(visible laye

5、r)，由显元(visible units) 组成，用于输入训练数据。另一层叫做隐层(Hidden layer)，相应地， 由隐兀(hidden units)组成，用作特征检测器(feature detectors)。hidden unitsvisible units图2受限玻尔兹曼机的结构。图中的较上一层神经元组成隐层，较下的神经元组成显元。每一层都能够用一个向量来表示，每一维表示每一个神经元。注意这 两层间的对称(双向)连接。神经元之间的条件独立性应注意到，显层和隐层内部的神经元都没有互连，只有层间的神经元有对称的连 接线。如此的益处是，在给定所有显元的值的情形下，每一个隐元取什么值是互 不

6、相关的。也就是说，尸(v I h) = nI h)有了那个重要性质，咱们在计算每一个神经元的取值情形时就没必要每次计算一 个，而是同时并行地计算整层神经元。利用RBM的进程假设咱们此刻已经取得一个训练好的RBM，每一个隐元与显元间的权重用矩阵W表示，且:其中Wij代表从第i个显元到第j个隐元的权重，M代表显元的个数，N代表X隐元的个数。那么，当咱们把一条新来的数据 给(clamp to)显层后，RBM将会依照权值W来决定开启或关闭隐元。具体 的操作如下： 第一，将每一个隐元的鼓励值(activation)计算出来：h = Wx注意，这里用到了前面提到的神经元之间的条件独立性。然后，将每一个隐元

7、的鼓励值都用S形函数进行标准化，变成它们处于开启状(用1表示)的概率值：p眼=1) = (妇=k此处的S形函数咱们采用的是Logistic函数：至此，每一个隐元hj开启的概率被计算出来了。其处于关闭状态(用O表示)的概率自然也就是那么到底那个元开启仍是关闭，咱们需要将开启的概率与一个从O, 1均匀散布中抽取的随机值进行如下比较Ih _ 4 的居=1)# j = |o, P(hr = 1) ）按卜式更新W W + P（h。）= 1 | vl0）v,0）r - P（htl） = 1| vul）v（tT如此训练以后的RBM就可以较为准确地提取显层的特征，或按照隐层所代表 的特征还原显层了。深度信念网

8、络前文咱们已经介绍了 RBM的大体结构和其训练、利用进程，接下来咱们介绍 DBN的相关内容。DBN是由多层RBM组成的一个神经网络，它既能够被看做一个生成模型，也能够看成判别模型，其训练进程是：利用非监督贪婪逐层方式去预训练取得权 值。训练进程：第一充分训练第一个RBM；固定第一个RBM的权重和偏移量，然后利用其隐性神经元的状态，作为 第二个RBM的输入向量;3.充分训练第二个RBM后，将第二个RBM堆叠在第一个RBM的上方；重复以上三个步骤任意多次；若是训练集中的数据有标签，那么在顶层的RBM训练时，那个RBM的显层中除显性神经元，还需要有代表分类标签的神经元，一路进行训练：a）假设顶层RB

9、M的显层有500个显性神经元，训练数据的分类一共分成了 10 类；b）那么顶层RBM的显层有510个显性神经元，对每一训练训练数据，相应的标签神经元被打开设为1，而其他的则被关闭设为0。6. DBN被训练好后如下图：（示意）图3训练好的深度信念网络。图中的绿色部份就是在最顶层RBM中参与训练的标签。注意调优（FINE-TUNING）进程是一个判别模型另:P（h|v）HhOO oo oo vCo6 006 * 000Data Reconstructed P（vh）调优进程（Fine-Tuning）:生成模型利用Contrastive Wake-Sleep算法进行调优，其算法进程是：1.除顶层RBM，其他层RBM的权重被分成向上的认知权重和向下的生成 权重；2. Wake阶段：认知进程，通过外界的特征和向上的权重（认知权重）产生每 一层的抽象表示（结点状态），而且利用梯度下降修改层间的下行权重（生成 权重）。也就是“若是现实跟我想象的不一样，改变我的权重使得我想象的东西就是如此的”。Sleep阶段：生成