级基于受限玻尔兹曼机手写字符识别算法研究

2016 ...........................................................................................................................2 第1章绪 研究背 研究现 本文的主要工 的组织结 启发式思想与模拟退火算 贪心算法的局部最优限制与启发式思 模拟退火模型及其概率转移计 机与受限 受限机模型概 受限机网络结 受限机能量函数及概率分布计 第3章受限机中的数学理 随机梯度法解对数似然函 3.2链蒙特卡罗策略与Gibbs采 3.2.1链与马氏定 三种采样算 对比散度算 第4章基于受限机的手写字符识别模 手写字符特征提 图像特征提取概念及背 常见的手写字符图像特征提取方 数据降维与受限机提取特 深度信念网络与贪婪学 手写字符特征分 手写字符识别算法流 第5章基于受限机的手写字符识别模型示 手写数字数据集MNIST解 结果分 第6章总结与展 致 参考文 附录1英文原 附录2译 习网络模型。受限机的快速学习算法近年来一直是研究热点，随着对比散度算法的出现，受限机在机器学习节掀起了应用和研究的热潮。许多实验表明，受限机是一种高效的特征提取方法，用于初始化前馈景，然后阐述了作者对于神经网络的理解，包括模拟退火算法与机的机的数学知识理论，包括对数似然估计，链，蒙特卡罗方法等，最后RBM学习的算法。基于受限：手写字符识别；深度学习；神经网络；受限RestrictedBoltzmannMachine(RBM)isaparticulartypeofrandomneuralnetworkmodelwhichhastwo-layerarchitecture,symmetricconectionwithinthesamelayer.RBMattractsmanyattentionofresearchtheseyears.Andwiththedevelopmentoffastlearningalgorithm(ContrastiveDivergence),RBMsetsoffasurgetoapplymodelandresearch.ManyexperimentshowthatRBMisa kindofeffectivefeaturedetector,alsoitcan highlyraisethegeneralizationcapabilitywhenitusedtoinitializedafeed-forwardneuralnetwork.AdeepbeliefnetworkcomposedofseveralRBMisabletodetectmore features.Thispapergenerallysummarizestheresearchbackgroundofrecognizationofhand-writtennumberanddeeplearning,descripttheauthor’sunderstandingofneuralnetwork,includingsimulatedannealingthat,thispaperproofsthemathematicaltheoryofRBMsuchasloglikelihoodcomputing,MarkovChain,MCMCetc,andfinallypresentafastlearningalgorithmofRBM.Basedontheadvantagesabove,thispaperdiscussesaneffectivedeeplearningmodel,usingRBMtoextractthefeatureofhand-writtennumbers,improvedthegeneralizationcapabilityofneuralnetwork,andrecognizethehand-writtennumber.Atlast,thispaperwillshowtherecognizationresultofthismodel.RestrictedBoltzmannMachine网格的方法形状上下文等等由于机器学习掀起人工智能热浪基于machinelearning的识别算法开始不断被提出，比如分类器、支持向量机、KNN征提取之后，利用machinelearning算法对特征进行分类。nImagt的比赛上，运用了他的深度学习模型，10%起来，人们开始使用具有次结构的网络模型去进行机器学习，首先受益果上来看，深度结构模型确确实实提高了正确率。本文的主要工限机的基本框架。这个框架包含了许多复杂的数学推论和原理，其中机过程，随机模拟，采样技术等等，这也是受限机理论的，许多文章并没有给出细致的推导过程以及他们和受限机的关联，本文对这络来对手写数字进行识别，用对MNIST手写数字数据集进行试验，的组织结1章绪论，介绍了神经网络和深度学习的背景和研究现状，描述了作者2RBM模型探讨，从基础的神经网络模型第3章深入理解受限机中的数学问题，阐述了RBM涉及的数学原理和模型，更进一步解析RBM模型4RBMRBM和深度学习的56启发式思想与模拟退火算贪心算法的局部最优限制与启发式思2-1这是爬山算法的示意图，从C点出发，根据贪心算法，每一步都寻求最高的山峰，那么到达A之后就没有办法再移动了，因为无论怎么走，下一步都不是更模拟退火模型及其概率转移计能量函数xxxP((x

，其中Tt

(xp(xxpxxp

P(

x)

随机数01P大于xp机与受限满足网络。机能够学习集合所示的一组模式的潜在特性[3]。其结构图图2-2机结构为描 机的模型概念，给出以下定义全局能量函数1

wxxx，其中x2ij(ij

iji i i1P

xi)

1e/

网络模型，霍普菲尔德是温度为0的机的特殊情的状态（翻转正负），受限机（RestrictedBoltzmannMachine)和机比起来，主要是加入了限制，限制就是把机的完全图限制为二分图，可视层之间受限机在机基础上加入限制，规定了网络结构必须为二分图，模型中包含隐含层和可视层，一般可视层作为数据输入层。而的获得符合受限机的分布的样本受限机模型概受限机网络结受限机包含两层网络结构，可见层和隐含层，用v和h表示，神图2-3受限机结构图nvnhV(v1...vnv)可见层状态， 机相同，这个状态是二值Hh1...hnhAa1...anvWwij(i1...nv,j1...nh隐含层与可见层之间的权值矩阵记(W,AB为RBM中参数RBM和BMRBM具有如下特征：在受限机能量函数及概率分布计 机相似，受 机也定义了能量函数 nvE(v,h)aivibjhjhjwij

P(vh|)Zexp[E(vh|

eZ

ZRBM所定义的关于数据v的分P(v|)P(vh|)的边缘分布，也成为似然函数。P(v|)P(v,h|h9，因为两次抽取到了白球，白球数种，第一是黑比白9:1，第二种是白比黑9:1，因为第二种参数估计情况下，发P(hj1|v,)(bjviWijj其中为经典的sigmoidRBM的结构是对称的，所以一旦给出隐含层的状态，也可推算可见细描述了RBM的学习过程。输入：xo，隐含层的数量，学习率和最大训练周期输出：参数列表(W,A,B)训练过程xo输入到可见层3P(hj1|v,)(bjviWijj当前参数下以及当前可视层状态v0下，每个隐含层神经元的激活概率，使得每个神经元有概率地选择被激活，随后获得h0含层状态h0下，每个隐含层神经元的激活概率，使得每个神经元有概率地选被激活，随后获得含层状态下v1被激活，随后获得3次概率计算，获得了v0v1h0h1，根据这四个状态向量和学习步长，更新(W,AB参数状态转移，这是启发式思想，是模拟退火、机的。第3章受限机中的数学理随机梯度法解对数似然函受限机要学习的目标是根据样本寻找参数(W,A,B)使得在TTmaxlnP(v|其中T方法，给定一个初始状态，不断地更新，直到达到最优状态，其中可以称RBM学习过程，在求某些分布的时候，由于计算量过大，无法直接获得，所以采用蒙特卡罗（MCMC）和GibbsTT令(lnP(vt|( ()lnP(vt|)lnP(vt,h|t t exp[E]ln t

exp[E] 其中E是能量函数简TT

(lnexp[E]ln t1

T(exp[E][E] [E])Tt

h h

h TP(h|vt,)[E]P(v,h|)Tt1

而[E]中，i[E]vii[E]ij[E]j2P(vh|

eZ

Zexp[E(vh|)]，因为v跟h 们的状态数是2nm，这是一个指数级的计算量，是计算机难以接受的，在下一小节，我将详细论述，如何通过MCMCGibbs采样来求解这个问题。3.2链蒙特卡罗策略与Gibbs采3.2.1链与马氏定先给出随机过程定义对于任意tT，(t)为一随量，{(t),tT}(i)1(i)0(i),i1,2...}就是一个随机过程。如果每次投掷相互独立，那就是独立同分布的随量序列。随机过程中，随量的取值集合成为随机过程的状态空间，比如Xt(1),(2)...(n)}代表t时刻随机过程(i),i1,2...}的状态空间。由此P(Xt1|Xt...X1)P(Xt1|Xt讲到这里似乎离RBM有点远了，请想一下，RBM中可视层和隐含层的神经元有两个状态，1和0，表示激活与否，这就可以看成是一个随机过程，每个的经济状况分成3类：下层、中层、上层，分别用1,2,3表示这3表3- 父代到子代收入阶层概率变化123123P 令当代人的收入阶层概率分布为t[t(1),t(2),t(3)]那么他们的的收入阶层的概率分布为t1tP，他们的孙收入阶层概率分布为 P 现假设原始概率分布为00.21,0.68,0.117于是改变原始概率分布00.75,0.15,0.1]9代，概率又稳定P于是把这个稳定不变的概率状态称为马氏链的平稳状态。这个发现，是下面MC方法，bs采样的理论基础和思想源泉。三种采样算先要提及三种采样算法，MCMC，Metropolis-HastingsGibbs。px)，能否有一种便捷的方式去生px(0,1比如像上一节所说的受限机的计算难题P(v,h|)

e。Z阵为P的马氏链，使得这个马氏链的平稳分布恰好是p(x)，那么无论我们从px)的样本了。100始概率分布00.21,0.68,0.11，那按道理，这一百人里面，121人，268人，3111001,2,3然后按照概率转移矩阵P，计算下一代人，按概率来更新，也就是采样过程100粒米，落在哪个区域就代表是那一个阶层，这就是一个采本小节所讲的三种采样方法分别是MCMC，Metropolis-HastingsGibbs，P和分布(i)Pij(则这个式子通俗来讲就是从状态i到状态j比如说，我们有一个马氏转移矩阵Q（q(i,j从状态ij的转移概率），p(i)q(i,j)p(j)q(那么加入，令(i,jpj)qj,i，然后构造新的概率转移矩阵Q，于是

'由于Q'px)就是马氏链Q'在Q的基础上加入，可以把专一的基础上，增加一道新的阀门，概率大于则接受转移，小于的不接受由此引出MCMCAB对t=0,1...ntxty~q(xxt均匀采样~U判断，如果(x,xt)，则接受转移，xt1y，否则转移，xt1这里了一个问题，接受率，如果太小，那么接受率很低，那么老

''

(i,j),(j,i1Metropolis-AB对t=0,1...ntxty~q(xxt均匀采样~U判断，如果(xxminpj)qj,i)，则接受转移，x

y p(i)q(i,j)

xt1到了这一步算法已经很漂亮了，但有否能令1的算法呢，也就是马氏链转移不再受约束，这就是Gibbs算法。Gibbs算法在的情况下比Metropolis-Hastings要高效。A(x1,y1B(x1,y2)，计算他们之间的转移概率BApx1

p

x1p

p

x1p,(1),)3-1Q(AB)p(y2|Q(AC)p(x2|Q(AD)px,yGibbsAx0B对t=0,1...nyt1~p(y|xtxt1~p(x|3-2Gibbs用采样技术解受限机中的计算难有了Gibbs采样算法，就利用它来求解受限机的计算难题。P(v,h|)

eZ

GibbsGibbs算法可以通过固定一个坐标轴，沿着平行坐标P(vh|)

eZ

假如可以得到关于v和hP(h|vP(v|h情况，可以试着把p(v,h)看成上面的二，那么构造一个只允许平行于坐A(v0h0B(v0h1p(vhQ(AB)p(h1|Q(BA)p(h0|p(vhh0~p(h|v0 v1~p(v|h0么回顾一下那个RBM受限机的学习目标，也就是梯度函数，也就要球最大似然函数，使得训练参数(WABT T

[E]P(h| t1

P(v, P(h|v2hsigmoidP(hj1|v,)(bjviWijjGibbsGibbs采样算法需要kHinton初始化v02CDGibbs采样方P(hj1|v,)(bjviWij采样出隐含层的状态h0j的状态，再采样出可视层的状态v1，这个叫做可视层的重构，用这个重构来近似模拟指数级难以计算的概率分布，因为这个重构是按概率分布eP(v,h|)Z

2RBM的学习过程，那个也就是对比散度的C步骤里面，使用v0v1h0h1四个状态来更新参数列表WABGibbs和能量函数的推导公式，可以详细展开T T

[E]P(h| t1

P(v, i[E]vii[E]ij[E]jP(hj1|v,)(bjviWijj观察上面三个偏导数，有两个含有h01，所以hP(hj1|v,)(bjviWij相乘等于概率本身，如果没有hjW(p(h1|v)vTp(h1|v)vT 1b(p(h01|v0)p(h11|其中第4章基于受限机的手写字符识别模图像特征提取概念及背深度学计算机视觉领域最具的突破发生在2012年,Hinton的研究小组采用深度学习赢得了ImageNet图像分类比赛的冠军。第2到第4的差别不超过1%。Hinton研究小组的准确率超出第二名10%以上。这个结果在常见的手写字符图像特征提取方字符宽度特作为最小值。在扫描字符时应从某个合适的阈值ymax为止。交叉点特找到这些交点后,链4-1基于网格的方将图像形状边界到一个标准的网格上，并将该形状边界调整到网格左部分覆盖，则赋值1，否则赋值0，这样就得到了一个0.1组成的串，用来表征数据降维与受限机提取特基于上文描述的深度模型的优越性，本文采用受限机模型提取手浅层的受 机，把二值手写字符图像输入到可视层，通过训练法，获得隐含层，这个隐含层的状态就是提取的特征。RBM图4-2受限机结构这一步了作者的思考，在这个过程中，输入的手写字符是28*28的二100RBM看待罢了。但是所谓特征选择，是用一种现有的世界观去看待事物，是更深度信念网络与贪婪学上述文字介绍了受限机提取图像特征，但是，受限及仍BeliefNetwork---DBN）的想法。4-3[13]别名，叫特征检测器。最顶上的两层间的连接是无向的，组成联合内存。较低的其他层之间有连接上下的有向连接。最底层代表了数据向量(dataDBN组成的基本元件是受限机。训练DBN的过程是一层一层地进起来，其中第一个RBM的可视层输入的是手写数字二值图的28*28矩阵转移成784100向量作为第二层的可视层输入，输出的仍然是一个数量为100的一维向量，作为最终提取的特征，这个特征经过两层RBM抽取，具备很多浅层机器学习算法所不能提取的非线性抽象特征。其中，每一层的RBM都可视作特征提取器，第100个二值BP后播神经网络算法对提取的特征进行分类。BP神经网络全称误差反向神经网络[15]，由一个输入层，一个或多个4-4BPBP神经网络最主要的优势在于它对于外界刺激和输入进行强行联系能力，另外BP神经网络对外界输入样本有很强的识别和分类能力，由于它有很强的是一种按误差逆算法训练的多层前馈网络，这就意味着它具备根据训练集的标注进行自我调整的能力，MNIST数据集没个二值图像都有label，即正确答案，BP神经网络算法的原理是，先初始化网络权值，根据这个权值计算的答练的目的，在此，本文就采用BP神经网络算法来对提取的特征进行分类，并根据训练集的label调整权值以达到最优。手写字符识别算法流step1.从MNIST数据集中提取二值手写字符分别有60000张train和张step3.把train集输入到第一层受限机的可视层，通过学习算法，训练step4.把test集输入到受限机，不再经历学习算法，直接用第2步的学习参数(W,AB)，获得隐含层状态，即为提取的特征step5.RBMtrain集提取特征，放到分类器进行分类，和label进行对校，然后后播更新权值step6.使用训练好的RBM权值，给test集提取特征，放到分类器分类，这次不再调整权值，直接得出答案，和label进行校对，计算error值第5章基于受限机的手写字符识别模型示手写数字数据集MNIST解根据上一章所描述的算法流程，使用深度学习的deep下来的文件结构是这样的，一共有四个文件t10k-images.idx3-ubyte，t10k-labels.idx1-ubyte，train-images.idx3-ubyte，train-labels.idx1-ubyte。t10k代表测试数据集，一共有10k也就是10000片，train是训练集，60000label9。idx3-ubyte文件，格式是这样的，前十六位包含文件信息，包括图的的串不是严格的矩阵，需要通过重新排列，用reshape函数，排列成图个矩阵内，然后就可获得数据集的，用实现如下：fid=fopen(file,'r');a=%Thefirst16unitsisabouttheinformationoftheum=((a(1)*256+a(2))*256+a(3))*256+a(4);ImageNum=((a(5)*256+a(6))*256+a(7))*256+a(8);ImageRow=((a(9)*256+a(10))*256+a(11))*256+a(12);ImageCol=for

b=c=reshape(b,[ImageRowd=e=255-e=uint8(e);25张手写字符图，并给上对应的label图5- MNIST数据集结果示DBN+NN模型对MNIST数据集进行识别，DBN是堆叠RBM的网络结NNRBM算法来初始化。对于第一个特征提取的权值矩阵，用可视化出来，结果如下。5-2RBMRBMMNIST28*28的二值图，28*28=784，算法输入到RBM可视层的是一维向量（784个可视元），然后隐含层是100个隐含元，权值矩阵是一个784*100的二维矩阵，图5-1就是根据这个矩阵画出来的。整个可视化图10*10个格子，对应隐含层100，然后每个格子28*28，对应784，根据权值确定灰度，这样，784*100的表5- RBM识别手写数字的结testerror上述结果，10000片，DBN+NN模型识别有误的有736张，这样计算正确率超过了99%，对着736张误判的图进行展示，结果如下，其中“\”前的是模型识别的结果，后面则是人工标注的label结果。5-3第6机模型，介绍了模拟退火，机，链，MCMC和Gibbs采样方法，这些理论基础构成了受限机基本模型，也是深度信念网络的组成最后，感谢在我成长的过程中给予我帮助的所有老师、朋友 [1]（美）ThomasH.Cormen等著算法导论.原书第2版：机械工[2]神经网络：高等教育[3]（美）IvicaKostanic等著神经计算原理：机械工业张春霞，姬楠楠，王冠伟受限机简介Asja,ChristainIgel AnIntroductiontoRestrictedBoltzmannMachinesIberoamericanCongressonPatternRecognition,2012，，师义民，秦超英编著数理统计（第三版）：科学社2001优化方法 ：东南大学（美）ThomasLeonard等著BayesianMethod（英文版）：机械工2005RafaelC.Gonzalez等著数字图像处理（第三版）：电子工8期《专题》,汪先矩,,一种基于特征提取的手写字符识别技术重庆大学学报2001数据几何结构及降维：高等教育2012倪嘉成.许悦雷.MINST手写体字符分类研究[]统计学习方法：2012BP神经网络模型与学习算法软件导航附录1AnIntroductiontoRestrictedBoltzmannAsja ChristianRuhr-Universit¨atBochum, UniversityofCopenhagen,.RestrictedBoltzmannmachines(RBMs)areprobabilisticgraphicalmodelsthatcanbeinterpretedasstochasticneuralnetworks.Theincreaseincomputationalpowerandthedevelopmentoffasterlearningalgorithmshavemadethemapplicabletorelevantmachinelearningproblems.Theyattractedmuchattentionrecentlyafterbeingproposedasbuildingblocksofmulti-layerlearningsystemscalleddeepbeliefnetworks.ThistutorialintroducesRBMsasundirectedgraphicalmodels.Thebasicconceptsofgraphicalmodelsareintroducedfirst,however,basicknowledgeinstatisticsispresumed.DifferentlearningalgorithmsforRBMsarediscussed.AsmostofthemarebasedonMarkovchainMonteCarlo(MCMC)methods,anintroductiontoMarkovchainsandtherequiredMCMCtechniquesisprovided.Boltzmannmachines(BMs)havebeenintroducedasbidirectionallyconnectednetworksofstochasticprocessingunits,whichcanbeinterpretedasneuralnetworkmodels[1,16].ABMcanbeusedtolearnimportantaspectsofanunknownprobabilitydistributionbasedonsamplesfromthisdistribution.Ingeneral,thislearningprocessisdifficultandtime-consuming.However,thelearningproblemcanbesimplifiedbyimposingrestrictionsonthenetworktopology,whichleadsustorestrictedBoltzmannmachines(RBMs,[34]),thetopicofthisA(restricted)BMisaparameterizedgenerativemodelrepresentingaprobabilitydistribution.Givensomeobservations,thetrainingdata,learningaBMmeansadjustingtheBMparameterssuchthattheprobabilitydistributionbytheBMfitsthetrainingdataaswellaspossible.Boltzmannmachinesconsisttwotypesofunits,socalledvisibleandhiddenneurons,whichcanbethoughtofasbeingarrangedintwolayers.Thevisibleunitsconstitutethefirstlayerandcorrespondtothecomponentsofanobservation(e.g.,onevisibleunitforeachpixelofadigitalinputimage).Thehiddenunitsmodeldependenciesbetweenthecomponentsofobservations(e.g.,dependenciesbetweenpixelsinimages).Theycanbeviewedasnon-linearfeaturedetectors[16].Boltzmannmachinescsoberegardedasparticulargraphicalmodels[22],morepreciselyundirectedgraphicalmodelsalsoknownasMarkovrandomfields.TheembeddingofBMsintotheframeworkofprobabilisticgraphicalmodelsprovidesimmediateaccesstoawealthoftheoreticalresultsandwell-developedalgorithms.Therefore,ourtutorialintroducesRBMsfromthis.Computingthelikelihoodofanundirectedmodeloritsgradientforinferenceisingeneralcomputationallyintensive,andthisalsoholdsforRBMs.Thus,samplingbasedmethodsareemployedtoapproximatethelikelihoodanditsgradient.Samplingfromanundirectedgraphicalmodelisingeneralnotstraightforward,butforRBMsMarkovchainMonteCarlo(MCMC)methodsareeasilyapplicableintheformofGibbssampling,whichwillbeintroducedinthistutorialalongwithbasicconceptsofMarkovchaintheory.Aftersuccessfullearning,anRBMprovidesaclosed-formrepresentationofthedistributionunderlyingtheobservations.Itcanbeusedtocomparetheprobabilitiesof(unseen)observationsandtosamplefromthelearntdistribution(e.g.,togenerateimagetextures[25,21]),inparticularfrommarginaldistributionsofinterest.Forexample,wecanfixsomevisibleunitscorrespondingtoapartialobservationandsampletheremainingvisibleunitsforcompletingtheobservation(e.g.,tosolveanimageinpaintingtask[21]).Boltzmannmachineshavebeenproposedinthe1980s[1,34].Comparedtothetimeswhentheywerefirstintroduced,RBMscannowbeappliedtomoreinterestingproblemsduetotheincreaseincomputationalpowerandthedevelopmentofnewlearningstrategies[15].RestrictedBoltzmannmachineshavereceivedalotofattentionrecentlyafterbeingproposedasbuildingblocksofmulti-layerlearningarchitecturescalledd