互改-只前两页基于深度学习社交网络

文主要以深度学习的常用模型深度信念网络(Deepbeliefnetwork,DBN)为研DBNDBNSVM相结合，构成了一种图像分类方法对比，验证了本文改进方法的有效性。place/nearby_timeline接口获取某个位置周边的据，最后将经过解析的JSON格式数据构成数据集。种基于DBN-SVM的社交网络图像分类方法。然后将该图像分类方法与其他四：深度学习，深度信念网络，支持向量机，社交网络，图像分Withtherapiddevelopmentofinternettechnologyandtheadventofweb3.0era,onlinesocialnetworkapplicationshas eincreasinglypopularindailylife.Itprovidesuserswithaplatformtoexchangeofinformationandshareblogs,sandimages,whichproductamassiveonlinesocialnetworkdata.Asasignificantcomponentofonlinesocialnetworkdata,imagehas eanimportantcarrierinthebigdataera.Withtheincreasingofthenumberofsocialnetworkimages,theabundantinformationcontainedinthesocialnetworkimageisnotusedefficiently.Therefore,howtoextracttheinformationcontainedintheonlinesocialnetworkimageseffectivelyand imageclassificationquicklyhave eoneoftheresearchfocusesinthefieldofimageDeepbeliefnetwork(DBN),oneofthecommondeeplearningmodels,istakenastheresearchobject.AimingattheproblemoftheselectionoftheinitiallearningrateintrainingstageandnetworkstructureofDBN,thisthesismakesathoroughresearchonthem.Themaincontributionsofthisthesisareasfollows:Thisthesisintroducestheresearchstatusofdeeplearningbrieflyandlaysemphasisonthebasicideaofdeeplearning,thedifferencewithshallowlearningmodel,thecommondeeplearningmodelsandtwoclassifiers.Atrainingmethodofdeepbeliefnetworkisimproved,whichcombineadaptivelearningratebasedonreconstructionerrorsandweightupdatingrulewithadditionalmomentum.Then,theimprovedDBNandSVMclassifierarecombinedtoformanimageclassificationmethodbasedonimprovedDBN-SVM.Finally,comparedwithotherclassificationmethodssuchasANN,SVM,DBNandDBN-SVM,thevalidityofthemethodimprovedisverifiedintheexperiment,whichconductedontheMNISTdatabaseofhandwrittendigits.ASinamicroblogdataretrievalmethodbasedonAPIisproposed.Bycallingtheplace/nearby_timelineinterfaceofthelocationserviceinterfacegroupprovidedbySinamicroblogopenplatform,whichcanhelpustoobtaindynamicdataaroundacertainsite.Thedynamicdatanotonlyincludesimagesuploadbyuser,butalsothetime,locationofmicroblogpublishedandthetotalnumberofrecordslocationofmicroblogpublishedandsoon.ThedynamicdataparsedbyprogramcanbeusedasthedatasetofSinamicroblog.TakingSinamicroblogasanexample,dependedontheconvenienceoffeatureextractedofonlinesocialnetworkimage,anonlinesocialnetworkimageclassificationmethodbasedonimprovedDBN-SVMisproposed.Then,comparedthemethodwithotherfourclassificationmethodsinsimulationexperiment,whichconductedontheSinamicroblogdataset.Finally,applyingthismethodtoestimatethepopularityofdifferentsportbrands.:deeplearning,deepbeliefnetwork,supportvectormachine,onlinesocialnetwork,imageclassification第1章绪 选题背景及意 研究现 图像分类方法研究现 深度学习研究现 深度学图像分类领域的研究现 主要工 组织结 第2章相关理论基础知 深度学习相关理 深度学习的基本思 浅层学习和深度学 深度学习常用模 受限 深度信念网 自动编卷积神经网 分类器概 数据集的线性可分 支持向量 Softmax分类 本章小 第3章基于深度信念网络的图像分类方 问题分析和研究思 问题分 研究思 基于改进的深度信念网络的图像分类方 改进的RBM训练算 改进的DBN训练算 实验及分 实验数据集描 实验评估方 与其他分类方法的比 本章小 第4章社交网络图像分类研 4.1开放平台简 4.2数据获 获取基于API的数据获 4.3社交网络图像分类框架改 问题分 4.3.2社交网络图像分类框架改 4.4社交网络图像分类方法的实验仿 实验数据集描 实验分 对比分 应 4.5本章小 第5章总结与展 本文总 未来研究方 参考文 致 攻读期间从事的科研工作及取得的成 1为特点，以新浪、搜狐、网易等门户为产物的web1.0时代向以“用户交互”为特点，以博客、社交网络等应用为产物的web2.0时代的，并逐步向基于移动社交的、以、等社会化为产物的web3.0时代的转变[1]。依托于web3.0时代的到来，以六度空间理论为基础的社交网络(OnlineSocialNetwork,OSN)应用在日常生活中越来越普及，例如国外的、、和国内、人人网、腾讯等。截止到2015年8月，的月活跃用户数已经达到8，和的月活跃用户数也分别达到了3.16亿和2.22亿，模型[3]、GM[4]和OW[]等；后者反映的是不同图像类别之间的差异，寻找的是不同自从G.Hinton等人[10,11]快速贪心逐层无监督训练算法被证明在多层神病理分析、遥感领域中的地表识别、苹果中的、中的扫描般包含预处理、特征提取和分类识别三个步骤，如图1.1所示。于多层反卷积网络的结构特征提取方法，并将其用于合成孔径(SAR)图像深度学习研究现未能解决的问题[22]。从深度学习的发展历史来看，它于人们对人工神经网络BackPropagation,BP)算法的提出[23]，给传统的神经网络领域注入了新鲜的血液。但等问题，导致其不能高效地从样本中学习本质特征。2090年代，随SVM、《Science》杂志上的文章[9]，再次掀起了机器学习的浪潮。G.Hinton深度信念网络(DeepBeliefNetworks,DBN)由多层受限机(RBM)堆叠而成，采用自底向上的贪婪逐层无监督学习方法训练整个网络，其中每层RBM都通过对比散度(ContrastiveDivergence,CD)算法实现快速训练。目前常用的深度学习模型有自动编(DA)、深度信念网络(DBN)和卷积神经网络(CNN)，以及在DA基础之上改进的稀疏自动编、降噪自动编等。H.Lee等人[24]在DBN和CNN的基础上提出的卷积深度信念网络(ConvolutionalDeepBeliefNetworks,CDBN)具有平移不变性、究所(InstituteofDeepLearning,IDL)，并2014年邀请深度学习领域的三大泰斗之习工作，同步推出BaiduBrain计划。深度学图像分类领域的研究现等人[25]在未DBN进行任何改进的前提下，直接将其应用于遥感图像分类并取得了较好的分类结果，说DBN在特征提取方面有着得天独厚的优势；李彤等人[26]同样将DBN模型应用于了高光谱图像分类中；Geng等人[27]提出了深度卷器提取特征，然后利用深度信念网络进行图像分类；S.Hassairi等人[30]将小波情感特征的情感分类方法；R.Bahgat等人[36]以为例，将深度学习算法用于社交网络的社区发现中。鉴于数研究者将深度学习应用于社交网络尽管深度学图像分类和人工智能领域均取得了巨大的成功，但是仍着DBNDBNSVM分类器相结合，构成DBN-SVMDBN-SVM图像分类方法在MINST手写数字数据集上进行了实验验证。实验结果表明，改进后的像分类方法有着更好的分类性能，验证了本文改进算法的有效性。的DBN-SVM的社交网络图像分类方法，并通过实验验证了该分类方法的有效行了对比。最后，将其应用动品牌关注度评估中。国内期和一篇国际会议。组织结构如图1.2所示：第三章基于深度第四章社交图1.2第三章，基于深度信念网络的图像分类方法。本章针DBN在训练和构建过判别的自适应学习率与增加动量的权值更新准则相DBN训练方法。然后将类方法。最后将该图像分类方法与其它四种常用的图像分类方MINST手写数博为例的，因此首先简要介绍了开放平台；其次，详述了基于API的新浪基于改进的DBN-SVM的社交网络图像分类方法；最后在MINST手写数字数深度学习的基网络。深度学习的层次结构灵感来源于1981年生理学及医学奖获得者David脑皮层V2V4区域进行假设有一个系统S具有n层结构，即(S1S2,Sn，其输入为I，输出为O，并IS1S2SnO。如果输入I经过系统SI的另一种表示。但是，根据“信息逐层丢失”理论，输入I完全等于输出O是不可能的，也没有任何意义，否则系统S就失去了存在的意义。对于深度学习来说，系统S的每一层Si都是堆积的多个隐层，每一层的输出都可作为下一层的输入，从而实现对输入信息的分层表达。由于IO的限制过于严浅层学习和深从20世纪80年代至今，根据机器学习的层次结构划分，可以将机器学习的发BP算法的提出标志着2.11~2较为成理论基础，但其建模和表达能力仍较为有限。[41]，体现了人脑“分层”处理信息的思想。深度模型具有强大的特征表达能力，常用的深度学习模型主要有受限机(RestrictedBoltzmannMachines,RBM)、自动编(AutoEncoders,AE)、卷积神经网络(ConvolutionalNeutralNetworks,CNN)和深度信念网络(DeepBeliefNetworks,DBN)等。受限机(BoltzmannMachines,BM)是由G.Hinton等人[42]一种基于统激活，1表示激活。BM的结构模型如图2.1所示：W间均有边相连接，可见BM是一种无向完全图。是建立在牺牲训练时间的基础之上，同时其概率分布也很难获得。为此，P.模型如图2.2所示：W nEv,h|aivibjhj j i1j其中，WijaibjRBM的参数，Wij为可见单元vi和隐含单元hj之间的权重，ai量配置函数的、给定状态v,h的联合概率分布：Pv,h

expEv,h| 其中ZexpEvh|v,Pvh的边缘分布Pv，即观测数据v的似然函数： PvPv,h Z

PhPv,h expEv, 在计算v和hZjij

iijPh1|vb iij 其中，x11exSigmoid激活函数。Pvi1|haiWijhj

假设训练集的样本个数为TRBM在训练集上的对数似然函数学习得到RBM的参数，即T*argmaxLargmaxT t

logPvt| 的偏导数进行计算是关键步骤。将L简化可得：L

t

logPvt|t

logPvt,h|hexpEvt,h|

t expEv,h| logexpE ,h|

logexpEv,h|

t1 L logexpEv,h logexpEv,h t1T

expEvt,h| Evt,h| t1hexpEvt,h| expEv,h| Ev,h|

h

Ev,h|

Evt,h|TEvt,h|t1

Ph|vt,

Pv,h|

.P表示求分布P的数学期望值。Ph|vt,.P训练样本vt时隐含层的概率分布，Pvh|表示可见单元与隐含单元的联合分布。在公式（2.9）Ph|vt,的计算比较容易，而Pv,h|由于归一化因子Z的存在导致其计算比较，但可以通过Gibbs采样方法求解其近似值。是否与原始样本足够相似，所以目标函数就是输入样本的似然函数。对于某一datamodel来简记概率分布Ph|vt,Pvh|数似然函数关于连接权重Wij，可见单元的偏置ai和隐含单元的偏置bj的偏导数分别ilogPv|vilogPv|

vi modi

logPv|

imodhjmod

2002年，Hinton教授提出了RBM的快速学习算法[44]，即对比散度(Contrastive,Wij

vh

ai

v

bj

hj h

..深度信念网输出数Rx输入数深度信念网络(Deep输出数Rx输入数2.3DBN结构模RBMDBNBP网络接收顶层法[45]）DBNDBN模型的整体微调。而且“逐层初始化”的方法可以有效克服DBN利用BP算法训练模型时由自动编…自动编(AutoEncoders,AE)是由D.Rumelhart等人[46]在1986年无监……………假设有一无样本，其样本数目为i，其可表示为X{x1,x2,,xi}，并将其输入向量xx1x2,xn，输出向量yy1y2,yn，自动编的目标学个映射函数hw,b(xxyx。当隐含层中的隐含单元数目小于输入层中的输入单元数目，即mn时，那么“编码”可以看作是输入的出的稀疏自动编(SparseAutoEncoders,SAE)是在自动编的基础上加入了稀助于提高模型的泛化能力；P.Vincent等人[47]降噪自动编(Denoising卷积神经网卷积神经网络(ConvolutionalNeutralNetworks,CNN)是由卷积层和下采样层交层、卷积层、下采样层、全连接层和输出层组成，其结构模型如图2.5所示：

S2

S4

F6

全连 高斯映卷 下采 卷 2.5中，C1、C3C5是卷积层，S2S4是下采样层，F6是全连接层，卷积层和下采样层均称为隐含层。CNN在输入层输入的是大小为3232的归一化图像。卷积层C16张特征图，使用55的卷积核进行卷积运算，因此每张特征图的大小为2828。下采S2C1层的输出作为输入，使用22的采样核进行下采样，转换成6张大小为1414的特征图，从而降低了特征图的分辨率。C3层和生成120个大小为11的特征图。全连接F6C5之间全连接，F6层的输出为84维向量，最后输出层通过高斯映射输出图像的分类结果。可以看出，随着卷积层连接CNN的相邻两层节点之间为局部连接，而不是全连接C1S2、数据集的线性Tx1,y1,x2,y2,...,xn,yn 其中xRny1,1，i1,2,Nx为第i个特征向量，也称为实例 yi1的实例iwxib0，对所yi1的实例iwxib0，则T为线性可分数据集；否则，T为线性不可分数据集。支持支持向量机(supportvectormachines,SVM)是由Cortes和Vapnik[49]一种线性支持向量称为线性可分SVM

fxsignw*xb*

H2.12.6”表示两类待分类样本，分别对应正实例点和负实例点。可以看出，直线HH1H2之间存在无12 w12

12Lw,b, w2iyiwxib 12 i其中，1,2,,n为

1Nyyxx

i 2i1j iN iyii

i0，i1,2,, 然后通过KKT条件求解参数，计算得**,*,,* w*

*y iiij并选择*的一个正分量*0jNb*N

*yxx

ii wwxbyxy i i

非线性支持向量

i *fxsigniyixixjb SVM2.7”分别表示正OTx1,y1,x2,y2,...,xn,yn i1,2,,NRn空间中的寻找一个超平面使正负实例两类数据有效区分开RnHRnH中的超平面模型相对应，然后在特征空间中求解非线性SVM，从而解决了非线性数据的分xzXKxzKx,zxz Kxz为核函数，xKxz为正定核的充要条件为：对任xiXi1,2,m，任意正整数mKxz对应的Gram矩阵是半正定的。xixj用核函数Kxixjxixj1N 2W ijyiyjKxi,xj 2i1 ifx

* signaiyixix

signaiyiKxi,xjb

ijyyKx,x

N i N 2i1j i

iyi 0ii

i1,2,, **,*,,* j选择*的一个正分量0*Cj

b*

yKx, ii i1

fxsign * yKx i i Kxz是正定核函数时，问题（2.36）~（2.37）是凸二次规划问题，解是存在的SoftmaxmXXx1y1,x2y2,,xmym回归中，yi0,1Softmax回归中，yi1,2,3,,kxi，输出一个kpyijxiθ。假设函数θhxiθ i

θTxie θ2i p 2 θ2

eT

θtxi i

j1e

θTxie py

x;

1,1 eθT λ J1yijlog l2l2

i1jl mJm

xi1yijp(yijxi;

iDBN训练方法，并将改进后的DBNSVM分类器相结合应用于图问题分DBNRBMBPRBMDBN也是在RBM训练的基础上逐层训练和有监督微调得到的。G.HintonRBM快速学习算法，即CD-k算法[11]，很好地解决了当训练样本数据维度较高时需要较RBMDBN模型得到了广泛应用。但仍存在以BP算法的微调阶段，学习率过小会使相应的空间参数值会变小，从而DBN网络的最优值。因此，如何选取一个恰当大小的学习率对DBN的训练有着至关重要的影响。研究思动量项的方式，使第n次迭代之后的权值和偏置项部分依赖于第n1迭代之后的更元个数和Mini-batch大小的确定，我们直接借鉴，不做过多的探讨。系用于指导DBN网络的构建，但仍有一定的借鉴意义。改进的RBM训练算在基于CD-kRBM训练过程中通常采用一个固定学习率来对k速学习算法的M训练过程中，连接权重Wj和偏置ai、bjjj'ij'

ifen 其中，0,10.8；enenen1，en和en1分别是迭代n次和nerror0S1,2,3,TforallvSPhv，从条件概率分布中抽取h0,Pv'h，从条件概率分布中抽取v'0,end

errorerror

v'v(treturnv改进之二的基本思想是为公式（2.13~2.15）中的连接权重Wijai、bj更新准则增加一个动量项，使第n次迭代之后的权值和偏置项部分依赖于第n1迭代Wij

Wij aibj

vv

ai(nbj

其中，公式中的第二项为动量项，0,1是动量系数，本文中取值为0.1；改进RBM3.1更新一次；在训练伪代码如表3.2所示：3.2改进后的RBMinput：初始连接权重Wij、初始偏置aibj、初始学习率ijR、最小学习率minforiter1,2,3,,RP

1|v

Wijvi Pvi1|haiWijhj logPv|

v vj ijmodvlogPv|

i imodlogPv|

jj

hWij Wij(n ai ai(n bj bj(n 计算重构误差erroren3.2改进后的RBM训练伪代码（续errorerrorerrorv'v(tenen更新权重值Wij、偏置值aibjWij'WijWij；ai'aiai；bi'bibi'ij'

ifei0，作为下层RBM训练的学习率 ifeend

output：学习得到Wab和new典的DBN是由多层RBM和一层BP神经网络构成的深度学习模型，其训练是在自底向上的逐层训练，低一层RBM的输出作为高一层RBM的输入，以此类推，从DBNBP网络接收顶DBN网络的参数。3.2.1节中经过改进的RBMDBN3.2中训练的伪代码如表3.3所示：3.3DBN训练伪inp：训练数据集T、初始学习率、初始连接权重ij、初始偏置ai,bj、训练迭R、隐藏层层数Hfork1tokH1DBN训练伪代forq1toqRdoifk1，then保存学习到的权重W，偏置ab，学习率1Ph|x h0xPhl1|hl2作为输入数据，调用RBM训练程序保存学习到的权重W，偏置ab，学习率lPh|h lendforendforq1toqR使用BP算法计算所有RBM层的空间参数，包括权重梯度及偏置值endinput：最终训练得到的权重值和偏置值3.3可知，在预训练阶段，首先初始化网络参数，包括初始学习率、初始RBM的权重和偏置。但是，每层DBNSVMDBN提取图像DBN-SVM3.1所示：………3.1DBN-SVMDBN的特SVMSVMDBN网络可向量的方式输入训练后的DBNSVM分类器进实验是由纽约大学的YannLeCun、谷歌的CorinnaCortes和微软研究像文件分别包含60000个和10000个训练数据样本。训练集样本和测试集样本均是像的像素都以灰度图（灰度区间0~255）的形式。MNIST手写数字数据集中的部分图像样本如图3.2所示：3.1MNIST手写数字数据集样本PC机，CPUi5-4200H，4G内存；软件操作系统为Windows8.1，实验平台为2013a。实验中用到的两个工具箱分别是深度学习工具箱DeepLearnToolboxSVM工具箱LIBSVM。实验评估方和矩阵(ConfusionMatrix)等。

法性能的好坏。假设以M表示矩阵，那么矩阵对角线上元素mii表示正确分类样本数或百分比，其余元素miji

jj 在矩阵中，通常用Kappa系数来表示分类精度[55]，它不仅考虑了矩阵别间的吻合度。Kappa系数可表示为： Nmiiminik ci

N2mn i其中，N和c分别表示待分类的样本总数和样本类别数，mi和ni分别表示矩阵中第i行和第i列中元素值的总和。输入层、输出层和隐含层的随机DBN-SVM的图像分类方法中，DBN网络的输入层和输出层的随机单元样本类别数相同，故可将输出层的随机单元数设置为10。mn,qS 0.43mn0.43mn0.12m22.54n0.77m

S mSmm3m3

方法，即公式（3.4）中的Smn,qmaxS392S4002置为3，且每个隐含层都含有相同个数的随机单元，则其网络构架可表示为784-400-400-400-10。但是如何构建恰当的DBN层次结构并没有成。因此，本节从隐含层层数和迭代次数两个角度讨论DBN层次结构对分类性能的影响，并通过实验验证在本节实验中，除输入层、输出层和隐含层的随机单元个数已经确定为784、2,3,4,5中选取，

2个隐含3个隐含4个隐含5个隐含分类准确率分类准确率 迭代次数DBN的泛化能力降低和过拟合，从而影响最终的分类性互作用对图像分类性能的影响。其中减量因子和动量系数分别从0.1,0.4,0.8和0.1,0.4,0.7DBN-SVM图像分类模型在不同的减量因子和动量系数的组合作用下的实验分类准确率如表3.4所示：减量因子从上表可以看出，不同的减量因子和不同的动量系数的相互作用对基于DBN-SVM图像分类模型的分类性能相对于其他参数组合有着更好的分类性能，表明了减量因子0.8和冲量因子0.1为了验证本文改进算法的有效性，改进后DBN-SVM的图像分类层次结构根据3.3.4节中得到的结论将隐含层数设置为3，迭代次数设置为400，其数字数据集上的分类准确率如图3.4所示：MINST手MINST手写数字数据分类准确率分类准确率0 本3.4DBN的分类方法均比SVMDBNDBN-SVM分类方法比改进前DBN-SVM分类方法有着更优的分类性能，则验证了本文改，DBN的相关文献和对文献中的相关方法进行了深入研究后了DBN在训练和构DBNSVM相结合，将其应集上进行了实验验证和对比。实验结果表明，改进后的DBN-SVM的图像分类方法，为例，首先通过调用开放平台提供的应用程序接口(Application出了社交网络图像分类方法。最后将其应用动品牌关注度评估中。 /)是一个基于系统的开放的信息订阅、与交流平台。它是依托于的海量用户与其强大的能力，广大开发者只需申请浪账号、登录平台、创建应用并获得之后，便可通过调用平台提供的API获取正文、创建时间、地理位置、粉丝数、评论数等活跃用户数达到2.22亿，并呈现出平稳增长的趋势。相对于国内其他社交网络，新具备用户优势，如月活跃用户数已经达到8亿，的月活跃用户数达到3.16亿，但由于国内网络限制，使用或作为社交网络的提供了一套APIAPI16组，包括公共服务接口、位置口提供了坐标转换、移动服务和交通路线的功能。相对于腾讯仅提供的60多个API接口，提供了超过200个API接口。因此，从规模角度来看，新浪提供了更为丰富的接口资源，开发者可以根据需求利用不同的API来获取数据。多种语言的软件开发工具包(SoftwareDevelopmentKit,开放平台提供了多种语言版本的SDK，如Java、PHP、Python、C++、C#、AndroidIOS等。因此，开发者可以根据自己擅长的编程语言来选择相应的掌握调用API的方法，降低了开发门槛。例如，API文档提供了的所有可调用接口的、主要功能和是否具有调用权限等信息；开放平台在Rate-limiting文档中说明了接口调用限制，规定了每个用户在一段时间内能够请求的次数，以防止API被调用。而且，开放平台向所有开发者承诺永久4.2数据获的方式获取实验数据。其中，SDKJava版本，API选用位置服务接口组中的nearby_timeline接口，从而获取地理位置、创建时间、图像、图URL、城市编码本节实验的硬件平台为普PC机，CPUi5-4200H，4G内存；软件操作系统行解析。基于API的数据获取流程如图4.1所示：获 AccessAccess图4.1获取数据流获是指获取APPkey、APPsecret和AccessToken。开放平台为开发者供了OAuth2.0协议和HTTP普通两种方式。本文将采取OAuth2.0协议方式获取，这种方式相对于HTTP普通方式具有简单方便、安全的和APPsecret名，签名算法为HMAC-SHA1；服务器同意请求后向其颁发用户的OAuth_token，OAuth_token后的值即是RequestToken。行用户认证。用户认证是将用户重定向到页，询问是否对该应用，如果同OAuth_tokenOAuth_verifier，用于请求Accesstoken获取AccessToken。用户认证通过之后，向AccessToken地址发起请求，服务器将RequestToken置换为AccessToken及相应的密钥Secret，成功。基于API的数据获其请求参数类型及说明如表4.1所示：

start 开始时间，Unix时间end 结束时间，Unix时间

为是（仅当前应用），默认为0默认为0。例分别如表4.2和表4.3所示： 原始 { { "source":"<a "rel="nofollow">"geo":"type": "total_number":}中；通过图像URL获取的图像则单独存至文件夹中保存，以供后序实验使用。解析后存至Excel表中的部分数据样本如表4.4所示：4.4 2015/3/149:36 2015/3/149:36 2015/3/149:36 2015/3/149:36 由上可知，我们可以通过开放平台提供的位置服务接口组中的信息作为文本信息，并将这些文本信息作为社交网络图像的分类依据之一。问题分],TBIRCBIR，索结果。图像检索的一般流程如图4.2所示：在4.2.2节已经提到，我们在利用API获取社交网络图像的同时了图像文本特征提取过程中存在着效率过低，性较强的问题。4.3.2社交网络图像分类框架改本节在第三章基于DBN-SVM的图像分类方法的基础上，利用社交网络图像文本特征获取的便捷性，对基于DBN-SVM的图像分类方法进行了一定的输入输入图预处第一层图像特征取线性分文本特征线性分文本特征匹文本特SVM分构中的图像特征提取模块由DBN完成，然后由SVM分类器完成社交网络图像征提取过程中存在着效率过低，性较强的问题。实验假设一个图像样本集X可以表示为：Xx1,x2,,xLU 有样本的矩阵Y表示为Yy1,y2,,yL其中，yi表示第i个有样本数据的向量，Y是一个LD的矩阵。如果样本类别数为C，则yji可定义为：

yi

ifxijthclassifxijth

jjjj本章社交网络图像分类方法的有效性的同时，还可以比较不同运动品牌阿迪达斯(Adidas)、彪马(Puma)、卡帕(Kappa)、和安踏。由于通过获取的图像均来源于人工拍摄上传，可能存在、拍摄不nearby_timeline2014年4月1日至日、年月日至日、地理位置参数为海淀区和重庆南岸区，其中时间参数用Unix时间戳表示，地理位置参数用表示，如表startendstartend集样本图像均是无图像而基于DBN的图像分类方法是一种半监督学习方法，图4.4数据样本图实验分63DBN网络，每个隐含层含有相同的分类精度的实验结果如表4.6所示：0000000000000000在表4.6中，对角线上的数值表示每种类别图像的分类准确率，非对角线上的帕两种类别图像的分类准确率相对较高，均94%以上，而且这两种类别的图像被分到其他四种类别中的概率为0，原因是在外观上与其他四种类别的图像有很大的差距。安踏和两种类别图像的分类准确率相对较低，均低于90%，并且两者被错误分至安踏的概率为5.4%，原因可能是这两种类别的图像在情况下外93.6%，与基于改进DBN-SVM的社交网络图像分类方法在数据集上的总体分类准确93.2%相近。对比分在本节中，基于改进的DBN-SVM的社交网络图像分类方法，与其它四种广泛使用的图像分类方法ANN、SVM、DBN和DBN-SVM在数据集上进行了实验仿真，并与第三章中的图像分类方法MNIST手写数据集上分类性能进行对比。其中，DBN、DBN-SVM和改进后DBN-SVM的图像分类方法的层次结构均包含3个隐含层，隐含层的随机单元数为400，迭代训练次数设置为400次，均与第三章中的实验参数保持一致ANN只包含有一个隐含层，隐含层的隐含单元数设置为400，与上述保持一致；SVM采用高斯核的方式。不同分类方法实验结果表明，在相同的测试环境和相同数据集上，改进后的基DBN-SVM的图像分类方法在分类性能上优于其他四种分类方法。但是MNIST手写数字数据集，在数据集的分类性能略差，总体分类错误率略低2到4个百分点。其主要原因在于数据集的训练集规模远小于MNIST手写数字数据集，DBN训练效果不MNIST手写数字数据集，导致样本特征不能充分表达；其次，相对于MNIST手写数字数据集中的图像，数据集的图像本身相对复杂，分类难度也相对较高。因此，基于改进DBN-SVM的图像分类方法在数据集的分类性能略差于MNIST手写数字数据集属于合理范畴。MINSTMINST0

DBN- 应其应用动品牌关注度评估中，具有一定的现实意义。Pi

num

num 根据4.3.2节中社交网络图像分类方法，首先利用基于DBN-SVM摄的地表图像。例如，常用的遥感图像数据集77个类别，分别是草地、4.5DBN与SVM分类器相结DBN-SVMDBN-SVM图像分类方法在MINST手写数据集上进行了实验验证。第三，以为例，提出了一种基于改进的DBN-SVM的社交网络图性，提出了一种基于改进的DBN-SVM的社交网络图像分类方法。最后将其应用动品牌流行度评估中。来实现对训练过程的加速，如数据并行、模型并行、CPU集群等。在实验条件的情况下，也可借助于新兴技术GPU、CUDA平台和HadoopMapReduce实现并行化，从而加快训练过程成为人工智能领域的潮流和方向。提取中的动态特征是一个难点，同样也成为未来研究工作的重点方向之一。NathK,DharS,BasishthaS.Web1.0toWeb3.0-EvolutionoftheWebanditsvariouschallenges[C]//Optimization,Reliabilty,andInformationTechnology(ICROIT),2014InternationalConferenceon.Faridabad:IEEEPress,2014:86-89.YangShuanghong,JiangBian,ZhaHongyuan.Hybridgenerative/discriminativelearningforautomaticimageclassification[J].KnowledgeandDataEngineering,2012,4(12):2184-2202.SnoekJ,LaroceH,AdamsRP.PracticalBayesianOptimizationofMachineLearningAlgorithms[J].AdvancesinNeuralInformationProcessingSystems,2012, LiWei,PrasadS,FowlerJE.HyperspectralimageclassificationusingGaussianmixturemodelsandMarkovrandomfields[J].GeoscienceandRemoteSensingLetters,2014,11(1):153-157.LuZhiwu,WangLiwei.Learningdescriptivevisualrepresentationforimageclassificationandannotation[J].PatternRecognition,2015,48(2):498-508.KIMJ,KimBS,SavareseS.Comparingimageclassificationmethods:K-nearest-neighborandsupport-vector-machines[J].AnnArbor,2012,1001:.CriminisiA,ShottonJ,KonukogluE.Decisionforests:Aunifiedframeworkforclassification,regression,densityestimation,manifoldlearningandsemi-supervisedlearning[J].FoundationsandTrends®inComputerGraphicsandVision,2011(7):KhasheiM,HamadaniAZ,BijariM.Anovelhybridclassificationmodelofartificialneuralnetworksandmultiplelinearregressionmodels[J].ExpertSystemswithApplications,2012,39(3): 戴礼荣,.深度语音信号与信息处理:研究进展与展望[J].与处理,2014,29(2):171-179.HintonGE,SalakhutdinovRR.Reducingthedimensionalityofdatawithneuralnetworks[J].Science,2006,313(5786):504-507.HintonG,OsinderoS,TehYW.Afastlearningalgorithmfordeepbeliefnets[J].Neuralcomputation,2006,18(7): BengioY,LamblinP,PopoviciD,etal.Greedylayer-wisetrainingofdeepnetworks[J].Advancesinneuralinformationprocessingsystems,2007,19(8):153.LiuY,ZhangD,LuG,etal.Asurveyofcontent-basedimageretrievalwithhigh-levelsemantics[J].PatternRecognition,2007,40(1):262-282.CoatesA,NgAY,LeeH.AnysisofSingle-LayerNetworksinUnsupervisedFeatureLearning[J].JournalofMachineLearningResearch,2011,15(1):215-223.LiS,WuH,WanD,etal.Aneffectivefeatureselectionmethodforhyperspectralimageclassificationbasedongeneticalgorithmandsupportvectormachine[J].Knowledge-BasedSystems,2011,24(1):40-48.NguyenT,HanJ,ParkDC.Saliteimageclassificationusingconvolutionallearning[C]//11thInternationalConferenceofnumericalysisandappliedmathematics.Rhodes,Greece:IEEEPress,2013: ChenZenghai,ChiZheru,FuHong,etal.Multi-instancemulti-labelimageclassification:Aneuralapproach[J]. puting,2013,99:298-306.ZhangYudong,DongZhengchao,WuLenan,etal.AhybridmethodforMRIbrainimageclassification[J].ExpertSystemswithApplications,2011,38(8):.华翔,孙蕾.SVM的医学图像分类器的设计[J].微电子学与计算机,2011,28(6):171-175.,何楚,赵守能,等.基于多层反卷积网络的SAR图像分类[J].大学学报信息科学版,2015,40(10): 徐望明,,.基于改进局部线性特征编码方法的图像分类[J].计算机应用研究,2015,31(7): PsychologyPress,1995:228-264.LeeH,GrosseR,RanganathR,etal.Unsupervisedlearningofhierarchicalrepresentationswithconvolutionaldeepbeliefnetworks[J].CommunicationsoftheACM,2011,54(10):95-103.,窦勇,牛新,等.基于DBN模型的遥感图像分类[J].计算机研究与发展,2014,51(9): LiTong,ZhangJun,ZhangYe.Classificationofhyperspectralimagebasedondeepbeliefnetworks[C]//ImageProcessing(ICIP),2014IEEEInternationalConferenceon.ParisIEEEPress,2014: GengJie,FanJianchao,WangHongyu,etal.High-ResolutionSARImageClassificationviaDeepConvolutionalAutoencoders[J].GeoscienceandRemoteSensingLetters,IEEE,2015,12(11): ZhouShusen,ChenQingcai,WangXiaolong.DiscriminativeDeepBeliefnetworksforimageclassification[C]//ImageProcessing(ICIP),201017thIEEEInternationalConferenceon.HongKong:IEEEPress,2010: ZhuMing,WuYan.Anoveldeepmodelforimagerecognition[C]//SoftwareEngineeringandServiceScience(ICSESS),20145thIEEEInternationalConferenceon.Beijing:IEEEPress,2014:373-376.HassairiS,EjbaliR,ZaiedM.SupervisedImageClassificationUsingDeepConvolutionalWaveletsNetwork[C]//ToolswithArtificialInligence(ICTAI),2015IEEE27thInternationalConferenceon.VietrisulMare:IEEEPress,2015:RainaR,MadhavanA,NgAY.Large-scaledeepunsupervisedlearningusinggraphicsprocessors[C]//Proceedingsofthe26thannualinternationalconferenceonmachinelearning.NewYork,NY,USA:ACMPress,2009:873-880.LopesN,RibeiroB,çalvesJ.RestrictedBoltzmannmachinesanddeepbeliefnetworksonmulti-coreprocessors[C]//NeuralNetworks(N),The2012InternationalJointConferenceon.Brisbane,QLD:IEEEPress,2012:1-7.ZhangKunlei,ChenXuewen.Large-scaleDeepBeliefNetswithMapReduce[J].Access,IEEE,2014,2(4):395-403.SunXiao,GaoFei,LiChengcheng,etal.Chinesemicroblogsentimentclassificationbasedonconvolutionneuralnetworkwithcontentextensionmethod[C]//AffectiveComputingandInligentInteraction(ACII),2015InternationalConferenceon.Xi'an:IEEEPress,2015:408-414..基于稀疏自动编情感分类应用研究[J].广西科技大学学报,2015,26(3):36-40.BahgatR,AbdelbaryHA,ElkoranyAM.Utilizingdeeplearningforcontent-basedcommunitydetection[C]//ScienceandInformationConference(SAI),2014.London:IEEEPress,2014:777-784.,李纯果.深度学习结构和算法比较分析[J].河学学报:自然科学版,2012,32(5):538-544.马冬梅.基于深度学习的图像检索研究[D].内大学BengioY,CourvilleA,VincentP.Representationlearning:Areviewandnews[J].PatternysisandMachineInligence,IEEETransactionson,2013, 余凯,贾磊,,等.深度学习的昨天,今天和明天[J].计算