多储备池回声状态网络研究资料

1、多，储1也回声:态网络彳用1引言随着计算机技术、Internet网络以及存储技术的发展,各种形式的数字信息正在以惊人的速度增长0数字图像作为数字信息的重要成员之一以苴/、内容丰富、形象生动、清晰明了等特占八、在社会生活中扮演着越来越重要的角色,与此同时,人们对图像检索的需求也越来越高020世纪90年代,基于内容的图像检索技术(CB1IR)应运而生,该技术与图像识别技术进行了深层次的结合,但单纯的图像低层特征无法表示图像的内在本质,深层语义不到很好的体现,也就是存在所谓的语义鸿沟0由于机器学习技术台匕目匕够很好地获取图像低层特征和文字描述之问的对应关系,越来越多的研究者将机器学习技术应用于图像的

2、语义映射之中,以解决语义鸿沟问题,并取了一定的成果0Li等将模糊支持向里机(FSVM)应用于图像分类与检索中通过模糊支持向里机计算出样本x对i类的归属程度im()0,将样本x归属到im取值最大的一类有效地提高了不可分区Kuiidu等提出了一种交互模型使用MPEG-7边缘直方层特征,通过神经网络预分类,利用不同的编集,减少了检索时的搜度0杨栋等5提出了贝其应用到图像语义标注的对称Dirichleit分布来描布,利用Ba：yes最大后验数集进行估计,且/、有良传统神经网络结构复杂足目前对大数据信息处虽然训练速度较快但苴于多分类问题且/、有一定在的语义映射方法大多性,鲁棒性及泛化能力题,本文结合语义

3、映射状态网络分类模型应用由于回声状态网络以随域的分类精度0式的图像检索模型,该图描述符(EHD)6作为低预分类器对图像库进行号表示被分成的各个子索空问,提高了检索速叶斯通用背早模型并将之中,该方法引入受限述GMMK重参数的先验分概率对高斯混合模型参好的图像标注精度0但,训练速度慢,难以满理的需求0支持向里机作为一种二分类器,对的局限性0同时目刖存缺乏对特征数据的针对有待提高0针对上述问框架,尝试性地将回声于图像语义映射之中0机稀疏连接的储备池作为隐藏层,结构相对简池至输出层的权值,训地解决了传统神经网络等问题0同时,为解决杂、维数较高的问题8对图像特征按相关性进图像特征分别构造储备对各分类器日

4、到的分类分类器对特征数据更且/、分类器的泛化台匕目匕力和鲁2图像特征提取图像的低层特征主要包形状等0本文主要利用生矩阵以及Gabor小波变特征0颜色矩9台匕目匕够特征0通常提取颜色分三阶矩表示图像的颜色颜色分里的平均强度,颜色方差,三阶矩表示对称性0本文提取图像单,并且只需训练储备练过程简单快速,有效训练速度慢、结构复杂图像特征数据问关系复,引入集成学习思想,行划分,针对划分后的池形成多个分类器,并结果进行集成,使各针对性,并且台匕目匕够提高棒性0括图像的颜色、纹理、图像的颜色矩、灰度共换提取图像的低层视觉很好地描述颜色的分布量的一阶矩、二阶矩和分布0一阶矩表示每个二阶矩表示待测区域的颜色分里

5、的偏斜度及不R、G、B三种颜色分里的三个低阶矩,共91()是对图像上保持距某灰度的状况进行统计N个像素占八、,从某像点的灰度级为i,灰度共角为9、距离为d、灰出现的概率,假设mrf(x,x灰度级,Count(M)表示M情将灰度共生矩阵的获取中,T表示灰度共生矩阵灰度共生矩阵到的台匕目匕及嫡4个特征值分别在方向的最大值、最小值为训练集,共16维0类视觉系统中简单细胞似0在提取目标的局部具有良好的特性0Gabor调制的复正弦函数,能部的频域特征,本文所实部如公式(2)所示,虚维0灰度共生矩阵离d的两像素分别1具有得到的0假设图片共有素占八、（x,y）开始,该像素生矩阵即统计与苴方向度级为j的像素占

6、八、同时为像素占八、mn(x,x)对应的况出现的次数,由此可方法概括为公式0其元素个数0本文取通过里、对比度、相关值以0、450、900、13,5、平均值及标准差值作(Gabor小波变换11与人的视觉刺激响应非常相空问和频率域信息方面函数是一个用高斯函数够在给定区域内提取局用的Gabor滤波器对应的部如公式所示0本文提取不同方向的Gabor小均值及标准方差作为特3回声状态网络模型3.1基本模型回声状态网Jaeger于2001年提出,苴疏连接的神经元构成的以对输入进行高维的、是一种新型的递归神经池、输出层组成,苴结网络中输入层有K个输连接单元,输出层有L元状态更新方程如公式储备池与输出单元的连池

7、的连接权值,通过状输出单元处理函数03.2分类模型回声状态网预测方面的问题,2009年态模式分类的回声状态彭喜元等1提出了随模型,提高了传统回声波变换过后结果的台匕目匕里征,共12维0络(EchoS让ateNet、vork,ESF0由独特之处在于将随机稀储备池作为隐藏层,用非线性的表示130ESI网络,由输入层、储备构如图3所示:假设该入,储备池有N个内部个输出,储备池内部单所示:苴中,otW表示接权值为输出层到储备态变里计算日到,outf为络常用于解决时问序列,Alexan(ire等口提出面向静网络方法0在此基础上机子空问多储备池分类状态网络分类模型的泛4.2多储备池回声状态网习台匕目匕有效

8、地提高学习器器学习领域重要的研究成学习思想,针对不同征数据之问相对独立的声状态网络分类模型0图像特征按类划分,对造与苴相对应的储备池的映射结果进行线性融数据的适应性0苴主要将37维图像低层特征按为三组,包括根据图像维特征,计算颜色矩Gabor小波变换到的125实验与结果分析5.1实验环境实验在Window测试软件为Meatlab2010b0睿22.2GHz:双核处理器,内5.2图像语义映射实验实中的汽车(Bus)、恐龙(Din络语义映射模型集成学的泛化台匕目匕力,是目刖机方向之一0本文借鉴集特征提取算法到的特特占八、,提出多储备池回该模型将提取出的低层不同类型的数据分别构,在仿直时将各储备池合

9、,提高分类器与特征结构如图5所示0本文昭八、提取特征的方法划分灰度共生矩阵到的16到的9维特征以及通过维特征0s7641位操作系统下进行,硬件环境:CPU为Intel酷存为4GEI。验选取Corel图片库口8osaiur)、花(Fower)、马(Horse)、山川(Mountain)以及食物(Food)各100张图片,共600张图片作为图片库,每类随机抽出苴中的50张作为训练集,另外50张作为测试集0在实验中,储备池处理单元数N均为40,储备池内连接权值W均采用随机生成的方式0BP神经网络采用一层隐藏层,隐藏层中包含90个神经元,训练精度目标为10?C0,为确保实验数据的准确性,全部采取交叉验

10、证的方式进行0为了验证本文的特征提取算法在语义映射中的效果,首先对比了在回声状态网络模型下,分别以灰度共生矩阵特征中),颜色矩特征(Cc)lor_Moment),Gal)or小波特征(Gabor)为特征数据时的分类准确度0不同数据特征在回声状态网络分类模型中的映射错1口率如图8所示0从图8看出,不同类型的图像特征在不同种类图像的语义映射中表现各有优劣,Mo)untain类和Food类图片的映射错1口率较高0本文将6类图片的映射错1口率按三种特征分别计算平均值,到每一类特征的整体错。口率All,从整体映射错1口率All来看,通过Gabor小波变换日到的图像特征且/、有较优的映射效果,但单一的图像

11、特征到想0图9显示了特征融1口率,MEESN对应多储备池模型,ESN对应单储备池模型,BP)NN对应BP神经网储备池回声状态网络模错1口率,相对于传统回络,平均错误率分别相具体计算方法是0对图8中的数据可以看出络且/、有较强的泛化台匕目匕力射精度0特征融合后一特征的分类效果0为到的语义信息与目标语这里定义样本n与弟q度(q)$im(n)0通过图10可以及单储备池回声状态张、13张图片时出现错声状态网络在返回24张且在各返回图片数下均的语义映射效果不够理合后各分类器的映射错回声状态网络语义映射回声状态网络语义映射络语义映射模型0多型且/、有最低的语义映射声状态网络及BP神经网对下降了19.28%

12、和31.64%0比图9中MESN、ESI1以及,多储备池回声状态网,台匕目匕够有效提高语义映的分类效果明显优于单了更直观地显示映射1日义之问的相似程度,在类目标语义的相似度程以看出,BP神经网络模型网络模型分别在返回111口样本,而多储备池回图片时出现错1口样本,保持最高的准确率0因此,通过多储备池回声状态网络模型到的语义信息更且/、鲁棒性0当返回50张图片时,ESN及BP)NN对应的查准率分别为90%）和87.6%,而本文提出的MEESN模型对应的查准率为91.67%,查准率分别相对提高1.86%及4.56%0回声状态网络语义映射模型在且/、有较高映射精度的情况下同时且/、有较快的训练速度,在实验中MlESN的平均训练时问仅为1.532,而BP神经网络的平均训练时问为48.24s05结语本文将多储备池回声状态网络分类模型应用于图像语义映射中,实验提取图像灰度共生矩阵的台匕目匕里、对比度、相关值、嫡4个