人工神经网络软计算-7

六、学习向量量化（LVQ：LearningVectorQuantization）SOM的有教师示教学习1、LVQ网的基本想法SOM网中，竞争层配有较多的神经元，进行输入数据向两维的配置LVQ网主要进行输入数据的模式分类，主要进行信息压缩、模式识别LVQ可以看作是将SOM改为有教师示教的网络在这种情况下，每一个输入学习模式应归属的类别是预先知道的有教师示教比无教师示教学习需要较少的时间，同时也有较高的分类精度有时为了提高SOM网的分类精度，对于一个已用无教师示教方式学习完毕的网络，追加一些已知分类结果的学习模式，然后让网络按有教师示教的方式学习这样，对提高网络分类精度有明显效果2、LVQ网络结构同SOM网一样，2层结构由于主要用于信息压缩及模式识别，所以通常第2层神经元的个数比第1层神经元的个数少，且同层神经元间无结合LVQ网中，第2层的各个神经元具有自己的领土。输入向量通过第1层与第2层间的权重被分类到某一领土上3、LVQ1学习流程kohonen将SOM改良为有教师示教的学习，首先提出了LVQ1学习算法：STEP1：网络的初始化：将输入层与输出层间的权值的初始值设定为较小的随机数STEP2：输入向量的输入：向输入层输入向量x=（x1,x2,….xn）STEP3：在输出层，计算各神经元的权值向量与输入向量间的距离与SOM一样：输出层第j个神经元与输入向量的距离为：dj=[∑i=1，N(xi–wji)2]1/2， j=1,2,…,Mwji是输入层第i个神经元与竞争层第j个神经元间的权值STEP4：选择输入向量与权值向量的距离最小的神经元，即确定获胜神经元j*j*=min[dj]，j=1,2,……MSTEP5：权值的学习：如果正确的神经元成为获胜神经元，即分类正确了，则按下式更新权值：Δwji=+η（xi–wji）将神经元j*所对应的连接权向量朝x靠拢（相当于奖励）如果错误的神经元成为获胜神经元，即误识别了，则按下式更新权值：Δwji=-η（xi–wji）将神经元j*所对应的连接权向量朝离开x的方向引导（相当于惩罚）η，正的常数STEP6：回到STEP2，反复进行2~5的动作，学习权值，直到P个学习模式全部提供一遍STEP7：回到STEP2，反复进行2~6的动作，直到完成规定的学习次数4、LVQ2学习流程：LVQ2是对LVQ1稍加改进的算法当发生误识别，即不该获胜的神经元以微小的优势获胜时对LVQ1的改良算法这相当于输入向量正好处在2个神经元的领土的边界处，仅以微小的误差而误进入别的领域学习算法：1）-4）同LVQ1STEP5：权值的学习：正确识别时，同LVQ1：Δwji=+η（xi–wji）误识别时，只有满足以下的条件，优胜神经元与第2位的神经元才共同按LVQ1的公式更新：第2位的神经元正确第2位的神经元与获胜的神经元的差很小Δwji=-η（xi–wji）STEP6：回到STEP2，2~5的动作反复进行，学习权值开发者kohonen利用LVQ2，进行芬兰语的语音识别等，得到了比LVQ1还好的特性SOM网最成功的应用例子，就是由Kohonen本人开发的芬兰语语音打字系统他把自组织特征映射神经网络巧妙地应用于语音识别这一古老而又复杂的模式识别问题，取得了令世人瞩目的成绩这一应用的基本原理是，将大量不同的音素(即区别声音的最基本单位)提供给含有SOM网络的语音识别系统，在网络充分学习之后，当向系统输入发音时，系统会自动识别声音，并将其转换为文字通过打印机输出该系统对输入声音的正确识别率高达90％以上SOM网应用举例——语音打字机从信号处理的观点来看，语音波形是一种不规则且十分复杂的实变模拟信号同一音素，不同的发音者具有不同的波形与强度。即使是同一发音者．其发音音素也会因语句中前后单词关系的不同而不同在某些情况下，即使音素之间有差别，但往往因其功率谱信号重迭而给音素的识别造成困难。因此，用传统的方法进行语音识别需要十分复杂的技术而应用SOM网络，可使语音识别的处理过程大大减化，比传统技术明显优越Kohonen开发的语音处理系统是以SOM网络为核心，包括前、后处理子系统在内的一个复合系统(结构图)SOM网络承担着系统中音素的分类任务，即对语音频谱信号进行矢量化处理由麦克风输入的信号首先通过截止频率为5.3kHz的滤波器，滤除语音中所含的噪声，然后以13.03kHz的采样频率，用12位A／D将语音模拟信号转换为数字信号。接着将这一数字信号进行256点的FFT(快速傅里叶变换)处理，得到分辨率为9．83ms的语音信号的频谱将这些频谱进行平滑处理并取对数后，在200Hz—5kHz范围内将其分成15个元素，这15个元素所组成的向量，代表了输入语音信号的模式SOM网络将这些语音模式进行矢量化处理，即寻找这些音素所代表的标准值的最佳映射，尽管这些音素可能已偏离其标准值，但它仍然是围绕在标准值附近的值由于SOM网络的特征映射功能，可以找到与输入模式最接近的分类结果(即最邻近分类)，从而得到输入语音信号的标准值Kohonen所使用的是有15个输入神经元，96个输出神经元的双层SOM网络他曾选用了50个实验语音(共含有21个不同音素)对网络进行训练，训练后竞争层的分类状况如图所示当给系统输入一个单词的发音，如“hummppila”后，在SOM网络的竞争层可以映射出这个单词所顺序对应的音素识别过程轨迹图所得到的识别结果还必须经过最后处理，即将音素序列传入规则库进行语音规则分析，对识别结果进行确认与修正在这个规则库中，大约存贮了15000~20000条规则经确认和修正后的结果，输入文字处理机，将其显示或打印出来这一系统的硬件是由一台IBMPC／AT计算机和两个信号处理单元组成。信号处理单元为TMS32010，其中一个负责输入信号的前期处理，另一个用于特征映射后的语音分类信号的后期处理由计算机完成系统可将按正常速度发音的语音识别、分辨出来七、应用举例神经网络的一大特征，在于从数值数据中的自动学习能力、自组织化能力采用NN的理由：输入输出关系不可用公式表示的场合，通过学习，获得对于输入的输出的映射神经网络的应用，自80年代中期开始活跃起来。NN的应用领域包括模式识别、控制、各种问题诊断、预测及预知、优化问题、信号处理等非常广泛的领域1、NN应用要点1）问题是否适合于用NN求解NN不擅长于处理规则等的知识，如果规则等充分的话，用专家系统、模糊处理等方法也许更合适另外，在规则与数值数据二者都有时，可能NN与FS的融合系统会更有效2）对NN的输入数据的选择与预处理将数据拿来就用，学习效果不会很好数据需适当地选择，有时要对数据进行预处理，这样对NN的学习非常重要3）数值数据对NN的学习是否充足使用BP算法等，需要大量的数据，否则，不能很好地学习4）结构化NN的探讨NN有可能要较大的规模时，可多利用几个小规模的NN，将其综合起来，形成结构化的NN将更有利5）实际应用时，硬件性能的考虑要让系统有学习机能，要有相当的计算能力的硬件，从而，成本、体积也变大2、NN的应用领域及例1）模式识别：文字识别（印刷体文字、手写体文字）声音识别（音韵识别、单词识别）图象识别（识别、表情识别、物体识别）2）控制：手臂控制最优控制自律机器人网络控制3）诊断：故障诊断医疗诊断产品检查4）预测予知：电力需要预测系统的异常预知股票价格预测5）最优化：零件配置、决策、有价证券最优化6）信号处理：信息压缩（图象信号、心电图）信号预处理图象复元（杂音、歪斜等的除去）7）其它：调整行程的自动化人机接口知识处理联想数据库3、应用例——神经网络在家电产品中的应用空调、冰箱、洗衣机等的家电产品，在成本方面的限制很严，同时，又要求非常高的可靠性，所以新技术的导入很难。尽管这样，最近的家电产品中，神经网络、模糊逻辑等的新技术已积极地得到了应用在这样的背景下，对家电产品的要求应考虑几点：1）家电产品，是代替人进行工作的机械，所以依赖于用户的主观性的部分非常多，如空调温度的设定问题，理论上求最优值不容易2）由于用户不同，使用环境会很不同3）使用方法必须简单，尽可能要自动化。其中，1），2）需产品有学习功能，3）需要产品有自动功能作为实际的产品，与模糊技术共同使用的情况较多1）空调上的应用——用NN决定设定温度的例子将室温、外部气温、设定温度等输入给NN，用户给定的温度作为教师信号NN的输出成为对自动模式下的设定温度的修正值这样，可求出符合个人喜好的设定温度。2）电饭锅上的应用在电饭锅中，有这样的NN的使用方法：预热、煮、蒸的各阶段，都有理想的时间—温度特性，即如果按该温度曲线控制温度的话，可把饭做得很好吃NN在电饭锅上的应用但实际上，即使加热，温度也不是一下子上升到所需要温度而一不小心加热过了头，降温又需要时间，所以需要进行能够预测的控制还要考虑到米质、水量的不同等的因素，控制就非常困难所以，让NN学习多个事例，以便对各种各样的条件也能灵活地对应NN在文字识别中的应用：结构化神经网络的例在模式识别时，若分类的对象数目少，使用一个NN足够但识别包括汉字在内的文字时，或又有字母又有汉字的场合