（控制理论与控制工程专业论文）过程神经网络建模方法的研究与应用.pdf

东北大学硕士学位论文 摘要 过程神经网络建模方法的研究与应用 摘要 过程神经网络模型是输入与时间有关的函数或过程，它是传统人工神经网络在时间 域上的扩展。过程神经网络的输入和连接权均可为时交函数，过程神经元增加了一个对 于时间的聚合算子，使网络同时具有时空二维信息处理能力。考虑过程神经网络对时间 聚合运算的复杂性的基础上，提出了一种基于函数正交基展开的学习算法。在网络输入 函数空间中选择一组适当的函数正交基，将输入函数和网络权函数都表示为该组正交基 的展开形式，利用基函数的正交性，简化过程神经元对时间的聚合运算。应用表明，算 法简化了过程神经网络的计算复杂度，提高了网络学习效率和对实际问题的求解能力 但实际问题中网络的输入往往是随时间变化的离散数据，为了减小拟合误差，提高 预测精度，在输入空间中对输入的离散数据和网络权函数实施w a l s h 变换，即将网络输 入函数和权函数在w a l s h 基下映射为一组新的时变向量，从而将积分聚合运算简化为向 量内积运算，把过程神经网络时变权因数的学习转化为时变权因数的训练，减少了网络 训练时待调参数的个数。 由于过程神经网络具有逼近任意非线性函数的能力，因此对于机理复杂的连续过程 来说是一种很理想的建模方法。过程神经网络可以有效地弥补其它神经网络由于输入不 为连续函数而导致预测精度相对较低的缺点。在本文的基础上，又提出了稀疏数据过程 采用过程神经网络建立过程模型的方法，并以味精发酵过程菌体浓度预测模型为例。同 时也对文中不同输入正交基情况下的过程神经网络模型进行了比较。 关键词；过程神经网络；函数正交基；w a l s h 变换：稀疏数据过程；过程建模 i i 东北大学硕士学位论文 a b s t r a c t r e s e a r c ha n d a p p l i c a t i o no f t h em o d e l i n gm e t h o db a s e do nt h e p r o c e s sn e u r a ln e t w o r k a b s t r a c t b o t ht h ei n p u ta n dl i n kw e i g h t so fp r o c e s sn e u r a ln e t w o r kc a nb ea l lt i m e - v a r i o u s f u n c t i o n s ，a na g g r e g a t i o no p e r a t o ro nt i m ei sa d d e dt ot h ep r o c e s si l e u r o n , w h i c hp r o v i d e st h e n e u r a ln e t w o r kw i t ht h ec a p a b i l i t yo fh a n d l i n gs i m u l t a n e o u s l yt w od i m e n s i o ni n f o r m a t i o no f t i m ea n ds p a c e i nc o n s i d e r a t i o no ft h ec o m p l e x i t yo ft h ea g g r e g a t i o no p e r a t i o no ft i m ei n p r o c e s sn e u r a ln e t w o r k s ，an e wl e a r n i n ga l g o d t h mb a s e do nt h ei n p u tf u n c t i o ns p a c eo ft h e n e u r a ln e t w o r ki ss e l e c t e d ，a n dt h e nt h ei n p u tf u n c t i o na n dt h en e t w o r kw e i g h tf u n c t i o n sa r e r e p r e s e n t e da se x p a n s i o no f t h es a m eo r t h o g o n a lb a s i s w i t ho r t h o g o n a l i t yo f b a s i sf u n c t i o n s , t h ea g g r e g a t i o no p e r a t i o no f p r o c e s sn e u r o n st ot i m ei ss i m p l i f i e d t h ea p p l i c a t i o ns h o w st h a t t h ea d a p t a b i l i t yt or e a lp r o b l e mr e s o l v i n g c o n s i d e r i u gt h ep r o c e s sv a r i a b l e sd a t aw i t ht h ep r o s p e r i t i e so fb e i n gd i s c r e t e an 踟 m e t h o db a s e do nt h ed i s c r e t ew a l s hc o n v e r s i o nw a su s e dt oc o n v e r tt h es a m p l e dd a d aa st h e d i r e c ti n p u t st on e t w o r k t h ei n t e g r a la g g r e g a t i o no p e r a t i o nw a sp r e d i g e s t e dt h ev e c t o r o p e r a t i o n 。t h el e a r n i n go ft i m e - v a r i o n sw e i g h tf a c t o rw a s t r a n s f o r m e da st h et r a i n i n g ，t h e nt h e n u m b e ro f p a r a m e t e r sw a sr e d u c e d t h ep r o c e s sn e u r a ln e t w o r kh a ss t r o n g l ya b i l i t yt ol e a r na n dr e c t i f yt or e s o l v en o n - l i n e q u e s t i o n s s oi ti sp e r f e c tm o d e l i n gm e t h o do fc o m p l i c a t e dm e c h a n i s mp r o c e s s t h ep r o c e s s n e u r a ln e t w o r kc a nm a k eu pt h es h o r t c o m i n go fl o wf o r e c a s t i n gp r e c i s i o nc o m p a r e dw i t h o t h e rn e u r a ln e t w o r k s o nt h eb a s i so fa b o v em e n t i o n e di nt h i sp a p e r , an e v vm o d e l i n gm e t h o d o f p r o c e s sn e u r a ln e t w o r kf o rt h es p a r s ed a t ai n d u s t r i a lp r o c e s s e si sp r e s e n t e d m e a n w h i l e ，t h e p r o c e s sn e u r a ln e t w o r kb a s e do nd i f f e r e n to r t h o g o n a lb a s i sw a sc o m p a r e dw i t he a c ho t h e r k e y w o r d s ：p r o c e s sn e u r a ln e t w o r k ；o r t h o g o n a lf u n c t i o nb a s i s ；w a l s hc o n v e r s i o n ；s p a r s ed a t a p r o c e s s ；p r o c e s sm o d e l i n g 一一 独创性声明 本人声明所呈交的学位论文是在导师的指导下完成的。论文中取得的 研究成果除加以标注和致谢的地方外，不包含其他人已经发表或撰写过的 研究成果，也不包括本人为获得其他学位而使用过的材料。与我一同工作 的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示诚挚 的谢意。 学位论文作者签名：吕歃 签字日期：函d 1 ，3 、多 学位论文版权使用授权书 本学位论文作者和指导教师完全了解东北大学有关保留、使用学位论 文的规定：即学校有权保留并向国家有关部门或机构送交论文的复印件和 磁盘，允许论文被查阅和借阅。本人同意东北大学可以将学位论文的全部 或部分内容编入有关数据库进行检索、交流。 ( 如作者和导师同意网上交流，请在下方签名：否则视为不同意) 学位论文作者签名：吕歃导师签名： 签字日期：跏1 3 ，s签字日期： 伊7 ，厂 东北大学硕士学位论文第一章绪论 第一章绪论 1 1 人工神经网络简介 人工神经网纠1 i ( a r t i f i c i a ln e u r a ln e t w o r k ，a 町，亦称为神经网络( n e u r a ln e t w o r k s ， n n ) ，是由大量处理单元( 神经元n e u r o n s ) 广泛互连而成的网络，是对人脑的抽象、简化 和模拟，反映人脑的基本特性。人工神经网络的研究是从人脑的生理结构出发来研究人 的智能行为，模拟人脑信息处理的功能。它是根植于神经科学、数学、统计学、物理学、 计算机科学及工程等学科的一种技术。 人工神经网络是由简单的处理单元所组成的大量并行分布的处理机，这种处理机具 有存储和应用经验知识的自然特性，它与人脑的相似之处概括为两个方面：一是通过学 习过程利用神经网络从外部环境中获取知识；二是内部神经元( 突触权值) 用来存储获取 的知识信息。 人工神经网络模型f 2 1 如图i 1 所示。 输入 信号 偏置 突触权值 t 输出 图1 1 神经网络的非线性模型 f i g 1 1n o n l i n e a r m o d e lo f n e u r a ln e t w o r k 神经网络也经常被称为神经计算机f 3 1 ( n e u r o c o m p u t e r ) ，但它与现代数字计算机的不 同之处主要表现在以下方面： ( 1 ) 神经网络的信息存储与处理( 计算) 是合二为一的，即信息的存储体现在神经元 互连的分布上；传统计算机的存储与计算是独立的，因而在存储与计算之间存在着瓶颈。 ( 2 ) 神经网络以大规模模拟计算为主；数字计算机是以串行离散符号处理为主。 ( 3 ) 神经网络具有很强的鲁棒性和容错性，善于联想、概括、类比和推广，任何局 东北大学硕士学位论文 第一章绪论 部的损伤不会影响整体结果。 ( 4 ) 神经网络具有很强的自学习能力，能为新的输入产生合理的输出，可在学习过 程之中不断完善自己，具有仓u 新特点。 ( 5 ) 神经网络是一大规模自适应非线性动力系统，具有集体运算的能力。这与本质 上是线性系统的现代数字计算机迥然不同。 人工神经网络是近年来热点研究的领域，涉及到电子科学与技术、信息与通信工程、 计算机科学与技术、电气工程、控制科学与技术等诸多学科，其应用领域包括：建模， 时间序列分析、模式识别和控制等，并在不断的拓展。 人工神经网络也具有很多的优点，比如说神经网络的计算能力，很明显有以下两点： ( 1 ) 规模并行分布式结构。( 2 ) 神经网络学习能力以及由此而来的泛化能力。泛化是指 神经网络对不训练( 学习) 集中的数据可以产生合理的输出。这两种信息处理能力让神 经网络可以解决一些当前还不能处理的复杂的c g 型) 问题。 1 2 人工神经网络研究与发展 人们研究神经网络已有几十年历史。纵观其发展过程，不难看出该过程是波澜起伏、 几经兴哀的i 二3 1 。 1 2 1 历史回顾 4 0 年代初，美国m cc u l l o c h 和p i t t s 从信息处理的角度，研究神经细胞行为的数学 模型表达，提出了二值神经元模型。m p 模型的提出开始了对神经网络的研究进程。1 9 4 9 年心理学家d o h c b b 提出著名的h c b b 学习规则，即由神经元之间结合强度的改变来 实现神经网络学习的方法。虽然h e b b 学习规则在人们研究神经网络的初期就已提出， 但是其基本思想至今在神经网络的研究中仍发挥着重要作用。 5 0 年代末期，r o s e n b l a t t 提出感知机( p e , c e p t r o n ) ，首先从工程角度出发，研究了用 于信息处理的神经网络模型。p c r c e p t r o n 虽然比较简单，却已具有神经网络的一些基本 性质，如分布式存贮、并行处理、可学习性、连续计算等，在6 0 代掀起了神经网络研 究的第一次高潮。但是，当时人们对神经网络研究过于乐观，认为只要将这种神经元互 连成一个网络，就可以解决人脑思维的模拟问题。然而，后来的研究结果却又使人们走 到另一个极端上。 在6 0 年代末，美国著名人工智能专家m i i l s 姆和p a p c r t 对r o s c n b l a t t 的工作进行 东北走学硕士学位论文第一章绪论 了深人研究，出版了有较大影响的( p c r c e p t r o n 一书，指出感知机的功能和处理能力的 局限性，同时也指出如果在感知器中引入隐含神经元，增加神经网络的层数，可以提高 神经网络的处理能力，但是却无法给出相应的网络学习算法。另外，当时对大脑的计算 原理、对神经网络计算的优点、缺点、可能性及其局限性等还很不清楚。总之，认识上 的局限性使对神经网络的研究进入了低潮。 在这一低潮时期，仍有一些学者扎扎实实地继续着神经网络模型和学习算法的基础 理论研究，提出了许多有意义的理论和方法。其中，s g r o s s b c r g 等提出了自适应共振 理论，k o h o n e n 提出了自组织映射，f u k u s h i m a 提出了认知机网络模型理论，a n d e r s o n 提出了b s b 模型等等，为神经网络的发展奠定了理论基础。 进入8 0 年代，首先是基于“知识库”的专家系统的研究和运用，在许多方面取得 了较大成功。对神经网络的研究又开始复兴，掀起了第二次研究高潮。 1 9 8 2 年，美国加州理工学院物理学家j j h o p f i e l d 提出了一种新的神经网络h n n 。 他引入了“能量函数”的概念，使得网络稳定性研究有了明确的判据。h n n 的电子电 路物理实现为神经计算机的研究奠定了基础。并将其应用于目前电子计算机尚难解决的 计算复杂度为n p 完全型的问题，例如著名的“巡回推销员问题”( t s p ) ，取得了很好的 效果。从事并行分布处理研究的学者，如h i n t o n 、s c j n o w s k y 和r u m e l h a r t 等，于1 9 8 5 年对h o p f i e l d 模型引入随机机制，提出了b o l m m a n n 杌。1 9 8 6 年r u m e l h a r t 等人在多层 神经网络模型的基础上，提出了多层神经网络模型的反向传播学习算法( b p 算法) 【4 捌解 决了多层前向神经网络的学习问题，证明了多层神经网络具有很强的学习能力，它可以 完成许多学习任务，解决许多实际问题。 近二十几年来，许多具备不同信息处理能力的神经网络已被提出来并应用于许多信 息处理颁域，如模式识别、自动控制、信号处理、决策辅助【“、入工智能等方面。神经 计算机的研究也为神经网络的理论研究提供了许多有利条件，各种神经网络模拟软件 包、神经网络芯片以及电子神经计算机的出现，体现了神经网络领域的各项研究均取得 了长足进展。虽然人们己对神经网络在人工智能领域的研究达成了共识，但是人类对自 身大脑的研究，尤其是对其中智能信息处理机制的了解，还十分肤浅。因而现有的研究 成果仅仅处于起步阶段，还需要许多有识之士长期的艰苦努力。 概括以上的简要介绍，可以看出，当前又处于神经网络理论的研究高潮，不仅给新 一代智能计算机的研究带来巨大影响，而且将推动整个人工智能领域的发展。但另一方 面，由于问题本身的复杂性，不论是神经网络原理自身，还是正在努力进行探索和研究 一3 一 东北大学硕士学位论文 第一章绪论 的神经计算机，目前都还处于基础性的起步发展阶段，它的影响力和最终所能达到的目 标，目前还不十分明确，还有待于继续深入研究。 人们深信，在人类科学发展的里程碑上，人类大脑的研究将是新世纪划时代的挑战。 可以预计，未来的神经网络研究前景令人鼓舞，人类在探索大脑奥秘的过程中，一定会 使人工智能有长足的发展。 1 2 2 研究意义 自从1 9 4 6 年美国宾夕法尼亚大学研制成功世界上第一台电子数字计算机以来，世 界电子计算机技术有了突飞猛进的惊人发展。由第一代的真空管式( 1 9 4 6 - 1 9 5 8 年) ，第二 代的晶体管式( 1 9 5 9 1 9 6 6 年) ，第三代的大规模集成电路式( 1 9 6 7 1 9 7 9 年) ，一直到现今 的超大规模集成电路计算机，电子计算机已成为人们赖以进行各种信息处理的重要的通 用手段和工具。目前通行的计算机工作模式是建立在图灵( t u r i n g ) 算法求解的基本思想 上。t u r i n g c h u r c h 认为，任何物理可实现系统或过程都必须是能够有效计算的，任何能 够有效计算的过程都可由对符号串的有限步骤的操作来实现。冯诺依曼( y o n n e u m a n n ) 在这种计算概念的基础上，用电子加法器和程序存贮的方式构成了计算机的体系结构， 为计算机的具体实现铺平了道路。因此，我们称这种顺序执行已存贮程序的现行计算机 类型为冯诺依曼型计算杌。尽管冯诺依曼型计算机在当今世界上发挥着巨大的作用， 但它在智能化信息处理过程中存在着许多局限性。 由于现行计算机，一方面，在像数值计算或逻辑运算这类属于顺序性( 串行性) 信息 处理中，表现出远非人所能及的速度；另一方面，在涉及人类r 常的信息活动，例如识 别图像、听懂语言或作出判断时，却又显得那样低能和笨拙。现行计算机上实现人工智 能的方法与途径、与人脑固有的智能信息处理方式有着很大的差别，但在实际上，在计 算机技术的整个发展过程中，在研究电脑向人脑学习或向人脑靠近的问题上，人们始终 不懈地进行着努力。人工智能技术的研究与发展就与此密切相关。 揭示并模拟大脑神经系统的学习机制，是研制新一代智能信息处理系统的莠键之 一。大脑的智能来自两方面：遗传和后天的学习，与遗传相比，后天的学习对智能的形 成起非常重要的作用。 学习过程中，神经系统究竟哪些部分发生了变化，这是神经系统学习的实质性问题。 当前神经生理学、组织学和行为实验学为解决这问题提供了线索和思路，从而形成了 两大学派：一是化学学说，认为神经系统把学习后的信息记录在某些生物分子上，正像 一4 一 东北大学硕士擘住论文 第一章绪论 遗传信息记录在d n a 上一样：另一派是突触修正学说，认为学习过程中神经元之间的 突触联系发生了变化。这两种假说中，后一种为多数神经生理学家所接受。现在我们要 研究的人工神经网络模型也都是基于突触修正假说而建立的。 根据f e i g c n b a u m 在 m a n u a l o f a r t i f i c i a l i n t e l l i g e n c e ) ) 中的提法，人工智能( a d 的定 义是“人工智能是计算机科学中的部分，它关心智能计算机系统的设计，这类系统显 示人类行为中与智能有关的一些特征”。 入工智能所涉及的内容非常广泛，有模式识别、自然语言的理解、专家系统、知识 工程与智能知识库、规划与决策、搏击与对抗、机器自动证明、智能机器人和自动程序 设计等。 1 9 8 1 年日本提出研制第五代计算机，其目的是想研制一种有渊博知识、能推理会学 习的新一代智能计算机。然而，经过一段时间的努力后，基于知识处理、并在并行操作 系统和知识库管理系统支持下的p r o l o g 并行推理机并没有达到第五代计算机的预期 目标。其主要原因在于用它来处理图像识别、语音理解之类的非数值计算问题时由于 规则推理解释的串行性和非确定本质，以及对大容量知识库顺序检索和匹配，使得信息 处理的时间耗费有呈指数爆炸的危险。 实际上，脑对外界世界时空客体的描述和识别，乃是认知的基础。认知问题离不开 对低层次信患处理的研究和认识。虽然符号处理在脑的思维功能模拟等方面取得- j i 大 进展，但它对诸如视觉、听觉、联想记忆和形象思维等问题的处理往往感到力不从心。 所以符号处理不可能全面解决认知问题和机器智能化问题，它对高层次脑功能的宏观模 拟很有效，而对一些低层次的模式处理则至今还有许多困难。 正是由于认识到传统的冯诺依曼计算机在智能信息处理中的这种难以逾越的局限 性，使得人们考虑到有必要迸一步了解分析入脑神经系统信息处理和存贮的机理特征， 以便寻求一条新的人工神经网络智能信息处理途径。 人工神经网络研究是采用自下而上的方法，从脑的神经系统结构出发来研究脑的功 能，研究大量简单的神经元的集团信息处理能力及其动态行为。目前，神经网络的研究 使得对多年来困扰计算机科学和符号处理的一些难题可以得到比较令人满意的解答，特 别是对那些对空信息存贮及并行搜索、自组织联想记忆、时空数据统计描述的自组织以 及从一些相互关联的活动中自动获取知识等般性问题的求解，更显示出独特的能力。 由此引起了智能研究者们的广泛关注，并普遍认为神经网络方法适合于低层次的模式处 理。 一5 一 东北大学硕士学位论文 第一章绪论 符号处理与神经网络是一种互补关系。神经网络的研究重点在于模拟和实现人的认 知过程中的感知过程、形象思维、分布式记忆和自学习自组织过程。而符号处理则侧重 于模拟人的逻辑思维。符号处理的长处正好弥补了神经网络的不足，因此，神经网络与 符号处理相结合，可能会使人们对人的认知过程有一个较全面的理解。在这领域内的 任何一项基础理论上的进展，必将对计算机科学和人工智能产生实际的影响。 神经网络是在许多学科的基础上发展起来的，对它研究的深人也必然会带动其他相 关学科的发展。神经生物学家也正期待着另一次理论上的飞跃，这使得他们能够解释已 知的各种现象，并提出可由实验室验证的假说。虽然他们已经积累了大量关于大脑组成、 大脑外形以及大脑运转基本要素等等知识，但他们仍然解释不了有关大脑信息处理的一 些实质性问题。而建立在认知过程信息处理的微结构理论之上的神经网络，作为人的认 知过程的一种定量描述，则为神经科学家提供了一个独一无二的机会来发展和验证大脑 的工作原理。神经网络理论的发展，可在神经科学中推动理论神经科学的发展，为计算 神经科学提供必要的理论和模型，同时也促进脑科学向定量、精确和理论化方向发展。 1 3 过程神经网络产生的背景 近年来神经网络新的模型不断涌现，新的学习算法也层出不穷。总的来说，神经网 络在解决空间上的映射问题无论是在理论方面还是在实际应用中都趋于成熟。在上述人 工神经元网络模型中，系统的输入均为与时间无关的常量，即网络的输入是几何点式的 瞬时输入。而在许多实际问题中系统的输入为一个与时间有关的过程，如一个电力系统 负荷预测【7 - 1 0 过程，菌体浓度预测【i t - 1 3 过程等，用神经网络解决这类问题开始引起人们 的关注。 但是，由于依赖于时问的采样往往数据量较大，而传统的神经网络难于解决较大样 本的学习和泛化问题，故这类问题的解决期待着新的模型的出现1 4 1 。然而生物学研究表 明：在生物神经元中突触地输出变化与输入脉冲的相对定时有关，即依赖于持续一段时 间的输入过程。在其它实际问题中，大多数系统的输入亦往往是一个过程，或一个依赖 时间的函数，而几何点式的瞬时输入只能在理论上存在。过程式输入放宽了传统神经元 网络模型对输入的同步瞬时限制，使问题更为一般化。很多应用可归结为此问题，如实 时控制中，控制的输入往往是依赖时间的连续函数，控制信号的输出即依赖于空间的聚 合( 多输入) ，又与时间的累积效应密切相关；在变分问题中，泛函的定义域一般可为 一个与时间有关的过程区间：依赖于时间的多因素优化问题也都可归结为具有过程输入 6 东北大学硕士学位论文第一章绪论 的情形。具有过程式输入的神经元网络是人工神经元网络模型因此，研究过程神经元 网络模型 t 5 - 2 2 的拓扑结构，函数的逼近性质，学习算法等具有十分普遍性的意义，在实 际中对于求解与过程有关的众多问题有着很大的应用价值。 目前，过程神经网络的基本理论已经提出，但在实际应用中却较少。在这篇论文里， 着重研究了如何将过程神经网络应用到实际中，例如，应用到电力系统短期负荷预测口3 。町 中和味精发酵过程菌体浓度预测【2 9 】中。同时也提出了一种简化聚合运算，缩短仿真时 间的正交基展开学习算法 3 4 - 3 7 1 _ _ _ 勒让德多项式，该算法的提出使过程神经网络应用到实 际过程中成为可能。在本文中，应用味精发酵过程菌体浓度预测模型为例，对几种输入 正交基函数的仿真结果进行了比较，得出基于离散w a l s h 变换的过程神经网络仿真时间 最短，逼近精度最高，最适宜应用到实际中。 在已有的过程神经网络的基础上，进一步研究了在数据稀疏 3 8 - 3 9 1 的情况下采用双隐 层过程神经网络建立模型1 4 0 4 5 j 。为了提高模型的预测精度，对来自现场的数据进行预处 蛋j 1 4 6 - 5 2 ，并将各种情况下的仿真结果进行了比较。 1 4 论文工作及主要内容安排 过程神经元结构与传统神经元不同之处在于过程神经元的输入与连接权都可以是 时变的函数，同时增加了一个对于时间的聚合算子。过程神经元既在空间上有对多输入 函数的聚合，亦有对时间过程的累积，即同时仿效了生物神经元信息处理过程中所具有 的空间总和效应。过程神经网络可以直接把时变过程作为输入输出信号，是传统人工神 经网络在时间域上的一种扩展。对于缺乏先验知识和模型的复杂非线性连续系统的仿真 建模、系统辨识、过程模拟以及泛函数逼近等问题，表现出明显优势。 本文主要研究过程神经网络，针对输入空间引入不同的函数正交基，如勒让德函数、 w a l s h 函数、三角函数等，分别描述了相应的学习算法和实例应用，并进行了相应的比 较。同时完成了在数据稀疏的情况，采用过程神经网络建立工业过程模型，并以味精发 酵过程菌体浓度预测模型为例，做了仿真研究。 本文内容安排如下： 第一章引言，简要介绍了人工神经网络及其发展历史；阐述了过程神经网络产生的 背景；最后还介绍了本文的工作及内容安排。 第二章简单介绍了正交函数及其性质。叙述了正交多项式及其性质；汇交多项式的 存在性和唯一性；勃让德多项式：沃尔什函数( w a l s h 函数) ；分析了正交多项式对过程 一1 东北大学硕士学位论文第一章绪论 神经网络产生的影响。 第三章提出了基本过程神经网络模型。在神经元的基础上提出了过程神经元网络模 型；给出了过程神经元网络的基本定理和学习算法；并将过程神经网络模型应用到电力 系统负荷预测的实例中。 第四章提出了改进的过程神经网络模型。给出了基于正交多项式展开的过程神经网 络模型的算法及实例应用；在此基础上提出了基于离散w a l s h 变换的过程神经网络模型 和基于离散w a l s h 变换的双隐层过程神经网络模型及实例应用，并将几种模型的仿真结 果进行了比较。 第五章稀疏数据过程采用过程神经网络建模。介绍了数据建模；给出了稀疏数据过 程建模的策略；阐述了过程神经网络及其建模；提出了稀疏数据修正的方法和稀疏数据 进行填充的方法，对数据进行预处理，提高了网络的预测精度；并同时给出了相应的实 例应用；最后进行了小结。 第六章为本文的总结。总结了本文的主要研究内容，说明了本文的局限性及今后的 研究方向。 一8 一 东北大学硕士学位论文第二章正交函数及其性质 第二章正交函数及其性质 2 。1 正交函数的一般性质 正交就是垂直的意思。它是数学中的一个重要的概念。我们知道，两个矢量和正 交的充分与必要条件是它们的内积等于零，即 口b = 0 ( 2 ，1 ) 如果口和b 是三维空间中的两个矢量，它们在某一直角坐标系中的坐标分别是 ( 口l ，口2 ，a 3 ) 和( b l ，b 2 ，b 3 ) ，则式( 2 1 ) 即为 d l 岛+ 口2 6 2 + 口，岛= 0( 2 2 ) 如果d 和b 是n 维矢量，则( 2 2 ) 式应改写为 口，岛= o躲3 l 则( 2 3 ) 式是玎维矢量口和b 正交的充分必要条件。 将式( 2 3 ) 推广到函数的情形，则很自然地，可将两个定义在区间k ，6 】上的函数“ f ( x ) 和g ( 砷的正交性定义为 f 厂( z ) g “) d x = 0 ( 2 4 ) 区间k ，6 】叫做正交区间。 证交性的用处最基本的一条，是利用一组相互正交的基矢量或基函数，可以表示任 意的矢量或函数。例如，设i ，七是三维空间某坐标系的三个基本矢量，即它们两两 互相正交： i ，= k = k f = 0( 2 5 ) 那么任一三维矢量口均可以表示为f ，j ，k 的线性组合： a = a l i + 口2 _ ，+ a 3 k( 2 6 ) 类似地，对于任意的弗维矢量d ，只要预先找到胛维矢量空间中的一组相互正交的基矢 量 f l ，之，i 。 ，那么a 可表为 口= 吼 ( 2 7 ) k = l 这就是和用诸i 。的正交性而得到的。 9 东北大学硕士学位论文第二章正交函数及其性质 推广到函数的情形，以熟知的傅立叶级数为例。我们知道，在区间【- 石，卅上，函 数系 弦，忑1c 。辩，忑1s i n x ，忑1c 。s 2 x ，击s i n 2 x ，忑1c 。泓，忑1s i 慨 ( z 8 ) 是满足式( 2 4 ) 的。因此这无穷多个函数构成了一个正交函数系。而且其中每一个在 【_ 万，石】上自乘的积分等于1 ，所以式( 2 8 ) 还是归一化的正交系。利用此正交系，可 将任一定义在 一石，石】上的函数厂( 工) 展开为傅立叶级数： 厂( 工) ：i a o + n ( 口。c o s n d c + 玩s i n n x ) ( 2 9 ) 其中 a n = 1 e f i x ) c 。s n x d x 。= 。，1 ，2 ，) ( 2 1o ) 6 。= 1 f i x ) s i n n x d x ( n = l ，2 ，) 式( 2 1 0 ) 的推导，就是利用了函数系( 2 8 ) 的正交性。 正交系( 2 8 ) 可以看成是“函数空间”的基函数，它相当于1 1 维矢量空间的基矢量 f l ，屯， ，而，d 。，a ：，b l ，b ：，则可以理解为函数厂( 力在正交系 下的“坐标”。这样，利用函数系( 2 8 ) 的正交系，就将一个函数表示成( 2 8 ) 的线性 组合。不过，这里的基函数是无穷多个，而不是有限个，于是“函数空间”也就理解为 一种“无穷维”空间。 2 2 正交多项式的存在性与唯一性 在给定区间k ，6 1 上，满足下面两个条件： ( 1 ) o r 矗( 工) 出 0 ，则式( 2 1 2 ) 成为 f ( x ) 露( 功出= u gf h ( 工) 出= 1 根据式( 2 i ) ，硒可确定出来，即p o ( x ) 确定了。 设已确定了多项式 只( 力，只( 工) ，oo , i 只。o )( 2 1 6 ) 它们满足式( 2 1 2 ) 。因为式( 2 1 6 ) 中的每一个只( 工) 的次数是j j ( o k s i - - 1 ) ，则再添 加一个多项式，按照定理，便可将”次多项式只( 工) 唯一地表示为 东北大学硕士学位论文 第二章正交函数及其性质 p a x ) = z 。工4 + p 。最 ( 2 1 7 ) 其中系数p 。和以应选择使得( 2 1 2 ) 成立。由于式( 2 1 6 ) 中诸多项式满足式( 2 1 2 ) ， 故当m 阼时应有 f 矗。珑c x 圯出= f c x ) 以一十茎p 船只c 功k c 工胁 = 。f ( 工) 上“e ( x ) a x + p 。= 。6 删+ p 。= o 其中6 。表示式中对应的那个积分之值。当n 和肌确定时k 便是已知数值。从而若令式 ( 2 1 7 ) 中诸p 。= - u 6 榭，则式( 2 1 2 ) 满足( 当m n 时) a 因此式( 2 1 7 ) 便成为 驰脚。卜萎n - i 力 它与式( 2 1 6 ) 中的每一个都加权i e 交。其中u 。仍有任意性，但利用式( 2 1 2 ) 中归一 化条件 r ( 力露( 工) 出- - - 1 由 即可求出以。定理得证。 2 3 勒让德多项式 勒让德多项式是在区闻 一1 ，1 上以蠹( 石) ；1 为权函数的正交多项式。其一般表达式 为 驰) = 嘉【( x 2 - 1 ) ”p 由此式所得到的多项式是勒让德多项式的标准形式。 根据上式，可将前几个勒让德多项式具体写出来： 只( x ) = 1 只( z ) = x 只( 工) = l ( 3 x z - 1 ) b ( 功= 委( 5 ，一3 曲 一1 2 东北大学硕士学住论文第二章正交函数及其性质 只。) = 8 ( 3 5 x - 3 吮2 + 3 ) 只( 力= i ( 6 3 x 5 7 0 x 3 + 1 5 x ) 只( 力= ( 2 3 1 x - 3 1 5 x 4 + 1 0 5 x 2 - 5 ) 2 4 沃尔什函数 2 4 1 沃尔什函数的定义 1 9 2 3 年由沃尔什将不完备的雷德麦彻函数加以完备化，形成了一组完备、正交矩阵 函数，现在被称为沃尔什函数。沃尔什函数组一般可分为三类。这三类函数的区别在于 它们的各个函数出现的编号不同。三类编号是：( 1 ) 列率或沃尔什编号，( 2 ) 并元或佩 利编号，( 3 ) 自然或阿达玛编号。 2 4 2 沃尔什变换 设f ( x ) 是一个平方可积函数，即 f f 2 ( 工) 出 。 则称r ，o ) w a t ( g , x ) a x y g f ( 工) 在 o ，m ) 上的沃尔什变换，记为 i v f ( 工) 】= ( 盯) = f ，“) w a l ( t y ，x ) a x ( o r o ，。o ) ) 称尸( x ) = f f ( c r ) w a l ( d r ，力d 盯为沃尔什逆变换，记为 形。 厂( 盯) 】= f ( 力= lf ( c r ) w a l ( c r ，x ) d c r 舯 2 4 3 离散沃尔什变换 2 4 3 1 离散沃尔什变换 设f ( t ) 是定义在 o ，1 ) 上的连续函数，其采样值为f ( n 即印= 0 ，1 ，n - i ) ， 丁是采样区间长度，为了方便，取t = i 。从而序列( f ( n ) ) 的离散w 变换定义为 ( ，1 ) = f ( i ) w a l ( n ，f ) n = o ，1 ，n 一1 )( 2 1 s ) 一1 3 东北大学硕士学位论文第二章正交函数及其性质 其中w a t ( n ，i ) 表示在前n = 2 4 个w 函数系中第n 个离散w 函数。这个函数在单位区间 0 ，1 ) 中第i 个子区间里，第n 个w 函数w a l ( n ，i ) 。 式( 2 1 8 ) 的逆变换为 删2 专萎m ) w a l ( n ，0 ( 扛o ，1 ，肛1 ) ( 2 1 9 ) 其中n = 2 “。 2 4 3 2 离散沃尔什变换的性质 ( 1 ) 正交性 专委w a l ( m ，o w a l ( 归 其中定义为： ：研：雄。 f u 。m 玎 ( 2 ) 乘积性质 w a l ( m ，i ) w a l ( n ，f ) = w a l ( m o n ，f ) ( 3 ) 乘法性质 w a l ( m ，i ) w a l ( m ，_ ，) = w a l ( m ，io _ ，) ( 4 ) 对称性 w a l ( m ， ) = w a l ( n ，肌) ( 5 ) 换算性质 w a l ( 2 m ，n ) = w a l ( m ，2 n ) 这里的i ，j ，m ，n 均取0 ，1 ，2 ，n - 1 ，n = 2 “；k = 1 ，2 ，。 对于无限情况的w 变换，其实就是w 级数形式。根据w 级数的定义，我们定义变 换对为 加) = f ( n ) w a l ( n ，f ) ( o f o ，当愀f ) 一石( f 0 ，当 c j - - c ；i = j r 喜c ，o ，一# ) d t j n t w 8 ： 4 时，有 f ( c s - 4 ) 1 毛，其中 w = s u p 面l ( f ) l ，且4 x ( t ) - x ( 踟 龟 a , ( n t r z ) 。若记h ，= 厂( 勺) ， j 矿( 勺) 一厂( c j ) j 0 ，存在艿，0 ，当阿一巧l 万时， 一2 3 东北大学硕士学位论文第三章基本过程神经网络模型 | 杰v j h ，- 杰v ，巧l = l 圭_ ( 吃一巧) b 妻i _ i i h , - h s p 跆； 0 ， 若满足l i p s c h i t z 条件，则存在过程神经元网络尸，使得归( j ( f ) ) 一尸( x p 划j 0 ，即 g ( z ( f ) ) 2jk ( x ( t ) ) d t ( 3 8 ) 不失一般性，设丁= 1 ，将世看成关于f 的复合函数，并将积分区间n 等分，f ，= _ 1 为等 分点，则 g ( 石( f ) ) = 宦k ( f ) ) 廊 ( 3 9 ) 一2 4 东北大学硕士学位论文第三章基本过程神经网络模型 设计泛函o ( 砸) ) = 吉兰足( x ( ) ) 作为g ( 工( f ) ) 的近似，则 j j i l f g 。，一。c 茗。叫善f 鹰k c 础，一专k 。叫 c s - 由于k ( 工o ) ) 对于f 连续，有积分中值定理，存在q 等，爿，使 阜置 ( 咖疵2 争。忙m ( 3 1 1 ) f i g ( 工。) ) 一舀( m ) ) | 专喜k i k ( ) 一工( 印降万1 善nk t k 一岛j 气笋 ( 3 1 2 ) ( 栌r 世肛专姜酢m ) ) + 蚓 ( 3 1 3 ) 网络来替代即 l k ( x ) 一只( 并o ) f 毛 ( 3 1 4 ) i g 。c 嘞一专姜k c r ，) ) j c 詈 c 。t s ， p ( j ( f ) ) = 专p ( 工( r f ) )(3-i 1 6 ) y 担” ! ( ：c x 。( t ，一尸c 工。，i = ：j g c 工。 i 专善只c 工c i ，l l g c 工。，一专姜足c j c ，4 + 。， 砖姜足c 石( 。，一专姜只c 工“1 0 ，存在 过程神经元网络p ，使得忪( 石( f ) ) 一p ( x o 蒯 占。 3 4 过程神经网络学习算法 过程神经网络的学习可借鉴传统的梯度下降法，如b p 算法。将式( 3 6 ) 重写为 y = 否r av ， r 喜面，c r ，工，c r ，) 办一巳 c s z 。， ，一l l l 1 jj 查些查兰堡主堂堡垒查 墨兰主_ 墅壁塑型丝型墅墨! 薹生 其中砚( f ) = 嵋岛( f ) 给定k 个样本： ( 工i l o ) ，x 1 2 ( f ) ，x h o ) ；d i ) o ：。( f ) ，x z 2 ，屯。o ) ；如) o l ( f ) ，j k 2 0 ) ，工b ( f ) ；d r ) 其中以为第| j 个样本的期望输出。网络的误差函数可取 e ：和乜卜如，和陲叫以r ，卜h 由梯度下降法，网络权值学习规则为 b = v j + t z a v j ( 3 2 2 ) 乃( f ) = 面_ ( f ) + 慨( f ) ( 3 2 3 ) 嘭= 0 + 必巳 ( 3 2 4 ) 其中：1 ，2 ，m ；i = i ，2 ，雄；a ，y 为学习速率。令 妒f i 砉酣) x n ( t ) t g ( 3 2 5 ) l l o l 一 则 咄一考q 如叫嘲也卜) ( 3 2 6 ) 巧( r ) = 一否磊