（计算机应用技术专业论文）基于差异性的神经网络集成及其应用研究.pdf

! ! 塞窒堕查兰堡主堡塞 一a bs t r a c t e n s e m b l el e a r n i n gh a sb e c o m eo n eo ft h ei m p o r t a n tr e a s e a r c ht o p i ci nm a c h i n e l e a m i n g i tc a nd r a m a t i c a l l yi m p r o v eg e n e r a l i z a t i o np e r f o h n a n c eo fl e a n l i n gs y s t e m ， e s p e c i a l l yf o ru n s t a b l el e a r n i n gm e t l l o d ，w h i c hi sm u c hc l e a r ，f o re x a m p l e ，n e l l f 廿 n e t w o r k sa n dd e c i s i o nt r e e s 1 ng e n e a l l ，g e n e r a l i z a t i o ne r r o ri su s e dt 0m s 1 1 r e g e n e r a l i z a t i o np e r f b m a l l c eo ft h e1 e a m i n ga l g o r i t h r n t h el e s sg e n e r a i i z a t i o ne 仃0r ， t h eb e t t e rt h ep e r f o r m a n c eo fi e a m i n ga l g o r i t h m t bf u t h e ri m p m v eg e n e r a l i z a t i o n p e r f o r m a n c eo fe n s e m b l el e a m i n g ，k r o g ha n dh a n s e np r e s e n t e dm a tw h e nn e u r a l n e t w o r k si ne n s e m b l el e a r n i n ga r ed i v e r s ea n da r eo fh i g h l ya c c u r a t c ，g e n e r a l i z a t i o n p e r f o m l a n c eo fe n s e m b l ei e a m i n gi si m p r o v e d h o w e v e r i ti sn o tav e r ys i m p l e m a 仕e rf o rc r e a t i n gt h e s en e u r a ln e t w o r k s s om a n ys c h o l a r sh a v ed e v o t e dt oi ta i l d p r e s e n t e dm a n ya l g o r i t h m so f e n s e m b l el e a r n i n g b a s e do nd e t a i l e da n a l y s i sa n df u l l yu n d e r s t a n d i n go fc u r r e n ta l g o r i t h r n so f e n s e m b l el e a m i n g ，t h i sd i s s e n a t i o nw i i lf o c u so ni m p r o v i n gd i v e r s i t yo fn e u r a l n e t w o r k s s o m ea c h i e v e m e n t sa r co b t a i n e da sf o l l o w s ： ( 1 ) a i m e da tr e 伊e s s i o np r o b l e m ，w ep r o p o s ea na l g o r i m mf o rn e u r a ln e t 、釉r k e n s e m b l eb a s e do nc l u s t e r i n gt e c h n o i o g y f i r s t l y ，s o m en e u r a in e t w o r k sa r eg e n e r a t e d b yt r a i n i n gn e u r a ln e t w o r k s s e c o n d l y ，t h ed i s t a n c eo fn e u r a ln e t w o r k sr n o d e i si s d e n n e da n dc l u s t e r i n gt e c h n o l o g i e sa r ea p p l i e dt ot 1 1 e s em o d e l st os t u d yt 1 1 e i r c o n - e l a t i o n w en o to n l ye i i m i n a t eh i g h l y c o r r e i a t e dn e u r a ln e “，o r k s ，b u ta l s o d e t e m i n et h es i z eo fn e u r a ln e t w o r ke n s e m b i ei ns o m ed e g r e e m o r e i ) v e r w ea l s o s t u d yt h ep e r f o r m a n c eo fd i f r e r e n te n s e m b l em e t h o d sa r i d t h er e l a t i o nb e t w e e n a c c u r a c ya 1 1 ds i z eo fe n s e m b i ei ne n s e m b i el e a r n i n g e x p e r i m e n t a lr c s u i t ss h o wt h a t a l g o r i t mp r e s e n t e dh e r ei ss u p e “o rt oc o n v e n t i o n a le n s e m b l ea l g o r i t s ( 2 ) a ne n s e m b l el e a m i n gm e t h o df o rd i v e r s i t yo fi m p r o v i n gn e u r a ln e t w o r k s c l a s s 添e r si s p r o p o s e d i nm a n ye n s e m b l em e t h o d s ，f o ri n s t a n c e ，b a g g i n g a n d b o o s t i n g ，d i v e r s i t yb e t w e e nn e u r a ln e t w o r k sm o d e l sw i l ld e c r e a s ew h e ns i z eo f t r a i n i n gs e ti ss m a l l h e n c e ，i ti sn o tc l e a rf o re n s e m b l el e a m i n g e v e np e r f o m l a n c eo f e n s e m b l e l e a r n i n g i si n f e r i o rt o p e r f o r m a n c eo fs i n 9 1 e m o d e l t bi m p r o v e g e n e r a l i z a t i o np e r f o m l a n c eo fe n s e m b l eo fn e u m ln e t w o r k sc i 船s i f i e r s ，w es t u d y n e u r a ln e t w o r ke n s e m b l ef o rs m a l is a m p i ed a t as e tb a s e do nd i v e r s i t yo fn e u r a i n e t w o r k sa n dp r e s e n tai e a m i n gm e t h o df o ri m p r o v i n gd i v e r s i t yo fn e u r a ln e t w o r k s i i l 垒曼曼! 坠竺! e x p e r i m e n t a lf e s u l t ss h o wt h a ta i g o r i t h mp r e s e n t e dh e r ea c h i e v e sh i 曲e rp r e d i c t i v e a c c u r a c yt h a nb a g g i n ga n da d a b o o s to ns m a l ld a 协s e t sa n dc o m p a r a b l ep e r f o r r n a n c e o nl a 唱e rd a t as e t s ( 3 ) f u z z yc l u s t e r i n ga i g o r i t h r nb a s e do nm u l t i s y n a p s en e u r a in e t w o r ka n d c l u s t e r i n g e n s e m b l ea l g o r i t h ma r ep r e s e n t e d a r e ra n a l y z i n gw e i sc l u s t e “n g a l g o r i t m a n dp o i n t i n go u ti t se r i d r s ，w em o d i f yw e i sa l g o r i t h ma n dp r e s e n ta c o n v e r g e n ta l g o r i t h m f u r t h e 哪o r e ，t od i m i n i s ht h ep o s s i b i l i t yo fl o c a lo p t i m i z a t i o n f o ra l g o “t h mo fn e u r a ln e t w o r k sl e 锄i n ga 1 1 di m p r o v em b u s t n e s sa j l ds t a b i l i t yo f c l u s t e r i n gb a s e do nm u l t i s y n a p s en e u r a ln e t w o r k ，、v ep r c s e m ag e n e m ic l u s t e r i n g e n s e m b l ea l g o r i t t h ee x p e r i m e m a lr c s u l t ss h o wt h a tam u c hs t a b l ec l u s t e r i n g r e s u l ti so b t a i n e db yc l u s t e r i n ge n s e m b l e ( 4 ) w es t u d yi n t r u s i o nd e t e c t i o nb a s e do nn e u r a jn c t w o r ke n s e m b l e i n t r u s i o n d e t e c t i o ni st of i n di m r u s i o nb e h a v i o ro fi n t r u d e r b yc o l l e c t i n gi n f b h n a t i o nf o rs o m e k e yl o c a t i o ni nc o m p u t e rn e t w o r ko rc o m p u t e rs y s t e ma i l da n a l y z i n gt h e m ，t h e b e h a v i o ro fv i o l a t i n gs e c l l r i t ys t r a t e g ya n dc v i d e n c eo fn e t w o r kb e i n ga t t a c k e da r e j u d g e d ，a r e rd e t a i l e da n a i y z i n ga 1 1 ds t u d y i n gn e t w o r kt m f f i cd a t a ，w ep r e s e n t i n t r u s i o nd e t e c t i o nm e t h o db a s e do nn e u r a ln e t w o r ke n s e m b l e a tt h es a m et i m e ，w e s t u d yp e r f o r m a n c eo fd i f r e r e n tm e t h o d so fn e u m ln e t w o r ke n s e m b i ei ni n t r u s i o n d e t e c t i o ns y s t e m k e yw o r d s ：e n s e m b l el e 唧i 唱，n e u r a ln e t 、o r k ，c l u s t e r i n g ，d i v e r s i t y ，r e g r e s s i o n ， c l a s s i 母，c l u s t e r i n ge n s e m b l e ，i n t m s i o nd e t e c t i o n i v 第一章绪论 通过某种启发式方法搜索和寻找最优解，而启发式方法可能会陷入局部极值因 而无法找到最好的模型。( 3 ) 表示问题。模型空间可能并不包含目标函数，在这 种情况下，无论怎样搜索，都很难得到理想的模型。 受统计问题影响的学习算法具有较高的“方差( i a n c e ) ”：受计算问题影响 的算法有时描述为具有“计算方差( c o m p u t a t i o n a l do fn e u f i 妻釜 鎏善e i 骞臣硅；窖t 毒辜i 琴童箨挂薹萎霉孽彗：丢璧| 氍! 比受虿重：鋈；主￥霎事l 飘芒i 骂曩 享鏖l ! 盖龋塞簦 l 蠢矍j壅冒鑫。姐寻基 以瞳蚕雩l 薹；卓! | 重 雾拳磊辇；i 彗聿i i 至薹 蕾萋；主萋三妻搴雪妻誉蠕耋；季凄主! 芎i ；鎏墨i x 北京交通大学博士学位论文 经网络集成的实现方法：最后给出了集成方法存在的问题，并在此基础上提出了 本文所研究的内容。 1 2 集成学习的研究现状 1 2 1 多学习机系统的历史回顾 多学习机系统具有相当长的历史，并且已经成功地应用于很多领域之中。通 常多学习机系统主要包括集成方法、模块化方法与胜者为王方法。本文主要研究 集成方法。对于集成方法，在过去的研究中，人们主要集中在如何组合( 或融合) 每个学习机的输出的任务上，本文称之为结论生成方法，例如早期的b o r d a l 6 5 】 计数方法、n i l s s o n 5 j 的集成机( c o m m i t 魄m a c l l i n e ) 。 1 9 7 4 年，针对多学习机系统，k a l l a l 指出：模式识别问题的关键并不全在于 学习算法、统计方法、空间与过滤等或任何其它特殊的解决方法，对于所有的模 式识别问题并不存在单一的模型，也不存在单一的技术可以应用到所有的模式识 别问题当中，而所需要的是很多工具的结合【婀。受m “的启示，研究人员开始 了将语言学模型与统计模型、启发式搜索与统计模式识别的结合。后来，在人工 智能界对使用多种方法的重要性也提出了类似的观点，例如m i n s k v 指出：为了 解决一个实际的困难问题。我们必须使用多种不同的表示方法，不要再提倡哪种 类型的模式识别技术是最好或最坏的，取而代之的是我们应该在一个较高级的组 织下工作，并且发现如何建造利用各自优点的系统，以避免每种方法所具有的局 限性。 进入八十年代，很多学科开始研究多数据源或多学习模型的集成，例如，在 计量经济学中，人们开始研究估计量和基于规则的系统中的证据的组合。特别值 得关注的是在统计学与管理科学中提出的一致理论方法。从此，人们进入了决策 融合与多传感器数据融合的研究。 在数据分析领域，也出现了多种方法组合的研究工作，即组合两个或多个神 经网络、贝叶斯、遗传算法【2 0 6 】、模糊逻辑及基于知识的系统。它们的目标主要 是通过引入不同的源和不同的信息形式，使得这些不同方法的优势得到互补。 1 2 2 研究进展 集成学习属于多学习机系统，每次学习都是针对同一个任务。正如1 1 节中 提到的，集成学习主要由两部分构成，即个体生成方法( 模型的生成) 及结论生 第一章绪论 成方法( 融合方法) 。下面分别对这两部分内容作一介绍。 1 结论生成方法 结论生成方法就是将不同个体的输出结果进行组合( 或融合) 。在结论生成 方法中，针对分类与回归问题。研究人员已经提出了很多种方法，尤其是对分类 器的集成方法研究较多。 当集成学习用于分类器时，集成的输出通常由个体输出投票产生【8 5 ，1 3 8 ，1 0 6 1 。 投票方法包括绝对多数投票法( 某分类成为最终结果当且仅当有超过半数的输出 结果为该分类) 与相对多数投票法( 某分类成为最终结果当且仅当输出结果为该 分类的输出结果数目最多) 。在多分类器系统的投票方法中，根据所采用策略的 不同，出现了很多种生成方法，但这些方法都可看做如下定义的一般投票策略的 特例。为方便起见，设所有分类器( 共有足个分类器) 的输出向量为 d = ( 4 ，以) 7 。其中吐如，) ，c ，表示第f 个类标号，表示该数据被拒 绝分配给任何类。 首先，定义一个二值特征函数： 酏) = 惦黧f q 然后，一般的投票过程可定义为 e ( 田：j c j 若删y 川否易( q ) 甜m + “奶 i ，否则 其中口是参数，k ( d ) 是投票约束函数。 当七( d ) = 0 且口= l 时，则为最保守的投票规则，即当所有分类器产生相同的 输出时，则投票结果为输出的类。 当t ( d ) = o 且口= o 5 时，则为常用的绝大多数投票法。 通常函数k ( d ) 可被解释成经常被选择类的遗弃程度，使用该项可用于调整可 接受的正确决策的冲突程度。 1 9 9 5 年，l a m 【m 7 】采用权值优化方法进行集成，这种方法在一定程度上是对投 票方法的扩展。 当分类器相互独立且分类器的输出用后验概率表示时，则可以应用贝叶斯集 成方法【1 7 0 ，8 2 】。贝叶斯集成方法主要包括平均贝叶斯方法和贝叶斯信任集成方法。 平均贝叶斯分类器的质量依赖两个因素，即后验概率的估计以及分类器之间的差 异性。在平均贝叶斯集成方法中，它将所有的分类器视为均等的，并没有明确地 考虑由每个分类器产生的不同错误；为了解决这些问题，在贝叶斯信任集成方法 北京交通大学博士学位论文 中，通过混淆矩阵( c o n f u s i o nm a t “x ) 描述每个分类器产生的不同错误，进而 定义每个分类器的信任度，最后确定集成分类器的信任度。 为了克服分类器之间相互独立性的假设条件，1 9 9 5 年h u a n g 等1 7 0 | 提出了行 为知识空间( b k s ) 方法。对于每个训练点，通过收集所有分类器上的决策记录 以组成知识空间：然后使用一种规则确定输入数据所属的类别。但由于这种方法 需要确定阈值五，所以决策方法的可靠性在很大程度上依赖于该值的选择；同时 这种方法需要大量的训练数据。 若将分类器的输出解释为对类的支持度，则可以使用模糊集成方法 【2 5 ，2 4 ，8 3 ，77 1 。在模糊集成方法中，最重要的概念就是模糊积分，它是对概率的一种 推广。有三种模糊积分方法，分别是s u g e n o 模糊积分、c h o q u e t 模糊积分与w e b e r 模糊积分。 1 9 9 4 年，r o g o v a 1 将分类器的输出解释为可能性值，提出了d e m p s t e r s h a 虢r 证据集成方法。 最近，k u n c h e v a l m 2 1 提出了一种决策模板全局集成方法。将所有分类器在x 上的输出形成决策轮廓矩阵，并且为每类定义一个模糊模板，然后使用聚集算子 ( 例如求最小、最大、平均、积加权平均算子等) 对决策轮廓矩阵的列做聚集操 作以获得类的顺序；或者计算一个软类标号向量以决定决策轮廓矩阵与模糊模板 矩阵间的相似性。 对于分类器的输出还可以使用一些简单的算子进行集成，例如最小算子、最 大算子、平均算子、积算子与顺序加权平均算子等9 6 ，】。特别指出的是，k i n l e r 根据一般的贝叶斯结构，基于积规则与和规则为现有的分类器集成提供了理论上 的指导，并且提出和规则对于个体分类器子集中错误的敏感性较小【8 6 】。 2 0 0 4 年，d z e r o s k i 与z e l l l ( o 对堆方法进行了扩展研究，表明了扩展的 方法比现有的堆方法执行效果更好。 对于回归任务假设使用示例集厶= ( 工。，m ) ，( 毛，儿) ，( ，) ) 生成了一组 函数f = z ( x ) ) ，其中每一个都逼近厂( z ) ，目标是使用f 找到厂( z ) 的最好逼近。 目前，大多数解决方法是将逼近空间限制在由f 中元素所构成的线性空间上，即 f 中元素的线性组合尹( x ) = 口，- ，；( x ) ，其中q 是o ) 的系数或权。1 9 9 3 年， 卢l p e r r o n e 与c o o p e r f l 3 9 1 提出了一种b e m ( b a s i ce n s e m b l em e t h o d ) 组合方法，在 该方法中，对模型的组合采用了简单平均方法，也就是说每个模型具有相等的权 值，即 第一章绪论 ，。= 吉f ( x ) 。 v j = l 另外，这个等式也可以使用模型的偏差来表达。对于每个模型，定义偏差 ( m i s n t ) 函数为 ，抑( x ) = 厂( 工) 一，( ) 。 因此，= ，( x ) 一专萋( x ) 。 由此式可知，只要幔( z ) 是相互独立的且具有零均值，则通过增加f 的群体 规模可使估计- 厂( x ) 产生任意小的误差，然而，在实际应用中，这些假设并非 成立。后来，p e r r o n e 与c o o p e r 推广了b e m 方法，提出了g e m ( g e n e r a l i z e d e n s e m b l em e t h o d ) 方法。在这种方法中，目的是寻找最优的权值，但不要求偏 差函数满足相互独立且具有零均值的条件。在这种方法中，组合函数为 。7 ：。= q ，( x ) = 厂( x ) 一a ，埘，( z ) 其中口= ( c 。1 ) ， ，= l ( c 。1 ) 目 女= lj = i c = ( q ) ；= 日_ ( x ) 州，( x ) 】。 c 是偏差函数的样本协方差矩阵，且目标是最小化q 口，岛。由上式知 = i 产1 道，若计算权值口，需要估计协方差矩阵c ，而这个矩阵可通过训练数据集来逼 1 近，即q * 寺( ) 肌，( ) ，其中表示数据集的规模。该方法的主要缺点 = l 是在计算权值d 时需要求矩阵c 的逆矩阵，而求逆矩阵的方法是不稳定的，这 种不稳定是由f 中成员的相关性引起的，导致矩阵c 的行与列的线性依赖，从 而引起估计c 的逆矩阵时的不可靠。为了避免上述问题，p e n 伽e 与c o o p e r 提出 了一种解决方法，即当两个模型的相关性超过某个阈值时，则去除f 中相关的模 型。不幸的是这种方法仅检查了两个模型间的线性依赖关系，实际上，f ( z ) 可 能是f 中其它模型的线性组合，此时又会出现多重共线问题；另外这种方法依赖 设置的阈值。h a s h e m 与s c h m e i s e r 【6 2 】提出了类似于g e m 的组合方法，但这种 方法并没有对权之和等于l 进行约束。线性回归( l r ) 也是组合学习模型的一 种方法，在这种方法中，相对于训练数据对f ( x ) 需要寻找最优的权值。l r 不同 于g e m ，因为g e m 是一种对权值加有约束条件y 口。= l 的线性回归形式；而在 百 l r 中，权值由下面的方法确定： 6 北京交通大学博士学位论文 等提出了交叉验证集成方法i ”3 1 3 钔。在该方法中，通过提取一个不相交的子集作 为验证集，而剩余的数据作为训练集。另外，也可以采用不放回抽样技术i j ”j 方 法获得训练集。 2 ) 特征选择方法 这种方法主要是用来减少集成个体的输入特征数，其目的就是避免维数灾难 【s 3 】。1 9 9 8 年，h o 提出了随机子空间方法【6 6 1 。在这种方法中，随机选择特征子集， 并分配给学习算法，然后在这个子空间中生成分类器，最后根据分类器的正确率 使用加权投票方法进行集成。已经表明，这种方法在小规模训练样本上构造的分 类器是很有效的1 1 0 3 】。1 9 9 9 年，g u e r r a s a l c e d o 与w h i c l e y 通过提高集成成员的 质量对h o 的方法作出了改进，他们使用了基于遗传算法的搜索过程来产生集成 成员或集成个体，同时表明了这种方法几乎总是提高集成的泛化性能：然而，他 们也指出了一种例外，也就是说当数据集具有少量的特征( 小于1 9 个特征) 时， 这种方法并不象随机子空间方法那样可以提高集成的性能。在2 0 0 0 年，p 6 d 面g c u n n i n 曲a m 与j o h nc a r n e y l ”对这种例外进行了分析并给出了解释，他们认为， 当使用遗传算法方法生成集成成员时，由这些成员形成的这个子集并不具有很大 的差异性，进而使得集成中个体分类器的质量受到影响；当数据集具有大量的特 征( 大于3 5 ) 时，不会出现这个问题。另外，t u m e r 与o z a 提出了i d ( i n p m d e c i m a t i o n ) 方法1 7 4 ，”0 1 。这种方法目的是减少集成成员产生错误的相关性，通 过使用不同的特征子集训练集成中的成员。这种方法与随机子空间方法是不同 的，因为对于每类，要明显地计算每个特征与类的输出间的相关性，并且仅在 特征最相关的子集上训练集成成员。x u 等、p a r k 等与b r e l i k e l e nv 蛐等提出了划 分特征集的方法【。8 3 1 3 1 ，在每一个子集上构造集成中成员。k u n c h c v a 提出了使 用遗传算法来选择特征的方法1 吣1 0 2 】。另外，还有采用在原特征空间中使用不同 的算子获得特征集，例如主成分分析、f o 岫e r 系数、k a r h u i l e n l o e w e 系数等 1 4 4 ，2 “。在2 0 0 1 年，k u n c h e v a 等使用九种不同的组合方法对特征空间的划分进行 了系统的研究印】。他们表明，对于所有情形并没有最好的组合方法，并且不能保 证在所有情形下集成性能能够超过单个最好成员的性能。另外，这种方法主要适 应于输入特征高度冗余情形。 3 ) 专家混合方法 对于集成中的一组成员，根据输入数据，可以通过一个监控学习机用来选择 最合适的集成成员。基于这种思想，j a c o b s 提出了专家混合方法【7 5 _ 7 6 7 9 】。在这种 方法中，门控网络实现输入空间的划分，只有少量的神经网络在每个被分配的区 域独立地执行有效的计算。另外，这种方法的一种扩展形式是层次专家混合方法， 北京交通大学博士学位论文 f 6 7 l 、g i a c i n t o 等【5 8 】与w o o d s 等1 提出了动态分类器选择方法。这些方法是基于 定义的一个函数，然后使用这个函数为每个模式选择正确率最高的分类器。 6 ) 随机集成方法 随机集成方法是通过在学习算法中注入随机噪声来生成集成中的成员。例 如，在b p 算法中，对初始权随机赋值，就可以获得不同的集成成员，最后对它 们集成”2 1 。一些研究人员通过实验研究表明，用于生成集成成员的随机学习 算法可以提高单个非随机成员的性能。2 0 0 0 年，d i e t t e r i c h 进行了实验研究，结果 表明随机决策树集成超过c 4 5 单个决策树的性能 1 4 2 1 ，并且也表明，对输入数据 加入高斯噪声然后使用b o o t s t m p p i n g 技术及对权值进行调整能够很大地提高分 类器的正确率i l ”j 。 1 3 神经网络集成的实现方法 神经网络集成是用有限个神经网络对同一个问题进行学习，集成在某输入示 例下的输出由构成集成的各神经网络在该示例下的输出共同决定1 2 傍1 。典型的神 经网络集成构造方法主要分两步执行：首先训练一批神经网络，然后对这些网络 的输出结论以某种方式进行结合，构成神经网络集成。k r o g l l 等通过理论研究发 现，组成神经网络集成的各网络差异越大，集成的效果越好。为此，研究人员通 过使用不同的训练集、不同的网络结构、不同的网络类型、不同的初始条件及不 同的训练算法来提高网络间的差异。 1 改变初始随机权集 在每次训练网络时，使用相同的训练数据，但是却使用不同的随机初始权值， 通过这种方法可以生成组具有差异的网络。 2 改变拓扑结构 在每次训练前，通过改变网络的拓扑结构，然后在变化的网络上使用同一个 数据集进行训练，这样可以生成一组不同的网络。 3 改变网络类型 可以使用不同的网络类型生成集成中的成员，例如可以使用多层感知器、径 向基函数神经网络与概率神经网络等生成一组不同的神经网络。 4 改变使用的算法 在训练神经网络时，使用同个数据集但使用不同的学习算法进行训练，通 过这种方法可以获得一组网络。 5 改变训练数据 北京交通大学博士学位论文 择集成学习方法成为一个难题。尽管在集成学习中存在一些理论，例如h a i l s e n 与鼬o g h ( 这些内容在第二章具体介绍) ，但是它们还远不能成为集成学习的理 论基础。在他们的研究中，只是提出了提高集成学习泛化性能的一些关系式，同 时引入了一些重要性的概念，例如差异性、误差独立性( 或错误不相关) 等，但 他们并没有给出提高神经网络差异性的一些具体方法。目前。大多数集成方法都 直接对得到的模型进行集成，而对这些模型的相关性及模型间的差异性并未加分 析，这使得集成方法的正确率并未得到提高，有时甚至低于单个模型的正确率。 2 集成学习规模的研究 对于一个给定的问题，为了应用集成学习，需要构造相应的一组神经网络模 型，到底应该选择多少个模型进行集成昵? 尽管从实验角度研究了集成学习的规 模与集成的正确率间的关系，但从现有的众多学者的研究可以知道，集成规模还 是有待于进一步研究的问题。 3 ，j 、数据集的集成学习问题研究 小数据集的学习是一个非常棘手的问题，这个问题同样也出现在集成学习的 研究中。从现有的集成学习方法来看，不管是元集成学习方法( 例如b a g g i n g 等) ， 还是非元集成学习方法( 主要是指一些具体的集成方法) ，都要面对数据集的规 模。就我们所知，目前还没有一种集成学习方法具有很强的伸缩性，例如著名的 b a g g i n g 及b o o s t i n g 集成技术，当使用小训练集时，集成效果并不明显，有时还 可能低于单个模型的正确率。 4 无监督集成学习的研究 现在，大多数集成学习主要研究有监督学习任务，而对于无监督学习任务研 究的相对较少。众所周知，目前存在大量的聚类算法，但并不存在一种完美的聚 类方法。对于给定的聚类方法，其聚类性能随着数据集的不同却发生着很大的变 化。例如，在使用足一均值聚类算法时，数据集需要满足该算法所要求的一些假 设条件，若不满足这些条件，则会得到很差的聚类结果。聚类集成问题就是将使 用不同方法产生的聚类进行组合以便产生更好的聚类结果。但由于给定的聚类问 题并不具有先验知识，因此聚类集成是不同于有监督学习的集成。另外，由于聚 类标号是符号值，因此必须解决聚类标号的一致性问题( 虽然数据标号不同，但 它们却是在同一簇中) 。还需要注意的是由于使用不同的聚类方法却会得到不同 的簇形状及不同的簇数，因此，这些问题都是聚类集成需要进一步研究的内容。 5 开拓集成学习新的应用研究领域 目前，集成学习已在很多领域得到了成功地应用，例如人脸识别、光字符识 别、图象分析、医学诊断、地震探测信号分类、回归等。入侵检测系统是计算机 第一章绪论 网络安全中的第二道防线，它的成败直接关系到计算机网络的安全，但由于现有 的入侵检测方法普遍存在误报率高检测精度低的特点，为了提高计算机网络入侵 检测系统的泛化性能，本文研究了集成学习用于入侵检测问题，提出了基于集成 学习的入侵检测方法。 1 5 主要研究内容 在对当前集成学习方法进行深入细致的分析并对它们各自相应的特点以及 优缺点有了充分认识的基础上，在导师黄厚宽教授的指导下，本文对神经网络集 成中的一些关键问题进行了研究，主要研究内容有： 1 基于聚类技术的神经网络集成。针对回归问题，通过神经网络训练方法生 成许多神经网络模型；对于这些模型，通过定义模型间的距离，采用聚类技术研 究了这些模型的相关性，通过这种方法不仅可以去除一些相关的模型，而且还可 以确定神经网络集成的规模。 2 t ，j 、样本数据集上的神经网络集成。在许多集成方法中，例如b a g 西n g 与 b o o s 曲g ，当训练集规模较小时，模型闻的差异会逐渐减少，因此集成学习的效 果很不明显。甚至还低于单个模型的学习。针对这种情况，为了提高神经网络分 类器集成的泛化性能，本文从提高神经网络差异性的角度入手，研究了小样本数 据集上的神经网络集成。 3 集成技术用于聚类问题。聚类学习是数据挖掘中的一个重要步骤，而基于 划分的聚类算法是常用的一类方法，本文使用复突触神经网络研究了基于划分的 聚类：为了迸一步提高复突触神经网络聚类的鲁棒性及稳定性，本文研究了聚类 集成，也就是将集成技术应用于无监督学习任务( 聚类) 。 4 基于神经网络集成的入侵检测。入侵检测是指对入侵行为的发现。通过在 计算机网络或计算机系统中的若干关键点收集信息并对收集到的信息进行分析， 从而判断网络或系统中是否有违反安全策略的行为和被攻击的迹象。本文研究了 基于神经网络集成的入侵检测，提出了基于神经网络集成的入侵检测方法，实验 研究了不同的神经网络集成技术在入侵检测系统上的性能。 1 6 论文的组织与安排 本文主要包括三部分内容：第一部分是关于集成学习理论与集成差异性的研 究与讨论，主要包括集成学习的泛化误差分解、偏差一方差与协方差间的关系、 集成学习的差异性及其度量；第二部分主要包括监督学习与非监督聚类学习的集 北甫壹通大掌萋军查磊嚣告余镒裂 羹一萋霪錾蠢霪囊 浑黥萎善驯捌移甏帮惨是哥i 申j 型型羹；i ，囊i 手蚩；塑黝剖鲞斜描；荨函盘佾 溺鋈掣苦耘型鄞；猁潦；剖引剿群捌一雨髹耗茂j 靼习= 州茧；”篓霸联蓟融楚州 氧搦并就”i 斟鋈靛菩氢瓢赢黜弱薪引礤辫。蓉岔嚣爿1 舔警曼复突触神经网络 的聚臻蕉一。囊g 嚣t 醚强；三副分耋器龟毡暴露萋薷紧摧螺翘联鞠霞嘲型： 醛 圈塑一雒非忍找蓑曩霸稳：j q 嚣强；删摊i 蓑攀啜上素黍鹫寺赫嚣馐错街苯寺舞荭 卫i 裂薪基引趸烈一糟笋臣客甄分型霓孤：e 第i 三要引贬塾面巍“l l 鞋器毫羹。= ；”：嚣! ；2 ；牲皤；鹜别臻曼丽墼朔鹃黟锄均站一罪酣；犏m 镛澎鬈哮 急辫i 鞭蛆；笺毒；至 ! | 彭l 露| ! i ：4 2 硅相翱醛骄翳啪钳热若疋；一翱塑 鞋够喜i 舅鞋婚妻；! | l 一耋；，o ! 呈蒙j 闹灞摹譬鬃型髫舅鞋刚l 套藩鎏疆凑i 愿啦避贫析薹 蜊扪亚鞠娶琵翳瞥型；孺瑚蕉峨噬璧掣州刚氯瞪融了希浚；一合于一 终两 绍模；嘎一唾懑臻镉絮涩滤盼。 鞋婪明夥；殛雌吲嘲篇峨詹缓；斜h 鞘涮秦鹾猁烈肇澄誊氍f 蕤趋囊i 糕莆i 嘲巍雨j 阁瀵l 委! i j 一翥i8 ；i a ；! i ；萄晒为莩硼丝唑毯番措挫倦皇j 羡 毓引崮霸鞘戡捌一粒吲阳捂影：剿訇茜蜀垂黼翮群薹缵i ；i i 璜澎嘭本问题中的不足 ，提出了一种针对小样本数据集的神经网络集成算法；然后分析了误差与偏差、 方差间的关系：最后将提出的方法与baggin；boosting方法进行对比 研究。结果表明，提出的算法对于小样本数据集表现出了较高的正确率。第五章研究了复 突触神经网络的模糊聚类与聚类集成。在分析了wei提出的聚类算法并指出 ，实验研究了算法的性能问题；为了减少神经网络学习算法陷入局部最优的可能 ，进一步提高复突触神经网络聚类解的鲁棒性及稳定性，我们也研究了集成技术 以获得更稳定的聚类解。第六章研究了神 经网络集成技术用于入侵检测问题。入侵检测可归结为一个分类问题，为了 集成技术研究了入侵检测问题，提出了基于神经网络集成技术的入侵检测算法； 并且使用著名的da鏊蓉a数据集实验研究了这种方法的有效性。第七章对全文做 x 北京交通大学博士学位论立 第二章集成学习理论及差异性度量 2 1 基本概念和定义 在这节，我们首先给出一些基本概念及定义。 定义1 函数空间 设g 是输入x 的函数，且此函数依赖参数向量w 则g 的函数空间日定义为 由所有可能的函数g ( ；w ) 组成的集台，也就是说函数空问中的每个函数是通过修 改参数w 得到的，记为= g ( ；w ) 1 w ) 。 例如由单项多项式函数g ( x ；) = ，( m 为正整数) 所形成的函数空间 = 憎扛；m ) = i 砌。 定义2 预测器( p r e d l c t o r ) 预测器是一个输入为x ，输小为y 的函数，且该函数依赖参数w 。预测器 的输出可表示为y = ，( x ) ；当强调参数w 时，也可表示为，( x ；w ) 。预测器既可以 是回归的也可以是分类的。若它为一个回归预测器，则该预铡器输出的是一个连 续值；若它为一个分类预测器( 简称为分类器) ，通常具有三种形式的输出：1 类概率向量，( x ) = ( 广( x ) ，- 厂。( x ) ，- ( r ) ) ，其中，( j ) 是x 隶属q 类的概率； 2 类标号，即实例x 所属的类别；3 真值，也就是分类器对实例j 分类的正确与 否，若分类正确，则该真值为l ，否则为o 。 例如，回归神经网络 w 依赖权w ，当取连续输入x 时，则输出为加v ( x ；w ) 。 对于一个回归神经网络，可以通过s 0 f t m a x 函数将其转换成一个分类器： “! 型型：2 一 。 。x p ( 。) f 其中是神经网络第。类的输出。由于s 0 f t 姒x 函数保证了，。的和为l ，且 为正，因此，。可以认为是概率。 定义3 机器学习方法 定义3 机器学习方法 北京交通大学博士学位论立 第二章集成学习理论及差异性度量 2 1 基本概念和定义 在这节，我们首先给出一些基本概念及定义。 定义1 函数空间 设g 是输入x 的函数，且此函数依赖参数向量w 则g 的函数空间日定义为 由所有可能的函数g ( ；w ) 组成的集台，也就是说函数空问中的每个函数是通过修 改参数w 得到的，记为= g ( ；w ) 1 w ) 。 例如由单项多项式函数g ( x ；) = ，( m 为正整数) 所形成的函数空间 = 憎扛；m ) = i 砌。 定义2 预测器( p r e d l c t o r ) 预测器是一个输入为x ，输小为y 的函数，且该函数依赖参数w 。预测器 的输出可表示为y = ，( x ) ；当强调参数w 时，也可表示为，( x ；萎j 。预测器既可以 是回归的也可以是分类的。若它为一个回归预测器，则该预铡器输出的是一个连 续值；若它为一个分类预测器( 简称为分类器) ，通常具有三种形式的输出：1 类概率向量，( x ) = ( 广( x ) ，! ；。( x ) ，- ( r ) ) ，其中，( j ) 是x 隶属q 类的概率； 2 类标号，即实例x 所属的类别；3 真值，也就是分类器对实例j 分类的正确与 否，若分类正确，则该真值为l ，否则为o 。 例如，回归神经网络 w 依赖权w ，当取连续输入x 时，则输出为加v ( x ；w ) 。 对于一个回归神经网络，可以通过s 0 f t l x 函数将其转换成一个分类器： “! 型型：2 一 。 e g g ( 囊囊。) f 其中是神经网络第。类的输出。由于s 0 姒x 函数保证了，。的和为l ，且 为正，因此，。可以认为是概率。 定义3 机器学习方法 定义3 机器学习方法 第二章集成学习理论及差异性度量 机器学习函数上的输入是一个训练集r ，其输出是预测器厂= 上( 7 ) 。机器学 习函数经常依赖一些参数w ，当强调参数时，机器学习函数的输出可表示为 厂= ( r ，w ) 。对于一个预测器，可以使用迭代方法对其逐步求精，这个过程可用 下面的式子