实数编码的遗传算法以及BP神经网络的优化工作

实数编码的遗传算法以及BP神经网络的优化工作目录课题背景遗传神经网络分类检测器同步检测模型数据预处理仿真实验结束语和展望发表论文实数编码的遗传算法以及BP神经网络的优化工作选题来源

本论文的项目背景是黑龙江省自然科学基金项目《基于多层前向神经网络的分布式入侵检测模型》，本文作为该项目的一个组成部分，将实数编码遗传算法与神经网络结合作为其中一个分布式Agent的检测算法。课题背景实数编码的遗传算法以及BP神经网络的优化工作论文主要内容比较分析入侵检测方法，将实数编码的遗传算法优化BP神经网络初始权重应用于入侵检测；为了提高入侵检测系统的检测效率和实时性，提出分类检测器同步检测模型；课题背景实数编码的遗传算法以及BP神经网络的优化工作论文主要内容数据预处理，即把经过数据挖掘后的样本数据进行归一化处理；二次处理，即对数据预处理后的数据进行深度处理，从而对样本数据进行有效性的压缩；仿真实验，得出结论。课题背景实数编码的遗传算法以及BP神经网络的优化工作目录课题背景遗传神经网络分类检测器同步检测模型数据预处理仿真实验结束语和展望发表论文实数编码的遗传算法以及BP神经网络的优化工作实数编码遗传算法

遗传算法的主要特点是群体搜索策略和群体中个体之间的信息交换，搜索不依赖梯度信息，也不需要求解函数可微，只需要该函数在约束条件下可解，因此该方法适用于处理传统方法难以解决的复杂和非线性问题。目前，遗传算法经常采用二进制编码，这有它自身的优点，如它能使交叉和变异操作容易实现，虽然采用二进制编码时算法处理的模式数最多，但在处理优化遗传神经网络实数编码的遗传算法以及BP神经网络的优化工作实数编码遗传算法

问题时，会出现一些问题：“由于相邻整数的二进制编码结构可能出现很大的差异，这样会降低遗传算子的搜索效率，而且如果设计变量的精度很高，串长就很大，这样也降低了算法的效率，并且在进化过程中还要不停地进行编码和解码操作，计算时间比较长，所以在求解高维优化时，算法的搜索效率就更低了”。遗传神经网络实数编码的遗传算法以及BP神经网络的优化工作实数编码遗传算法

而基于实数编码的遗传算法不存在编码和解码过程，能够大大提高解的精度和运算速度，因此，基于实数编码的遗传算法得到了越来越多的重视。遗传神经网络实数编码的遗传算法以及BP神经网络的优化工作编码方式

由于实数编码的遗传算法不存在编码和解码过程，能够大大提高解的精度和运算速度，因此，本文采用实数编码。遗传神经网络实数编码的遗传算法以及BP神经网络的优化工作适应度函数

所谓的适应度函数就是评价函数，将染色体上表示的各个权值分配到给定的网络结构中，网络以训练集样本为输入输出，运行后返回误差平方和的倒数作为染色体的适应度函数，如式(2-1)所示。遗传神经网络(2-1)实数编码的遗传算法以及BP神经网络的优化工作遗传算子设计选择算子

采用适应度比例方法，计算每个个体的适应度值并将其排序，每个个体的选择概率和其适应度值成正比例。即适应度值越大，它被选择到的机会也就越大，从而被遗传到下一代的可能性也越大。设群体大小为n，个体i的适应度值为fi，则被选择的概率为Psi，如式(2-2)所示

遗传神经网络(2-2)实数编码的遗传算法以及BP神经网络的优化工作遗传算子设计交叉算子这里设计为具有数值特点的向量线性组合。如有两个个体Sa与Sb交叉，则产生的子代个体如式(2-3)、(2-4)所示。其中，λ的取值在(0，1)。

遗传神经网络(2-3)(2-4)实数编码的遗传算法以及BP神经网络的优化工作遗传算子设计变异算子对于子代染色体中的每个权值输入位置，变异算子以概率Pm在初始概率分布中随机选择一个值，然后与该输入位置上的权值相加。

遗传神经网络实数编码的遗传算法以及BP神经网络的优化工作遗传算子设计

λ取值为时进行交叉算子运算，如图2-1中交叉部分所示，两个个体经过交叉后生成两个新个体；变异算子运算如图2-1中变异部分所示；粗体斜体部分表示交叉或变异的位置

遗传神经网络实数编码的遗传算法以及BP神经网络的优化工作遗传算子设计遗传神经网络图2-1交叉和变异算子的运算实数编码的遗传算法以及BP神经网络的优化工作面向神经网络权重学习

神经网络的权值按一定的顺序级联为一个长串，串上的每一个位置对应着网络的一个权值。遗传神经网络1.4-1.83.64.51.70.9-0.3-0.71.3图2-2神经网络权值编码实数编码的遗传算法以及BP神经网络的优化工作面向神经网络权重学习

如图2-2所示，神经网络编码为：（）遗传神经网络实数编码的遗传算法以及BP神经网络的优化工作目录课题背景遗传神经网络分类检测器同步检测模型数据预处理仿真实验结束语和展望发表论文实数编码的遗传算法以及BP神经网络的优化工作系统总体结构分类检测器同步检测模型传送警报检测到攻击数据采集模块(事件产生器)响应模块(事件响应器)预处理模块数据库模块(事件数据库)检测引擎模块(事件分析器）网络数据流图3-1系统结构图实数编码的遗传算法以及BP神经网络的优化工作分类检测器同步检测模型

本文将“检测引擎模块”进行细化设计后提出“分类检测器同步检测”的模型，同步检测模型如图3-2所示。

分类检测器同步检测模型图3-2分类检测器同步检测模型检测器D检测器A输入输出检测器B检测器C状态监视实数编码的遗传算法以及BP神经网络的优化工作同步检测算法描述

检测器调度算法采用多线程实现，由于涉及到线程同步问题，自然会想到同步锁，线程间优先权设置我们采用如下方法：即四大类攻击中按样本数所占比例大小进行优先权的设置，所占比例越大，优先权就越大，这样，最后，优先权从高到低设置为“DOS、PROBE、R2L、U2R”。

分类检测器同步检测模型实数编码的遗传算法以及BP神经网络的优化工作同步检测算法描述算法描述分别为每个检测器开启一个线程；输入向量，按照线程优先权的大小，代表检测DOS类型攻击的检测器A首先获得该“锁”并对该输入向量进行检测；如果是DOS攻击，则通知“状态监视”模块并设置为True，“状态监视”一旦为True则马上通知其它检测器线程不用等待该锁而直接做好获取下一把“锁”(也就是下一个输入向量)的准备，直接输出结果后转步骤2；如果不是DOS攻击，则释放该“锁”，让代表检测PROBE类型攻击的检测器D获得该“锁”进行检测，如果检测出攻击则输出结果同样转步骤2，否则，依此类推继续检测；当最后一个检测器对输入向量检测也正常时，则输出结果转步骤2

分类检测器同步检测模型实数编码的遗传算法以及BP神经网络的优化工作同步检测算法描述输出结果向量表示：0001——表示DOS攻击；0010——表示R2L类型攻击；0100——表示U2R类型攻击；1000——表示PROBE类型攻击。

分类检测器同步检测模型其中x1,x2,x3,x4分别表示检测器A、B、C、D的输出

实数编码的遗传算法以及BP神经网络的优化工作目录课题背景遗传神经网络分类检测器同步检测模型数据预处理仿真实验结束语和展望发表论文实数编码的遗传算法以及BP神经网络的优化工作数据来源

本文采用麻省理工大学林肯实验室的测试数据KDDCUP99，它是专门用来进行入侵检测评估的。我们采用数据集上的一个子集10percent作为实验数据源，它一共包含有494021条网络连接，其中正常连接97277条，异常连接396744条。数据预处理实数编码的遗传算法以及BP神经网络的优化工作数据归一化一般归一化公式：数据预处理归一化到0、1之间：实数编码的遗传算法以及BP神经网络的优化工作样本精简

矩阵初等行变换能保持矩阵列向量之间的线性关系，利用这个结论我们可以用来进行样本数据的精简，这样精简后的样本数据能够保持各属性字段之间的线性关系。 神经网络的训练实际上是一个通过给定样本实时调整网络连接权重的过程，样本预处理的结果对于网络训练的收敛性起到关键的作用。下面我们针对DOS攻击类型数据(DOS攻击类型编码为“0001”)进行分析。数据预处理实数编码的遗传算法以及BP神经网络的优化工作样本精简

设A为样本数据矩阵，其中每一行向量表示一条样本数据，则该行向量含34个数据，假设有a条样本，则A为a行34列矩阵；由于每条样本数据输入网络后都会有一条对应的输出，加上本实例为DOS攻击类型以编码“0001”表示，则期望输出矩阵B为a行4列矩阵(暂时先不考虑阈值，只考虑权重问题)。本文BP神经网络的输入节点数为34个，隐含层节点数为15个，输出层节点数为4个。数据预处理实数编码的遗传算法以及BP神经网络的优化工作样本精简

虽然神经网络的连接权重可以用一个实数串进行表示，但在进行网络的训练时，还需要将实数串分为两部分，设输入层到隐含层的连接权重矩阵为W1，则W1为34行15列矩阵；同理，隐含层到输出层的连接权重矩阵W2为15行4列矩阵。

于是我们可以得到公式(4-1)。数据预处理实数编码的遗传算法以及BP神经网络的优化工作样本精简

如式(4-2)所示，A和B是系数矩阵,C是增广矩阵。经过带约束初等行变换后如式(4-3)所示。数据预处理(4-2)(4-3)(4-1)实数编码的遗传算法以及BP神经网络的优化工作样本精简

式(4-3)中，C、D为零矩阵，经过处理以后，由原先的A对应输出B变成了现在的A′对应输出B′，通过这样的处理，我们就可以将大样本变为小样本，从而使计算更加快速，样本数据更加精简。

数据预处理实数编码的遗传算法以及BP神经网络的优化工作归一化精度对样本影响

为了能使样本应用于本文提出的分类检测器同步检测模型，我们将样本数据先进行归类合并，分别构造出DOS、PROBE、U2R、R2L四大类攻击样本数据集，这样四个检测器分别检测四大类攻击。为了降低可疑攻击数，即四大攻击类型数据集之间的重叠记录数要少。精度过大会增加计算量，从而会降低学习速度；精度过小，会使记录重叠数增加，从而造成可疑攻击数增加，影响训练结果。数据预处理实数编码的遗传算法以及BP神经网络的优化工作归一化精度对样本影响数据预处理DOS440374PROBE493705R2L33450U2R11126normalDOSPROBER2L

表4-1小数点保留1位时记录重复情况

实数编码的遗传算法以及BP神经网络的优化工作归一化精度对样本影响数据预处理

表4-2小数点保留4位时记录重复情况

DOS1000PROBE1000R2L0000U2R0000normalDOSPROBER2L实数编码的遗传算法以及BP神经网络的优化工作归一化精度对样本影响数据预处理

表4-3样本数据压缩情况

压缩前小数点1位小数点4位normal97277391885811DOS39145922837436PROBE41072331775R2L111952921U2R592052实数编码的遗传算法以及BP神经网络的优化工作归一化精度对样本影响数据预处理

图4-1样本数据压缩情况

实数编码的遗传算法以及BP神经网络的优化工作目录课题背景遗传神经网络分类检测器同步检测模型数据预处理仿真实验结束语和展望发表论文实数编码的遗传算法以及BP神经网络的优化工作学习样本和测试样本仿真实验instantsAttributesoftheconnectrecord123456……….34123456789100.00001.00000.00000.00000.00000.0000………..0.00000.00000.70391.00000.00000.00000.0112………..0.00530.00000.70391.00000.00000.00000.0056………..0.00530.05760.25721.00000.00000.00000.0044………..0.00000.00000.69831.00000.00000.00000.0056………..0.00420.00000.69831.00000.00000.00000.0056………..0.00500.33520.70391.00000.00000.00000.0056………..0.00510.04640.57271.00000.00000.00000.0004………..0.00000.23530.33730.71760.00000.00000.0000.……….0.00000.11110.00000.22220.00000.00000.0000.……….0.0000表5-1样本数据

实数编码的遗传算法以及BP神经网络的优化工作学习样本和测试样本仿真实验

表5-1是数据预处理后的标准格式，学习样本和测试样本数据只取DOS攻击样本中数据。 为避免发生神经网络的“过拟合”现象，我们不需要让神经网络学习过多的样本细节，这里取DOS攻击样本数据30条作为学习样本进行网络的训练，期望输出都为“0001”。测试样本数据为300条。

实数编码的遗传算法以及BP神经网络的优化工作实验环境和运行参数仿真实验

实验环境为“Intel(R)Celeron(TM)CPU1000MHz，内存384M，操作系统Windows2000Professional”，开发工具为MATLAB7.0。 在遗传算法中，种群规模Psize=60，权重初始化空间为[-1，+1]，遗传代数为gen=200代，选择概率Ps＝，交叉率Pc，变异率Pm＝；在BP算法中，最大训练次数为3000，目标误差为，学习率为

。实数编码的遗传算法以及BP神经网络的优化工作GA训练BP网络连接权值仿真实验

图5-1GA训练神经网络权重

实数编码的遗传算法以及BP神经网络的优化工作GA训练BP网络连接权值仿真实验

图5-2局部放大

实数编码的遗传算法以及BP神经网络的优化工作BP神经网络进行局部寻优

仿真实验

图5-3BP局部寻优

实数编码的遗传算法以及BP神经网络的优化工作仿真结果

仿真实验

300条DOS攻击类型的样本数据进行网络的测试，期望输出应该为“0001”，限于篇幅，表5-2只列出部分网络输出结果。每一列对应为一个输出结果，第一个输出为(0.0003,0.0004,0.0005,0.9987)，可以直观地看出应该符合(0，0，0，1)编码形式，故该条测试样本数据为DOS攻击类型。

0.00030.00040.00050.99870.00010.00000.00010.99870.00040.00050.00030.99860.00020.00030.00040.99870.00060.00120.00131.00330.00100.00140.00140.99880.00020.00010.00010.99870.00110.00150.00140.9988

表5-2部分输出结果实数编码的遗传算法以及BP神经网络的优化工作仿真结果

仿真实验

300条DOS攻击样本数据经过测试后，有4条检测出错并且都被检测为其它攻击类型，296条检测正确，检测率为98.67%，4条入侵样本数据没有被检测出来，相对于DOS攻击来讲就是“正常”数据，则漏报率为1.33%。

实数编码的遗传算法以及BP神经网络的优化工作目