农业智能决策系统开发实验指导-2.doc

农业智能决策系统开发实验指导实验教学总学时：36实验教学总体目的和要求：通过实验教学，进一步加深对知识库与推理机、数据仓库、遗传算法、决策树、神经网络、遗传算法等有关概念和技术的理解和认识；熟悉和掌握有关决策支持技术和方法的使用；初步具备运用所学知识、方法和工具开发试验性农业决策支持系统的能力。要求学生每次实验前做好预习和准备工作，包括提前熟悉实验内容，编写好应用程序。上机实验时要对程序进行认真调试，直至可以运行并获得正确的实验结果为止。同时要经过对实验过程的认真思考，提升对课程内容和知识的认识。每个实验（1-6）提交实验报告一份，期末提交课程设计报告一份（实验7）。实验重点：知识库的构建与使用；ID3算法构建决策树；遗传算法优化求解；农业决策支持系统开发实验难点：神经网络专家系统设计；数据仓库的构建与使用；聚类分析方法应用；农业决策支持系统开发实验一 知识库的构建与使用（4学时）一、实验目的：通过实验教学，加深对知识库及推理过程的理解与认识，了解知识库构建与使用的基本方法。深入理解基于规则的知识表示方法和机内实现方式，以及推理的实现过程。掌握知识库及推理程序的设计技术。能根据实际问题，使用VF构建知识库，完成推理机编码。二、实验器材与环境：计算机、Windows操作系统、SQL Server 200X。三、实验内容：自行选择一个专家系统应用问题，构建一个不少于10条知识（产生式规则）的知识库，使用SQL Server构建机内演绎推理知识库，编制推理机程序，用于实现专家系统应用问题的求解。例：有如下规则集：K1： ABCGR2： DEAR3： FBR4： HPCR5： QE已知事实D、Q、F、P为YES，H为NO，请用逆向推理求证目标G。四、实验原理：关系数据库的构建与编程方法、逆向推理方式求解方法五、实验步骤1、建立实际问题的产生式规则集；2、使用SQL Server完成机内演绎推理知识库的构建；3、使用SQL Server语言编写推理程序；4、调试推理程序，改进设计；5、运行推理程序，实现问题求解；6、分析实验过程和结果，写出实验报告。六、实验要求：详细记录实验过程中出现的问题、解决方法以及实验结果，并对实验结果进行细致分析，写出构建知识库、知识推理求解的具体过程，以及体会和认识。提交知识库的构建与使用实验实验报告，附知识库和推理机程序源程序、可执行文件（电子文档）和使用说明。实验二 数据仓库的构建与使用（4学时）一、实验目的：通过实验教学，加深对数据仓库的理解与认识，熟悉构建与使用数据仓库的基本方法。深入理解数据仓库的数据模型，掌握数据仓库构建及应用程序设计技术，并能用于解决某些特定实际问题。二、实验器材与环境：计算机、Windows操作系统、SQL Server 200X。三、实验内容使用SQL Server 200X构建一个基于FoodMart（SQL Server所带的一个示例数据库）的数据仓库。使用SQL Server 200X的SSIS完成数据的抽取并将数据装载到数据仓库。创建数据立方，并使用SQL Server 200X的SSAS，进行决策支持的OLAP；四、实验原理使用SQL Server 200X创建数据仓库逻辑结构的方法（关系数据库管理系统SQL Server 200X同时用作数据仓库的管理系统）；使用SQL Server 200X的SSIS进行ETL的方法；使用SQL Server 200X的SSAS进行OLAP的方法。五、实验步骤1、按照实验内容要求设计和创建数据仓库，使用SQL Server 200X构建其逻辑结构；2、设计和使用ETL，使用SQL Server 200X的SSIS完成数据仓库的数据装载；3、创建OLAP数据立方，为专门的OLAP奠定基础；4、使用SQL Server 200X的SSAS，进行决策支持的OLAP；5、分析实验过程和结果，写出实验报告。六、实验要求：详细记录在实验过程中出现的问题、解决方法以及实验结果。对实验结果进行分析，写出心得体会及改进意见。提交数据仓库的构建与使用实验实验报告。实验三 聚类分析方法决策应用（4学时）一、实验目的：通过实验教学，加深对聚类分析技术方法的理解与认识，了解聚类分析技术的基本使用方法。深入理解基于聚类分析的决策系统开发与实现过程。掌握聚类分析应用程序设计技术。能根据实际问题，完成应用程序开发。二、实验器材与环境：计算机、Windows操作系统、MATLAB/SPSS/自编软件。三、实验内容：为了研究世界各国森林、草原资源的分布规律，共抽取了21个国家的数据，每个国家4项指标，原始数据见表3-1。使用该原始数据对国别进行聚类分析。表3-1 抽样数据表国别森林面积（万公顷）森林覆盖率（%）林木蓄积量（亿立方米）草原面积（万公顷）中国1197812.593.531908美国2844630.4202.023754日本250167.224.858德国102828.414.0599英国2108.61.51147法国145826.716.01288意大利63521.13.6514加拿大3261332.7192.82385澳大利亚1070013.910.545190前苏联9200041.1841.537370捷克45835.88.9168波兰86827.811.4405匈牙利16117.42.5129南斯拉夫92936.311.4640罗马尼亚63426.711.3447保加利亚38534.72.5200印度674820.529.01200印尼218084.033.71200尼日利亚149016.10.82090墨西哥485024.632.67450四、实验原理：聚类分析的原理、编程方法或MATLAB/SPSS的使用方法。五、实验步骤1、研究实际聚类分析对象；2、确定使用的聚类分析方法；3、自编聚类分析程序或使用MATLAB/SPSS完成聚类分析；4、分析实验过程和结果，写出实验报告。六、实验要求：详细记录实验过程中出现的问题、解决方法以及实验结果，并对实验结果进行细致分析，写出聚类分析的原理、程序开发要点（自编软件时）或者聚类分析操作方法与过程（使用MATLAB/SPSS时），以及体会和认识。提交聚类分析方法决策应用实验实验报告。实验四 基于ID3方法的决策树构建（4学时）一、实验目的：通过实验教学，加深对数据挖掘的理解与认识。深入理解ID3方法的基本原理，掌握基于ID3方法的决策树构建方法及应用程序设计技术，并能用于解决某些特定实际问题。二、实验器材与环境：计算机、Windows操作系统、VC+/SQL Server 200X。三、实验内容根据天气、气温、湿度和风四个属性，可以将气候分成两类分别为P、N。请按表4-1给出的一个训练集。由ID3算法得出一棵正确分类训练集中每个实体的决策树，如图4-1所示。然后用于其它情况下的气候分类。表4-1 气候分类训练样本集样本号属性类别天气气温湿度风1晴热高无风N2晴热高有风N3多云热高无风P4雨适中高无风P5雨冷正常无风P6雨冷正常有风N7多云冷正常有风P8晴适中高无风N9晴冷正常无风P10雨适中正常无风P11晴适中正常有风P12多云适中高有风P13多云热正常无风P14雨适中高有风N图4-1 气候分类的ID3决策树四、实验原理或算法描述按照ID3基本思想，工作过程是，首先找出最有判别力(信息增益，information gain)的属性，把数据分成多个子集，每个子集又选择最有判别力的属性进行划分，一直进行到所有子集仅包含同一类型的数据为止。最后得到一棵决策树，可以用它来对新的实例进行分类。ID3算法包括主算法和建树算法，具体描述如下：1、主算法（1）从训练集中随机选择一个既含正例又含反例的子集(称为“窗口”)。（2）用“建树算法”对当前窗口形成一棵决策树。（3）对训练集(窗口除外)中的例子用所得决策树进行类别判定，找出错判的例子。（4）若存在错判的例子，把它们插入窗H，转2，否则结束。主算法流程如图6-2所示。其中，PE、NE分别表示正例集和反例集，它们共同组成训练集。PE、PE”和NE、NE”分别表示正例集和反例集的子集。主算法中每迭代循环一次，生成的决策树将会不相同。图4-2 ID3主算法流程2、建树算法建树算法的操作步骤如下：（1）对当前例子集合，计算各属性的互信息。（2）选择互信息最大的属性Ak。（3）把在Ak处取值相同的例子归于同一子集，Ak取几个值就得几个子集。（4）对既含正例又含反例的子集，递归调用建树算法。（5）若子集仅含正例或反例，对应分支标上P或N，返回调用处。对于气候分类问题给出以下具体计算和操作说明，以便理解建树算法中关键操作的内容和具体实现方法。（1）信息熵计算信息熵： 类别ui出现概率：|S|表示例子集S的总数，|ui|表示类别ui的例子数。对9个正例u1和5个反例u2有：P(u1)=914 P(u2)=514 H(U)=(914)log(149)+(514)log(145)=0.94bit（2）条件熵计算条件熵：属性A1取值vj时，类别ui的条件概率：A1=天气的取值：v1=晴，v2=多云，v3=雨在A1处取值“晴”的例子5个，取值“多云”的例子4个，取值“雨”的例子5个，故：P(v1)=514 P(v2)=414 P(v3)=514取值为晴的5个例子中有两个正例、3个反例，故：P(u1v1)=25，P(u2v1)=35同理有： P(u1v2)=44，P(u2v2)=0P(u1v3)=：25，P(u2v3)=35H(U|V)=(514)(25)log(52)+(35)log(53)+(414)(44)log(44)+0)+(514)(25)log(52)+(35)log(53)=0.694bit（3）互信息计算对A1=天气，有：I(天气)=H(U)一H(U|V)=0.940.694=0.246bit类似可得：I(气温)=0.029bitI(湿度)=0.151bitI(风)=0.048bit（4）建决策树的树根和分支ID3算法将选择互信息最大的属性“天气”作为树根，在14个例子中对“天气”的3个取值进行分支，3个分支对应3个子集，分别是：F1=(1，2，8，9，11)， F2=3，7，12，13， F3=4，5，6，10，14其中，F2中的例子全属于P类，因此对应分支标记为P，其余两个子集既含有正例P又含有反例，将递归调用建树算法。（5）递归建树分别对F1和F3子集利用ID3算法，在每个子集中对各属性(仍为4个属性)求互信息。F1中的天气全取“晴”值，则H(U)=H(U|V)，有I(U|V)=0，在余下3个属性中求出“湿度”互信息最大，以它为该分支的根结点。再向下分支，“湿度”取“高”的例子全为N类，该分支标记N；取值“正常”的例子全为P类，该分支标记P。在F3中，对4个属性求互信息，得到“风”属性互信息最大，则以它为该分支的根结点。再向下分支，“风”取“有风”时全为N类，该分支标记N；取“无风”时全为P类，该分支标记P。这样就得到如图6-1所示的决策树。五、实验步骤1、按照实验原理中给出的ID3算法，编制正确分类训练集中每个实体的决策树的构建程序；2、上机对气候分类决策树的构建程序进行调试与修改；3、运行气候分类决策树的构建程序，构建气候分类决策树；4、利用气候分类决策树，对其他情况的气候进行分类；5、分析实验过程和结果，写出实验报告。六、实验要求详细记录在实验过程中出现的问题、解决方法以及实验结果。对实验结果进行分析，写出心得体会及改进意见。提交知识发现与数据挖掘实验实验报告，附构建气候分类决策树的源程序、可执行文件（电子文档）和使用说明。实验五 遗传算法优化求解（4学时）一、实验目的：通过实验教学，加深对遗传算法的理解与认识，熟悉优化模型的遗传算法求解方法，掌握优化模型的遗传算法求解程序的设计，并能用于解决旅行商路径优化等某些特定优化求解问题。二、实验器材与环境：计算机、Windows操作系统、VC+/MATLAB。三、实验内容：旅行商路径优化问题，已知n个城市的地理位置(x1，y1)，(xn，yn)求经过所有城市，并回到出发城市且每个城市仅经过一次的最短距离。这是一个NP完全问题，其计算量为城市个数的指数量级。使用遗传算法来解决这个问题，以n=10为例，自行给出10个城市的地理位置(x1，y1)，(x10，y10)，编制出相应的遗传算法程序优化求解。四、实验原理1、种群个体的确定与编码对于TSP问题，每条路径对应一个个体，个体形式地表示为R=城市m1城市m2城市mn ，其中n为城市数，城市mi互不重复。当n=10时，对其中一个个体r：31578910426它表示10个城市间的一条路经：31578910426。2、选择选择操作以遗传算法的适应值函数评估为依据，适应值函数的设计要结合求解问题本身的要求而定，且适应值函数的值要取正值。因此，对每个个体r，适应值取为其中，N为种群数，Dj表示所有个体的路径长度的总和，为沿个体标示的城市序列所经过的路径长度，可通过以下公式计算出来：其中，mi表示个体r中第i位的城市编号，他m11=m1。在选择个体时，有多种方法，总体标准是值越大越应容易被选中。其中常用的是轮盘赌方法。对于给定的规模为N的群体R=r1，r2,，rN，根据适应值函数计算种群中每一个体rj的适应值f(rj)，其选择概率为 ，j=1，2，N则个体rjR的累积选择概率为则在进行选择时产生一个0，1区间上服从均匀分布的随机数rand，当时个体rj+1被选中进入交配池，当时，r1被选中。3、交叉交叉采用部分匹配交叉策略。根据交叉概率Pc，随机地从交配池中选出要交叉的两个不同个体，随机地选取一个交叉段。交叉段中两个个体的对应部分通过匹配换位实现交叉操作。对个体A和B：两个个体交叉段互换，而且对个体A，交叉段中由B换位来的数，如4、10、3，在A中其他位相同的数进行反交换，即4换为5，10换为6，3换为7；对个体B，交叉段中由A换位来的数，如5、6、7，在B中其他位相同的数进行反交换，即5换为4，6换为10，7换为3。最后得到：4、变异根据变异概率Pe，随机地选出要变异的个体，随机地在该个体上选出两个变异位置，然后将两个位置上的城市序号进行交换。如：A=9 8 4 5 6 7 1 3 2 10下划线部分为要变异的两个位置。变异为：A=9 7 4 5 6 8 1 3 2 105、具体算法如下：（1）初始化，随机生成一个规模为N的初始种群R=r1，r2,，rN，N取20；（2）对当前种群中的每一个个体计算适应值：；（3）对当前种群中的每一个个体计算其累积选择概率：；（4）生成一个0，1区间上服从均匀分布的随机数rand，按照实验原理中的介绍选择相应的ri放入交配池，反复执行20次，形成交配种群；（5）按照交叉概率pc(取0.7)从交配池中选择成对个体进行交叉，对，生成一个0，1区间上服从均匀分布的随机数randi，如果randipc，取交配，用子代替换父代，结果留作变异处理；（6）按照变异概率pm(取0.01)进行变异(变异点位数为种群个体数个体长度变异概率=20100.01=2)，方法与(5)中类似，结果作为下一代种群；（7）判断是否满足终止条件，满足则结束计算，输出结果（适应值最大的个体），否则转步骤（2）继续。终止条件可以取种群繁殖代数（例如150代）。五、实验步骤：1、按照实验原理中给出的算法，编制旅行商问题的遗传算法求解程序；2、上机对旅行商问题的遗传算法求解程序进行调试与修改；3、给定10个城市的地理位置数据，运行程序，求出最佳路径；4、分析实验过程和结果，写出实验报告。六、实验要求：详细记录在实验过程中出现的问题、解决方法以及实验结果。对实验结果进行分析，写出心得体会及改进意见。提交遗传算法优化求解实验实验报告，附遗传算法求解系统源程序、可执行文件（电子文档）和使用说明。实验六 神经网络专家系统设计（4学时）一、实验目的：通过实验教学，加深对神经网络的理解与认识，熟悉BP网络模型构建与使用的基本方法。初步掌握BP网络决策支持模型构建技术，用于解决实际决策支持问题，并能使用VC+/MATLAB完成相应应用程序设计。二、实验器材与环境：计算机、Windows操作系统、VC+/MATLAB。三、实验内容：中国科学院生态环境研究中心研制的“城市医疗服务能力评价系统”用于评价城市医疗服务能力。输入5个方面数据：病床数、医生数、医务人员数、门诊数和死亡率。输出4个级别的服务能力：非常好(v)、好(g)、可接受(a)和差(b)。表6-1 城市医疗服务能力训练集上海北京沈阳武汉哈尔滨重庆成都青岛鞍山兰州万人拥有医院病床数gabgvgavgg万人拥有医生数vvbgggggba万人拥有卫生工作人数vvbgabgava万人拥有门诊数vvaabbagvb死亡率bggbabavav医疗服务能力vvbaabavgg现给出北京、上海等10个城市的数据作为训练集，如表6-1所示，请按照图6-1所示的城市医疗服务能力评价系统神经网络结构图，编制神经网络决策支持系统程序，通过样本学习，形成决策模型，然后，用于其他城市的医疗服务能力评价。图6-1 城市医疗服务能力评价系统神经网络结构图四、实验原理：利用BP网络进行信息处理时，首先需对网络进行学习训练，学习结束后，保存网络之间的连接权值，此权值反映了输入和输出之间的内在联系，利用此连接权值就可对未知的样本进行预测。其中BP网络的学习算法如下2：BP算法包括两个阶段，第一阶段是计算实际输出，这是从输入到输出的计算与修改，得出神经元的输出。第二阶段是对权和阈值的修改，这是从输出层向后进行计算和修改，从已知最高层的误差修改与最高层相连的权，然后按相应公式修改各层的权，两个过程反复交替，直到达到收敛为止，具体步骤如下：1、初始化，给2层BP网络各层的权和阈值赋一个随机数作为初值，使2、依次将P个学习样本输入到2层BP网络中，设当前输入为第l个样本。3、按如下公式分别计算隐层的实际输出yj（j=0，1，m）、输出层的实际输出zk（k=0，1，o-1）。4、求出各层的反传误差，对已知样本可得，k=0，1，o-1，j=0，1，m并记下的值。5、记下已学习过的样本个数l，如果lP，回到步骤2继续计算，否则，顺序执行步骤6。6、按下述公式修改各层的权和阈值输出层:中间隐层:7、按新的权值再计算yj、zk和E总，根据要求如果对每一个l和k都满足：(或E总，为大于0的一个给定小数)或者达到了最大学习次数，则终止学习，否则转到步骤2，继续新一轮的学习。注：在以上算法中，假设神经网络有输入层、隐层和输出层，输入层有n个输入，中间隐层有m个神经元，输