分布式数据库查询优化研究

分布式数据库查询优化研究

分布式数据库（ddb）是数据库技术与网络技术相结合的产物。该数据库领域有一个分支机构。这项研究始于20世纪70年代中期。这是一个物理上分散逻辑集中的数据库。该系统的数据分布存储在计算机网络不同位置的计算机上。每个位置都有独立处理能力（即独立处理），可以完成本地应用，每个区域也参与全局应用（至少之一）。整个节目由网络系统执行。在一个分布的数据库中，整个模型有几个全局关系。根据每个全局关系，它们被划分为多个逻辑段（一对一或多个）。每个逻辑段根据余项策略将其分配给物理段。如果是空的，则是空的，如果不是空的，则是空的。形成三个数据库：全球数据库sdb、逻辑数据库lb和物理数据库pdb。两种模式：分段模式fs和分配模式as。如何提高查询效率是查询优化的问题,目前分布式查询优化器是基于代价模型,它假设各节点是同构的并且节点工作负载是静态的,在查询的执行过程中,系统参数(如CPU、内存、网络负载等等)保持不变,即根据数据库的统计模型作出静态估计.分布式查询的代价因素分为两种,一种是I/O操作代价和CPU的使用,这也是集中式数据库所具有的代价,另一种则是分布式数据库查询所特有的,即网络上不同计算机之间数据的传输代价,或称通信代价.一般情况下,分布式查询处理一般可分为4个阶段:1)查询分解.将查询问题转换成一个定义在全局关系上的关系代数表达式,进行规范化、分析、删除冗余并重写.2)数据本地化.将在全局关系上的关系代数式转换到相应段上的关系表达式,产生查询树.3)全局优化.利用优化算法对查询树进行全局优化.4)局部优化.在组装场地进行本地优化.相对于集中式数据库来说,分布式查询优化的总代价除了CPU代价和I/O代价之外,还应考虑包括数据在网络上的传输代价.即:总代价=CPU代价+I/O代价+通信代价.对于分布式数据库中数据传输代价应区别不同情况加以考虑.在远程通信网或数据传输率较低的系统中,通信代价可能会比查询执行中的I/O及CPU开销大得多,因而作为首要的优化目标来考虑.在局域网且传输率高的系统中,通信代价和局部处理的开销差不多,此时就应在优化中将它们平等对待.1基于agent的分布式查询系统Agent最早出现在人工智能研究的领域,但目前在分布式系统、软件工程及通信等领域同样得到了广泛的应用,取得了一系列的成果,并被赋予不同的涵义.多Agent(MAS)系统是由多个Agent组成的集合,Agent之间以及Agent与环境之间,通过通信、协商与协作来共同完成单个Agent所不能解决的问题.多Agent系统的研究领域包括许多方面,比如系统的组织结构、Agent间的通信、Agent间的协商与协作、Agent系统中的机器学习、Agent系统的动态特性等.这些方面与多Agent系统的性能直接相关.在基于Agent的分布式查询系统中,每个节点都可以包装成一个智能Agent,各个节点之间通过协调、协作以及协商来达各自的目标和平衡工作负载,有效地完成查询任务.2基于代理技术的分布式咨询系统的设计2.1ent模型架构基于Agent的查询MAS(QueryBasedonMulti-AgentSystem,QMAS),见图1所示采用多Agent技术,其中的各Agent既有思考型、反应性,也有混合型结构.QMAS包括以下Agent组和Agent:1)查询监测组(QueryDetectGroup),成员有:①查询接收Agent(QueryReceive-Agent);②特征获取Agent(FeaturesGet-Agent);③知识形成Agent(KnowledgeShape-Agent).2)内核组(KernelGroup),成员有:④任务规划Agent(TaskPlan-Agent);⑤任务管理Agent(TaskManage-Agent).3)知识库组和规则集组(KDB&RuleSetGroup),成员有:⑥知识库Agent(KDB-Agent);⑦规则集Agent(RuleSet-Agent).4)输出组(ExportGroup),成员有:⑧优化输出Agent(OptimizationExport-Agent);⑨命名服务Agent(NameServer-Agent);⑩辅助通信Agent(AssCommu-Agent,如GGA,MASGA).系统内核(systemkernel)主要包括处理器与知识库和行为规则集,一般由知识系统、问题求解程序、知识描述知识(元知识)、系统状态知识组成,反映Agent对内部问题和领域问题的处理能力.从知识库和行为规则集的构成和在系统中实际所起的效用上来说,图中Agent结构表现出了一种思考型结构所具有的特征,它具有较复杂的推理、问题求解功能.2.2多agent通信设计本QMAS系统由4个不同的GROUP(即查询监测Group、内核Group、知识库和行为规则集Group、输出Group)组成,其中每个GROUP在所属的MAS里是被唯一标识的,每个GROUP中包含至少一个Agent,而每个Agent在所属的MAS内也是被唯一标识的.本MAS系统采用人工智能领域中经典模型——黑板模型结构(blackboardarchitecture,BBA)描述多Agent系统之间的通信方法.本系统需要解决如下3类通信:1)GROUP内的单播、多播和广播通信;2)不同GROUP间的单播、组播、广播和选播通信;3)单个Agent向MAS的广播.2.2.1元模型简介下面给出这些Agent的详细说明:黑板模型结构是Agent通信模型的基础,它可以为Agent通信模型提供Agent的并发控制、Agent的交互、Agent的实时控制等服务,黑板模型结构中不同知识源改换为Agent,并且加入1个单元(组)门户Agent(GroupGatewayAgent,GGA),可得到Agent通信单元模型(CU),如图2所示:同一个组内各Agent间发送消息的通信原语为:Send_Message(Sender,Receiver,Message)1)当Agent进行单播通信时,通信原语为:Send_Mesaage(AgentA1,AgentA2,Message).2)当Agent进行多播通信时,通信原语为:Send_Message(AgentA1,Multicast(A),Message),其中,Multicast(A)={A2,A3,…,Ak},Ai(i=1,2,…,k)为该通信单元内除了发送Agent外任意的其他Agent;3)当Agent进行广播通信时,通信原语为:Send_Message(AgentAl,Group(default),Message),其中,Group(default)为发送Agent所在通信单元.可见,同一个组内Agent间发送消息的通信原语实现了在通信单元(组)内部的单播、组播以及广播通信.由于处于相同通信单元内的Agent实现的功能相似,所以可不必实现通信单元内的选播通信,当不同通信单元进行通信时,就有必要实现选播通信.2.2.2mas的agent本系统构造了一个树形拓扑的多Agent系统(TreeTopologyMulti-AgentSystem,TTMAS).TTMAS通信模型如图3所示.可见,整个通信模型呈树状拓扑结构,TTMAS中根节点是命名服务Agent(NameServer-Agent).该Agent拥有一个全局性的共享知识交换区,负责MAS全局的系统服务,管理MAS的Agent注册表中所有Agent的信息(包括组标识、Agent标识、提供的服务、MAS标识等),与Agent命名服务器水平直接相连的Agent为MAS门户Agent(MASGatewayAgent,MGA),它为不同MAS间的通信起纽带作用.系统的不同组中各Agent间发送消息的通信原语为:Send_Message(Sender,Receiver,Message)1)当不同组间Agent进行单播通信时,通信原语为:Send_Message(AgentAl,Group(B):AgentAl,Message)2)当不同组间Agent进行多播通信时,通信原语为:Send_Message(AgentAl,Multicast(B),Message)3)当Agent进行不同组间的广播通信时,通信原语为:Send_Message(AgentAl,Group(B),Message)4)当Agent进行选播通信时,通信原语为Send_Message(AgentAl,Group(B):Any,Message)4网络优化测试依据以上分布式数据库的查询优化QMAS模型,我们做了如下的模拟测试,基本硬件、软件环境如下:主机:Pentium4/主频2GHz/内存1GB,操作系统:RedHatLinux企业版5,数据库:Oracle10g,4个主机分布在武汉(LDB1),南京(LDB2),北京(LDB3),广州(LDB4),假定4个LDB都没有冗余数据,测试时间在凌晨5:00(网络较宽松)和晚19:30(网络较拥挤),武昌-南京706公里,武昌-广州1069公里,武昌-北京1225公里.结果如表1所示.依据表1做出图4.可以看出,1)对本地查询,本模型没有效率;2)在网络较拥挤时