EAST数据系统中的应用

1、P2P在在 EAST数据系统中的应用数据系统中的应用报告人：赵伟丰报告人：赵伟丰导导 师：舒炎泰师：舒炎泰6/29/20062提纲提纲选题背景选题背景研究内容研究内容已完成工作已完成工作将来的工作将来的工作工作时间安排工作时间安排3提纲提纲选题背景选题背景EAST简介简介P2P简介简介P2P在高性能数据处理中的应用在高性能数据处理中的应用研究内容研究内容已完成工作已完成工作将来的工作将来的工作工作时间安排工作时间安排4EASTExperimental Advanced Superconducting Tokamak5EAST数据系统数据系统On-LineOff-Line基于基于C/S模式模式在

2、线系统在线系统qCAMAC、VXI和和PCI采集子系统采集子系统组成组成 主要负责实时采主要负责实时采集实验数据，并集实验数据，并将数据传输到数将数据传输到数据服务器据服务器离线系统离线系统有多台数据服务有多台数据服务器和用户组成器和用户组成主要负责实验数主要负责实验数据的存储、显示据的存储、显示和处理和处理6P2P(Peer-to-Peer)一种点对点网络计算模式一种点对点网络计算模式所有机器都是一个节点（所有机器都是一个节点（Peer）所有节点地位是对等的，既充当服务器，为其他所有节点地位是对等的，既充当服务器，为其他结点提供服务，同时也享用其他结点提供的服务。结点提供服务，同时也享用其他

3、结点提供的服务。节点之间直接共享和交互资源，不需要任何服务节点之间直接共享和交互资源，不需要任何服务器或者中间介质的转发。器或者中间介质的转发。特点：非中心化、可扩展性、健壮性、高性特点：非中心化、可扩展性、健壮性、高性/价比、价比、隐私保护、负载均衡隐私保护、负载均衡7P2P分类分类集中式拓扑结构集中式拓扑结构 Napster分布式拓扑结构分布式拓扑结构 Unstructured GnutellaStructured CAN, Chord, Pastry混合式拓扑结构混合式拓扑结构 KaZzA8集中式集中式 P2PABIndex Server9分布式 P2PAB分布式非结构化拓扑分布式非结构

4、化拓扑q采用随机洪泛和转发采用随机洪泛和转发qTTL控制消息传输控制消息传输q健壮性好，扩展性差健壮性好，扩展性差 资源的发现效率低。资源的发现效率低。分布式结构化拓扑分布式结构化拓扑q分布式散列表分布式散列表q较好的扩展性、鲁棒较好的扩展性、鲁棒性、自组织能力。可以性、自组织能力。可以提供精确的发现。提供精确的发现。qDHT维护机制复杂，维护机制复杂，仅支持精确关键词匹配仅支持精确关键词匹配查询，无法支持内容查询，无法支持内容/语义等复杂查询语义等复杂查询10混合式混合式 P2PAB114种结构的性能比较种结构的性能比较12P2P的研究热点的研究热点对于对于P2P系统的研究热点主要在分布式系

5、统的研究热点主要在分布式P2P的搜索机制和可扩展性方面。的搜索机制和可扩展性方面。对于集中式和混合式对于集中式和混合式P2P系统，已在大量系统，已在大量领域进行了广泛的应用，但缺乏系统的、领域进行了广泛的应用，但缺乏系统的、定量的研究。定量的研究。13P2P技术在技术在SLAC中的应用中的应用BaBar Copy Program (bbcp)Supports 3rd party copy operations using an agentInstantiate a source node and a target nodeRelay parameters to the source and t

6、argetSourceTargetConnectSend DataAgent14提纲提纲选题背景选题背景研究内容研究内容设计基于设计基于P2P的的EAST数据系统的体系结构数据系统的体系结构基于基于Napster的的EASTNap程序实现程序实现基于基于P2P的的EAST数据系统的性能评价数据系统的性能评价完全分布式完全分布式P2P在在EASTNap数据系统中的应用研究数据系统中的应用研究已完成工作已完成工作将来的工作将来的工作工作时间安排工作时间安排15基于基于P2P的的EAST数据系统的体系结数据系统的体系结构构 设计依据：设计依据：现有现有C/S方式下方式下EAST数据系统的特点数据系统

7、的特点未来未来EAST实验的设计要求实验的设计要求P2P技术的特点技术的特点16基于基于Napster的的EASTNap程序实现程序实现 主要实现以下程序：主要实现以下程序：基于基于Napster实现实现EASTNap服务器索引程序服务器索引程序q定义定义EASTNap协议协议q建立索引建立索引Hash表表q实现双参数（实现双参数（Shot、Signal）查询查询q解决内网访问问题解决内网访问问题根据根据EASTNap协议实现采集机端程序协议实现采集机端程序根据根据EASTNap协议实现用户端程序协议实现用户端程序17基于基于P2P的的EAST数据系统性能评价数据系统性能评价通过分析和测量获得

8、一些基本参数通过分析和测量获得一些基本参数通过建模和仿真等方法对基于通过建模和仿真等方法对基于C/S和和P2P两两种方式的种方式的Server的性能进行分析的性能进行分析建立建立testbed对整个系统进行测试对整个系统进行测试18分布式分布式P2P在在EASTNap数据系统中的应用研究数据系统中的应用研究集中式集中式P2P由于索引服务器的存在，使整由于索引服务器的存在，使整个系统的健壮性大大降低。个系统的健壮性大大降低。完全分布式完全分布式P2P则很好的解决了此问题则很好的解决了此问题19提纲提纲选题背景选题背景研究内容研究内容已完成工作已完成工作体系结构的设计体系结构的设计基于基于C/S和

9、和P2P两种方式的系统性能分析两种方式的系统性能分析EASTNap程序的初步实现及现场测试程序的初步实现及现场测试将来的工作将来的工作工作时间安排工作时间安排20基于基于P2P的的EAST数据系统的体系结构数据系统的体系结构On_LineOff_Line21C/S和和P2P两种方式系统性能的分析两种方式系统性能的分析Data Collection(s)Data available on Servers/ Pees(s)Workstation Complete Processing (s)Final Completion (s)3 CAMAC 7.9 2 VXI 35.2 5 PCI 0 C/S

10、 with 1 servers 157.3127.8 285.1C/S with 2 servers87.363.9151.2C/S with 4 servers58.233.591.7P2P with 10 DAS 35.2 33.5 68.7 22C/S和和P2P两种方式系统性能的分析两种方式系统性能的分析C/S Model-M/M/1P2P Model-M/D/11/0.211/0.00461T)(22TC/S Model Result0.11101000.251.252.253.254.254.75Workload(ch/s)Delay (s)P2P Model Result0.001

11、0.010.11101000.2550100150200217.5Workload(ch/s)Delay (s)23EASTNap程序实现及测试结果程序实现及测试结果C/S方式下：方式下：文件上传文件上传DataSrv的时的时间间与文件大小的关系与文件大小的关系 P2P方式下：方式下：文件上传文件上传IndexSrv的时间的时间与文件大小的关系与文件大小的关系 24EASTNap程序实现及测试结果程序实现及测试结果0100020003000400050006000C/SP2PC/SP2PC/SP2PC/SP2PTime(ms)CompressTransmitC/S和和P2P两种方式下，采集两种

12、方式下，采集1s、10s、50s、100s 的文件有效时间的比较的文件有效时间的比较25提纲提纲选题背景选题背景研究内容研究内容已完成工作已完成工作将来的工作将来的工作 对系统性能、参数等进一步分析与仿真对系统性能、参数等进一步分析与仿真 建立建立testbed，对系统进行测试对系统进行测试 完全分布式完全分布式P2P在在EASTNap数据系统中的应用研究数据系统中的应用研究工作时间安排工作时间安排26提纲提纲选题背景选题背景研究内容研究内容已完成工作已完成工作将来的工作将来的工作工作时间安排工作时间安排27工作时间安排2005.10-2006.1阅读相关文献，熟悉阅读相关文献，熟悉EAST数据系统和数据系统和P2P网络拓扑结构；网络拓扑结构；构建基于构建基于P2P的的EAST数据传输系统的体系结构数据传输系统的体系结构2006.2-2006.4分析分析EAST数据系统的基本参数，数据系统的基本参数，利用实验室设备和利用实验室设备和OpenNap软件建立初步测量软件建立初步测量P2P参数的环境，完成参数的环境，完成P2P方式下一些基本参数的测量方式下一些基本参数的测量2006.5-2006.7分析分析OpenNap源代码，按照源代码，按照EAST数