网络存储系统的设计与实现hadoop接口实现及系统测试

本文格式为Word版，下载可任意编辑——网络存储系统的设计与实现hadoop接口实现及系统测试网络存储系统的设计与实现

——hadoop接口实现及系统测试

摘要：随着计算机网络技术的飞速发展，各种网络服务器对存储的需求随之发展。但由于商业规模的不同，对网络存储的需求也不同。因此，要选择适合的网络存储技术进行网络存储。传统的网络存储技术只是解决了数据的存储问题，对于如何确保存储数据的安全可靠性却没有提供有效方案。本文研究了分布式网络存储系统的设计与实现，对其设计思想，体系架构及存储数据文件进行了分析与设计。

图3-2网络运行图

3.2.2系统运行硬件环境

1）硬件环境

客户机：普通PCCPU：P41.8GHz内存：256MB以上

分辩率：推荐使用1024*768像素2）WEB服务器

CPU：P41.8GHz内存：2048MB以上3）hadoop从服务器

CPU：P41.8GHz内存：1024MB以上

3.2.3系统运行软件环境

1）操作系统：Linux2）数据库：mysql3）开发工具包：Myeclipse

第6页(共6页)

4）JSP服务器：Tomcat5）浏览器：IE8.0/Firefox

3.3功能规格

我们采用面向对象分析作为主要的系统建模方法，使用UML(UnifiedModelingLanguage)作为建模语言。UML为建模活动提供了从不同角度观测和展示系统的各种特征的方法。在UML中，从任何一个角度对系统所作的抽象都可能需要几种模型来描述，而这些来自不同角度的模型图最终组成了系统的映像。

UseCase描述的是“actor〞(用户、外部系统以及系统处理)是如何与系统交互来完成工作的。UseCase模型提供了一个十分重要的方式来界定系统边界以及定义系统功能，同时，该模型将来可以派生出动态对象模型。

设计Use-case时，我们遵循以下步骤：

第一步，识别出系统的“actor〞。Actor可以是用户、外部系统，甚至是外部处理，通过某种途径与系统交互。重要的是着重从系统外部执行者的角度来描述系统需要提供哪些功能，并指明这些功能的执行者(Actor)是谁。尽可能地确保所有Actor都被完全识别出来。

其次步，描述主要的UseCase。可以采取不断地问自己“这个Actor毕竟想通过系统做什么？〞来确凿地描述UseCase。

第三步，重新审视每个UseCase，为它们下个详尽的定义。3.3.1角色（Actor）定义

1）使用者

使用者是指在这个网络存储系统中通过客户端存储资料的人员，这个Actor主要参与客户端的注册登陆账号、探寻资料、下载、快速上传等功能。2）管理者

管理用户是指管理端的用户，即系统管理员。系统管理员是指对网络存储系统进行相关设置、维护的人员，它也是通过管理端登录对管理端的用户进行设置，分派权限等，它们的关系如图：

第7页(共7页)

图3-3管理者与使用者关系

3.3.2系统主用例图

图3-4系统主用例图

3.3.3客户端子系统

1）上传文件：用户登陆后可以上传文件，从而存储文件。2）下载文件：用户登陆后可以从系统下载所需文件。3）修改密码：用户登陆后可以对本用户密码进行修改。

第8页(共8页)

3.3.4管理端子系统

1）用户管理：管理员登陆后，可以用用户操作，删除用户。

2）空间管理：管理员登陆后，可以对用户的空间大小进行管理，更改用户空间大小。

3）文件管理：管理员登陆后，可以对用户的文件进行管理，清空用户文件。4）密码管理：管理员登陆后，可以对用户的密码进行重置。3.4性能需求3.4.1界面需求

系统的界面要求如下：

1）页面内容：主题突出，站点定义、术语和行文格式统一、规范、明确，栏目、菜单设置和布局合理，传递的信息确凿、及时。内容丰富，文字确凿，语句通顺；专用术语规范，行文格式统一规范。

2）导航结构：页面具有明确的导航指示，且便于理解，便利用户使用。3）技术环境：页面大小适当，能用各种常用浏览器以不同分辩率浏览；无错误链接和空链接；采用CSS处理，控制字体大小和版面布局。

4）艺术风格：界面、版面形象清爽悦目、布局合理,字号大小适合、字体选择合理，前后一致，美观大方；动与静搭配恰当,动静效果好；色调和谐自然,与主题内容相协调。3.4.2响应时间需求

无论是客户端和管理端，当用户登录，进行任何操作的时候，系统应当及时的进行反应，反应的时间在5秒以内。系统应能监测出各种非正常状况，如与设备的通信中断，无法连接数据库服务器等，避免出现长时间等待甚至无响应。

3.4.3可靠性需求

系统应保证7X24内不当机，保证20人可以同时在客户端登录，系统正常运行，正确提醒相关内容。3.4.4开放性需求

第9页(共9页)

系统应具有十分的灵活性，以适应将来功能扩展的需求。3.4.5可扩展性需求

系统设计要求能够表达扩展性要求，以适应将来功能扩展的需求。3.4.6系统安全性需求

系统有严格的权限管理功能，各功能模块需有相应的权限方能进入。系统需能够防止各类误操作可能造成的数据丢失，破坏。防止用户非法获取网页以及内容。

4系统概要设计

4.1功能需求与程序的关系

本条用一张如下的矩阵图说明各项功能需求的实现同各块程序的分派关系：

表4-1功能需求与程序关系表模块功能描述用户通过注册账号以便登录用户和管理员通过登录进入界面用户在探寻到相关资料后，可以对其进行下载。用户可以把自己的资料上传到网络存储系统的存储空间中。登录管理是负责所有的管理端的登录，管理端的人员要登录到管理端必需经过登录界面，输入自己的用户名和密码，通过判断这个用户的权限信息，不同的登录人可能具有不同的权限，根据不同的权限现实不同的功能。对使用者上传的文件，管理者可以进行查看，可以及时更新并显示上传的文件，及提供上传文件的详细信息。对使用者下载文件的大小进行管理，下载权限进行管理。管理者具有分派空间给使用者的权限，可以查看使用者存储空间剩余，可以增加、删除、修改操作。对使用者上传的文件，管理者可以进行查看，可以及时更新并显示上传的文件，及提供上传文件的详细信息。可以对文件进行增加、删除、修改等操作。管理者对密码可以进行查看，修改等操作。当使用者登陆时，要将其输入的密码与数据库中对应的密码进行匹配。当进入用户管理模块时，在用户管理中可以增加或删除用户，编辑用户名，用户密码，修改用户权限，具有不同权限的用户进入系统主界面。

功能和需求描述注册登录下载文件上传文件登录管理上传管理下载管理空间管理文件管理密码管理用户管理

第10页(共10页)

4.2接口设计4.2.1用户接口

1）普通用户可以上传文件、下载文件、修改本用户密码。2）管理员可以对用户、空间、文件、密码进行管理。4.2.2外部接口

本系统暂未设计外部接口。4.2.3内部接口

软件需要通过配置数据通服务器进行连接。4.3运行设计4.3.1运行模块组合

1）用户传下载文件、查看文件夹、修改密码模块2）系统设定、管理员管理空间、用户模块4.3.2运行控制

用户登录进入自己的空间界面，点击上传来进行上传文件，点击下载来进行下载文件，点击修改密码对密码进行修改。4.3.3运行时间

1）用户修改密码模块运行时间少，用户上传下载文件运行时间多。2）管理员管理用户，修改空间大小，修改用户密码时间少。4.4系统数据结构设计4.4.1规律结构设计要点

表4-2管理员信息数据字典表（manager）数据项名称数据项类型数据项长度是否主键是否为空数据项含义数据项说明IDnamepwd表4-3用户信息数据字典表（user）

charvarcharChar365032是否否否管理员编号用户名密码Uuid第11页(共11页)

数据项名称IDnamepwdVolumePathEmailAreaSexUploadtime数据项类型charvarcharCharIntVarcharVarcharVarcharVarcharVarchar数据项长度是否主键是否为空数据项含义365032453010520是否否否否否否否否管理员编号用户名密码用户最大存储量用户存储路径用户验证邮箱注册地区用户性别用户上传文件时间数据项说明Uuidnull表示不限容量注册时用于验证4.4.2物理结构设计要点

由客户端获得数据存入服务器，不同权限的操作人员有不同的方式。4.4.3数据结构与程序的关系

表4-4数据结构与程序关系表用户上传下载用户修改密码管理员管理空间管理员管理用户√√√√用户管理员

4.5系统出错处理设计4.5.1出错信息

表4-5出错信息表含义服务器不连通Hadoop服务关闭错误描述未能链接数据库不能上传下载文件输出形式处理方法检查防火墙开启Hadoop服务找不到数据库上传下载失败

4.5.2补救措施

1）每天进行数据备份，保证备份即时更新。

第12页(共12页)

2）系统崩溃时重启系统，可继续工作。3）数据丢失，回复已备份的最新数据。

5Hadoop接口实现详细设计

5.1hdfs文件系统的详细结构

图5-1hdfs文件系统详细结构图

5.2Linux网络配置设计5.2.1程序描述

在Linux上设置网络，使master主机和slave从机能够相互连通。5.2.2功能

主机和从机之间通过命令：pingip能够相互连通，从而为之后的数据存储做铺垫。5.2.3性能

要求做到瞬时响应，在命令输完，键入回车后，能马上给出ping的结果。

第13页(共13页)

5.2.4输入项

1）在master（主机）输入：pingslave（从机）ip2）在slave1（从机）输入：pingmaster（主机）ip3）在slave2（从机）输入：pingmaster（主机）ip4）在slave3（从机）输入：pingmaster（主机）ip5）在slave4（从机）输入：pingmaster（主机）ip5.2.5输出项

1）输出master与每一个slave的连通结果。2）输出slave1与master的连通结果。3）输出slave2与master的连通结果。4）输出slave3与master的连通结果。5）输出slave4与master的连通结果。5.2.6测试计划

针对网络配置的文件做测试，查看配置文件的完整性是否达到要求。5.3LinuxJava环境安装5.3.1程序描述

在Linux上配置Java环境变量。5.3.2功能

安装和配置Java环境变量，为后期安装配置Hadoop，正常启动/中止Hadoop服务做准备。5.3.3性能

此处设计无性能要求。5.3.4输入项

1）在master（主机）输入：java-version2）在slave1（从机）输入：java-version3）在slave2（从机）输入：java-version

第14页(共14页)

4）在slave3（从机）输入：java-version5）在slave4（从机）输入：java-version5.3.5输出项

在master和slave上都会输出相应配置好的JDK版本号。5.3.6测试计划

针对java配置文件做测试，查看配置文件的完整性是否达到要求；并且在master和所有slave都键入命令java-version，检查是否会输出JDK版本号。5.4LinuxSSH无密码验证设计5.4.1程序描述

在Linux上配置SSH无密码验证。5.4.2功能

配置SSH无密码验证，在主机和从机之间传输数据时不需要输入密码，使得master和所有slave之间以及slave相互之间可以直接访问。5.4.3性能

此处设计无性能要求。5.4.4输入项

1）在master（主机）输入：sshslave1/slave2/slave3/slave4_ip2）在slave1（从机）输入：sshmaster_ip3）在slave2（从机）输入：sshmaster_ip4）在slave3（从机）输入：sshmaster_ip5）在slave4（从机）输入：sshmaster_ip5.4.5输出项

在当前状态下进入相应ip的其他master/slaves5.4.6测试计划

针对SSH无密码验证配置文件做测试，查看配置文件的完整性是否达到要求；并且在master和所有slave都键入命令sship，检查是否会进入相应IP的其他

第15页(共15页)

master/slaves。

5.5LinuxHadoop安装配置5.5.1程序描述

在Linuxmaster和slaves上安装配置Hadoop5.5.2功能

配置Hadoop服务，使用hdfs分布式文件系统，实现分布式网络存储。5.5.3性能

能够快速启动Hadoop服务。5.5.4输入项

1）在master（主机）输入：start-all.sh2）在master（主机）输入：jsp3）在slave1（从机）输入：jsp4）在slave2（从机）输入：jsp5）在slave3（从机）输入：jsp6）在slave4（从机）输入：jsp5.5.5输出项

1）Master输出：

图5-2master输出图

2）Slave输出：

第16页(共16页)

图5-3slave输出图

5.5.6测试计划

针对Hadoop配置文件做测试，查看配置文件的完整性是否达到要求；并且在master和所有slave都键入命令jsp命令，在windows7浏览器输入网址，检查是否出现正确的节点信息。5.6Linuxmysql安装配置5.6.1程序描述

在Linuxmaster上安装配置mysql5.6.2功能

数据库，实现用户信息及管理员信息的存储。用户登陆、注册时调用数据库，读取信息，进行判断和存储信息。5.6.3性能

能够自启mysql数据库。5.5.4输入项

在master（主机）输入：ps-aux|grepmysql5.5.5输出项

关于Mysql信息5.5.6测试计划

针对mysql配置文件做测试，查看配置文件的完整性是否达到要求；并且在master键入命令ps-aux|grepmysql命令，查看mysql信息是否出现。5.7Hadoophdfs文件操作接口及实现5.7.1程序描述

Hadoophdfs文件操作接口及其实现

第17页(共17页)

5.7.2功能

用户上传下载时，通过该接口实现向hdfs存储文件。5.7.3性能

系统能够做出快速反应，响应快，响应时间短。5.7.4流程规律

图5-2流程规律图

5.7.5存储分派

管理员并没有存储空间，每一个用户初始有150MB的储存空间，管理员可以对每个用户的空间进行管理。5.7.6解释设计

1）加在模块首部的解释2）加在各分枝点处的解释

3）对各变量的功能、范围、缺省条件等所加的解释4）对使用的规律所加的解释5.7.7测试计划

针对实现的接口作测试，写一个测试方法，对上传文件、下载文件逐个功能，挨个进行测试，看是否能将数据在本地和hdfs传输。

6系统接口实现

第18页(共18页)

6.1上传接口实现

如图6-1：

（1）

（2）

图6-1上传接口实现截图

6.2下载接口实现

如图6-2：

第19页(共19页)

图6-2下载接口实现截图

6.3创立目录接口实现

如图6-3：

图6-3创立目录接口实现截图

6.4删除目录接口实现

如图6-4：

第20页(共20页)

图6-4删除目录接口实现截图

6.5获取空间大小接口实现

如图6-5：

图6-5获取空间大小接口实现截图

6.6列出文件列表接口实现

如图6-6：

第21页(共21页)

图6-6获取列表接口实现截图

7系统测试

7.1测试概要

表7-1测试概要表测试人数测试内容（人）根据系统需求文档和设计文档，检查产品是否正确实现了功能。1编号测试类型1功能测试工作时间（天）12性能测试提取系统性能数据，检1查系统是否满足在需求中所规定达到的性能。检查界面是否美观合理1检查文档是否足够、描述是否合理111345界面测试文挡测试111兼容性测试对于B/S架构的系统来说需要考虑用户端浏览器的版本。容错性测试检查系统的容错能力，6

1

1第22页(共22页)

错误的数据输入不会对功能和系统产生非正常的影响，且程序对错误的输入有正确的提醒信息78易用性测试检查系统是否易用友好1流程测试按操作流程进行的测试，主要有业务流程、数据流程、规律流程、正反流程，检查软件在按流程操作时是否能够正确处理检查系统能否正确安装、配置检查配置是否合理、配置是否正常11191011安装测试配置测试异常测试11111检查系统能否处理异常1

7.2功能测试7.2.1功能测试计划

表7-2功能测试计划表测试内容人数（人）工作时间（天）准备mysql数据库和tomcat应用服务器、Hadoop服务及测试工具loadrunner根据客户操作制定功能测试方案根据测试方案完成功能测试用例文档根据测试用例准备测试数据根据测试用例执行功能测试，记录测试数据和测试结果根据测试执行状况完成测试报告11序号测试阶段1环境准备234整理测试点编写测试用例准备测试数据1111115执行测试116完成测试报告117.2.2功能测试用例概要

表7-3功能测试用例概要表测试内容

序号测试模块

第23页(共23页)

12345

登录模块注册模块用户模块管理员模块退出模块普通用户登录、管理员登录测试当正确/错误填写信息是是否注册成功测试用户能否成功上传、下载文件，成功修改本用户密码测试管理员是否能成功的对用户、文件、空间、密码进行管理测试管理员和普通用户是否能正常退出用户界面7.2.3功能测试缺陷记录

通过功能测试后，暂时没有发现缺陷。7.2.4功能测试结果分析

本系统通过了功能测试，基本上没有影响系统功能的bug出现。7.3性能测试7.3.1性能测试计划

表7-4性能测试计划表测试内容人数（人）工作时间（天）准备mysql数据库和tomcat应用服务器、Hadoop服务及测试工具loadrunner根据客户操作制定性能测试方案根据测试方案完成性能测试用例文档根据测试用例准备测试数据根据测试用例执行性能测试，记录测试数据和测试结果根据测试反映出来的性能问题优化软件系统根据测试执行状况完成测试报告11序号测试阶段1环境准备234整理测试点编写测试用例准备测试数据1111115执行测试1167优化性能瓶颈完成测试报告11117.3.2性能测试用例概要

表7-5性能测试用例概要表

第24页(共24页)

编号测试模块1并发用户数与事务执行状况并发用户数与数据库主机并发用户数与应用服务器的关系表测试内容并发用户数、事务平均响应时间、事务最大响应时间、平均每秒处理事务数、事务成功率、每秒点击率、平均流量（字节/秒）CPU利用率、磁盘I/O参数23CPU利用率7.3.3性能测试缺陷记录

由于电脑CPU影响，响应时间相对较慢。7.3.4性能测试结果分析

（1）（2）

图7-1性能测试分析图

7.4界面测试7.4.1界面测试计划

表7-6界面测试计划表测试内容人数（人）工作时间（天）准备mysql数据库和tomcat1应用服务器、Hadoop服务根据界面要求制定界面测试方案根据测试方案完成功能测

序号测试阶段123

环境准备整理测试点编写测试用例11111第25页(共25页)

试用例文档4准备测试数据根据测试用例准备测试数据根据测试用例执行功能测试，记录测试数据和测试结果根据测试执行状况完成测试报告115执行测试116

完成测试报告117.4.2界面测试用例概要

表7-7界面测试用例概要表测试内容窗体界面风格是否合理，样式是否合理，布局是否完整，控件是否可行报错信息框、通知信息框是否有错字，是否合理文字是否规范、图标是否合理、布局是否合理编号测试模块123

窗体消息框导航栏7.4.3界面测试缺陷记录

布局不够完美，可以改进。7.4.4界面测试结果分析

从整体上来说，整个界面是