云计算的关键技术与 应用实例

第一篇次并行封等到名计算

第1章并行计算与云计算........2

U并行计算到云计算的演变..........2

1.2云计算需要定义吗?.......4

1.3云计算是否是新瓶装旧酒..........5

1.4MP1与Hadoop,不同学科

学者的选择.…6

1.5云计算与浏览器.........8

第2章MPI并行计算环境的建立..........10

2.1配置前的准备工作....10

2.2挂载NFS文件系统.........11

2.3配置ssh实现MPI节点间

用户的无密码访问..........12

2.4安装MPICH2......................12

2.5建立并行计算环境时的

注意事项.…..…14

第3章并行计算时代的程序设计方法.……15

3.1最简单的并行程序..........15

3.2获取进程标志和机器名...........18

3.3有消息传递功能的并行程序...........20

3.4MonteCarlo法在并行程序设计

中的应用.........23

3.5并行计算中节点间的

Reduce操作.25

3.6用MPI的6个基本函数实现

Reduce函数功能.......28

3.7计算与通信的并行.—30

3.8节点间自定义复杂数据

结构的传输.•34

3.9MP1与MySQL数据库的

结合应用.........37

3.10设计MPI并行程序时的

注意事项…41

第4章从MP1走向云计算.....43

4.1MPI没有分布式文件系统支持....43

4.2MPI无法应对节点的失效.......44

4.3假如用MPI来构建云计算系统...44

第二篇云计算的关键技术

第5章Map/Reduce是云计算的选择吗.....48

5.1Map/Reduce跨越5Q年的

历史..........48

5.2实现Map/Reduce的C语言实例.49

5.3采用MPI实现并行化的

Map/Reduce功能.......51

第6章Hadoop技术..58

6.1Hadoop与MPI在数据处理上的

对比..........58

6.2Hadoop的主从式结构.59

6.2.1主从式文件系统HDFS.......59

6.2.2主从式计算系统

Map/Reduce.........60

6.2.3文件分块策略分析........61

6.3Hadoop文件系统HDFS的

前辈GFS.........64

6.4构建云文件系统需要解决的

关键问题...……66

6.5云计算不相信节点服务器........67

6.6揭密云计算架构下的典型

服务器----Google务器........68

6.6.1Google服务器概述.......68

6.6.2揭开Goo原e服务器的

神秘面纱.......69

6.6.3Google服务器的配置

情况.69

6.6.4Goog/e服务器的性能

评测.73

第7章Hadoop环境的建立....75

7.1Hadoop配置环境.....75

7.2配置ssh实现Hadoop结点间

用户的无密码访问.………76

7.3JDK的安装配置.....76

7.4Hadoop的安装配置........77

7.5Hadoop中的HelloWorld..................81

7.6C语言程序在Hadoop

上运行.......82

第8章动手做自己的云计算

V0.01系统.....86

8.1系统总体分析...........86

8.1.1系统架构........86

8.1.2文件分布式存储流程.....88

8.1.3计算与存储的整合流程......88

8.2管理节点程序设计与分析.......89

8.2.1管理节点服务器程序

主函数...........90

8.2.2管理节点各线程函数的

设计..93

8.2.3主服务器中其他函数的

设计..95

8.3子节点程序分析.......98

8.3.1子节点主函数.....99

8.3.2子节点各线程函数设计..102

8.4客户端API设计.....107

8.4.1客户端文件的存储.......108

8.4.2客户端启动子节点计算...113

8.4.3客户端应用的简单实例...114

8.5客户端应用开发实例115

第三篇云计算应用实例

第9章基于不可信服务器节点的云计算

基础架构.......118

9.1云计算基础架构的应用场景........118

9.2云计算基础架构......120

9.3基于单向指针目录映射的分层

用户隔离......121

9.4云文件系统的物理存储管理..……123

9.5云存储的安全级别划分..........124

9.6计算和存储的整合.……125

9.7计算和存储的迁移.......126

9.8任务的可并行性和分类分析........127

9.9简化的服务器级粗粒度计算和

存储资源分配方案...130

9.10数据的云计算系统之旅.......133

第10章云计算与智能.........135

W.1云计算的智能与人类

智能的比较..........735

10.2云计算提升终端智能..........136

10.3云计算智能与MonteCarb

方法.......138

10.4云计算时代不确定性智能算法

示例——模拟谐振子算法....138

10.4.1简谐振动的描述.........139

10.4.2模拟谐振子算法描述......141

1043模拟谐振子算法流程......144

10.4.4模拟谐振子算法分析......146

10.4.5模拟谐振子算法应用于

旅行商问题.....149

10.4.6模拟谐振子算法在连续

和非线性优化问题中的

应用.............161

10.4.7模拟谐振子算法的隐含

并行性........162

10.5云计算中的人工智能..........162

第11章云计算企业之间的竞争性

分析........164

11.1云计算技术流派分析...........164

存储型一数据密集云

计算平台.....164

11.1.2计算型一计算密集云

计算平台.....165

11.1.3综合云计算平台........165

11.2国际云计算公司分析...........165

1121云计算技术的提出者

Google..................166

11.2.2“端”的霸主微软......166

11.2.3蓝色巨人IBM的蓝云....167

11.2.4云计算的市场先行者

Amazon公司.168

11.2.5Salesforce从SaaS走入

云中...........168

11.2.6热爱白皮书的Sun...........169

11.2.7EMC云计算的核心是

虚拟化........170

11.2.8渔翁得利的思科.........170

11.3国内云计算公司分析............171

11.3.1拥有基础设施的

世纪互联.....171

11.3.2阿里巴巴下决心

入云...........172

11.3.3中国移动的BigCloud......172

11.3.4国产旗帜友友云计算

平台...........173

11.3.5曙光高性能与云计算......173

11.3.6展览也要云..…173

11.4开源云计算平台分析............174

11.5国际国内云计算平台提供商

对比研究..175

11.6产业综合分析.......179

H.6.1云计算与网络设备商的

关系...........179

11.6.2云计算与移动通讯运

营商的关系..…180

11.6.3云计算与服务器提

供商的关系..…180

1164云计算与应用程序开

发商的关系..…181

后记：未来的计算机一不确定性和

隐含并行计算...........182

附录：计算力的标准Unpack测试详细

指南..........186

参考文献196

面对云计算,有的人越来越糊涂,经常听到有人用云里雾里来形容现在的云计算。云计算系

统

确实是一个庞大和综合的系统,即使是国际大公司也不敢贸然进军云计算领域,大量的企业

不

是将自己的传统技术优势称为云计算,就是雷声大雨点小的观望。一般开发者更是不适应在

机

群的环境下工作,所以本章将用一个简单的例子来展现云计算的基本特点和技术开发方式,

我

们并不保证这个系统是一个完善的系统,但它具备了云计算的一些基本特点如计算和存储的

整

合、计算向存储的迁移、文件的分布式存储、计算的并行化等,我们对这些功能采用了最简

单

的实现方法以使大多数读者能从中体会到云计算技术的核心理念,所以我们命名这个系统为

云

计算V0.01,运行环境为Windows.

8.1

系统总体分析

我们进行系统总体结构设计时主要着眼于云计算基本特征的实现,不考虑系统中很多细节性

的

要求和高级要求，并采用中等水平的读者能完成的难度设计。

设计需要实现的基本功能如下。

(1)向开发云应用的客户提供可以调用的API函数,利用API函数实现对云计算系统的访

问。

(2)实现分布式的文件存储。

(3)实现计算向存储的迁移,使计算和存储在同一个节点完成,避免数据在网络中的传送。

(4)向用户隔离计算的并行性和存储的分布性,用户无需关心系统具体的操作过程。

(5)初步实现对数据求和及求最大值的处理,演示云计算的基本特点。读者可以通过增加处

理

函数实现更多的计算功能。

8.1.1

系统架构

云计算V0.01系统是一个完全模型化的实验用系统,开发和运行环境为Windows系统,通过

对该

系统的学习使读者对云计算技术的基本要点有一定的了廨，云计算V0.01将云计算设备分为

3个

角色:管理节点、子节点和客户端。管理节点和子节点构成了云计算的服务器端，客户端通

过

对API的调用实现对云计算系统的访问,并通过API整合为不同的应用程序。为了简化系统

的设

计难度,我们在做云计算V0.01时限定所做的计算任务包括对大数据量数组求和、求最大值

等操

作,读者可通过实际的系统体会存储的分布化与计算的并行化的关系,并理解计算向存储迁

移

的作用。云计算V0.01没有实现存储的副本策略,因此暂时不能处理节点失效的问题,这也

是为

了降低系统难度的需要。以下的系统架构方法仅供参考和学习,并且不代表我们赞成这一架

构,

不同的读者可以设计不同的系统架构。

系统的整个架构如图8.1所示,这种架构方式是一个以客户端为核心的架构方法,系统中的

所有

操作指令均由客户端发出,管理节点不和任一子节点作数据和指令的通信,管理节点的作用

主

要是维护root.dat和node.dat两个系统文件。rootdat文件存储着现在系统中已注册的用户名

及该用

户所对应的文件分块描述文件所在节点的IP地址,系统利用这一文件可实现用户的注册、认

证

及用户登录后获得文件分块描述文件所在节点的IP地址。node.dat文件则维护着整个云计算

系统

所有子节点的IP地址、端口、最大空间、剩余空间等信息，客户端通过该文件能够获得整个

机

群的信息,从而实现向各子节点的直接连接。客户端从管理节点获得了相关的系统信息后将

根

据这一信息直接向各个子节点发起连接,完成文件存储及计算的功能,这大大提高了数据传

输

的速率,减轻了管理节点的负荷。各用户文件的具体分块和存储方式被系统用该用户的用户

名

(username)作为文件名的文件分块描述文件存储于其中的一个子节点,这一子节点的IP可

在

root,dat文件中找到。

图8.1云计算V0.01的系统结构

在云计算V0.01系统中不同角色间存在两类数据的传送:一类是命令数据CMD,管理节点和

子

节点通过命令数据判断自己下一步所要完成的任务;一类是信息数据,这类数据是系统要完

成

相关任务所需要数据,如系统描述信息、文件信息等,这类数据的数据量相对较大。由于采

用

了计算向存储的迁移策略,系统中出现用户文件数据传输的情况很少,这大大提高了系统的

运

行效率。

8.1.2

文件分布式存储流程

系统在进行文件存储时先通过客户端连接管理节点,读取rootdat文件数据,检验是否有该

用户

存在,并获取用户数据块文件所在节点的IP地址。通过读取node.dat文件从管理节点读取子

节点

的IP地址的列表,根据以上信息完成对数据的分割,启动多线程函数同时连接各子节点将数

据

分别保存在各个节点上,最后更新username表以备访问时重新找到文件的分布情况。

uesername

文件将被存储于某一节点上,管理节点会根据现有username文件的分布情况向用户分配一个

节

点的IP地址存放username文件,文件名就是该用户的用户名,由于用户名在系统中是惟一

的,

所以每个用户的username也是惟一的,不会造成混乱,如图8.2所示。

图8.2文件的分布式存储流程

8.1.3

计算与存储的整合流程

如图&3所示,在云计算V0.01系统中,我们利用获得的用户名、文件名、数据块号以及数据

分

块信息文件的IP地址信息,可以惟一地确定任一数据块的位置和文件名,客户端同时向各个

子

节点发送启动计算的命令,各节点就地读取数据块本她文件,并对其进行计算,计算完成后

发

送回客户端汇总得到最后的结果。

图8.3计算与存储的整合流程

这一计算过程不用移动任何数据,对于数据的处理就在存储数据块的节点完成，系统根据客

户

端的指令,将计算迁移到节点上分布式的完成,大大提高了计算效率,避免了数据在网络中

的

大量流动所造成的效率下降,对于海量数据来说,这一做法的效果是相当明显的。对于不同

的

数据,我们可以定义不同的数据处理方法,从而扩展系统的应用领域。

8.2

管理节点程序设计与分析

管理节点在云计算V。.01系统中只与客户端进行通信,存储系统中的节点信息和用户注册信

息,

并不负责任务的调度工作。

在管理节点我们将保存root.dat和node.dat两个系统信息文件。root.dat文件保存用户名及该

用户文

件系统所在的子节点的IP地址,采用userinfo数据结构来描述。客户端程序只有获得了子节

点JP

地址才能和该子节点直接建立连接获取子节点上的用户存储情况文件,该文件的文件名就是

用

户的用户名,通过这一个文件可以知道数据的具体存储情况,从而由客户端直接与数据块存

储

节点建立连接。nodedat文件保存了云计算系统的所有子节点的1P地址、总空间和可用空间

等信

息,由nodclnfo数据结构来描述。

管理节点各函数调用关系如图8.4所示。

图8.4管理节点函数调用结构

8.2.1

管理节点服务器程序主函数

管理节点主程序为整个管理程序的主入口,通过4个线程函数来监听并完成客户端所提交的

任

务。

程序8.1

/*文件名mainsever.cpp*/

//定义管理节点服务器程序的入口点

voidtcst();

int_tmain(intargc,_TCHAR*argv[J)

{

openfilcO；//获得root,dat、node,dat的文件指针

tcstO；//该函数完成对主服务器的配置工作

WSADATAwsn;

intret:-0;

intPORT=5100;

SOCKETs_socket;

SOCKETc_sockct;

structsockaddr__ins_socknddr;

structsockaddjinc_socknddr;

intc__socknddr__lcn—sizcof(c_socknddr);

ret=WSAStartup(MAKEWORD(2,2),&wsa);

if(ret!=O)

{

cout<<"InkWinSockfailed:"<<ret<<cndl;

return0;

}

if((s_socket=socket(AF」NET,SOCK_STREAMfJPPROTO_TCP))==SOCKET_ERROR)

{

cout<<"CreateSocketFailed:"vvWSAGetLastErrorQ<<end/;

WSAClennupO；

return0;

s_sockaddr.sin_family=AF_1NET;

s_sockaddr.sin_port—htons(PC)RT);

s_sockaddr.sin_addr.s_addr=htonl(INADDR_ANY);

if(bind(s_socketf(SOCKADDR*)&s_sockaddr,sizeof(s_sockaddr))==SOCKET_ERROR)

{

cout<<"bindfailed:"<<WSAGetLustErrorQ«endl;

c/osesocket(s_socket);

WSAClennupO；

return0;

/

if(listen(s_socket,5)=-SOCKET_ERROR)

{

cout<<"ListenFailed:"vvWSAGetLastErrorQ«endl;

closesockct(s_socket);

WSAClcanupO；

return0;

}

CMDemd;

//进入循环接收来自客户端的操作命令emd

whilc(l)

{

c_socket—accept(s_socket,(SOCKADDR*)&c_sockaddr,&c_socknddr_len);

r€cv(c_sockct,(char*)&cmd,sizcof(CMD),0)；〃从客户端获取操作命令

SOCKET*tsock=(SOCKET*)malloc(sizeof(SOCI<ET));

*tsock—c_socket;

switch(cmd)

{

caseUSERADD:

_beginthreadex(NULL,0,&usernddthread,tsock,OfNULL);//进入增加用户线程

break;

caseUSERGET:

_beginthreadex(NULL,Of&uscrgctdirciidftsock,0,NULL)；//进入获取用户信息

线程

caseUSERDEL:

_beginthreadex(NULL,0,&userdelthrend,tsock,0,NULL);//删除用户,暂未定

义

caseGETNODE:

_beginthreadex(NULL,0,&getnodeaddrthrendftsock,0,NULL);〃进入获取节点

信息线程

default:

break;

}

}

cin.getQ;

cin.getO；

return0;

}

//test。函数用于配置各子节点的IP、端口等信息,并将信息存储到管理节点的ncde.dat文件

voidtest()

{

cout«"输入地址信息”vvendl;

charip[16];

intport:=5101;

while(l)

{

cout<<〃输入IP"<<cndl;

scanf(”％s”jp);

if(strcmp(ip,"0")--0)

break;

if(nodendd(ipfport,1024*10)——0)

cout«〃该记录已经存在"wcncll;

}

cout«〃主服务器配置完成“vvendl;

}

上面的管理服务器主程序在5100端口监听来自客户端的连接及操作命令，其命令由emd定

根据从客户端接收到的命令进入不同的处理线程,在本系统已实现的功能有添加用户功能、

获

取用户信息功能和获取节点信息功能。管理节点服务器在启动时就调用心埼函数完成对子节

点

信息的添加及配置。节点信息被存到node.dat文件,用户信息被存到root.dat。在用户需要进

行数

据访问时将读取这两个文件获得当前云计算系统所有已接入系统的子节点,并判断当前用户

是

否存在,如存在则返回其文件分配信信息存储位置。

我们要注意的是在现在这个系统中管理节点并不和任何的子节点进行通信,也不直接协调子

节

点的工作。用户在获取相关信息后将直接与子节点联系进行操作和数据访问,这样可以大大

减

轻主节点的负载。

在管理节点程序中我们定义了一些常用的数据结构主要有userinf。,该数据结构与root.dat文

件有

若包括用户名、用户数据配置文件所在节点的IP地址等信息,因为用户数据文件的信息没

有

存放在管理节点而是放在某一个子节点上的，客户端要访问文件数据首先要从管理节点的

rootdat文件中获取该用户数据配置文件所在节点的IP地址,再通过该IP地址获取数据的存

储信

息。另一个数据结构是nodelnfd,该数据结构与node.dat文件有关,包括节点IP、端口、芾

点总

容量、可用空间等,系统中所有节点的相关内容都采用这一数据结构存入nodcdat文件。

主节点服务器程序部分参数及数据结构的定义如程序8.2所示。

程序8.2

/*文件名melem.h*/

^defineUSERADD1//添加用户

^defineUSERGET2〃获取用户信息

#defineUSERDEL3

#defineGETNODE4//获取节点信息

#defineBLOCKSIZE1024//定义文件块大小

typedefintCMD;//CMD为命令标识

/*此结构体写入root.dat文件*/

typedefstruct

{

charuser[20];〃用户名

charip[16];〃用户数据配置文件所在节点的IP地址

/ntport;

}uscrlnfo;

/*此结构体写入node.dat文件*/

typedefstruct

{

charip[16];//存储节点的IP地址

import;〃端口号

intuserNum;//用户数目

_off_ttotalsize;//节点的总容量

freesize;//节点的可用空间

}nodclnfo;

typedefstruct

(

charip[16];

intport;

}nodeaddr;

8.2,2

管理节点各线程函数的设计

管理节点程序的功能基本是由其定义的4个线程函数(其中删除用户未定义)提供的,这些

函数

的功能主要是完成用户信息的注册、服务器节点信息的管理和用户数据配置信息的管理。管

理

节点可以看作是一个信息的中转站,其自身并不完成任何的数据操作和处理工作。

各线程的函数定义如下。

1

.增加新用户线程函数

程序8.3

/*文件名znthread.epp*/

/*增加新的用户,用于新用户注册功能*/

unsigned_stdcnlluscraddthrcad(LPVOIDp)

{

SOCKET*tsock=(SOCKET*)p;

structsockaddr_intaddr;

intlen=20;

char*username=(char*)malloc(len*sizeof(chnr));

rccv(*tsock,username,len,0)；〃从客户端接收用户名

intresult=useradd(username);

send(*tsockf(char*)&result,size。f(int),0);

dosesocket(*tsock);

frcc(uscrnnmc);

free(tsock);

return1;

}

函数uscraddthreadO接收来自于客户端的新注册用户名,调用uscradd。函数将用户名及存储该

用

户文件信息的节点IP地址写入主节点的rootdat文件，客户端访问该文件可以获得某一用户

的文

件存储信息文件所在的子节点IP地址,该文件的文件名就是用户名。

2

.获取用户信息线程函数

程序8.4

/*文件名mthread.cpp*/

/*客户端获取用户信息文件*/

unsigned_stdciillusergetthread(LPVOIDp)

{

SOCKET*tsock=(SOCKET*)p;

structsockaddr_intaddr;

intlen—20;

char*username—(char*)malloc(len);

userinfo*user—(userinfo*)molloc(sizeof(userinfo));

recv(*tsock,username,len,0);

cout<<"接收到的用户名:〃<vusername<<cndl;

/*根据用户名读取rootle中的用户及对应存储文件描述信息的子节点1P*/

if(userget(usernnme,user)——0)

{

cout<<"getfalse"<<cndl;

strepy(user->user,〃0");

strcpy(uscr->ip,"");

user->port—0;

}

cout<<"int_dircnd:,r<<uscr->uscr<<",r<<uscr->ip<<,r:rr<<uscr->port<<cndl;

scnd(*tsockt(char*)uscr,sizcof(uscrlnfo),0);

closesocket:(*tsock);

frec(uscrnamc);

free(user);

return1;

}

函数usergetthread。接收来自客户端的用户名，并在root.dat文件中查找该用户名对应的

userinfo

数据结构,并传回绐客户端。其中调用userget。函数从rootdat读取与username对应的uscrlnfo

信

息。通过调用这一函数客户端可以知道对应用户的文件描述文件存储在哪个子节点上,通过

连

接该子节点获取文件的具体存储方式。客户端在调用一这函数后将通过返回的IP地址与存储

7

数据分块描述情况文件的子节点进行连接。

.文件分块线程函数

程序8.5

/*文件名mthread.cpp*/

/*根据nodcdat文件中的节点信息,将数据块分配到各节点*/

unsigned_stdca]]getnodenddrthrend(LPVOIDp)

{

SOCKET*tsock=(SOCKET*)p;

intbJocknuni—0;

nodeinfo*node—(nodeinfo*)mnlloc(sizeof(nodelnfd));

nodeaddr*naddr—(nodcaddr*)nialJoc(sizcof(nodcaddr));

recv(*tsock,(char*)&blocknumfsizeof(int),0)；〃获取数据块个数

for(inti=0;i<blocknum;i++)

{

mcmsct(nodc,0,sizcof(nodclnfb));

memset(naddr,0,sizeof(nodenddr));

datagcmodu(nodc);〃获取该数据块的存储位置

naddr->port—nodc->port;

strcpy(naddr->ip,node->ip);

scnd(*tsockf(char*)nnddr,sizcof(nodcaddr),0)；〃该数据块的存储位置发送回客户端

}

closesocket(*tsock);

frce(node);

frcc(naddr);

free(tsock);

return1;

}

函数浮modeaddrthread。接收来自客户端的数据块个数,并为每个数据块分配一个存储节点,

数

据块的分配通过调用datagetnode。函数来完成,该函数按剩余空间最大的策略向各数据块分

配存

储节点,并将分配结果发送回客户端,由客户端根据接收到的子节点IP直接连接子节点来完

成

文件的存储工作，并将存储结果写入子节点中的数据分块描述文件中,以便系统在下次读取

时

获得数据的存储情况。

8.2.3

主服务器中其他函数的设计

主服务器其他函数定义。

程序8.6

/*文件名mfilc.cpp*/

/*向node.datX件添加节点信息*/

intnodeadd(char*ip,hitport,_off_ttotalsizc)

{

nodeinfo*temp=(nodeinfo*)mulloc(sizeof(nodelnfo));

fseek(fp_node,0,0);

/*判断该节点是否已存在*/

while(&ead(temp,sizeof(nodeinfo),1,fp_node)——1)

{

if(strcmp(temp->ipfip)——0&&temp->port——port)

{

frcc(tcmp);

return0;

}

}

strcpy(tcmp->ipfip);

temp->port-port;

tcmp->uscrNum—0;

temp->totalsize-totalsize;

temp->freesize—totulsize;

/*写入nodu.dat文件*/

fwritc(t:cmp9sizcof(nodclnfo),1,fp_node);

fseek(fp_node,0,0);

fflush(fp_nodc);

free(temp);

return1;

}

/*分配用户数据描述文件存储节点的IP*/

intusergetnode(nodelnfd*node)

{

nodeinfo*temp=(nodeinfo*)malloc(sizeof(nodeinfo));

fscck(fp__nodc,0,0);

intnum=0;

intno-0;

/*寻找已分配uesername文件最少的节点TP*/

if(fread(node,sizeof(nodeinfo),1,fp_node)/—1)

return0;

while(freiid(temp}sizeof(nodeinfo),7,fp_node)——1)

(

++num;

if(tcmp->uscrNum<node->userNum)

(

*node—*temp;

no=num;

}

/

memset(teinp,0,sizeof(nodeinfo));

*temp—*node;

temp->userNum+=1;

fscek(fp_nodc,no^sizcof(nodclnfo),0);

Avri【c(【cmp,sizeof(nodclnfo),1,fp_nodc);

fseek(fp_node,0,0);

fflush(fp_nodc);

frcc(tcmp);

return1;

}

/*将username及对应存储数据描述文件的节点IP写入rootdat文件*/

intuseradd(char*username)

(

uscrlnfo*tcmp—(uscrlnfo*)malloc(sizcof(uscrlnfo));

nodeinfo*node=(nodeinfo*)malloc(sizeof(nodeJnfo));

fseck(fp_uscr,Of0);

while(frend(temp,sizeof(userlnfo),1,fp_user)==1)

/*检测该用户名是否存在*/

if(strcmp(temp->user,username)==0)

{

free(temp);

frcc(nodc);

return0;//该用户名已经存在

}

if(usergetnode(node)==0)〃获取该用户数据描述文件存储节点的IP,通过node参数传出

return-1;//获取节点失败

memset(temp,0,si^eof(userlnfd));

strcpy(temp->userfusername);

strcpy(teinp->ipfnodc->ip);

temp->port—node->port;

/*将userinfo信息写入root.dat文件,确认数据块描述文件的存储位置*/

fwrite(temp,sizeof(userlnfo),1,fp_user);

fseck(fp_user,0,0);

fflush(fp_user);

free(temp);

free(node);

return1;

}

/*根据用户名,读取root.dat文件中的uscrlnfo数据*/

intuserget(char*username,userinfo*user)

{

uscrlnfo*tcmp—(uscrlnfo*)mulloc(sizcof(uscrlnfo));

fscek(fp_uscrt0,0);

while(fread(temp,sizeof(userinfo),1,fp_user)——1)

if(strcmp(temp->userfusername)==0)

{

*user=*temp;

return1;

}

return0;

}

/*根据nodc.datX件获取系统中的节点信息nodclnfo,并按最大剩余空间优先策略分配给数

据块

*/

/*分配完成后更新nodedat文件的内容*/

intdatngetnode(nodelnfo*node)

{

nodclnfo*tcmp—(nodclnfo*)mulloc(sizcof(nodclnfb));

fseek(fp_node,0,0);

intnum—0;

intno=0;

if(frcad(nodc,sizcof(nodclnfo),1,fp_nodc)/—1)

return0;

/*首先向剩余空间最大的节点分配数据块*/

while(fread(temp,sizeof(nodeinfo),1,fp_node)==1)

++num;

if(temp->freesize>node->freesize)

(

*node—*temp;

no—num;

}

}

memset(temp,0,sizeof(nodelnfo));

*tcmp=*nodc;

temp->freesize--BLOCKSIZE;

fscck(fp_nodc9no*sizcof(nodclnfo),0);

/*将分配后的信息写回node.dat文件,更新文件信息*/

fwrite(temp,sizeof(nodeJnfo),1,fp_node);

fscck(fp_nodc,0,0);

fflush(fp_nodc);

free(temp);

return1;

}

/*获得rood.dat和node.dat的文件指针*/

/*fp_uscr指向root.d就文件*/

/*fp_node指向node.dat文件*/

voidopenfileO

{

if((fp_uscr=6pcn(\oot.dat'：，b+"))==NULL)

fp_user=fopen("root.dat'："wb+");

H,r

if((fp_nodc=fopcn("nodc.datf"rb-b))==NULL)

fp_node=fdpenC'node.dat","wb+');

}

8.3

子节点程序分析

云计算vaoi中子节点主要完成数据的存储及用户文件存储信息的保存,各用户文件存储信

息的

文件名为该用户的用户名,子节点程序需要在所有的节点上同时运行。文件的存储和访问由

客

户端与子节点直接连接来完成,子节点和管理节点不进行任何的数据通信工作。

各数据块存储的文件名为uscrnnmc_filcnnmc_blockNo,即用户名加文件名加数据块号,之间

用

下划线连接。

子节点函数调用结构如图8.5所示。

图8.5子节点函数调用结构

8.3.1

子节点主函数

子节点的主程序启动后监听来自于客户端发过来的命令cmd,根据不同的命令进入不同的线

程

进行处理。

程序8.7

/*文件名blockscvcr.cpp*/

//blocksever.cpp:定之控制台应用程序的入口点

int_tmain(intargc,_TCHAR*argv[])

{

WSADATAwsa;

intret=0;

intPORT=5101;

SOCKETs_socket;

SOCKETc_sockct;

structsockaddr_ins_sockaddr;

structsockaddr_inc_sockaddr;

intc__sockaddr_lcn—sizeof(c__sockaddr);

ret=WSAStartup(MAKEWORD(2,2),&wsa);

if(ret!=0)

(

cout<<HInitWinSockfailed:"<<ret<<endJ;

return0;

}

if((s_socket=socket(AF_INETfSOCK_STREAM,IPPROTO_TCP))==SOCKET_ERROR)

{

cout<<"CreateSocketFailed:f,<<WSAGetLustErrorQ<<end/;

WSACleanup0；

return0;

}

s_sockaddr.sin_family=AF_INET;

s_sockaddr.sin_port—htons(PORT);

s_sockaddr.sin_addr.s_nddr=htonl(INADDR_ANY);

if(bind(s_sockctt(SOCKADDR*)&s_sockaddjsizcof(s_socknddr))==SOCKET^ERROR)

cout«"bindfailed:"<vWSAGetLastErrorQ«endl;

closcsockct:(s_socket);

WSACleanupO；

return0;

}

if(listen(s_socket,5)-=SOCKET_ERROR)

{

cout«"ListenFailed:"vvWSAGetLastErrorf)«endl;

closesocket(s_socket);

WSACleanup0；

return0;

}

CMDemd;

while。)

{

c_sockct—accept(s_socket,(SOCKADDR*)&c_sockaddj&c_sockaddr_lcn);

recv(c_socketf(char*)&cmdfsizeof(CMD),0);

SOCKET*tsock=(SOCKET^)malloc(sizcof(SOCKET));

*tsock—c_sockct;

/*获取用户文件存储信息,该文件存储于其中一个子节点*/

/*用户根据管理节点提供的IP,直接连接该子节点获取*/

if(cmd==USERINFOGET)

_beginthreadex(NULL,Of&userinfogetthrendftsock,0,NULL);

elseif(cmd==FILEINFOADD)

_beginthrcadcx(NULL,0,&Hlcinfbaddthread,tsock,0,NULL);//添加文件存储

信息

elseif(cmd==STOREBLOCK)

_beginthrendex(NULI.,0,&storedatathread,tsock,0,NULI);〃存储数据块

elseif(cmd==GETDATA)

_begindireadex(NULL,0,&getdatathread,tsock,0,NULL);//完成计算工作

else

continue;

}

return0;

子节点的主函数的功能是启动对客户端发出命令的监听和执行,主要是完成4项工作,分别

由4

个不同的线程函数来完成。一是获取文件存储信息;二是在文件分块描述文件中添加信息;

是实现数据块的存储工作;四是在各节点启动计算,完成存储与计算的整合工作。

子节点程序要用到的一些常用数据结构定义如下。

程序&8

/*文件名belem.h*/

#ifndefBELEM_H

#defineBELEM_H

#include"stdafx.h"

#defineUSERNAME_LEN20

#defineFILENAME_LEN64

#defineBLOCKNAME_LEN128

ffdefineL1STLEN5

#defineMAINIP〃〃

ffdefineUSERADD1

#defineUSERGET2

#defineUSERDEL3

^defineUSERINFOGET5

^defineFILEINFOADD6

#defineSTOREBLOCK7

#defineGETDATA8

typedefintCMD;

/*filelnfo数据结构为子节点上用户数据文件描述的内容*/

typedefstruct

(

charfilenamc[FILENAME_LEN];//文件名

intb/ockNO;//数据块号

charip[16];//数据块存放节点的IP地址

intport;

}fileinfo;

/*数据块描述数据结构*/

typedefstruct:

{

intblockNO;

charip[16];

intport;

}blockinfd;

typedefstruct

Hlelnfo*e;

intlength;

intsize;

}filelnfoList;

#endif

8.3.2

子节点各线程函数设计

1

.获取文件存储信息线程函数

程序8.9

/*文件名bthrend.cpp*/

unsigned_stdcidluserinfogetthread(LPVOIDp)//获取用户信息文件线程

{

SOCKET*tsock=(SOCKET*)p;

charuscrnamc[USERNAME_LEN];

rccv(*tsockfusername,USERNAME_LEN,0);

FILE*fp;

if((fp=fbpcn(uscrnamc,"rb"))==NULL)

fp-fopcn(uscniamc,"wb+〃);//打开用户存储信息描述表

struct_statinfo;

_sm(uscrnamc,&info);//度取文件信息

filelen=info.st_size;

send(*tsock,(char*)&filelen,sizeof(_off_t),0);

if(filcicn>0)

{

char*buf=(char*)malloc(fiielen);

fread(buf91,filelcn,fp);

send(*tsock,buf,filelen,0);

free(buf);

}

closesockct(*tsock);

fclose(fp);

return1;

}

用户从管理节点获取到数据块描述文件所在的节点IP地址后,即可连接该节点并调用此函数

获

取文件内容,由于该文件的文件名就是用户名,所以子节点只要知道了用户名即可知道需要

打

开的文件名,该节点通过socket接收用户名就是这个原因。

2

.添加数据块描述信息线程函数

程序&10

/*文件名bthrend.cpp*/

unsigned_stdcaUfileinfbacldthread(LPVOIDp)〃添加文件信息线程

{

SOCKET*tsock=(SOCKET*)p;

intlistlen-0;

char6Icnamc[FlLENAME_LEN];

charusername[USERNAME_LEN];

fileinfoftmp;〃定义文件信息数据结构

blockinfobtrnp;

filelnfoListL;

rccv(*tsockfusername,USERNAME_LEN,0);〃获取用户名

recv(*tsockffilename,FILENAME_LEN,0);//获取文件名

rccv(*tsock,(char*)&UstJen,sizcof(int),0)//获取文件分块个数,即获取顺序表的长度

for(inti=O;ivlistlcn;i++)//获取各个数据块的存储信息与在文件中的顺序号,顺序号以0

开始

{

recv(*tsock,(char*)&btrnp,sizeof(btmp),0);//接收数据块信息,包括块号、存储的IP地

址

strcpy(ftmp.filename,filename);

strcpy(ftmp.ip,btmp.ip);

ftmp.blockNO=bmp.blockNO;

fmp.port—bmp.port;

addlist(&L,ftmp);//加入顺序表

}

FILE*fp;

if((fp—fbpcn(uscrnnmc,”rb+"))--NULL)

fp=fopen(username,"wb+");

£lcadd(&L,fp)；//将文件存储信息的顺序表添加到数据分块文件中,文件名就为用户名

fclose(fp);

intresult—1;

send(*tsock,(char*)&resu/t,sizeof(int),0);

dcstroylist:(&L);

closesocket(*tsock);

free(tsock);

return1;

/

添加数据块描述信息线程函数从客户端通过socket接收用户名、文件名及文件分块个数，并

将每

个数据块的块号blockNO和存储位置所在IP地址等信息建立顺序表,将此顺序表存到该用

户的文

件分块描述文件中。

这一线程函数调用HleaddO函数实现向username添加文件块存储信息,这个信息由fileinfo数

据结

构来描述,fHeadd。函数定义如下。

程序8.11

/*位于文件bfile.cpp中*/

intfilendd(fileJnfolAst*L,FILE*fp)//fp为username文件指针

{

charfilcnamc[20];

fileinfofile;

strcpy(filcnamc,L->c[OJ.filename);

if(filcscnrch(61cnnmeffp)--0)//检测是否有同名文件

filedel(filename,fp);〃如有同名文件则删除并覆盖该文件

fscck(fptOfSEEK_END);

for(inti=0;i<L->length;i++)

{

file=L->c[iJ;

fwritc(&filc,sizcof(filclnfo),1,fp);

)

return1;

}

/*在username.文件中检测是杳有同名文件*/

intfilesearch(char*filename,FILE*fp)

{

fileinfoftmp;

fscck(fp,0,0);

while(fread(&ftmp,sizeof(filelnfo)91,fp)==1)

if(strcmp(ftmp.filename,filename)——0)

return0;

return1;

/*覆盖同名文件*/

intfilcdcl(chnr*filename,FILE*fjp)

{

filclnfbftmp;

fseek(fpfOf0);

whilc(!feof(fp))

{

fread(&ftmp,sizeof(filelnfo),/,fp);

if(strcmp(fmp.filename,filename)——0)

{

strcpy(fmp.filename,"0");

fseek(fp,ftcll(fp)-sizcof(filclnfo),0);

sizeof(fileinfo),7,fp);

fseek(fp,ftell(fp),0);

}

}

return1;

)

在文件存储信息的添加过程中我们采用顺序表来维护各数据块的存储信息,因此定义了几个

基

本的顺序表操作。

程序8.12

/*位于文件blist.cpp*/

/*初始化顺序表函数*/

intinitlist(BldnfoList*L)

{

L->c—(filclnfb*)malloc(LISTLEN*sizcof(filclnfb));

if(I.->e==NULL)

{

printf("初始化表,分配内存失败

return0;

}

L->lcngth—0;

L->size=LISTLEN;

return1;

}

/*向顺序表中加入一个数据块存储信息*/

intaddlist(fileInfoList*L,fileinfoe)

if(L->lcngth>=L->size)

flicinfo*ncwbasc—(filclnfo*)rcalloc(L->e,(L->sizc+L1STLEN)*sizeof(filclnfb));

if(newbase==NULL)

{

printf("向表添加数据,增加内存空间失败")；

return0;

}

L->c—ncwbasc;

L->size+=LISTLEN;

}

L->e[L->length]—e;

++L->length;

return0;

}

/*释放存储空间*/

intdcstroylist(filclnfoList*L)

{

L->length=0;

L->sizc—0;

free(I.->e);

return0;

}

3

.保存数据块线程函数

程序8.13

/*文件名bthread.cpp*/

unsigned_stdcallstoredatathread(LPVOIDp)//保存数据块

{

SOCKET*tsock=(SOCKET*)p;

intdatalen--1;

intblockNo--1;

char印ename[FILENAME_LEN];

charuscrnamc[USERNAME_LEN];

recv(*tsock,username,USERNAME_LEN,0);

rccv(*tsockffilename,FILENAME_LEN,0);

recv(*tsock,(char*)&blockNo,sizeof(int),0);

recv(*tsockf(char*)&dntalen,sizeof(int),0);

char*buf=(char*)malloc(datalcn);

recv(*tsock,buf,datolen,0);

cout«"storcdatathrcadblockNo:r,<<biockNo<<cndl;

cout<<"storedutathrendbuflen:,f«dutulen<<endl;

charblocknamc[BLOCKNAME_LEN];//数据块文件名

sprintf(blockname,username,filename,blockNc);//生成数据块文件名

FILE*fp;

fp-fopen(blockname,''w-F");//打开数据块文件

fwrit€(buf,1,datalen,fp);//写入信息

fclose(fp);

frcc(buf);

closesocket(*tsock);

free(tsock);

return1;

}

本函数完成对各数据块的存储工作，客户端根据管理节点的数据块存储安排，获取各数据块

存

储节点的IP地址,由客户端直接连接各存储节点,调用storedatathread。函数,本函数获取数

据

块的所属用户名、文件名、块号、块大小和数据块的具体内容,将数据块存储在当前节点,

各

个数据块的命名原则为用户名一文件名一块号(username_filename_blockNO),这样任何一"A数

据

块将有一个惟一的文件名,该数据块的存储信息同时被写入了数据块描述文件。虽然文件被

分

割为多个数据块并存储在不同的子节点上,但由于有数据块描述文件,我们可以在任何时候

恢

复并访问该文件。

4

.获取数据计算结果线程函数

程序8.14

/*文件名btbrcad.cpp*/

unsigned_stdcallgetdatathread(I.PVOIDp)〃获取数据计算结果

SOCKET*tsock=(SOCKET*)p;

intdatalcn=0;

intbiockNo=0;

result—0;

char61ennmc[FlLENAME_LEN];

charusername[USERNAME_LEN];

rccv(*tsock,username,USERNAME_LEN,0);

recv(*tsock,filename,FILENAME_LEN,0);

recv(*tsock,(char*)&blockNo,sizeof(int),0);

FILE*fp;

charblockname[BLOCK^AME_LEN；〃数据块文件名

sprintf(blocknnme,"%s_%s_%d”,username,filename,blockNo);

fp=fopcn(blocknamc,"r");//打开本节点上的数据块文件

getresLilt(&resLiltffp);〃在本节点完成计算工作

fclosc(fp);

cout<<"num:"<<result<<endl;

send(*tsock,(char*)&result,sizcof(_off_t),0);

closcsocket(*tsock);

frcc(tsock);

return1;

}

获取数据计算结果线程函数实现了在这个云计算系统中计算与存储的整合演示,我们以对一

串

数据求和操作为例，客户端根据数据块存储描述文件的描述向各个存储有数据块的节点发送

用

户名、文件名和数据块号,这些信息实际上就确定了一个数据块文件的位置,存储每个数据

块

的节点就在该节点就地启动对该数据块的计算工作,完成计算后将自己的局部计算结果发送

到

客户端,由客户端完成数据的最后整合工作。这样就避免了大量数据在机群中的移动,大火

提

高系统的工作效率,体现了“计算向存储迁移”的云计算理念。这一线程函数中的getresultO

函数

就是完成计算工作的函数,根据不同的数据和工作需要我们定义不同的计算函数,这一函数

必

需在所有的节点上都要驻留,这样系统才能将计算向该节点迁移。函数getresultO在本例中的

定

义如下。

程序8.15

/*位于文件bfilc.cpp中*/

/*完成对本节点数据块内数据的求和操作*/

intgetresult(_off_t*numfFILE*fp)

fseek(fp,Of0);

charc;

inti=0;

intj=O;

while(!feof(fp))

{

c-fgetc(fp);

cout<<c;

i=0;

whilc(!fcof(fp))

{

i=0;

if(c>='O'&&c<=刃

(

i—ntoi(&c);

j=10*j+i;

}

c=fgetc(fp);

cout<<c;

if(c<fOfllc>力

break;

}

*num+二j;

}

return1;

}

我们的计算数据是按字符串存储,函数getresultO对本节点数据块实施求和操作,我们同样也

定

义其他的数据处理函数,如类似wordcount函数等,通过这一函数我们实现对数据的本地化

处理,

每个gptresultO函数只处理本节点所存储数据块的数据。这一函数演示了计算向存储的迁移过

程。

8.4

客户端API

设计

云计算V0.01为客户端提供7可以访问的API函数,从负载上我们给客户端增加了一些负载,

将

文件的分块等工作交给了客户端来完成,只是将计算工作交给子节点来完成。客户端的主要

工

作模式是从管理节点读取系统信息,根据这一信息与各子节点直接进行联系完成文件操作及

计

算任务。

T面是系统提供的主要API函数,分别在capi.