Openstack云平台的部署及应用

苏州大学本科生毕业设计（论文）

III

目录

TOC\o"1-3"\h\u

32136

摘要

1

3615

Abstract

2

22434

前言

3

5875

第1章绪论

4

7270

1.1研究背景及意义

4

15629

1.2本文的主要工作

5

5765

1.3本文的组织结构

5

11398

第2章云计算概论

7

17724

2.1云计算起源与发展历程

7

25887

2.2云计算的定义

7

6357

2.3云计算体系架构

8

3909

2.4云计算服务模式

9

21548

2.5云计算的部署模型

10

13823

第3章Openstack云平台架构

11

17250

3.1Openstack技术简介

11

30035

3.2Openstack架构

11

14629

3.2.1Openstack系统架构

11

26865

3.2.2Openstack各层次的HA设计

12

3892

3.3Openstack的展望

13

17704

3.4Openstack的应用

14

3080

第4章Openstack的部署与管理

15

5220

4.1准备工作

15

24268

4.1.1服务器配置环境

15

9677

4.1.2操作系统要求

15

11273

4.2Openstack部署流程

16

24006

4.2.1部署控制节点

16

14509

4.2.2部署计算节点

21

24399

4.3Openstack的管理

22

28249

4.4本章小结

26

32157

第5章Hadoop与开源云计算

27

2843

5.1Hadoop应用

27

8046

5.2Hadoop技术介绍

27

8194

5.2.1Hadoop的构造

27

18900

5.2.2Hadoop的运行模式

28

23843

第6章Openstack云平台下的Hadoop部署

29

30357

6.1Hadoop的部署

29

24338

6.1.1部署环境要求

29

14930

6.1.2安装JAVA

29

4315

6.1.3安装SSH-SERVER

29

8463

6.1.4Hadoop的安装

29

3835

6.2部署伪分布式模式

30

7122

6.3程序实例运行

31

6891

第7章总结与展望

33

28791

7.1总结全文

33

27706

7.2未来展望

33

25838

参考文献

34

21324

致谢

35

摘要

近几年来，云计算正以超乎人们想象力的速度在互联网中大步向前，并且由于其拥有较强的运算能力，在多种场景下均能成功应用。随着用户对大数据需求的日益增大，云计算将成为其对大数据问题进行处理的最优选择方案。它能以很快的速度提供用户自我需求的网络，对可用的资源进入共享池实施交互，访问操作，大大提高了各类设施的存储量、计算效率和性能。

本文介绍了云计算其中一个开源平台Openstack，它是一个高度自由、支持开放源代码的平台方案。Openstack由几个核心组件组合完成，极大减少了基础固件带来的资源消耗，同时用户可以根据自己的需求灵活搭建自己的平台。本文介绍了怎样简单部署一个简易的平台，并且与Hadoop相结合进行简单的展示。

关键词：云计算；大数据；开源；Openstack；Hadoop

Abstract

Inrecentyears,CloudComputinghasbeendevelopedalotatarapidspeedbeyondpeople'simagination,anditcanbesuccessfullyappliedinmanyscenariosduetoitsstrongcomputingpower.WiththeincreaseofhugedemandforBigData,CloudComputingwillbecomethebestchoiceforprocessingproblemsofit.Cloudcomputingisakindofpaybyusagepattern,whichprovidesavailable,convenient,on-demandnetworkaccess,andinthepoolofconfigurablecomputingresourcessharing,theseresourcescanprovidedquickly,andbecauseofthatitgreatlyimprovesthestoragecapacity,calculationefficiencyandperformanceofallkindsoffacilities.

ThisarticleintroducestheOpenstack,anopensourceplatformforcloudcomputing,whichisahighlyfreeandopensourceplatformsolution.Openstackiscomposedofseveralcorecomponents,greatlyreducingtheresourceconsumptionofthebasefirmware,anduserscanbuildtheirownplatformaccordingtotheirneeds.NowwewilldescribehowtodeployasimpleplatformandcombineitwithHadoopforapresentation.

Keywords:CloudComputing;BigData;OpenSource;Openstack;Hadoop

前言

很多年前，首次关于云计算服务的提出鲜为人知并且也不被人看好，然而随着对大数据日益增长的需求，云计算已然成为各国众多领域的焦点，同时也在我们国家新兴行业占据重要地位。

集约化，大型专业化的行进趋势已经出现在了互联网的各大领域，显而易见云计算在其中占据主导地位。云计算也因此被比喻为在Internet的工业化革命。云是在网络中的一种十分形象的比喻说法，抽象地表示Internet和底层基础设施。云计算可以用很快的速度提供用户自我需求的网络，对可用的资源，进入共享池实施交互和访问，用户能够在投入精力较少的情况下对其进行操作。另一方面，凭借强大的计算、存储能力，云计算出现在各大云平台，比如Google，IBM，Amazon以及我国的华为、锐捷、阿里云等公司并且获得巨大的成功，让整个计算机领域发生了很大的变动。

Openstack结合了几个核心组件来完成特定的任务，支持大多数的云环境。而提供一个易搭建，高扩展性，完善和具有统一标准的云计算管理平台是其主要目的。Nova和Swift是OpenStack中最重要的组件元素，其中负责部署与计算任务是由美国宇航局开发的Nova模块实现的;而负责分布式云存储功能的则是Swift模块。二者可以互相结合，也能单独使用。Openstack由NASA和Rackspace发起，帮助一些企业、SP提供最基础架构即服务。

Openstack是一个可以灵活组合使用的开放源码的实现方案，而Hadoop是一个基础的分布式架构，最重要的就是完成了HDFS和MapReduce。Hadoop在分布式系统中的优秀的计算与存储能力，成为了大数据分析的完成平台，是一个基于云计算较好的应用。其中HDFS负责存储方面的工作，MapReduce则为其实现了计算功能。

第1章绪论

149

19070

1.1

研究背景及意义

在以前的网络环境中，企业要想建立一套自己的IT系统，在搭建好底层基础设施之后，更多的是花费大量时间、精力招聘去工作人员，让工作人员来进行一些日常基本的维护。随着一些公司数据存储的规模逐渐扩大，待处理数量日渐增长，信息来源数据越来越广，对硬件、软件和网络等资源的需求越来越高，生产成本也越来越高。此时，云计算的诞生，极大地提高了各类资源的利用率，并且减少若干固件的成本。

当前，“云计算”这股热浪早已席卷全球。云计算是一种新型的计算模型，一种在互联网中被普遍接受的计算模式。云计算最重要的外部特征之一，就是IT资源服务化[1]。

云计算技术的应运而生具有客观必然性[2]。随着云计算的迅猛发展，全球的云计算产业规模日渐增长。同时，专家预测，在未来网络领域的强势崛起下，公共云服务将持续增长[3]。企业从传统IT向云端计算传移的发展势头，表明数字化的商业战略越发成熟。图1.1说明2009-2017年全球云计算服务市场规模。

图1.12009-2017年全球云计算服务市场规模(单位：亿美元，%)

随着云计算的茁壮成长，开源企业的发展也疾速展开。在争夺的猛势下也能看出企业组织对人才的渴求，以及在云计算服务发展中突破重围的锋芒[4]。对云计算市场的发展进行总览可以看到，不同开源组织在争夺人才的过程中会更加清晰认识到企业自身的定位，保证在接下来的发展中后继有力。在众多的云计算市场开源挑战中，Openstack初露锋芒，成为其中的一员，受到各界的瞩目。OpenStack在全球的IT发展中迎来了它的时代[5]。

Openstack是一个可以灵活组合使用的开放源码的实现方案，Hadoop的搭建可以基于Openstack云平台，来达到用户的计算、存储目的。Hadoop是一个基础的分布式架构，HDFS和MapReduce是它的核心功能。它在分布式系统中的优秀的计算与存储能力，使其成为用户、企业进行大数据分析的首选平台。其中HDFS负责存储方面的工作，MapReduce则为其实现了计算功能。

19070

1.2本文的主要工作

本文主要研究的是如何部署一个Openstack云计算平台。第一部分先介绍有关云计算的内容，如起源，发展趋势以及基础架构等。第二部分会具体地介绍Openstack的基础知识、相关结构等。本次设计决定通过三台服务器搭建一个最小化的云平台。接下来则是详细地部署Openstack。搭建Openstack完成之后，会简单介绍Openstack的管理界面。最后，研究与Openstack相结合的有关应用，本文采用Hadoop，在Openstack平台上安装分布式系统基础架构Hadoop，安装完成后运行一个简单的程序实例。

28440

1.3本文的组织结构

第一章：绪论。本章主要介绍了本次研究的背景和意义，其次粗略介绍了本篇文章主要做些什么，最后介绍了本文的组织结构。

第二章：云计算概论。本章详细介绍了云计算的起源，发展过程和现状。对云计算的体系、服务模式和部署类型进行一个简要的叙述，最终对云计算有一个较为系统的阐述。

第三章：Openstack云平台架构。本章主要介绍了Openstack的基本概念、基础架构。其次简单介绍Openstack的发展前景。为下一章的部署做准备。

第四章：Openstack的部署与管理。这一章介绍了如何部署三台服务器来搭建Openstack的一个最小化云平台，并简单介绍了Openstack的管理方式。

第五章：Hadoop与开源云计算。本章介绍Hadoop的基础知识、诞生概念，以及它和云平台的关系。其次详细介绍了Hadoop的技术构造原理，即构造模块和运行模式。

第六章：Openstack云平台下的Hadoop部署。本章主要阐述了怎样在单机中部署Hadoop，默认采用伪分布式模式。并且运行一个简单的Hadoop程序实例。

第七章：总结全文，展望未来技术。

第2章云计算概论

25646

2.1云计算起源与发展历程

很多年前，关于云计算的基础概念被初次提起。接下来的20年，随着网格计算和ASP的巨大发展，云计算带来的庞大效益开始显山露水。到了20世纪末，网络的飞速发展使得云计算正式大规模跃入人们视野。

随着云计算在网络领域的大跃进，不可否认的是它已然成为信息领域的领头标准。云计算凭借其操作简单、存储量巨大的优势出现在各大企业用户眼前，同时新的挑战也伴随着巨大的机遇出现。目前，众多知名的IT公司都提供对外的云计算服务，使资源的利用率呈现越来越高的趋势，对网络领域的前行又贡献了一部分推力。同时，整合成为一体的趋势出现在各大云服务之间，越来越多的公司企业更倾向于购买云基础设施服务，独立部署云平台耗资耗力不是它们的最佳选择。可以预见，最终各大云服务提供商强强联合，互相合作加速发展，会推动IT业实现全球化，形成独一无二的特殊的“云”。

全球许多公有云和私有云都运行着同一套核心服务体系[6]。云计算不止意味着便宜，它能在用户的手下创造出最原始最新的价值，然而随之带来的不仅仅是机遇，还有众多的威胁，比如安全问题，由于与本文没有较大联系，这里不再赘述。

图2.1云计算的演进

6969

2.2云计算的定义

云计算被提出来已经几十年了，但是不同的组织对它却有着不同的定义。云计算通过互联网将大量的计算服务器连接起来，互联网就是云计算时代的云[7]。众多的组织机构从不同的角度、不同的结构分别对云计算进行了不一样的定义。其实NIST对其的定义为以方便快捷、按需付费的方式在Internet中获取各类资源，并提高其可用性的模式。在维基百科中，云计算被定义为共享硬件资源和信息可被提供给计算机或其他设备以实现不同需求的模块；而Gartner说，通过网络技术，使IT具有可扩展性，并将服务提供给多个外部用户的计算方式叫做云计算。随着科技的日渐发展，云计算的定义也在不断地变换中。

总的来说，云计算是一种超级Computing模式，它通过Internet，将计算、存储、服务器、网络等网络资源放入资源的共享池，企业也根据它们自身需要获取相关资源。站在企业的那一方，将用户的虚拟资源集中化的管理，将大幅减少管理成本和人工费用[8]。云计算就像是我们生活中的水电等生活必需品，获得的方式方便快捷，而我们也按照自身需求来使用。云计算对扩建基础设备没有硬性的条件，随时随地都能进行扩建操作，而用户只需按使用量的大小来交付相应的费用。

4758

2.3云计算体系架构

分布式处理、GridComputing和并行处理的发展，到如今成就了云计算，也就是说，云计算是某些Internet概念的商业实现。随着网络的发展，各类数据蜂拥而至，大规模的、存储分散的大数据，遭遇到计算、存储和速率等的挑战[9]。其中开源云计算平台已然成为标准[10]。而一般的云计算体系架构都包含：云用户端、服务目录、管理系统和部署工具、监控以及服务器集群几个部分。其中云用户端是云平台的入口，提供用户发起请求的交互界面。服务目录则是用户在获取权限之后，定制属于自己的个性化服务列表，可进行满足自己需求的诸多操作，并且提供一个图形化界面来展示服务列表。管理系统和部署工具，顾名思义就是云平台为客户提供了一个工具，能进行授权、认证及登录等操作，同时还能接收客户的操作请求，并与请求的程序建立连接，资源池中的共享源也被部署到配置应用和循环使用源中去。云计算能够使客户通过较低投资，获取许多无限的网络资源[11]。而监控则负责监视和度量云平台资源的使用情况，确保用户的请求到达之后，能快速反应，完成用户的各类请求，比如部署节点、完成负载均衡配置等。从而成功地分配资源。服务器集群是一个virtual或者physical的服务器，在管理系统的控制下，对一些高并发量、大运算量、用户网页应用服务、云计算存储等采用数据切割算法，通过并行方式upload和download大容量数据。图2.2是通用的云计算体系整体架构。

图2.2通用的云计算体系架构

20270

2.4云计算服务模式

可以将云计算的服务模式划成四种：

SaaS：软件即服务（SoftwareasaService），SaaS公司为用户提供完整的可以直接使用的应用软件，用户通过接入浏览器可马上使用，但是用户没有权限对操作系统应用、Internet基础架构进行修改配置。常见的SaaS公司有GoToMeeting，WebEx和Salesforce等。

BaaS：后端即服务（BackendasaService），该服务基于使用移动应用开发的用户，具有诸如云数据商店、帐户管理、消息接发等基本组件功能，并且使得应用开发流程化繁为简。

PaaS：平台即服务（PlatformasaService），也叫做中间件，是以SaaS为基础的发展。在登录Internet之后，用户可以使用PaaS公司提供的开发和配送的解决方案。同时应用程序的开发和运行都能在PaaS上进行，大大提高了开发效率以及降低了成本的消耗。开发人员是PaaS主要的面向基础。

IaaS：基础设施即服务（InfrastructureasaService），供应商将多台服务器连接起来，组成云基础设施。并且将其存储能力、计算能力、网络组件行成的virtual资源池提供给用户，用户利用网络就可以获取完整的云基础设施服务，很大程度上降低了硬件设施的成本。图2.3是四种服务模式的简要关系模型。

图2.3云计算四种服务模式关系模型

2251

2.5云计算的部署模型

云平台面向的服务对象的不尽相同，云计算的部署模型可以粗略地划分成为公有云，私有云和混合云。

公有云（PublicCloud）：也可以被称为外部云，它为外部的客户提供用户需求的云服务，服务对象并没有特定的限制。公有云所有的服务都能提供给别人使用，公有云也能对服务商自身进行管理操作。其最大的优势是软件相关的数据都存放在公有云上，无需花费巨大的成本与为期较长的搭建过程。

私有云（PrivateCloud）：也称为内部云，它为各个组织架构部署组织内部的云平台，而不是为外部人员，是被核心开发人员或者企业内部的机构使用。私有云也是一些无法使用公有云企业机构最优的一个选择。它最大的优点就是系统的可用性用户自己能进行控制，数据的安全性也较高，缺点是前期需要大量的投资。

混合云（HybridCloud）：是公有云与私有云的结合，结合两者的优点，为一些考虑数据安全性和控制性的企业，提供了一个低成本的选择。混合的公有云和私有云成为当今众多企业必然的选择。

第3章Openstack云平台架构

23488

3.1Openstack技术

简介

Openstack是云计算的一个开源平台，它是一个高度自由、支持开放源代码的平台方案。Openstack由几个核心组件组合完成，极大减少了基础固件带来的资源消耗，同时用户可以根据自己的需求灵活搭建自己的平台。只有极少数云环境不支持Openstack，它为大数据提供能提高计算速度与存储效率的云环境基础，旨在构建简单基础、可扩展性高、内容丰富的标准云管理平台。Openstack作为一个开放源码的云平台也在不断地拓展，除了支持公有云的建设以外,最大的利用场景还是私有云建设,Openstack几乎成为私有云建设的标准[12]。

Openstack中包含了许多节点，主要包括一个控制节点和N个计算节点。为了扩展云平台，Openstack提供给了计算节点足够的伸缩性，可以进行添加操作，但是主要的控制节点有且只能有一个。此外，为了保证整个云平台的稳定性与容错性，每个节点都配有冗余的镜像存储，虽然较为麻烦，但可以保证当一个节点出错时别的节点能随时顶上，使得系统进程稳定运行。

13595

3.2Openstack架构

4355

3.2.1Openstack系统架构

Openstack是面向基础设施即服务的云操作系统，Openstack提供并对计算机网络、存储进行管理的工具。Openstack的核心组件如下：

Compute（Nova）：计算服务。主要提供自动部署、管理功能，并且将计算节点集群，再按照不同需求进行分配。同时Nova也负责Openstack中实例生命周期的所有行为。

IdentityService（Keystone）：认证服务。在运行计算节点上的Openstack云上。可以进行认证、登录管理等操作,并为OpenstackObjectStorage提供授权服务[13]。

ObjectStorage（Swift）：对象存储。提供扩展性较强的分布式平台，防止没有备用节点导致云平台崩溃情况的发生。Swift的扩展是通过增加节点来完成的[14]。

Networking（Neutron）：网络服务。在云台中负责网络服务的供应，管理Opensatck中所有的VNI、PNI的接入层，支持安全组。

ImageService（Glance）：镜像服务。为Nova虚拟机提供镜像的存储、查询、检索的选项。

Dashboard（Horizon）：仪表板。是应用程序编程接口程序基础上的网页呈现。

BlockStorage（Cinder）：块存储，为虚拟机提供云硬盘服务，实现了管理块存储，允许整合商业化企业存储平台。

图3.1是Openstack的基本架构图。

图3.1Openstack的基本架构

1555

3.2.2Openstack各层次的HA设计

（1）基础服务Mysql和RabbitMQ

作为开源数据库管理系统的Mysql已经相当成熟了，功能十分完善，能在多个数据库表引擎中运行。但以分布式DBMS的角度来看，并没有达到很高的预期要求，不够成熟。同时，大多数人使用基于二进制日志复制的主从模式来复制数据，HA和读写分离也在主从模式下应运而生。

Cluster是Rabbitmq的一个内置功能，相同集群的节点共享众多元信息，如topic、queue等。另一方面，对于实际的队列消息数据，消息的高可用性取决于MirrorQueue机制。同时建议组建至少3个节点的集群，否则难以划分网络分区。因此，Cluster+MirrorQueue基本上是实现Rabbitmq高可用性的最佳解决方案。

（2）Nova、Neutron、Cinder接入与控制服务

完善基础的设施服务之后，就Openstack的诸多核心组件来说，运行过程中实际上是无状态的，但是只要同时开启若干个组件，并且实现它们负载的均衡，也就实现了高可用性。

（3）网络服务

在Openstack中，网络处理是不可分割的一个重要部分，独立部署好的网络节点一般都取决于网络的特殊与复杂性。其中L3Agent、DHCPAgent以及门下的DHCP服务和虚拟路由服务是核心。

2687

3.3Openstack的展

望

Openstack在一些程度上暂且不太成熟，还有很多待研发子项目。但在众多的使用者和支持者的推动下，Openstack发展迅速。通过OpenStack构建的私有云、公有云和混合云的企业发展迅猛，成为IT领域的飞速发展的一员，如惠普云、戴尔的OpenStack解决方案等。与此同时，Openstack在中国的普及率越来越高。高德地图、京东、百度、阿里巴巴、华为等都对其有浓厚的兴趣，虽然发展缓慢，但是相信后续的研发会逐渐升温。自2010年创立以来，Openstack已发布10个版本，它的发展离不开诸多组织和用户的贡献与支持。在未来的基础架构即服务（IaaS）资源管理中，Openstack将继续领先，最终占据三种云共同管理标准的龙头位置。图3.2为Openstack在全球的部署情况。

Openstack拥有众多的竞争者，新成代谢昼夜更替，不断有新的项目涌现出来，但大多都无法代替其地位。

图3.2Openstack在全球的部署情况

6294

3.4Openstack的应用

Openstack是一个可以灵活组合使用的开放源码实现方案，在我们国家，也有越来越多企业搭建Openstack云平台。众多云计算的框架就是Openstack，它一般与SDN、Docker或者Hadoop结合使用，来达到用户的计算、存储目的。

作为一个基础的分布式架构，Hadoop利用分布式存储与计算，同时具有高效性。是大数据分析的实现，是一个基于云计算较好的应用。本文中将以Openstack为基础来应用一个Hadoop实例，详情见第五章、第六章。

第4章Openstack的部署与管理

23564

4.1准备工作

19702

4.1.1服务器配置环境

本次采用多节点模式进行实验，预期部署三台服务器（server1、server2、server3），表4.1显示了服务器的具体配置环境。

表4.1服务器配置环境

服务器

Server1

Server2

Server3

主机名

Controller

Compute

Compute1

角色

控制节点

计算节点

计算节点

IP

0

1

3

安装的服务和软件

NTP、MYSql、Keystone、Glance、

Neutron、nova-conductor、

nova-api、nova-consoleauth、nova-scheduler和

Dashboard

Nova-compute和Neutron

Nova-compute和Neutron

30534

4.1.2操作系统要求

本次实验的VMware版本是VmwareWorkstationPro14；在VMware中创建虚拟机，安装的版本是UbuntuServer16.04。

8606

4.2Openstack部署流程

1390

4.2.1部署控制节点

统一时间源，部署NTP服务，本文选择安装chrony：

安装完成后，在chrony.conf配置文件中修改内容：

重启服务：

安装Openstack配置工具:

安装SQL：

修改配置文件，添加以下内容：

重启Mysql之后查看端口情况：

配置消息队列服务Rabbitmq：

添加Openstack用户，并开启权限：

配置Keystone：

创建Keystone数据库：

生成临时ADMIN_TOKEN：3496706578cabaed49e6

安装keystone和ApacheHTTPServer：

修改配置后将其写入Keystone，进行初始化操作：

配置管理账号：

创建service项目：

配置普通任务和开放用户权限，添加user到demo中去，重置环境变量，编辑脚本并加载脚本来获得身份认证令牌：

配置Glance服务

创建glance数据库，并进行授权操作：

创建glance用户：

添加admin到glance和service上，创建glance实体：

创建镜像服务的API端点：

安装镜像API：

配置镜像注册服务，最后同步服务器数据库：

进行验证操作：

（7）部署Nova:

创建nova_api、nova数据库并赋予权限：

进入admin模式，进行创建用户、服务、api的部署：

安装nova，其中包含nova-api、nova-conductor、nova-consoleauth、nova-scheduler：

打开/etc/nova/nova.conf文件，进行配置文件的修改,在[DEFAULT]中，增加以下内容：

由于bug原因，删除log-dir选项;此外还有如下设置：

最后将[database]和[api_database]中connnetion的默认密码改为自己设置的密码。

同步数据库服务之后重启nova服务：

（8）部署Neutron：

创建neutron数据库并进行授权：

创建neutron用户：

在neutorn中添加adimn：

创建neutron服务实体：

创建API端点：

安装组件：

最后对neutron进行配置来实现网络服务（分别配置ML2插件、配置Linuxbridge、layer-3、DHCP以及元数据代理）。

（9）部署管理面板，并且进行相关设置：

21861

4.2.2部署计算节点

本次实验设置了两个计算节点，两个节点的ip分别为1和3,。计算节点的配置较为简单，nova的服务模块只需安装nova-compute和neutron，具体的文件配置情况与controller节点的差别不大，因此只作一个简单的流程描述。以compute为例，大致配置情况如下。

启用Openstack库，安装客户端：

安装配置nova-compute：

设置计算节点的网络：

18299

4.3Openstack的管理

至此，在Ubuntu16中部署一个最小化的Openstack云平台已经部署完成。通过查看Openstack的服务信息，可以得到表4.2的输出结果。

表4.2Openstack的服务列表

Id

Binary

Host

Zone

Status

State

1

nova-consoleauth

controller

internal

enabled

up

2

nova-scheduler

controller

internal

enabled

up

3

nova-conductor

controller

internal

enabled

up

4

nova-compute

compute

nova

enabled

up

5

nova-compute

compute1

nova

enabled

up

我们还可以查看Openstack的网络代理服务是否开启，执行相关指令之后可以得到表4.3中的数据。

表4.3Openstack网络代理服务

AgentType

Host

AvailabilityZone

Alive

State

Binary

Metadataagent

controller

None

True

UP

neutron-metadata-agent

DHCPagent

controller

nova

True

UP

neutron-dhcp-agent

Linuxbridgeagent

compute

None

True

UP

neutron-linuxbridge-agent

Linuxbridgeagent

compute1

None

True

UP

neutron-linuxbridge-agent

Linuxbridgeagent

controller

None

True

UP

neutron-linuxbridge-agent

搭建好Openstack之后，我们一般选择在web界面对其进行管理，在浏览器中（本例选用Goole浏览器）登入：http://192.168.247/dashboard,可以进入云平台的登录界面：

图4.1Openstack登录界面

有两种方式可以登录进入Openstack云平台，一个是普通用户，来一个则是管理员。登陆进去的界面如下：

图4.2Openstack初始界面

这个界面是Openstack云平台界面的总体概览，我们可以看到在左侧管理选项中，包含对实例、镜像和路由的一些选项。接下来我们将在Openstack中创建一个实例，即虚拟机。首先为vm添加安全规则。为了使虚拟机能够实现安全访问以及连通，我们手动选择出入的icmp和ssh规则，如图4.3。

图4.3Openstack创建实例时的出入规则

接下来开始创建秘钥，我们会获得一个后缀为.pem的文件，手动给其添加权限：chomd600key.pem。秘钥创建成功之后，正式进行实例的创建。在左侧的拉杆可以清楚看到项目的选项，选择“项目”-“实例”，然后点击按钮，创建一个“test”实例，如图4.4所示。

图4.4Openstack创建一个实例

创建好之后，我们需要对其进行一些配置。先从镜像中选择一个cirros源，实例类型选择m1.tiny，可以得到如4.5图所示界面。

图4.5Openstack实例镜像的配置

选择好默认的网络之后，我们需要设置秘钥对：

图4.6Openstack实例秘钥对的设置

然后拉动下滑选项，进行浮动ip的配置，实现虚拟机访问外网的功能，系统自动分配相关的地址。最后点击有关按钮，完成实例的创建。

1869

4.4本章小结

本章主要描述Openstack部署与管理的详细过程。经过细致的部署过程，可以深刻体会到Opestack提供的IaaS服务对云平台部署的影响。Openstack的几个核心组件让用户可以根据自己的需求灵活搭建自己的平台，提供简单基础、可扩展性高、内容丰富的标准云管理平台，大大降低了基础开销。

第5章Hadoop与开源云计算

17451

5.1Hadoop应

用

Openstack是一个IaaS平台，是Amazonaws的开放源码的实现。而Hadoop则是一个软件结构，采用分布式来计算和存储。二者并没有直接的联系，但是二者结合起来可以进行诸多的实现，如果把Openstack比作Window系统，那么Hadoop则是一个可以安装在Window系统中的分布式DB。

Hadoop主要由分布式文件系统（HDFS）和编程模型MapReduce构成[15]。Hadoop在分布式系统中的优秀的计算与存储能力，成为了大数据分析的完成平台，是一个基于云计算较好的应用。其中HDFS负责存储方面的工作，MapReduce则为其实现了计算功能。

云计算能够给用户提供最大化资源利用的可靠服务。在用户按需的要求下，实现不同需求的分布式计算模式[16]。而Hadoop的分布式计算能力，强大的可扩张性，使得诸多使用Hadoop的企业将其应用到实际场景中去，比如在线旅游网站、电子商务（eBay）、能源开采和节约能耗等方面。

5.2

32725

Hadoop技术介绍

4790

5.2.1Hadoop的构造

Hadoop的集群中主要包含以下节点：一个是NameNode（名字节点），它是Hadoop中非常重要的守护进程。负责控制DataNode的工作状况。另一个是DataNode（数据节点），将分割后的数据块存入或者取出，最终在本地文件系统中存取数据。用户可通过NameNode查找数据块具体储存在哪个数据节点中。还有一个特殊的SecondaryNameNode（次名字节点），是一个辅助进程，用来检测集群状态。

此外，Hadoop还包含两个后台程序：JobTracker（作业跟踪节点），它是应用程序和Hadoop之间的纽带[17]。TaskTracker（任务跟踪节点），负责管理每个节点上的每个任务的执行情况[18]。

图5.1为Hadoop个构造模块的关系。

图5.1Hadoop构造模块关系

24044

5.2.2Hadoop的运行模式

Hadoop本身有很多优越的特性：高可靠性、高扩展性、高效性、高容错性、以及经济性[19]。同时虚拟化的环境部署，大大简化了部署的过程，增强了系统的可移植性[20]。它为我们提供了一个相对可靠的存储系统，Hadoop的运行模式有集群模式、伪分布式模式、独立模式[21]。

伪分布运行模式，这是默认的一种模式，在单机情景下，通过不同的Java进程来模拟集群中的节点，适合学习部署的工作。独立模式即本地运行模式，不需要守护进程的保护，所有程序的执行环境是一个独立的JVM，适用于开发阶段。完全分布式模式，是一个完整的Hadoop集群，节点分为名字节点和数据节点，其中名字节点是唯一的，数据节点可以有多个，通常在生产环境中使用。

第6章Openstack云平台下的Hadoop部署

32108

6.1Hadoop的部署

6.1.1部署环境要求

部署Hadoop我们选择的也是在VMware虚拟机中，使用Ubuntu16.04版本。

6.1.2安装JAVA

由于Hadoop是使用JAVA语言开发的平台，因此需要先安装JAVA安装包。

首先去官网下载JDK压缩文件：

解压之后移动到指定文件夹：

修改环境变量：

6.1.3安装SSH-SERVER

Hadoop需要通过ssh登录，在安装ubuntu的时候已经安装过ssh客户端，现在安装的是ssh的服务。同时为了方便登录，我们一般设置成为免密登录。

6.1.4Hadoop的安装

下载好Hadoop安装包之后进行解压操作，并且放在指定的目录文件下：

创建好Hadoop用户组并且赋予权限后，编辑配置文件/etc/profile：

编辑完成后测试配置是否成功。

21548

6.2部署伪分布式模式

要实现Hadoop的伪分布模式，我们需要对其中几个文件进行修改配置。

core-site-xml文件：

hdfs-site.xml文件：

yarn-site.xml文件：

测试Hadoop是否安装配置完成，如果显示相应版本号则表示安装成功：

6.3程序实例运行

30160

安装完Hadoop之后，查看hadoop-0.20.2-examples.jar压缩包里面的运行实例，选择其中的