大数据管理与监控:Ambari:YARN资源管理详解_第1页
大数据管理与监控:Ambari:YARN资源管理详解_第2页
大数据管理与监控:Ambari:YARN资源管理详解_第3页
大数据管理与监控:Ambari:YARN资源管理详解_第4页
大数据管理与监控:Ambari:YARN资源管理详解_第5页
已阅读5页,还剩12页未读 继续免费阅读

下载本文档

版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领

文档简介

大数据管理与监控:Ambari:YARN资源管理详解1大数据管理与监控:Ambari:YARN资源管理详解1.1YARN简介1.1.11YARN架构解析YARN,全称为YetAnotherResourceNegotiator,是Hadoop2.0版本中引入的一个资源管理框架。它设计的初衷是为了克服MapReduce1.0的局限性,提供一个更通用、更灵活的平台来支持多种数据处理框架。YARN的核心组件包括:ResourceManager(RM):负责整个集群的资源管理和调度。它接收来自各个应用程序的资源请求,并根据集群的资源情况和调度策略分配资源。NodeManager(NM):运行在每个节点上,负责管理节点上的资源(如CPU、内存)并执行来自ResourceManager的命令。ApplicationMaster(AM):每个应用程序在YARN上运行时都会有一个ApplicationMaster。它负责与ResourceManager协商资源,并与NodeManager协同工作来执行和监控任务。YARN架构图graphTD

A[ResourceManager]-->B(NodeManager)

A-->C(ApplicationMaster)

C-->D[Container]

B-->D1.1.22YARN在Hadoop生态系统中的角色YARN不仅限于支持MapReduce,它还支持其他数据处理框架,如Spark、Flink和Tez。这使得Hadoop集群能够同时运行多种类型的工作负载,提高了资源的利用率和灵活性。YARN与Hadoop组件的交互在Hadoop生态系统中,YARN作为资源管理器,与HDFS(HadoopDistributedFileSystem)紧密协作,确保数据和计算的高效结合。同时,它还与Hadoop的其他组件如Hive、Pig等进行交互,提供统一的资源调度和管理。1.2YARN资源管理1.2.11资源分配策略YARN的资源分配策略主要由ResourceManager中的Scheduler组件决定。Scheduler可以是公平的(FairScheduler)、容量的(CapacityScheduler)或FIFO(First-In-First-Out)的。其中,CapacityScheduler是Hadoop默认的调度器,它支持队列的概念,可以为不同的队列分配不同的资源容量,从而实现资源的公平或优先级分配。示例:配置CapacityScheduler在yarn-site.xml文件中,可以配置CapacityScheduler的队列和资源分配策略:<configuration>

<property>

<name>yarn.resourcemanager.scheduler.class</name>

<value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.capacity.CapacityScheduler</value>

</property>

<property>

<name>yarn.scheduler.capacity.root.queues</name>

<value>queueA,queueB</value>

</property>

<property>

<name>yarn.scheduler.capacity.root.queueA.capacity</name>

<value>50</value>

</property>

<property>

<name>yarn.scheduler.capacity.root.queueB.capacity</name>

<value>50</value>

</property>

</configuration>1.2.22资源监控与管理YARN提供了丰富的API和工具来监控和管理资源。通过YARN的WebUI,用户可以查看集群的资源使用情况、应用程序的状态和日志。此外,YARN还支持动态调整正在运行的应用程序的资源,如增加或减少分配给应用程序的容器数量。示例:使用YARN的WebUI监控资源YARN的WebUI可以通过访问http://<ResourceManagerhost>:8088来查看。在WebUI中,用户可以看到:集群概览:显示集群的总资源、已用资源和可用资源。应用程序列表:列出正在运行的所有应用程序,包括它们的状态、资源使用情况和日志链接。节点列表:显示集群中所有节点的状态和资源使用情况。1.3Ambari与YARN的集成1.3.11Ambari的作用Ambari是一个开源的工具,用于管理和监控Hadoop集群。它提供了用户友好的Web界面,使得Hadoop集群的部署、配置、监控和管理变得更加简单。Ambari与YARN的集成,使得用户可以通过Ambari的Web界面来监控YARN的资源使用情况和应用程序状态。1.3.22Ambari监控YARN资源Ambari通过与YARN的ResourceManager和NodeManager进行通信,收集集群的资源使用信息和应用程序的状态。这些信息可以在Ambari的Web界面中以图表和列表的形式展示,帮助用户更好地理解和管理集群资源。示例:Ambari监控YARN资源在Ambari的Web界面中,用户可以:查看YARN服务状态:在“Services”页面中,选择YARN服务,可以看到YARN服务的健康状态和关键指标。监控资源使用情况:在YARN服务的“Metrics”页面中,可以看到ResourceManager和NodeManager的资源使用情况,包括CPU、内存和磁盘的使用率。管理应用程序:在“Applications”页面中,可以看到正在运行的所有应用程序,包括它们的状态、资源使用情况和日志链接。1.4YARN资源管理的高级特性1.4.11动态资源调整YARN支持动态调整正在运行的应用程序的资源。例如,如果一个应用程序的资源需求突然增加,可以通过YARN的API来请求更多的资源,而不需要重启应用程序。示例:动态调整资源使用YARN的yarn命令行工具,可以动态调整应用程序的资源:yarnapplication-modify-appid<application_id>-resource<new_resource>其中,<application_id>是应用程序的ID,<new_resource>是新的资源需求。1.4.22容器资源隔离YARN通过容器(Container)来隔离应用程序的资源。每个应用程序都会被分配一个或多个容器,容器之间通过cgroups(ControlGroups)或Linux容器技术来实现资源的隔离,确保每个应用程序都能获得其分配的资源,不会受到其他应用程序的影响。示例:配置容器资源隔离在yarn-site.xml文件中,可以配置容器的资源隔离策略:<configuration>

<property>

<name>yarn.nodemanager.linux-container-executor.cgroups.hierarchy</name>

<value>/yarn</value>

</property>

<property>

<name>yarn.nodemanager.linux-container-executor.cgroups.mount</name>

<value>auto</value>

</property>

</configuration>通过上述配置,YARN会使用cgroups来隔离容器的资源。1.5YARN资源管理的优化1.5.11资源调度优化YARN的资源调度策略可以通过配置文件进行优化。例如,可以调整队列的资源分配策略,以适应不同的工作负载需求;可以设置应用程序的优先级,以确保关键应用程序能够获得足够的资源。示例:优化资源调度在yarn-site.xml文件中,可以配置队列的资源分配策略:<configuration>

<property>

<name>yarn.scheduler.capacity.root.queueA.maximum-capacity</name>

<value>60</value>

</property>

<property>

<name>yarn.scheduler.capacity.root.queueB.maximum-capacity</name>

<value>40</value>

</property>

</configuration>通过上述配置,可以将更多的资源分配给queueA,以适应其更高的资源需求。1.5.22资源使用优化除了资源调度优化,还可以通过优化应用程序的资源使用来提高YARN的资源利用率。例如,可以调整应用程序的资源请求,以避免资源浪费;可以使用YARN的资源预分配功能,提前为应用程序预留资源,以减少资源等待时间。示例:优化资源使用在提交应用程序时,可以通过yarn命令行工具来调整资源请求:yarnjar<application_jar>-Dyarn.app.mapreduce.am.resource.mb=<memory_in_mb>-Dmand-opts=-Xmx<max_memory_in_mb>通过上述命令,可以为应用程序的ApplicationMaster请求特定的内存资源,以避免资源浪费。1.6总结YARN作为Hadoop生态系统中的资源管理框架,提供了强大的资源调度和管理能力。通过与Ambari的集成,用户可以更方便地监控和管理YARN的资源。同时,YARN还支持动态资源调整和容器资源隔离等高级特性,以及资源调度和使用优化,使得Hadoop集群的资源管理变得更加高效和灵活。2Ambari与YARN的集成2.11Ambari的安装与配置2.1.1安装AmbariServerAmbari是一个开源的工具,用于简化ApacheHadoop集群的部署、管理和监控。在开始集成Ambari与YARN之前,首先需要在一台服务器上安装AmbariServer。以下是安装AmbariServer的基本步骤:更新系统包列表:sudoapt-getupdate安装Java:AmbariServer需要Java环境,可以使用以下命令安装OpenJDK8:sudoapt-getinstallopenjdk-8-jdk下载AmbariServer安装包:从ApacheAmbari官方网站下载适合你的操作系统的安装包。例如,对于Ubuntu,可以下载.deb包。安装AmbariServer:使用dpkg命令安装下载的.deb包:sudodpkg-iambari-server-*.deb初始化AmbariServer数据库:AmbariServer使用MySQL或PostgreSQL作为数据库。这里以MySQL为例,首先安装MySQLServer:sudoapt-getinstallmysql-server然后初始化AmbariServer数据库:sudoambari-serversetup--jdbc-db=mysql--jdbc-driver=/usr/share/java/mysql-connector-java.jar启动AmbariServer:sudoserviceambari-serverstart配置防火墙:如果你的服务器有防火墙,需要开放AmbariServer的端口(默认为8080):sudoufwallow8080/tcp2.1.2安装AmbariAgent在Hadoop集群的每个节点上,需要安装AmbariAgent以与AmbariServer通信。下载AmbariAgent安装包:与AmbariServer相同,从ApacheAmbari官方网站下载适合你的操作系统的AmbariAgent安装包。安装AmbariAgent:使用dpkg命令安装下载的.deb包:sudodpkg-iambari-agent-*.deb配置AmbariAgent:编辑/etc/ambari-agent/conf/ambari-agent.ini文件,设置AmbariServer的地址:[ambari]

hostname=ambari-server-hostname启动AmbariAgent:sudoserviceambari-agentstart2.1.3配置AmbariServer在AmbariServer上,需要通过Web界面配置集群。访问AmbariWeb界面:在浏览器中输入AmbariServer的地址加上端口号(默认为8080),例如:http://ambari-server-hostname:8080添加Hadoop集群:在Web界面中,选择“AddCluster”来添加一个新的Hadoop集群。输入集群名称和选择集群的版本。安装Hadoop服务:在集群配置中,选择要安装的服务,包括HDFS、YARN、MapReduce等。配置Hadoop服务:根据你的需求,配置Hadoop服务的参数,如HDFS的副本数、YARN的资源管理器地址等。部署集群:完成配置后,选择“Deploy”来部署集群。2.22使用Ambari管理YARN2.2.1监控YARN资源Ambari提供了丰富的监控功能,可以实时查看YARN的资源使用情况。查看YARNDashboard:在AmbariWeb界面中,选择你的集群,然后在服务列表中找到YARN,点击进入YARN的Dashboard。监控资源使用:Dashboard中显示了YARN的资源管理器、节点管理器的状态,以及集群的资源使用情况,如CPU、内存等。2.2.2管理YARN应用Ambari允许你管理运行在YARN上的应用。查看运行的应用:在YARN的Dashboard中,可以查看当前正在运行的应用列表,包括应用的ID、名称、状态等信息。终止应用:如果需要终止某个应用,可以在应用列表中选择该应用,然后点击“Terminate”按钮。2.2.3调整YARN配置Ambari提供了方便的界面来调整YARN的配置。访问配置页面:在AmbariWeb界面中,选择你的集群,然后在服务列表中找到YARN,点击进入配置页面。调整配置参数:在配置页面中,可以调整YARN的配置参数,如yarn.nodemanager.resource.memory-mb(节点管理器的内存资源)、yarn.nodemanager.resource.cpu-vcores(节点管理器的CPU资源)等。保存并部署配置:完成配置调整后,点击“Save”按钮保存配置,然后选择“Deploy”来部署配置。2.2.4使用Ambari进行故障排查Ambari提供了日志和警报功能,帮助你进行故障排查。查看日志:在AmbariWeb界面中,选择你的集群,然后在服务列表中找到YARN,点击进入日志页面,可以查看YARN的运行日志。设置警报:在AmbariWeb界面中,选择“Alerts”选项,可以设置警报规则,如当YARN的资源使用超过一定阈值时发送警报。通过以上步骤,你可以使用Ambari来管理你的YARN资源,监控资源使用情况,管理运行在YARN上的应用,调整YARN的配置,以及进行故障排查。Ambari简化了Hadoop集群的管理,使你能够更专注于数据分析和应用开发。3YARN资源管理基础3.11YARN资源概念YARN,即YetAnotherResourceNegotiator,是Hadoop2.0引入的一种资源管理框架。在YARN中,资源被定义为节点上的CPU、内存、磁盘和网络等。YARN的设计目标是将Hadoop从一个单一的MapReduce框架转变为一个通用的集群管理平台,能够支持多种计算框架。3.1.1资源表示在YARN中,资源以容器(Container)的形式表示。每个容器包含一定数量的内存和一定数量的vCores(虚拟CPU)。例如,一个容器可能被分配了1GB的内存和2个vCores。应用程序向YARN请求容器,然后在这些容器上运行任务。3.1.2资源分配资源的分配由ResourceManager(RM)和NodeManager(NM)协同完成。RM负责集群级别的资源管理和调度,而NM负责单个节点上的资源管理和容器的启动、监控和关闭。3.22资源调度器类型与选择YARN支持多种资源调度器,每种调度器都有其特点和适用场景。主要的调度器类型包括:3.2.1FIFOSchedulerFIFOScheduler是YARN的默认调度器,它按照应用程序提交的顺序进行资源分配。这种调度器简单直接,但缺乏对资源的精细化控制,不适合资源竞争激烈的环境。3.2.2CapacitySchedulerCapacityScheduler是一种基于容量的调度器,它允许用户和队列之间共享资源。每个队列都有一个固定的资源容量,当队列中的应用程序需要更多资源时,可以借用其他队列未使用的资源。这种调度器适合多租户环境,能够保证每个队列的最小资源需求。3.2.3FairSchedulerFairScheduler旨在公平地分配资源给集群中的所有应用程序。它通过动态调整应用程序的资源份额来实现公平性。当集群中有多个应用程序运行时,每个应用程序将获得大致相等的资源。这种调度器适合于测试和开发环境,以及需要公平资源分配的场景。3.2.4调度器选择选择哪种调度器取决于集群的使用场景和需求。例如,如果集群主要用于批处理作业,且作业之间没有严格的优先级要求,那么FIFOScheduler可能是一个合适的选择。如果集群需要支持多租户,并且有资源隔离和保证的需求,那么CapacityScheduler更为合适。对于需要公平资源分配的环境,FairScheduler是最佳选择。3.2.5配置示例下面是一个配置CapacityScheduler的示例。在Hadoop的配置文件yarn-site.xml中,可以设置以下参数:<!--设置调度器为CapacityScheduler-->

<property>

<name>yarn.resourcemanager.scheduler.class</name>

<value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.capacity.CapacityScheduler</value>

</property>

<!--设置根队列-->

<property>

<name>yarn.scheduler.capacity.root.queues</name>

<value>queueA,queueB</value>

</property>

<!--设置queueA的资源容量-->

<property>

<name>yarn.scheduler.capacity.root.queueA.capacity</name>

<value>50</value>

</property>

<!--设置queueB的资源容量-->

<property>

<name>yarn.scheduler.capacity.root.queueB.capacity</name>

<value>50</value>

</property>

<!--设置queueA的最小资源保证-->

<property>

<name>yarn.scheduler.capacity.root.queueA.minimum-user-limit-percent</name>

<value>10</value>

</property>在这个示例中,我们配置了CapacityScheduler,并设置了两个根队列queueA和queueB,每个队列的资源容量为50%。此外,我们还设置了queueA的最小资源保证为10%,这意味着即使在资源紧张的情况下,queueA中的用户也能获得至少10%的资源。通过以上配置,我们可以看到YARN的资源管理不仅限于简单的资源分配,还提供了对资源的精细化控制,以满足不同场景的需求。4YARN资源监控与管理4.11Ambari上的YARN监控面板在Ambari中,YARN资源监控面板提供了对YARN集群的全面视图,使管理员能够实时监控和管理资源。Ambari通过集成Hadoop生态系统,为YARN提供了直观的图形界面,便于用户理解和操作。4.1.1监控面板功能集群资源概览:显示整个集群的资源使用情况,包括CPU、内存、磁盘和网络等。应用监控:列出当前运行的所有应用程序,包括其状态、资源使用情况和运行时间。节点监控:提供每个节点的详细信息,如健康状态、资源使用和任务执行情况。队列监控:展示YARN队列的资源分配和使用情况,帮助优化资源调度。4.1.2操作指南登录Ambari:首先,通过Ambari的Web界面登录到你的Hadoop集群管理平台。访问YARN服务:在Ambari的主界面中,找到并点击YARN服务,进入YARN的监控面板。查看资源使用:在YARN监控面板中,你可以看到集群的资源使用情况,包括总的可用资源和当前使用的资源。监控应用程序:通过“应用程序”选项卡,可以查看所有正在运行的应用程序,以及它们的详细信息,如资源消耗和运行状态。管理节点:在“节点”选项卡下,可以监控每个节点的健康状态和资源使用情况,必要时进行节点的重启或隔离。优化队列:通过“队列”选项卡,可以调整队列的资源分配,确保资源的高效利用。4.22YARN应用与资源的实时监控YARN(YetAnotherResourceNegotiator)是Hadoop的一个重要组件,用于资源管理和任务调度。实时监控YARN应用和资源对于确保集群的稳定性和性能至关重要。4.2.1实时监控的重要性资源优化:通过实时监控,可以及时发现资源瓶颈,调整资源分配,提高集群效率。故障检测:实时监控能够快速检测到节点故障或应用异常,减少服务中断时间。性能分析:监控数据可用于分析应用性能,识别低效应用,进行优化或调整。4.2.2实时监控方法使用AmbariAmbari提供了实时监控YARN应用和资源的功能,通过其Web界面,可以轻松查看和管理集群状态。使用YARNRESTAPIYARN提供了RESTAPI,允许开发者和管理员通过编程方式实时获取集群信息。下面是一个使用Python和requests库调用YARNRESTAPI的示例:importrequests

importjson

#YARNRESTAPIURL

api_url="http://your-ambari-server:port/api/v1/clusters/your-cluster/services/YARN/components/RMNode"

#发送GET请求

response=requests.get(api_url)

#检查响应状态

ifresponse.status_code==200:

#解析JSON响应

data=json.loads(response.text)

#打印节点信息

fornodeindata['components']:

print(f"NodeID:{node['hostRef']['hostId']}")

print(f"NodeName:{node['hostRef']['hostName']}")

print(f"NodeStatus:{node['state']}")

print(f"NodeHealthReport:{node['healthReport']}")

print("")

else:

print("FailedtoretrievedatafromYARNRESTAPI")使用Hadoop命令行工具Hadoop提供了命令行工具,如yarn,用于实时监控YARN应用和资源。例如,使用yarnnode-list命令可以查看所有节点的状态:yarnnode-list这将列出所有节点,包括它们的健康状态、资源使用情况和任务执行情况。4.2.3结论通过Ambari的图形界面、YARN的RESTAPI或Hadoop的命令行工具,可以实现对YARN应用和资源的实时监控,这对于大数据集群的管理至关重要。实时监控不仅有助于资源优化,还能及时检测和响应故障,确保集群的高效稳定运行。4.3YARN资源优化策略4.3.11资源分配与调整YARN(YetAnotherResourceNegotiator)是Hadoop的资源管理器,它负责集群资源的管理和调度。在YARN中,资源的分配与调整是确保集群高效运行的关键。以下是一些资源优化策略的原理和操作示例:原理动态资源分配:YARN允许动态调整正在运行的应用程序的资源,这意味着可以根据应用程序的需求实时增加或减少资源。资源预留:通过预留资源,可以确保关键任务或高优先级任务始终有可用资源。公平调度:YARN的公平调度器可以确保所有队列公平地共享集群资源,这对于多租户环境特别有用。容量调度:容量调度器允许为不同的队列分配固定的资源容量,确保资源的分配符合预定义的策略。示例:动态资源调整假设我们有一个正在运行的MapReduce作业,我们想要根据作业的进度动态调整其资源。以下是一个使用Hadoop的yarn命令行工具调整资源的示例:#假设作业ID为application_1523456789012_0001

yarnapplication-modify-applicationIdapplication_1523456789012_0001-resourceIncreasemap=2,reduce=2这条命令会增加作业的Map和Reduce任务的资源,每个类型增加2个资源单位。示例:资源预留在YARN中,可以使用预留功能确保关键任务始终有可用资源。以下是一个预留资源的示例:yarnrmadmin-reserveReservationreservation_1234567890123456-reservationDefinition'{"reservationDefinition":{"reservationName":"reservation_1234567890123456","numContainers":10,"resource":{"memory":1024,"virtualCores":1},"validity":{"startTime":"2023-04-01T00:00:00Z","endTime":"2023-04-02T00:00:00Z"}},"reservationAllocationState":{"reservationAllocationState":{"reservationName":"reservation_1234567890123456","numContainers":10,"resource":{"memory":1024,"virtualCores":1},"validity":{"startTime":"2023-04-01T00:00:00Z","endTime":"2023-04-02T00:00:00Z"}},"reservationAllocationState":{"reservationName":"reservation_1234567890123456","numContainers":10,"resource":{"memory":1024,"virtualCores":1},"validity":{"startTime":"2023-04-01T00:00:00Z","endTime":"2023-04-02T00:00:00Z"}}}'这条命令创建了一个预留,从2023年4月1日到2023年4月2日,预留了10个容器,每个容器有1024MB的内存和1个虚拟核心。4.3.22性能调优与故障排查YARN的性能调优和故障排查是大数据集群管理的重要组成部分。以下是一些关键的调优策略和故障排查技巧:原理监控和日志分析:通过监控YARN的指标和分析日志,可以识别性能瓶颈和潜在问题。参数调整:YARN有多个参数可以调整,如yarn.scheduler.minimum-allocation-mb和yarn.scheduler.maximum-allocation-mb,这些参数控制资源分配的最小和最大值。队列管理:合理配置队列可以避免资源争抢,提高整体效率。应用程序优化:优化应用程序的代码和配置,减少资源浪费,提高执行效率。示例:监控和日志分析使用Ambari的监控功能,可以实时查看YARN的资源使用情况。例如,通过Ambari的UI,可以查看每个队列的资源使用率、等待的作业数量等指标。此外,分析YARN的日志文件,如yarn-nodemanager.log和yarn-resourcemanager.log,可以帮助诊断问题。示例:参数调整调整YARN的参数是优化资源使用的关键。以下是一个调整资源分配参数的例子:#在yarn-site.xml文件中调整参数

yarn.scheduler.minimum-allocation-mb=512

yarn.scheduler.maximum-allocation-mb=4096这些参数分别设置了资源分配的最小和最大内存值,可以根据集群的实际情况进行调整。示例:队列管理合理配置队列可以避免资源争抢,提高效率。例如,可以为不同的部门或项目创建不同的队列,并为每个队列分配固定的资源比例:<property>

<name>yarn.scheduler.capacity.root.QueueA.minimum-user-limit-percent</name>

<value>50</value>

</property>

<property>

<name>yarn.scheduler.capacity.root.QueueB.minimum-user-limit-percent</name>

<value>50</value>

</property>这里,QueueA和QueueB分别被分配了50%的集群资源,确保了资源的公平分配。示例:应用程序优化优化应用程序的代码和配置可以显著提高资源使用效率。例如,减少MapReduce作业的shuffle阶段可以减少资源消耗://设置MapReduce作业的reduce任务数量

job.setNumReduceTasks(10);

//设置MapReduce作业的map任务输出缓存大小

job.setMapOutputBufferPercent(80);通过减少reduce任务的数量和调整map任务的输出缓存大小,可以减少shuffle阶段的数据传输量,从而提高作业的执行效率。以上示例和策略展示了如何在YARN中进行资源优化,包括动态资源调整、资源预留、参数调整、队列管理和应用程序优化。通过这些方法,可以确保大数据集群的高效运行和资源的合理利用。5案例分析:Ambari管理YARN资源实战5.11实战环境搭建在开始实战之前,我们需要搭建一个能够运行Ambari和YARN的环境。以下步骤将指导你如何在本地或云服务器上搭建一个基本的Hadoop集群,使用Ambari进行管理,并配置YARN资源管理。5.1.1硬件和软件需求硬件:至少3台虚拟机或物理服务器(推荐配置:2GBRAM,2CPUcores,20GBdisk)软件:操作系统:Ubuntu16.04或更高版本Java:JDK1.8Ambari:Ambari2.7.0Hadoop:Hadoop3.2.05.1.2安装基础软件在每台机器上执行以下命令来安装必要的软件包:sudoapt-getupdate

sudoapt-getinstall-yopenjdk-8-jdk

sudoapt-getinstall-ypython3python3-pip5.1.3配置SSH无密码登录在主节点上生成SSH密钥:ssh-keygen-trsa-b4096-C"your_email@"然后将公钥复制到其他节点:ssh-copy-iduser@node2

ssh-copy-iduser@node3确保从主节点可以无密码登录到其他节点。5.1.4安装Ambari在主节点上下载并安装Ambari:wget/dist/ambari//ambari-server-.tar.gz

tar-xzfambari-server-.tar.gz

cdambari-server-

sudo./ambari-server-install.py5.1.5配置Ambari启动AmbariS

温馨提示

  • 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

评论

0/150

提交评论