《大数据技术基础（第2版）》792-4（覃事刚）教案 第10课 数据处理与分析（二）

PAGE6PAGE6PAGE5PAGE5

课题数据处理与分析（二）课时2课时（90min）教学目标知识技能目标：（1） 了解YARN的基本架构及组件，理解其工作流程。（2） 了解ZooKeeper的概念、应用场景和集群总体架构。思政育人目标：感受大数据处理与分析技术在现代生产生活中的巨大作用和价值，不断增强创新意识、合作意识、爱国主义情怀和民族自豪感。教学重难点教学重点：YARN的基本架构及组件，ZooKeeper的概念、应用场景教学难点：ZooKeeper的集群总体架构教学方法案例分析法、问答法、讨论法、讲授法教学用具电脑、投影仪、多媒体课件、教材教学设计第1节课：→→传授新知（28min）→课堂互动（10min）第2节课：→传授新知（20min）→课堂互动（15min）→课堂小结（3min）→作业布置（2min）教学过程主要教学内容及步骤设计意图第一节课考勤

（2min）【教师】使用文旌课堂APP【学生】按照老师要求签到培养学生的组织纪律性，掌握学生的出勤情况问题导入（5min）【教师】提出以下活动：HDFS专注于分布式存储，MapReduce专注于分布式计算，而YARN则负责集群资源管理和统一调度，那么YARN的基本架构和工作流程是什么样的？【学生】思考、理解、分析通过问题导入的方法，引导学生主动思考，激发学生的学习兴趣传授新知

（28min）【教师】通过学生的回答引入新知，介绍分布式资源管理器YARN的基本架构和组件，以及工作流程一、YARN基本架构及组件✈【教师】提出问题：YARN集群由哪些部分组成？✈【学生】思考、举手回答YARN集群总体上是经典的主/从（master/slave）架构，主要由ResourceManager、NodeManager、ApplicationMaster和Container组成。✈【教师】提出问题：ResourceManager的主要职责是什么？✈【学生】思考、举手回答✈【教师】总结学生的回答（1）接收来自客户端（Client）的请求。（2）启动和管理各个应用程序的ApplicationMaster。（3）接收来自ApplicationMaster的资源申请，并为其分配Container。（4）管理NodeManager，接收来自NodeManager的资源和节点健康情况汇报。（详见教材）✈【教师】利用多媒体辅助讲解NodeManagerNodeManager是集群中每个节点上的资源和任务管理器，以后台进程的形式运行。它会定时向ResourceManager汇报本节点上的资源（内存、CPU）使用情况和各个Container的运行状态，同时会接收并处理来自ApplicationMaster的Container启动/停止等请求。(详见教材)✈【教师】利用多媒体辅助讲解Task和ContainerTask是应用程序的具体执行任务，一个应用程序可能会有多个任务。例如，一个MapReduce程序可以有多个Map任务和多个Reduce任务。Container是YARN中资源分配的基本单位，它封装了CPU和内存资源的一个容器，相当于是一个Task运行环境的抽象。(详见教材)✈【教师】提出以下学习任务：阅读教材“高手点拨”部分，进一步了解Container。✈【学生】自主学习、思考、理解✈【教师】利用多媒体辅助讲解ApplicationMasterApplicationMaster是应用程序管理者，主要负责应用程序的管理，以后台进程的形式运行。它为应用程序向ResourceManager申请资源（CPU、内存），并将资源分配给所管理应用程序的Task。（详见教材）二、YARN的工作流程✈【教师】利用多媒体辅助讲解YARN的工作流程（1）客户端（Client）提交应用程序（如MapReduce程序等）到ResourceManager。（2）ResourceManager分配用于运行ApplicationMaster的Container，然后再与NodeManager通信，要求它在该Container中启动ApplicationMaster。ApplicationMaster启动后，它将负责此应用程序的整个生命周期。（3）ApplicationMaster向ResourceManager注册（注册后可以通过ResourceManager查看应用程序的运行状态）并请求运行应用程序各个Task所需的Container（资源请求是对一些Container的请求）。如果符合条件，ResourceManager会分配给ApplicationMaster所需的Container（表达为ContainerID和主机名）。（4）ApplicationMaster请求NodeManager使用这些Container来运行应用程序的相应Task（即将Task发布到指定的Container中运行）。（详见教材）✈【教师】提出以下学习任务：阅读教材“YARN的工作流程”部分，根据YARN集群中应用程序的执行流程图，以小组为单位，用自己的话说一说YARN的工作流程。✈【学生】合作学习、思考、理解【学生】聆听、记录、理解通过教师的讲解和演示，互动以及案例，使学生了解分布式资源管理器YARN的基本架构和组件，以及工作流程课堂互动（10min）【教师】组织学生以小组为单位阅读“YARN的工作流程”部分，（详见教材），用自己的话说一说YARN的工作流程？【学生】聆听、思考、小组讨论，由小组代表上台发表讨论结果【教师】与学生一起评价各组的讨论结果通过课堂讨论，加深学生对YARN的工作流程的了解第二节课问题导入（5min）【教师】提出问题：什么是ZooKeeper，它的作用是什么？【学生】聆听、思考、举手回答通过问题导入，引导学生主动思考，激发学生的学习兴趣传授新知（20min）【教师】通过学生的回答引入新的知识，介绍分布式协调服务ZooKeeper的相关知识ZooKeeper是一种分布式应用程序协调服务，主要用于解决分布式集群中应用程序的一致性问题。它能提供类似文件系统的目录节点树方式的数据存储，主要用途是维护和监控所存数据的状态变化，以实现对集群的管理。一、ZooKeeper简介✈【教师】提出以下问题：用自己的话说一说ZooKeeper主要解决的问题？✈【学生】思考、举手回答✈【教师】对学生的回答进行总结它可以在集群的节点间进行消息传递，协调集群中不同服务器进程间的互斥和同步操作，从而保证集群节点间的数据一致性。（详见教材）✈【教师】提出以下学习任务：阅读教材“提示”部分，进一步了解ZooKeeper。✈【学生】自主学习、思考、理解✈【教师】提出以下问题：阅读教材相关内容说一说ZooKeeper的应用场景有哪些？✈【学生】思考、举手回答✈【教师】对学生的回答进行总结1.统一命名服务2.集群管理3.分布式锁……（详见教材）二、ZooKeeper的应用场景✈【教师】利用多媒体辅助讲解ZooKeeper的应用场景1．统一命名服务利用ZooKeeper中的树形分层结构，可以把系统中的各种服务的名称、地址及目录信息存放在ZooKeeper中，需要的时候去ZooKeeper中读取就可以了。2．集群管理ZooKeeper能够很容易地实现集群管理的功能，如有多台服务器组成一个服务集群，那么必须要有一个“总管”知道当前集群中每台机器的服务状态，一旦有服务器不能提供服务，集群中其他服务器必须知道，从而做出调整，重新分配服务策略。3．分布式锁在一个分布式环境中，为了提高可靠性，集群的每台服务器上都部署着同样的服务。但是一个常见的问题就是，如果集群中的每台服务器都进行同一件事情的话，它们相互之间就要协调，编程起来将非常复杂。（详见教材）✈【教师】提出以下学习任务：阅读教材“知识库”部分，进一步了解ZooKeeper应用场景。✈【学生】自主学习、思考、理解三、ZooKeeper集群的总体架构✈【教师】利用多媒体辅助讲解ZooKeeper集群的总体架构ZooKeeper集群由一组服务器（Server）节点组成，在这些服务器节点中有一个节点的角色为Leader，其他节点的角色通常为Follower。当客户端（Client）连接到ZooKeeper集群并执行写请求时，这些请求首先会被发送到Leader节点。（详见教材）【通过讲授，提问，讨论等教学方式，让学生了解分布式协调服务ZooKeeper的相关知识课堂互动（15min）【教师】组织学生以小组为单位阅读“筑梦科研”部分，说一说对你有什么启示【教师】与学生一起评价各组的观点通过课堂互动，培养学生的爱国之情，启发学生好好学习，为祖国效力课堂小结

（3min）【教师】简要总结本节课的要点本节课学习了分布式资源管理器YARN的基本架构和工作流程，分布式协调服务ZooKeeper的应用场景和集群架构。希望大家在课下多复习，巩固所学知识。【学生】总结回顾知识点总结知识点，巩固学生对分布式资源管理器YARN和分布式协调服务ZooKeeper相关知识的印象作业布置

（2min