大数据平台构建全套教学课件

全套可编辑PPT课件0102课程教学主要内容OpenEulerLinux操作系统安装与使用03Hadoop大数据平台安装与使用04Hadoop生态系统常用组件安装与使用虚拟机软件VMWare的安装与使用《大数据平台构建》课程教学与实训内容3任务1

了解大数据的基本概念任务2

下载所需软件安装包任务3

虚拟机软件VMWareWorkstationPro的安装与使用任务4OpenEulerLinux操作系统安装与基础使用任务1

规划大数据平台集群任务2

基础环境配置任务3HDFS配置、启动与验证任务4

YARN配置、启动与验证项目一、安装环境准备项目二、Hadoop集群完全分布式部署项目三、Hadoop生态系统常用组件部署项目四、HadoopHA集群部署任务1HBase安装部署与基本使用任务2Hive安装部署与基本使用任务3Spark安装部署与基本使用任务1规划HadoopHA集群任务2ZooKeeper安装与配置任务3HDFSHA配置、启动与验证任务4YARNHA配置、启动与验证0102目录任务1了解大数据的基本概念任务2下载所需软件安装包03任务3虚拟机软件VMWareWorkstationPro的安装与使用04任务4OpenEulerLinux操作系统安装与基础使用任务1了解大数据的基本概念1任务目标1、能够在网上进行大数据相关资料的查找2、能够理解大数据的工作原理并进行讲解能力目标1、了解什么是大数据2、了解全球数字经济发展现状与趋势3、了解我国数字经济的国际地位与优势知识目标789大数据的发展趋势-政策热度持续攀升2015.8国务院发布《促进大数据发展的行动纲要》2016.3“十三五规划纲要”提出“实施国家大数据战略”2016.12工信部发布《大数据产业发展规划2016-2020》2017.10十九大提出推动大数据与实体经济深度融合2017.12中央政治局就实施国家大数据战略进行集体学习2018.3国务院办公厅印发《科学数据管理办法》10什么是数字经济百度百科的定义数字经济是继农业经济、工业经济之后的主要经济形态，是以数据资源为关键要素，以现代信息网络为主要载体，以信息通信技术融合应用、全要素数字化转型为重要推动力，促进公平与效率更加统一的新经济形态。在技术层面，包括大数据、云计算、物联网、区块链、人工智能、5G通信等新兴技术；在应用层面，“新零售”、“新制造”等都是其典型代表。包括5G、软件、AI、大数据等技术、产品和服务等1.数字化产业包括工业互联网、智能制造、车联网等新产业新模式新业态2.产业数字化包括数字政务、智慧城市、数据开放与共享、在线服务等3.数字化治理包括数据确权、数据估值、数据定价、数据流通、数据安全等4.数据价值化11什么是大数据维基百科的定义大数据是指利用常用软件工具捕获、管理和处理数据所耗时间超过可容忍时间的数据集。百度百科的定义大数据或称巨量资料，指的是所涉及的资料量规模巨大到无法透过主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。12为什么会有大数据IT技术和移动互联网的发展，带来数据爆炸式的增长13为什么会有大数据土地劳动力资金数据大数据成为新的生产要素，是重要资产国家工业信息安全发展研究中心认为，数据作为新型生产要素，具有劳动工具和劳动对象的双重属性。数据作为劳动对象，通过采集、加工、存储、流通、分析环节，具备了价值和使用价值；其次，数据作为劳动工具，通过融合应用能够提升生产效能，促进生产力发展，即产生经济效益。14大数据应用场景举例-商业商品推荐（广告）个性化服务（千人千面APP）人群标签，精准营销店铺标签，精准匹配个人征信谁最了解你？15大数据应用场景举例-医疗大数据如何预测早期癌症？就是通过对血常规、血生化和尿常规数据进行分析预测，为每个体检者预测出一个患癌症的风险几率。然后将预测结果与癌症患者已有指标进行对比，采用大数据标准评估和人工智能模拟技术，动态评估预测体检者的早期癌症风险。16大数据应用场景举例-城市治理日均协同数据1.2亿条，在大数据助力下，城市变得更加“聪明”，市民生活更加美好智能调控，杭州上塘高架路22公里里程，出行时间平均节省4.6分钟萧山区104个路口信号灯自动调控，车辆通过速度提升15%百城拥堵指数排名中，杭州从2015年的前3位降到了2019年的第35位17大数据应用场景举例-工业痛点效果产品调试项目300多项，指标互相关联；调试周期长；成本高（占总生产成本30-40%）产品检测策略优化模型；推荐抽检频率，选择合适抽检策略指标从300个降低到200个整体调试效率优化35%18数字经济的崛起19数字经济的起源互联网时代的数字经济移动互联时代的数字经济物联网时代的数字经济人工智能时代的数字经济区块链时代的数字经济全球数字经济发展现状与趋势20颠覆性创新频发机器人、无人驾驶汽车、人工智能等产业赋能作用增强智能制造、智慧城市、数字医疗等全球科技竞争加剧国内：华为、比亚迪、BAT国外：苹果、微软、特斯拉数字治理不断加强数字安全、数据隐私保护我国数字经济的国际地位与优势21电商体量增速迅猛数字基础设施完善电商体量增速迅猛数字经济规模大电商体量增速迅猛数字平台企业强电商体量增速迅猛新企业纷纷诞生电商体量增速迅猛数字技术进步快大数据的数据结构大数据行业/企业数据企业数据，目前已有超过80%的数据以非结构化的形式存在。互联网领域，非结构化数据占到整个数据流比例的75%以上。非结构化数据年增长速度约为63%，远超过结构化数据增长速度的32%。22大数据时代的挑战数据的不可靠数据的多样性和异构性数据规模人机协作问题数据的访问与共享数据的合理性数据的实时性要求数据隐私问题23大数据时代的机遇1、数据分析方式增多2、资源配置灵活化3、营销方式创新4、将成为一种科学的科研方法24任务实施250102目录任务1了解大数据的基本概念任务2下载所需软件安装包03任务3虚拟机软件VMWareWorkstationPro的安装与使用04任务4OpenEulerLinux操作系统安装与基础使用任务2下载所需软件安装包2任务目标1、能够熟练进行大数据计量单位之间的换算2、能够熟练简述大数据的特征3、能够简述大数据生态系统开源技术和框架4、能够熟练简述Hadoop生态能力目标1、熟悉大数据的特征与数据结构2、熟悉开源大数据生态技术知识目标29大数据特征Volume体量巨大Variety种类繁多Value价值密度低Velocity处理速度快30大数据计量单位的换算关系单位换算公式单位换算公式Byte1Byte=8bitTB1TB=1024GBKB1KB=1024BytePB1PB=1024TBMB1MB=1024KBEB1EB=1024PBGB1GB=1024MBZB1ZB=1024EB31大数据生态系统开源技术和框架32大数据生态系统发展简史33Hadoop生态系统HDFS（Hadoop分布式文件系统）YARN（分布式资源管理器）MapReduce（分布式处理框架）Spark（分布式内存计算）Hive（SQL处理）Hbase（列式存储数据库）ZooKeeper（分布式协调服务）Oozie（工作流调度系统）SparkSQLPIG（脚本处理）SparkStreamingMLlibGraphXAmbari（分布式集群配置管理工具）Flume（日志收集）Sqoop（数据交换）34Hadoop发展简史与版本演变35HDFS文件系统HDFS，是Hadoop

Distributed

File

System的简称，是Hadoop抽象文件系统的一种实现。HDFS是易于扩展的分布式文件系统，运行在大量普通廉价机器上，提供容错机制为大量用户提供性能不错的文件存取服务。HDFS的文件分布在集群机器上，同时提供副本进行容错及可靠性保证。适合海量数据存储适合大数据量批处理一次性写入，多次读取保证数据一致性通过多副本提高可靠性36HDFS文件系统读文件流程写文件流程37YarnApache

Hadoop

YARN

是一种新的Hadoop

资源管理器，它是一个通用资源管理系统和调度平台，可为上层应用提供统一的资源管理和调度，它的引入为集群在利用率、资源统一管理和数据共享等方面带来了巨大好处。YARN相当于一个分布式的操作系统平台，而MapReduce等运算程序则相当于运行于操作系统之上的应用程序。YARN提供多类型资源调度，提供多种资源调度器，支持多租户YARN支持内存和CPU两种资源隔离可以同时运行长应用程序和短应用程序可以支撑Hadoop生态的各种计算框架38MapReduceHadoop

MapReduce是一个软件框架，基于该框架能够容易地编写应用程序，这些应用程序能够运行在由上千个商用机器组成的大集群上，并以一种可靠的，具有容错能力的方式并行地处理上TB级别的海量数据集。MapReduce

是采用一种分而治之的思想设计出来的分布式计算框架，MR由两个阶段组成：1、Map阶段(把复杂的任务分解为若干个“简单的任务”来处理)2、Reduce阶段(对map阶段的结果进行汇总)适合海量数据批处理适合处理半结构和无结构化数据性能可随机器数量线性扩展Web访问日志分析（典型应用）可应用于机器学习（如：Mhout）39MapReduce一个案例：40ZooKeeperZooKeeper，是一个分布式服务框架，是Apache

Hadoop

的一个子项目，它主要是用来解决分布式应用中经常遇到的一些数据管理问题，如：统一命名服务、状态同步服务、集群管理、分布式应用配置项的管理等。简单来说zookeeper=文件系统+监听通知机制。在Hadoop中，ZooKeeper主要用于实现HA(High

Availability），包括HDFS的NamaNode和YARN的ResourceManager的HA在YARN中，ZooKeeper用来存储应用的运行状态还可用于负载均衡、数据的发布和订阅等41HBaseHBase是一个高可靠、高性能、面向列、可伸缩的分布式数据库，是谷歌BigTable的开源实现，主要用来存储非结构化和半结构化的松散数据。HBase的目标是处理非常庞大的表，可以通过水平扩展的方式，利用廉价计算机集群处理由超过10亿行数据和数百万列元素组成的数据表。海量存储，列式存储，高并发极易扩展，可以横向添加RegionSever的机器，进行水平扩展可以支撑高并发KV查询场景可以支撑实时或批量数据更新42HiveHive是基于Hadoop的一个数据仓库工具，用来进行数据提取、转化、加载，这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。Hive数据仓库工具能将结构化的数据文件映射为一张数据库表，并提供SQL查询功能，能将SQL语句转变成MapReduce任务来执行。操作接口采用类SQL语法，学习成本低避免了去写MapReduce，开发效率高适用于海量结构化数据离线分析WEB访问日志分析（典型应用）可用于构建离线数据仓库43SparkSpark是UC

BerkeleyAMP

lab

(加州大学伯克利分校AMP实验室)所开源的类HadoopMapReduce的通用并行框架,

专门用于大数据量下的迭代式计算.Spark

运算比

Hadoop

的

MapReduce

框架快，原因是

Hadoop

在一次

MapReduce

运算之后，会将数据的运算结果从内存写入到磁盘中，第二次

Mapredue

运算时在从磁盘中读取数据,所以其瓶颈在2次运算间的多余

IO

消耗.。Spark

则是将数据一直缓存在内存中,直到计算得到最后的结果，再将结果写入到磁盘，所以多次运算的情况下，Spark

是比较快的。快速：运算速度快，比MR快10到100倍易用：Spark提供了支持多种语言的API，如Scala、Java、Python、R等，使得用户开发Spark程序十分方便通用：Spark提供了一系列面向不同应用需求的组件，主要有Spark

SQL、SparkStreaming、MLlib、GraphX44Spark伯克利大学将Spark的整个生态系统成为

伯克利数据分析栈(BDAS),在核心框架

Spark的基础上,主要提供四个范畴的计算框架:SparkSQL：提供了类

SQL

的查询,返回Spark-DataFrame

的数据结构Spark

Streaming：流式计算,主要用于处理线上实时时序数据Mllib：

提供机器学习的各种模型和调优GraphX：提供基于图的算法45SqoopSqoop

-“SQL到Hadoop和Hadoop到SQL”Sqoop是一个用于在Hadoop和关系数据库服务器之间传输数据的工具。它用于从关系数据库（如MySQL，Oracle）导入数据到Hadoop

HDFS，并从Hadoop文件系统导出到关系数据库。它由Apache软件基金会提供。Sqoop导入：导入工具从RDBMS向HDFS导入单独的表。Sqoop导出：导出工具将一组文件从HDFS导出回RDBMSSqoop主要应用于传统关系型数据库和Hadoop生态之间的数据交换46FlumeFlume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方(比如文本、HDFS、Hbase等)的能力

。Flume可以将应用产生的数据存储到任何集中存储器中，比如HDFS，HBase。Flume的管道是基于事务，保证了数据在传送和接收时的一致性。Flume主要应用于Web日志采集、内容推送，也可以用作数据同步工具，比如以利用插件把关系型数据实时增量的导入到Hdfs外部数据源。47OozieOozie起源于雅虎，是用于Hadoop平台的开源的工作流调度引擎。用来管理Hadoop作业，属于web应用程序，由Oozie

client和Oozie

Server两个组件构成。Oozie主要用于管理与组织Hadoop工作流，Oozie的工作流必须是一个有向无环图，实际上Oozie就相当于Hadoop的一个客户端，当用户需要执行多个关联的MR任务时，只需要将MR执行顺序写入workflow.xml，然后使用Oozie提交本次任务，Oozie会托管此任务流。可视化作业流运行过程支持运行结果或异常的通报主要应用于Hadoop需要按顺序进行的一系列任务的安排，如：需要并行处理的任务、需要定时、周期触发的任务48AmbariApache

Ambari是一种基于Web的工具，支持Apache

Hadoop集群的供应、管理和监控。Ambari已支持大多数Hadoop组件，包括HDFS、MapReduce、Hive、Pig、

Hbase、Zookeeper、Sqoop和Hcatalog等。创建Hadoop

的集群管理Hadoop

的集群监控Hadoop

的集群这里的

Hadoop

是广义，指的是Hadoop

整个生态圈（例如

Hive，Hbase，Sqoop，Zookeeper

等）49任务实施项目所需软件下载清单官方网址项目一安装环境准备VMwareWorkstation16Pro试用版https:///cn.htmlhttps:///cn/VMware-Workstation-Pro/index.htmlOpenEuler22.03LTS（DVDISO版本）/zh//zh/SecureCRT8.7.3（试用）MobaXterm（免费软件）/products/securecrt//download.html项目二Hadoop集群完全分布式部署OpenEuler22.03LTS（everything完整版）/zh/https:///zh/OpenEuler22.03LTS（DVDISO版本）/zh//zh/JDK8https:///java/technologies/downloads/Hadoop3.3.4//docs/r3.3.4/一、软件下载清单及官方网址50一、软件下载清单及官方网址项目所需软件下载清单官方网址项目三Hadoop生态系统常用组件部署HBase2.4.14/https:///book.html#configurationZookeeper-3.7.1/https:///releases.htmlMySQL8.0.28/archives/community/Hive-3.1.3//hive/Spark/Sqoop/Flume/Kafka/项目四HadoopHA集群部署Zookeeper-3.7.1/https:///releases.htmlJDK8https:///java/technologies/downloadshttps:///Zookeeper-3.7.1/https:///releases.htmlHadoop3.3.4//docs/r3.3.4/51二、VMwareWorkstationPro试用版软件下载52三、OpenEuler软件下载53四、JDK8软件下载54五、Hadoop软件下载550102目录任务1了解大数据的基本概念任务2下载所需软件安装包03任务3虚拟机软件VMWareWorkstationPro的安装与使用04任务4OpenEulerLinux操作系统安装与基础使用任务3虚拟机软件VMWare

WorkstationPro的安装与使用3任务目标1、 能够正确配置虚拟机的网络连接模式2、 能够正确配置虚拟机的选项设置3、 能够熟练创建虚拟机4、 能够熟练使用虚拟机能力目标1、理解VMwareWorkstation网络连接模式2、理解VMwareWorkstation选项设置知识目标59知识准备VMwareWorkstationPro是业界标准的桌面Hypervisor，用于在Linux或WindowsPC上运行虚拟机。官方网站提供免费体验功能齐全的30天试用版。VMwareWorkstationPro使专业技术人员能够在同一台PC上同时运行多个基于x86的Windows、Linux和其他操作系统，从而开发、测试、演示和部署软件。可以在虚拟机中复制服务器、桌面和平板电脑环境，并为每个虚拟机分配多个处理器内核、千兆字节的主内存和显存。Workstation16Pro改进了行业定义技术，DirectX11和OpenGL4.13D加速图形支持，新的暗模式用户界面，支持Windows10版本2004及更高版本的主机上的WindowsHyper-V模式，用于支持容器和Kubernetes集群的新CLI：'vctl'，支持最新的Windows和Linux操作系统，以及更多。一、VMwareWorkstationPro简介60二、VMwareWorkstationPro网络连接模式(一)桥接模式网络连接(二)NAT模式网络连接61二、VMwareWorkstationPro网络连接模式（续）(三)仅主机模式网络连接(四)自定义网络连接配置62回顾：VMwareWorkstationPro网络连接模式有哪几种？63任务3虚拟机软件VMWare

WorkstationPro的安装与使用3任务实施一、VMwareWorkstationPro的安装检测到电脑未启用虚拟化检测到电脑已启用虚拟化65启用VT-x（由于Hyper-V引起的）命令：bcdedit

/set

hypervisorlaunchtype

off一、VMwareWorkstationPro的安装66一、VMwareWorkstationPro的安装（续）VMnet1虚拟网卡的详细信息VMnet8虚拟网卡的详细信息67任务3虚拟机软件VMWare

WorkstationPro的安装与使用3思考：VMwareWorkstationPro虚拟机软件已经安装完成，

接下来就要在VmwareWorkstation中创建虚拟机了，

如何将新创建虚拟机的IP地址设置为：28

?69二、VMwareWorkstationPro的使用(一)配置虚拟网络编辑器70二、VMwareWorkstationPro的使用（续）虚拟网络编辑器-NAT设置虚拟网络编辑器-DHCP设置71二、VMwareWorkstationPro的使用（续）(二)VMwareWorkstationPro软件主界面72二、VMwareWorkstationPro的使用（续）(三)创建新的虚拟机新建虚拟机向导–欢迎界面安装来源选择客户机操作系统命名虚拟机指定磁盘容量已准备好创建虚拟机配置完成虚拟机硬件完成新建虚拟机73二、VMwareWorkstationPro的使用（续）(四)使用虚拟机740102目录任务1了解大数据的基本概念任务2下载所需软件安装包03任务3虚拟机软件VMWareWorkstationPro的安装与使用04任务4OpenEulerLinux操作系统安装与基础使用任务4OpenEulerLinux

操作系统安装与基础使用4任务目标1、能够正确完成OpenEulerLinux操作系统的安装2、能够熟练使用OpenEulerLinux操作系统的基础系统管理命令3、能够熟练完成OpenEulerLinux操作系统的静态网络地址参数配置4、能够熟练使用OpenEulerLinux操作系统的命令行模式下文本编辑器5、能够熟练完成OpenEulerLinux操作系统的FTP服务器的安装与配置能力目标1、理解OpenEulerLinux操作系统安装时设置参数的含义2、熟悉OpenEulerLinux操作系统基础系统管理命令3、熟悉OpenEulerLinux操作系统网络配置过程4、熟悉OpenEulerLinux操作系统命令行模式下的文本编辑器的使用知识目标78提示：Linux是一种操作系统，要学会用好Linux操作系统，边学边练、边学边试，是一个好方法。

所以建议同学们在未安装完成OpenEulerLinux操作系统前先暂停下面的知识准备这部分内容学习，请先观看教学视频“项目1-任务4-任务实施-1-OpenEulerLinux操作系统安装”，在前面创建好的虚拟机基础上完成OpenEulerLinux操作系统的安装后，再继续下来的学习，便于边学习、边练习。79知识准备一、OpenEulerLinux操作系统简介2021年11月9日，操作系统产业峰会2021上，华为宣布将欧拉开源操作系统（OpenEuler）正式捐赠给开放原子开源基金会，捐赠内容包括代码和软件包，创新项目，商标，域名，社区基础设施等相关资产。欧拉开源操作系统（openEuler,简称“欧拉”）和鸿蒙不一样，鸿蒙面向的是各种终端，偏应用，而欧拉一开始是服务器操作系统，2021年9月份正式升级为面向数字基础设施的操作系统，支持服务器、云计算、边缘计算、嵌入式等应用场景，支持多样性计算，致力于提供安全、稳定、易用的操作系统。通过为应用提供确定性保障能力，支持OT领域应用及OT与ICT的融合。开放原子开源基金会是国家牵头，大厂参与的开源组织，目前华为、腾讯、阿里等大厂都在，这是实现我国科技独立自主的奠基石，也是面对美国高科技制裁的自保手段，华为捐赠欧拉系统，势必会吸引更多的创新力量，跟产业伙伴们一起发展中国的数字底座。“缺芯少魂”是我国一直存在的问题，华为此举是想和产业伙伴一起解决“少魂”的问题。前端鸿蒙，后端欧拉，华为的基础软件体系有望重塑国产数字化底座。80二、查看系统信息功能命令查看操作系统more/etc/os-release查看CPU信息lscpu查看内存信息free-h查看磁盘信息fdisk–l或df-h查看系统资源实时信息top功能命令查看各网卡IP地址ipaddr查看路由信息iproute查看DNS信息more/etc/resolv.conf测试网络连通性ping具体ip地址查看系统信息命令查看网络配置信息命令81任务4OpenEulerLinux

操作系统安装与基础使用4三、配置网络84(一)使用nmcli命令配置网络(二)通过ifcfg-网络参数配置文件配置网络使用nmcli命令配置的网络参数可以即时生效，而且会同时修改网络配置文件，重启仍生效nmcli命令功能强大、使用方便，建议能够熟练使用nmcli进行网络配置，重点学习并掌握通过ifcfg-网络参数配置文件，只能配置网络的参数，还需要nmcli命令才能使得配置的参数生效(三)使用ip命令配置网络使用ip命令配置的网络参数可以即时生效，但是不会同时修改网络配置文件，重启失效ip命令使用简便，可以用来快速查看网络三、配置网络（续）(一)使用nmcli命令配置网络功能命令常规命令，显示NetworkManager状态#nmcligeneralstatus显示connectionOBJECT的COMMAND命令参数#nmcliconnection--help显示所有网络连接#nmcliconnectionshow修改网络设备配置参数#nmcliconnectionmodiens160{参数}显示由NetworkManager识别到设备及其状态#nmclidevicestatus显示所有网络设备当前状态信息#nmclideviceshow连接到对应网络设备，并激活配置#nmclideviceconnectens160断开网络设备连接#nmclidevicedisconnectens160使用nmcli工具启动和停止网络接口（root权限）#nmcliconnectionupidens160#nmclidevicedisconnectens160nmcli命令使用示例85三、配置网络（续）(一)使用nmcli命令配置网络使用nmcli命令-配置动态IP连接（DHCP）首先获取当前活动的连接，输入命令：#nmcliconnectionshow–-active

注意：以下命令中出现的ens160为本书编写时创建的虚拟机网卡名，要根据实际输出进行修改。查询当前网卡网络连接状态，输入命令：#nmclideviceshowens160判断网卡是否为DHCP动态IP连接，输入命令：#nmcliconnectionshowens160|grepipv4，如果ipv4.method为auto则为DHCP动态IP地址，如果ipv4.method为manual则为静态IP地址。配置网卡为DHCP动态IP连接，输入命令：#nmcliconnectionmodifyens160ipv4.methodauto使网卡配置参数生效，输入命令：#nmclideviceconnectens160

注意：如果参数配置不正确，远程终端仿真软件将连接不上可以再次输入命令：#nmclideviceshowens160，检查网卡最新配置是否生效可以试ping一下网关及外网：ping，ping，ping86注意：以上使用nmcli命令配置的网卡参数将立即生效并保存在网卡配置文件，重启系统将保存配置，可以输入以下命令查看：#more/etc/sysconfig/network-scripts/ifcfg-ens160三、配置网络（续）(一)使用nmcli命令配置网络（续）使用nmcli命令-配置静态IP连接（静态IP地址）首先获取当前活动的连接，输入命令：#nmcliconnectionshow–-active，#nmcliconnectshowens160查看ens160网络配置查询当前网卡网络连接状态，输入命令：#nmclideviceshowens160判断网卡是否为静态IP连接，输入命令：#nmcliconnectionshowens160|grepipv4，如果ipv4.method为auto则为DHCP动态IP地址，如果ipv4.method为manual则为静态IP地址。将IPv4地址（28）分配给ens160网卡，输入命令：

nmcliconnectionmodifyens160ipv4.address28/24配置ens160网卡的网关IP地址（），输入命令：#nmcliconnectionmodifyens160ipv4.gateway配置ens160网卡的DNS地址（），输入命令：#nmcliconnectionmodifyens160ipv4.dns配置网卡为静态IP连接，输入命令：#nmcliconnectionmodifyens160ipv4.methodmanual

注意：先设置IP地址、网关、DNS后，再设置为静态IP连接。使网卡配置参数生效，输入命令：#nmclideviceconnectens160

注意：如果参数配置不正确，远程终端仿真软件将连接不上可以再次输入命令：#nmclideviceshowens160，检查网卡最新配置是否已经生效，并且参数正确可以试ping一下网关及外网：ping，ping，ping注意：以上使用nmcli命令配置的网卡参数将立即生效并保存在网卡配置文件，重启系统将保存配置，可以输入以下命令查看：#more/etc/sysconfig/network-scripts/ifcfg-ens16087思考：如何通过ifcfg-网络参数配置文件配置网络？

1、ifcfg-网络参数配置文件的存放路径位置在哪里？要熟记！

2、配置为网络静态IP地址，或动态IP地址（DHCP）时，网络配置文件的各项参数该如何配置？

3、配置好ifcfg-网络参数配置文件的各项参数后，如何将参数激活生效？88通过ifcfg文件-配置网络静态IP地址以及动态网络IP首先获取网卡当前的网络接口信息，输入命令：#ipaddressshow或#ipaddress使用文本编辑器vi修改网卡网络配置文件：/etc/sysconfig/network-scripts/ifcfg-ens160，修改参数配置文件内容，示例如下：通过ifcfg文件配置的网络配置不会立即生效，需要在root权限下执行命令

#nmcliconnectreload#重新加载配置文件参数#nmclideviceconnectens160#使网卡配置参数生效三、配置网络（续）(二)通过ifcfg-网络参数配置文件配置网络89 BOOTPROTO=dhcp DEVICE=ens160 ONBOOT=yesIPADDR=28 PREFIX=24 GATEWAY= DNS1= BOOTPROTO=none DEVICE=ens160 ONBOOT=yesIPADDR=28 PREFIX=24 GATEWAY= DNS1=功能命令显示网络接口信息，如：IP地址、子网掩码等#ipaddressshow，#ipaddrhelp显示ens160网卡信息#ipaddressshowens160启用网卡#iplinksetens160up关闭网卡#iplinksetens160down显示路由和默认网关信息#iprouteshow显示arp条目（ip邻居）#ipneighbourshow显示网络统计#ip-slinkip命令使用常用示例三、配置网络（续）(三)使用ip命令配置网络90使用ip命令-配置静态IP连接（静态IP地址）首先获取网卡当前的网络接口信息，输入命令：#ipaddressshow在root权限下，设置静态IP地址，输入命令：#ipaddressadd28/24devens160设置路由网关IP地址，输入命令：#iprouteadddefaultvia设置DNS则需要修改文件/etc/resolv.conf，添加一行：nameserver可以试ping一下网关及外网：ping，ping，ping注意：使用ip命令配置的网络配置可以立即生效但系统重启后配置会丢失。要想保存网络设置，则修改网络配置文件：/etc/sysconfig/network-scripts/ifcfg-ens160三、配置网络（续）(三)

使用ip命令配置网络（续）91任务4OpenEulerLinux

操作系统安装与基础使用4三、配置网络（续）(四)配置主机名–使用hostnamectl命令查询当前主机名，使用命令：#hostnamectlstatus或#hostnamectl在root权限下设定主机名，使用命令：#hostnamectlset-hostname主机名设置主机名的命令示例：#hostnamectlset-hostnamemyHost，设置主机名为myHost。查询hostnamectl帮助信息，使用命令：#hostnamectlhelp或hostnamectl--help通过不同参数来设定特定主机名，使用命令：#hostnamectlset-hostname主机名[option…]，其中option可以是--pretty、--static、--transient中的一个或多个选项。如果--static或--transient与--pretty选项一同使用时，则会将static和transient主机名简化为pretty主机名格式，使用“-”替换空格，并删除特殊字符。当设定pretty主机名时，如果主机名中包含空格或单引号，需要使用引号。命令示例如下：#hostnamectlset-hostname"Stephen'snotebook"--pretty94三、配置网络（续）(四)配置主机名–使用nmcli命令查询主机名，使用命令：#nmcligeneralhostname

将主机名设定为myHost，使用命令：#nmcligeneralhostnamemyHost要让系统hostnamectl感知到主机名的更改，在root权限下，重启hostnamed服务，使用命令：#systemctlrestartsystemd-hostnamed95四、管理系统服务systemd提供systemctl命令来运行、关闭、重启、显示、启用/禁用系统服务。常用systemctl命令功能命令显示当前正在运行的服务#systemctllist-units--typeservice显示所有的服务（包括未运行的服务）#systemctllist-units--typeservice--all显示某个服务的状态#systemctlstatusname.service#systemctlstatusfirewalld#systemctlstatussshd显示某个服务是否运行#systemctlis-activename.service显示某个服务是否被启用#systemctlis-enabledname.service运行某个服务#systemctlstartname.service关闭某个服务#systemctlstopname.service重启某个服务#systemctlrestartname.service启用某个服务#systemctlenablename.service禁用某个服务#systemctldisablename.service96任务4OpenEulerLinux

操作系统安装与基础使用4五、使用DNF管理软件包(一)DNF简介DNF（DandifiedYUM）是基于RPM的Linux发行版的软件包管理器它用于在Fedora/RHEL/CentOS操作系统中安装、更新和删除软件包它是Fedora22，CentOS8和RHEL8的默认软件包管理器DNF是YUM的下一代版本，并打算在基于RPM的系统中替代YUMDNF功能强大且具有健壮的特征。DNF使维护软件包组变得容易，并且能够自动解决依赖性问题DNF是一款Linux软件包管理工具，用于管理RPM软件包DNF可以查询软件包信息，从指定软件库获取软件包，自动处理依赖关系以安装或卸载软件包，以及更新系统到最新可用版本DNF与YUM完全兼容，提供了YUM兼容的命令行以及为扩展和插件提供的API使用DNF需要管理员权限，本章节所有命令需要在管理员权限下执行99五、使用DNF管理软件包（续）(二)配置DNFDNF的主要配置文件是/etc/dnf/dnf.conf，该文件包含两部分：“main”部分保存着DNF的全局设置。“repository”部分保存着软件源的设置，可以有一个或多个“repository”。另外，在/etc/yum.repos.d目录中保存着一个或多个repo源相关文件，它们也可以定义不同的“repository”。所以openEuler软件源的配置一般有两种方式:一种是直接配置/etc/dnf/dnf.conf文件中的“repository”部分另外一种是在/etc/yum.repos.d目录下增加.repo文件。100任务4OpenEulerLinux

操作系统安装与基础使用4思考一：通过刚才的学习我们已经了解，OpenEuler安装后默认的软件源安装包都是连接到互联网地址的。在实际教学过程，学生实训时如果都是采用在线联网方式进行安装的话，将会面临两个严峻的问题：

1、如果上课实训的时候，访问外网如果出现网络问题，如何办？

2、即使没有访问外网的网络问题，全班那么多电脑同时在线联网方式下载并安装软件包，将对上网带宽带来严重挑战，安装速度将特别慢。

建议：在实际教学时，建议由教师在教室里的教师机电脑中安装配置好本地软件源仓库，学生可通过教室局域网访问软件源，解决带宽和在线联网网络的问题。

思考二：那如何创建一个本地的软件源仓库呢？103五、使用DNF管理软件包（续）(二)配置DNF（续）显示配置管理帮助信息，输入命令：#dnfconfig-manager–help显示相应软件源的配置，首先查询repoid：#dnfrepolist然后执行如下命令，显示对应id的软件源配置，其中repository-id为查询得到的repoid：#dnfconfig-manager--dumprepository-id示例：#dnfconfig-manager–dumpeverything也可以使用一个全局正则表达式，来显示所有匹配部分的配置：#dnfconfig-manager--dumpglob_expression示例：#dnfconfig-manager–dumpevery*104显示当前软件源配置五、使用DNF管理软件包（续）(二)配置DNF（续）创建.repo配置文件指向到本地仓库的路径，注意文件名一定要是.repo结尾。示例文件如下。#vi/etc/yum.repos.d/test.repo[test]name=test#yum仓库的名字baseurl=file:///mnt/local_repo#仓库路径，本地目录用file协议，访问教师机可以是http或ftpenabled=1#开启该仓库gpgcheck=0#不做gpg检查通过#dnfrepolist命令查看仓库及包的数量，可以看到创建的test仓库已经加载。105repo配置文件示例五、使用DNF管理软件包（续）(三)管理软件包管理软件包命令功能命令搜索软件包#dnfsearch软件包名称说明：软件包名称可以使用rpm名称、缩写。示例如下：#dnfsearchhttpd列出软件包清单#dnflistall列出系统中所有的rpm软件包信息#dnflisthttpd列出系统中特定的rpm软件包信息显示RPM包信息#dnfinfo软件包名称示例：#dnfinfohttpd安装RPM包#dnfinstall软件包名称1软件包名称2…软件包名称n示例：#dnfinstall-yhttpd下载软件包#dnfdownload软件包名称如果需要同时下载未安装的依赖，则加上--resolve选项#dnfdownload--resolve软件包名称示例：#dnfdownload–resolvehttpd删除软件包#dnfremove软件包名称示例：#dnfremovehttpd106五、使用DNF管理软件包（续）(四)管理软件包组管理软件包组命令功能命令列出可用软件包组数量#dnfgroupsummary列出系统中所有已安装的可用软件包组数量列出所有软件包组#dnfgrouplist或#dnfgrouplist显示软件包组信息#dnfgroupinfo软件包组名称示例：#dnfgroupinfo“DevelopmentTools”安装软件包组#dnfgroupinstall软件包组名称每一个软件包组都有自己的名称及相应的ID（groupID），可使用软件包组名称或它的ID进行安装#dnfgroupinstall软件包组ID示例：#dnfgroupinstall“DevelopmentTools”删除软件包组#dnfgroupremove软件包组名称示例：#dnfgroupremove“DevelopmentTools”107五、使用DNF管理软件包（续）(五)检查并更新dnf可以检查系统中是否有软件包需要更新。您可以通过dnf列出需要更新的软件包，并可以选择一次性全部更新或者只对指定包进行更新。检查更新#dnfcheck-update升级

#dnfupdate软件包名称示例如下：#dnfupdateanaconda-gui.aarch64类似的，如果需要升级软件包组，在root权限下执行如下命令：#dnfgroupupdate软件包组名称更新所有的包和它们的依赖

#dnfupdate108任务4OpenEulerLinux

操作系统安装与基础使用4六、文本编辑器vi的使用111六、文本编辑器vi的使用（续）vi编辑器命令模式的操作按键命令112六、文本编辑器vi的使用（续）vi编辑器末行模式的操作按键命令113任务4OpenEulerLinux

操作系统安装与基础使用4任务实施一、OpenEulerLinux操作系统安装116一、OpenEulerLinux操作系统安装（续）117任务4OpenEulerLinux

操作系统安装与基础使用4二、FTP服务器的安装与配置查看是否已经安装vsftpd查看是否已经安装vsftpd，可以输入命令：#rpm–qlvsftpd或#rpm-qa|grepvsftpd[root@host-server~]#rpm-qlvsftpd

#查看是否安装了vsftpd软件包[root@host-server~]#rpm-qa|grepvsftpd#查看是否安装了vsftpd软件包

[root@host-server~]#查找软件包的安装位置，输入命令：#whereisvsftpd[root@host-server~]#whereisvsftpd

#查看vsftpd软件包安装位置vsftpd:[root@host-server~]#whereishttpd

#查看httpd软件包安装位置httpd:/usr/sbin/httpd/usr/lib64/httpd/etc/httpd/usr/share/httpd/usr/share/man/man8/httpd.8.gz[root@host-server~]#120二、FTP服务器的安装与配置（续）安装vsftpd搜索vsftpd软件包，输入命令：#dnfsearchvsftpd或#yumsearchvsftpd[root@host-server~]#dnfsearchvsftpd#搜索vsftpd软件安装包安装vsftpd软件包，输入命令：#dnfinstall–yvsftpd或#yuminstall–yvsftpd[root@host-server~]#dnfinstall-yvsftpd#安装vsftpd软件包121二、FTP服务器的安装与配置（续）配置vsftpdopenEuler系统中，vsftpd默认不开放匿名用户。注意：为了便于访问vsftpd服务，需要允许匿名登录，用vi编辑vsftpd的主配置文件：/etc/vsftpd/vsftpd.conf，将默认参数anonymous_enable=NO修改为anonymous_enable=YES。anon_root匿名用户主目录，默认主目录：/var/ftp/pub122二、FTP服务器的安装与配置（续）管理vsftpd服务在启动vsftpd服务前，要关闭防火墙服务，以免vsftpd服务启动后，外面无法访问FTP服务。启动、停止和重启vsftpd服务，请在root权限下执行以下命令。启动vsftpd服务，输入命令：#systemctlstartvsftpd查看FTP服务的通信端口21是否开启，输入命令：#netstat–lnput|grep21说明：如果没有netstat命令，可以执行命令：#dnfinstall-ynet-tools安装后再使用。停止vsftpd服务，输入命令：#systemctlstopvsftpd重启vsftpd服务，输入命令：#systemctlrestartvsftpd设置系统重启自动运行vsftpd服务，输入命令：#systemctlenablevsftpd查看vsftpd服务状态，输入命令：#systemctlstatusvsftpd，确保vsftpd服务运行状态。123二、FTP服务器的安装与配置（续）访问vsftpd服务首先可以使用openEuler提供的FTP客户端进行验证。命令和回显如下，根据提示输入用户名和密码，用户名输入：anonymous，密码可以为空，因为已经配置允许匿名用户登录，所以如果显示Loginsuccessful，即说明FTP服务器搭建成功。另外，可运行Edge浏览器并使用InternetExplorer模式打开ftp网址，如果浏览器显示“目录pub”，就表示能够正常访问FTP服务器。1240102目录任务1规划大数据平台集群任务2基础环境配置03任务3HDFS配置、启动与验证04任务4YARN配置、启动与验证任务1规划大数据平台集群1任务目标1、能够正确完成Hadoop完全分布式部署的节点服务器角色规划表2、能够正确下载Hadoop完全分布式部署离线安装所需软件3、能够正确部署FTP服务器作为OpenEuler完整版的安装资源库4、能够正确部署HTTP服务器作为OpenEuler完整版的安装资源库能力目标1、了解Hadoop的四种部署模式2、熟悉Hadoop集群硬件架构知识目标129

知识准备130一、Hadoop的四种部署模式独立模式（LocalStandaloneMode）单机模式所有进程在一台机器的单个JVM上执行伪分布式模式（Pseudo-DistributedMode）单机上运行，使用分布式文件系统在一台机器上的多进程上运行Hadoop的各个模块完全分布式模式（Fully-DistributedMode）在多个节点上运行，使用分布式文件系统Hadoop的守护进程运行在多个主机节点构建的集群不同节点担任不同角色高可用完全分布式模式（HighlyAvailableFully-DistributedMode）在完全分布式模式基础上，引入HA机制，解决单点故障HA共享部署：NFS、QJM二、Hadoop集群硬件架构131Hadoop集群遵循主从架构，由一个或多个主节点（控制节点）和大量从节点组成，可以通过增减节点实现线性水平扩展Hadoop包含三大组件：HDFS、YARN和MapReduce任务1规划大数据平台集群1思考：

1、Hadoop包含哪几大组件？

2、Hadoop的每个组件包含哪些进程？134135任务实施一、Hadoop完全分布式部署的服务器角色规划master（IP：29）配置：2CPU、2G内存、20G硬盘slave1（IP：30）配置：2CPU、2G内存、20G硬盘slave2（IP：31）配置：2CPU、2G内存、20G硬盘NameNodeSecondaryNameNodeDataNodeDataNodeDataNodeResourceManagerNodeManagerNodeManagerNodeManagerJobHistoryServerHadoop完全分布式部署的服务器角色规划二、Hadoop完全分布式部署的离线安装所需软件包下载136项目所需软件下载清单官方下载网址Hadoop集群完全分布式部署OpenEuler22.03LTS（everything完整版）/zh//zh/OpenEuler22.03LTS（DVDISO版本）/zh//zh/SecureCRT8.7.3（试用）MobaXterm（免费软件）/products/securecrt//download.htmlJDK8https:///java/technologies/downloads/Hadoop3.3.4//docs/r3.3.4/离线安装Hadoop集群所需要的软件下载清单及官方下载网址任务1规划大数据平台集群1三、使用FTP服务器构建OpenEuler完整版的软件源仓库139启动vsftpd服务虚拟机光驱使用ISO映像文件Linux中挂载虚拟机光驱验证FTP服务器匿名用户访问的默认目录是否同步更新在FTP服务器本机中创建软件源仓库进行验证我们使用“项目一安装环境准备”

“任务四OpenEulerLinux操作系统基础使用”中已经创建好的FTP服务器来构建OpenEuler完整版的软件源仓库。140三、使用FTP服务器构建OpenEuler完整版的软件源仓库（续）1、启动vsftpd服务[root@host-serverftp]#systemctlstartvsftpd

#启动vsftpd服务[root@host-serverftp]#systemctlenable

vsftpd#开机自动启动vsftpd服务[root@host-serverftp]#systemctlstatusvsftpd

#查看vsftpd服务状态●vsftpd.service-VsftpdftpdaemonLoaded:loaded(/usr/lib/systemd/system/vsftpd.service;enabled;vendorpreset:disabled)Active:active(running)sinceTue2022-08-0209:52:04CST;10minagoProcess:792ExecStart=/usr/sbin/vsftpd/etc/vsftpd/vsftpd.conf(code=exited,status=0/SUCCESS)MainPID:794(vsftpd)Tasks:1(limit:8950)Memory:588.0KCGroup:/system.slice/vsftpd.service└─794/usr/sbin/vsftpd/etc/vsftpd/vsftpd.conf

8月0209:52:04host-serversystemd[1]:StartingVsftpdftpdaemon...8月0209:52:04host-serversystemd[1]:StartedVsftpdftpdaemon.141三、使用FTP服务器构建OpenEuler完整版的软件源仓库（续）2、虚拟机光驱使用ISO映像文件在VMwareWorkstationPro虚拟机软件中，在左侧虚拟机库的窗口，选中“我的计算机”

“OpenEuler虚拟机”，右键弹出菜单选择“设置”，在弹出窗口“虚拟机设置”中，将CD/DVD（IDE）连接“使用ISO映射文件”浏览并连接到将下载好的OpenEulereverything完整版iso文件openEuler-22.03-LTS-everything-debug-x86_64-dvd.iso142三、使用FTP服务器构建OpenEuler完整版的软件源仓库（续）3、Linux中挂载虚拟机光驱在Linux中使用mount命令挂载虚拟机光驱到/mnt目录，并查询光盘文件容量[root@host-serverftp]#mount/dev/cdrom/mnt

#挂载虚拟机光驱到/mnt目录mount:/mnt:WARNING:sourcewrite-protected,mountedread-only.[root@host-serverftp]#du-ch/mnt

#查看挂载目录的文件容量复制光盘文件到FTP服务器匿名用户的默认目录/var/ftp[root@localhost~]#cp-rf/mnt/*/var/ftp/

#复制光盘文件到FTP服务器匿名用户的默认目录[root@localhost~]#因为复制的文件目录为16GB，容量比较大，需要等待较长的一段时间才能复制完成。复制完成后可检查一下/var/ftp目录下文件的容量大小，如果为16G则表示复制成功[root@localhost~]#du-ch/var/ftp/

#查看/var/ftp目录下文件容量[root@localhost~]#143三、使用FTP服务器构建OpenEuler完整版的软件源仓库（续）4、验证FTP服务器匿名用户访问的默认目录是否同步更新方法一：在OpenEu