单元4 任务4.4-本地开发环境部署

《大数据平台部署与运维》单元4HDFS分布式存储任务4.4本地开发环境部署01理解JDK、Maven的概念与作用02能够正确完成本地开发环境安装部署学习目标任务4.4本地开发环境部署【任务场景】经理：小张，后面我们要使用Java开发应用了，你了解Java开发环境吗？小张：Java运行依赖于JDK，需要在本地安装JDK，开发项目还要考虑各种jar包的管理，一般会用Maven来做jar包管理。经理：先在你自己的Windows电脑上准备一下开发环境吧，把Java编译环境JDK、Jar包管理工具Maven安装好。开发工具推荐使用目前最常用的IntelliJIDEA，功能强大便捷，社区版免费使用，可以满足我们日常使用。小张：好的。任务4.4本地开发环境部署【任务布置】本任务要求理解JDK、Maven概念与作用，要求学生在Windows本机安装配置JDK与Maven，安装IDEA并完成初始化配置。任务4.4本地开发环境部署4.4.1认识JDKJDK：JavaDevelopmentKit是Java的标准开发工具包（普通用户只需要安装JRE来运行Java程序。而程序开发者必须安装JDK来编译、调试程序）。它提供了编译、运行Java程序所需的各种工具和资源，包括Java编译器、Java运行环境JRE，以及常用的Java基础类库等，是整个JAVA的核心。任务4.4本地开发环境部署JRE：Javaruntimeenvironment是运行基于Java语言编写的程序所不可缺少的运行环境，用于解释执行Java的字节码文件。JVM：JavaVirtualMachine是Java的虚拟机，是JRE的一部分。它是整个java实现跨平台的最核心的部分，负责解释执行字节码文件，是可运行java字节码文件的虚拟计算机。所有平台的上的JVM向编译器提供相同的接口，而编译器只需要面向虚拟机，生成虚拟机能识别的代码，然后由虚拟机来解释执行。因为JVM会将字节码文件解析成所有计算机都可以理解的机器码，从而在不同的平台上运行。任务4.4本地开发环境部署4.4.2认识MavenMaven是一个Jar包管理工具，也是构建工具，能把项目抽象成POM(projectobjectmodel)，Maven使用POM对项目进行构建、打包、文档化等操作。最重要的是解决了项目需要类库的依赖管理，简化了项目开发环境。Maven采用了不同方式对项目构建进行抽象，比如源码位置总是在src/main/java，配置文件则在src/main/resources中，编译好的类总是放在项目的target目录下。任务4.4本地开发环境部署总的来说，Maven实现了以下目标：1.使构建项目变得很容易，Maven屏蔽了构建的复杂过程。比如，你只需要输入mavenpackage就可以构建整个Java项目。2.统一了构建项目的方式，不同人、不同公司的项目都有同样的描述项目和构建项目的方式，Maven通过pom.xml来描述项目，并提供一系列插件来构建项目。3.提出了一套开发项目的最佳实践，而不用每个项目都有不同结构和构建方式，比如源代码在src/main/java中，测试代码在src/test/java中，项目需要的配置文件则放在src/main/resources中。4.包含不同环境项目的构建方式5.解决了类库依赖的问题，只需要声明使用的类库，Maven会自动从仓库下载依赖的jar包，并能协助你管理jar包之间的冲突。任务4.4本地开发环境部署4.4.2认识IDEAIntelliJIDEA是由JetBrains公司开发的Java编程语言的开发集成环境。IntelliJ在业界被公认为最好的java开发工具，尤其在智能代码助手、代码自动提示、重构、J2EE支持、各类版本工具(git、svn等)、JUnit、CVS整合、代码分析、创新的GUI设计等方面的功能可以说是超常的。IDEA优势：1.强大的整合能力：比如Git、Maven、Spring等支持；2.提示功能的快速、便捷；3.提示功能的范围比较广；4.好用的快捷键和代码模板；5.精准搜索。任务4.4本地开发环境部署【工作流程】安装JDK安装Maven安装IDEA创建Maven项目任务4.4本地开发环境部署【操作步骤】1.安装JDK进入Oracle官网下载Windows版JDK安装包，Hadoopv3开始只支持JDK1.8以上的版本，这里我们选择JDK1.8版本。任务4.4本地开发环境部署打开安装包后按照步骤进行安装，新版JDK会自动配置环境变量，无需手动添加环境变量。打开Windows自带cmd，执行命令查看是否安装成功：java–version若出现下面JDK信息，则代表安装成功。任务4.4本地开发环境部署2.安装Maven运行Maven依赖于Java环境，请确保已完成前面的JDK安装步骤。进入Maven官网下载Maven安装包，选择apache-maven-版本号-bin.zip进行下载。任务4.4本地开发环境部署解压Maven压缩包，解压后将文件夹重命名为maven-3.8.3，版本号与下载的Maven版本号保持一致。桌面「此电脑」图标右击>属性>高级系统设置>高级>环境变量，进入环境变量界面。任务4.4本地开发环境部署在系统变量中新建MAVEN_HOME的环境变量，变量值为刚才解压的目录。将MAVEN_HOME配置到系统环境变量path中，双击path变量，新建，输入%MAVEN_HOME%\bin后点击确定即可。环境变量path的作用：提供Windows命令行中指令的可执行文件路径，当我们在命令行中键入指令时，根据环境变量中的path值，找到对应的指令可执行文件进行执行。简单来说就是配置在path中的目录参数，在命令行中的任何目录下都可以使用。任务4.4本地开发环境部署打开Windows自带cmd，执行命令查看是否安装成功：mvn-version若出现下面Maven信息，则代表安装成功。接下来需要配置本地Maven仓库目录，本地仓库相当于是远程仓库的一个缓存，当项目需要下载jar包的时候首先去本地Maven仓库去找，如果找到则从本地Maven仓库下载，找不到则去远程仓库去找。默认的本地仓库路径为${user.home}/.m2/repository，因为项目的依赖会从远程仓库下载后会缓存到本地仓库，如果使用默认的本地仓库路径则会使C盘越来越大。所以我们需要修改配置，将本地仓库指定到空间较大的目录。在一个磁盘中创建一个文件夹，取名为repository。具体路径依据个人情况而定，建议放到非C盘，且容量较大的磁盘。任务4.4本地开发环境部署打开Maven安装目录，进入conf目录，打开settings.xml进行编辑。找到localRepository配置，修改为刚才创建的目录。注意要将此项配置移出注释。任务4.4本地开发环境部署保存配置文件后在Windows自带cmd执行命令，检验是否设置成功：mvnhelp:system打开刚才创建的文件夹，查看是否有文件生成，有文件生成代表修改已生效。接下来需要修改Maven远程仓库源，Maven默认远程仓库服务器在国外，速度不稳定，可以替换为阿里源，提高开发效率。任务4.4本地开发环境部署再次打开settings.xml进行编辑，加入阿里源。<mirror>

<id>alimaven</id>

<mirrorOf>central</mirrorOf>

<name>aliyunmaven</name>

<url>/nexus/content/repositories/central/</url></mirror>

任务4.4本地开发环境部署3.安装社区版IDEA本教材后续任务都将基于IntelliJIDEA（下文简称IDEA）进行开发，现在我们来安装IDEA，社区版IDEA可以满足日常开发需求，进入Jetbrains官网下载社区版IDEA。下载完成后按照步骤进行，即可完成安装。Jetbrains官网也提供了IDEA教育版下载链接，教育版需注册Jetbrains账户，并提供相关材料，认证通过后可使用IDEA教育版进行开发，具体步骤请参考Jetbrains官网。任务4.4本地开发环境部署初始化配置，修改常用配置项。（1）文件字符编码任务4.4本地开发环境部署（2）配置Maven任务4.4本地开发环境部署4.使用IDEA创建Hadoop项目打开IDEA，新建Maven项目，项目名为HDFS-helloworld。任务4.4本地开发环境部署展开项目，修改pom.xml，加入Hadoop依赖。pom.xml文件全内容为以下所示<?xmlversion="1.0"encoding="UTF-8"?><projectxmlns="/POM/4.0.0"xmlns:xsi="/2001/XMLSchema-instance"xsi:schemaLocation="/POM/4.0.0/xsd/maven-4.0.0.xsd"><modelVersion>4.0.0</modelVersion>

<groupId>org.example</groupId><artifactId>HDFS-helloworld</artifactId><version>1.0-SNAPSHOT</version>

<dependencies><dependency><groupId>junit</groupId><artifactId>junit</artifactId><version>RELEASE</version></dependency><dependency><groupId>org.apache.hadoop</groupId><artifactId>hadoop-hdfs</artifactId><version>3.1.1</version></dependency><dependency><groupId>org.apache.hadoop</groupId><artifactId>hadoop-client</artifactId><version>3.1.1</version></dependency><dependency><groupId>org.apache.hadoop</groupId><artifactId>hadoop-common</artifactId><version>3.1.1</version></dependency><dependency><groupId>org.apache.logging.log4j</groupId><artifactId>log4j-core</artifactId><version>2.8.2</version>