flink部署操作-on yarn集群安装

1、yarn1. 在yarnflinkyarn1. 在yarnflink2. 在yarn 上运行一个flink flinkyarn 1. 启动flink2. 提交任务到在yarn 上运行一个独立的flink 1. 用户依赖jarflinkonyarnflinkflinkonyarn20180316 日 09:32:05 bigdata1024阅读数 调试一个失败的yarn 1. 日志文件2. yarnnt 控制台和web针对指定的hadoop 版本构建yarn 在yarn 上运行flinkflinkon在yarnflink启动一个调试一个失败的yarn 1. 日志文件2. yarnnt 控制台和w

2、eb针对指定的hadoop 版本构建yarn 在yarn 上运行flinkflinkon在yarnflink启动一个yarn4 个taskmanager4GB后面的内存-jmtmtarxvzfflink-1.4.2-bin-hadoop2.tgz cd flink-1.4.2/.sh-n4-jm1024-tm通过-s参数指定每一个taskmanager分配多少个slots(处理进程)置为每个机器的CPU 核数。一旦在yarn 上运行一个flink tarxvzfflink-1.4.2-bin-cdflink-./bin/flinkrun-myarn-cluster-yn4-yjm 1024-

3、4096flinkyarn西，如果已经有一个安装配置好的yarn至少是hdfs（或者是其它支持hadoop 的分布式文件系统如果你在使用flink yarn ntflinkyarn西，如果已经有一个安装配置好的yarn至少是hdfs（或者是其它支持hadoop 的分布式文件系统如果你在使用flink yarn nt启动flink按照下面的步骤来学习如何在yarn 集群上启动一个flink 一个将会包含所有必须的flink 服务(jobmanager 和hadoop2 对应的flink安装包，点tarxvzfflink-1.4.2-bin-cdflink-启动一个使用下面命令启动一个用法JobM

4、anager的内存使用下面命令启动一个用法JobManager的内存-qu,-queue-s,-slots请注意YARN 和HDFS失HADOOP_HOMEHADOOP_HOME ，YARN_CONF_DIR，HADOOP_CONF_DIR10 个taskmanager8G32 个.sh-n10-tm8192-s的配置指南-DLROTQUT_GXT模式将会覆盖一些配置文件UHSGTGMXXVIGJJXKYY因LROTQUT_GXT模式将会覆盖一些配置文件UHSGTGMXXVIGJJXKYY因UHSGTGMX总是分配在不同的机器 ZGYSGTGMXZ使用 和VGXGRYS JGZ 如果 YURZ

5、Y 的数量已经被指定如果你不想修改配置文件去改变参数，有一个选择是通过动态的参数 *所以你可以传递参数： *LYUKXOK YZK ZYQGMK TUX SU_上面的例子将会启动 即使仅请求 来启动VVGZUTGYZX 和 PUH 一旦LROTQ在你的_GXT集群上部署，它将会显示PUHSGTGMX的连接详细信息停止_GXT 82 )TZ 中输入YZUV,TQUT_GXT只会启动请求的资源，如果集群资源充足。大多_GXT调度 Y 参数指定。这个参数_GXT IUTZGTX IUXKY 的值允许使用一个自定义值_GXT 如果你不希望LROTQ _GXT TZ 一直运行，也可以启动一运行的。使用这

6、个参数： J 或者 JINJ在这种情况下，flinkyarn 在这种情况下，无法使用flink 停止yarn 。使用yarn 工具 来停止yarn yarnapplication-kill附着到一个已存在的使用下面命令启动一个用法 在这种情况下，flinkyarn 在这种情况下，无法使用flink 停止yarn 。使用yarn 工具 来停止yarn yarnapplication-kill附着到一个已存在的使用下面命令启动一个用法 或者到YARN 和HDFS例如：发出下面命令可以附着到一个运行中的flink yarn .sh-id附着到一个运行的使用yarn resourcemanager 来

7、确定job 的RPC停止yarnCTRL+Cnt提交任务到令提交一个flink 程序到yarnrun用法runOPTIONSjar-file jobmanager run用法runOPTIONSjar-file jobmanager 使用run 命令向yarnjob。客户端可以确定jobmanager当然，你也可以通过-m 参数指定jobmanager。jobmanager 的地址在例子：wget-OLICENSE- hadoopfs-copyFromLocalLICENSE-2.0.txthdfs:/./bin/flinkrun 需要使用 input 和 output 参数指定：上 ./bi

8、n/flinkrunles/batch/WordCount.jar- run操作参数-c,-class如果有以下错误，确保所有taskmanagertimed你可以在jobmanager 的webtaskmanager 的数量。这个web面的地址会打印在yarn 如果没有发现taskmanager在yarnflink中启动只执行单个任务的flink请注意nt如果有以下错误，确保所有taskmanagertimed你可以在jobmanager 的webtaskmanager 的数量。这个web面的地址会打印在yarn 如果没有发现taskmanager在yarnflink中启动只执行单个任务的f

9、link请注意ntyn 参数(taskmanager./bin/flinkrun-myarn-cluster-yn2yarn 命令行的选项也可以使用./bin/flink或者yarn注意：通过为每个任务设置不同的环境变量 FLINK_CONF_DIR，。从 Flink 分发包中hreadmain用户依赖jar默认情况下，当运行一个独立的job 的时候，这个flink job当设置为 DISABLEDflink 将会包含用户classpath 下面的jar 用户依赖jar默认情况下，当运行一个独立的job 的时候，这个flink job当设置为 DISABLEDflink 将会包含用户class

10、path 下面的jar flinkonyarnflink 的 yarnconf/flink-conf.yaml 或者在启动yarn taskmanager 容器。默认是true最大失败次数，达到这个参数，就会认为yarn 数和初始化请求的taskmanager 数量相等(-n 参数指定的)。 调试一个失败的yarn 一个flinkyarn(hdfsyarncdhhadoop 调试一个失败的yarn 一个flinkyarn(hdfsyarncdhhadoopflink在某种情况下，flinkyarn 用户必须在yarn-site.xml 文件中设置yarn.log-aggregation-ena

11、ble 属性为yarnyarnlogs-applicationIdapplicationyarn nt 控制台和webflinkyarn如如果一个taskmanagermanageryarn.resourcemanager.webapp.address它运行在yarn针对指定的hadoop 版本构建yarn去构建 flink。请参考构建指南在manageryarn.resourcemanager.webapp.address它运行在yarn针对指定的hadoop 版本构建yarn去构建 flink。请参考构建指南在yarnflink一些yarnflinkyarn来提交flink jobjobm

12、anager(yarn 中的运行的_GXTGVROZUSHRUH_GXTGVROZUSHRUH 这两个配置选项接收单一的端口 例如： ，区间 者同时指定多个 G 也使用的是类似的机制，例如GVXJSTZVUXZ LROTQ UT 本节主要描述LROTQ 和_GXT 是如何交互YARN 客户端需要HadoopYARN 资源管理器和 HDFS可以使用下面的策略来决定 Hadoop 配置：测试 YARN_CONF_DIRHADOOP_CONF_DIR 或HADOOP_CONF_PATH（按该顺序测试）YARN 客户端需要HadoopYARN 资源管理器和 HDFS可以使用下面的策略来决定 Hadoo

13、p 配置：测试 YARN_CONF_DIRHADOOP_CONF_DIR 或HADOOP_CONF_PATH（按该顺序测试）$HADOOP_HOME/etc/hadoopHadoop2) 和$HADOOP_HOME/conf(Hadoop1当启动一个新的 ,TQ?84TZ 会话，客户端首先会检查所请求的资源（当启动一个新的 ,TQ?84TZ 会话，客户端首先会检查所请求的资源（器和内存）,TQ 配置和 PGX（步骤 ）客户端的下一步是请求（步骤 ）一个 ?84 容器启动 VVZUGZX（步骤 ）。因为客户端将配置和 PGX 文件作为容器的资特定机器上的 ?84 的 4UJGTGMX会负责准备容器（一旦这些完成了，