FlinkX各种模式的启动脚本和解释

2023-11-11 21:58
文章标签 启动 模式 解释 脚本 flinkx

本文主要是介绍FlinkX各种模式的启动脚本和解释，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

官方启动参数说明

名称

说明

可选值

是否必填

默认值

mode

执行模式，也就是flink集群的工作模式

1.local: 本地模式

2.standalone: 独立部署模式的flink集群

3.yarn: yarn模式的flink集群，需要提前在yarn上启动一个flink session，使用默认名称"Flink session cluster"

4.yarnPer: yarn模式的flink集群，单独为当前任务启动一个flink session，使用默认名称"Flink per-job cluster"

否

local

job

数据同步任务描述文件的存放路径；该描述文件中使用json字符串存放任务信息

无

是

无

jobid

指定flink任务名称

无

否

Flink Job

pluginRoot

插件根目录地址，也就是打包后产生的pluginRoot目录。

无

否

$FLINKX_HOME/syncplugins

在linux上按该格式配置好环境变量即可，启动脚本就不必在配置这些参数

flinkconf

flink配置文件所在的目录

$FLINK_HOME/conf

否

$FLINK_HOME/conf

flinkLibJar

flink lib所在的目录（单机模式下不需要），如/opt/dtstack/flink-1.10.1/lib

$FLINK_HOME/lib

否

$FLINK_HOME/lib

yarnconf

Hadoop配置文件（包括hdfs和yarn）所在的目录

$HADOOP_HOME/etc/hadoop

否

$HADOOP_HOME/etc/hadoop

queue

yarn队列，如default

无

否

default

pluginLoadMode

yarn session模式插件加载方式

1.classpath：提交任务时不上传插件包，需要在yarn-node节点pluginRoot目录下部署插件包，但任务启动速度较快

2.shipfile：提交任务时上传pluginRoot目录下部署插件包的插件包，yarn-node节点不需要部署插件包，任务启动速度取决于插件包的大小及网络环境

否

shipfile

confProp

flink额外配置，如checkpoint、内存

flink.checkpoint.interval：快照生产频率(毫秒)

flink.checkpoint.timeout：快照超时时间(毫秒)

jobmanager.memory.mb：perJob模式下jobmanager内存设置

taskmanager.memory.mb：perJob模式下taskmanager内存设置

taskmanager.slots：perJob模式下jobmanager slots个数设置

否

无

s

checkpoint快照路径，设置后从该快照恢复任务

-s /user/flink/checkpoints/eb64f097c9504b1f1cfecb1420a71903/chk-2

否

无

p

自定义入参，用于替换脚本中的占位符，如脚本中存在占位符pt1,{pt2}，则该参数可配置为pt1=20200101,pt2=20200102

"path": "hdfs://xxx/user/hive/warehouse/xxx.db/xx/d=${pt1}"

否

无

appId

yarn session模式下，提交到指定的的flink session的application Id

否

无

krb5conf

提交到开启kerberos的Hadoop集群的krb5文件路径

否

无

keytab

提交到开启kerberos的Hadoop集群的keytab文件路径

否

无

principal

kerberos认证的principal

否

无

Local模式

在本地启动执行Flink任务，不需要下载安装Flink。当临时需要将某份数据源的数据做同步任务时，无需配置环境，只需编写任务脚本就可实现。该模式一次只能运行一个任务，且任务执行中无法查看指标等信息，因此适合小数据量低频率的任务

/usr/local/src/flinkx-1.10/bin/flinkx \ -job /usr/local/src/flinkx-1.10/docs/example/stream_stream.json

Standalone模式

需要事先启动Flink session，该模式可以同时运行多个同步任务，也方便观察任务运行状态和日志信息，但由于taskmanager持续运行的缘故，不适合长时间多任务持续提交任务

1. 每个flink服务的配置修改为parent-first: classloader.resolve-order: parent-first

2. 将flinkx的插件包syncplugins拷贝到每个$FLINK_HOME/lib下

3. 进入flink/bin目录 ./start-cluster.sh

4. 启动任务：pluginRoot指定syncplugins

/usr/local/src/flinkx-1.10/bin/flinkx \ -mode standalone \ -job /usr/local/src/flinkx-1.10/docs/example/stream_stream.json \ -confProp "{\"jobmanager.memory.mb\":200,\"taskmanager.memory.mb\":200}"

Yarn 模式

借助yarn来管理flink session，并通过队列来隔离不用的flink session，适合高频率的任务提交，目前生产环境中使用

再谈双亲委派模型与Flink的类加载策略

a. 将准备的如下的jar包上传到flink lib目录下： flink-shaded-hadoop-2-uber-2.4.1-9.0.jar

b. 启动 flink session 配置好flink的环境变量

1). nohup yarn-session.sh -qu default -n 1 -s 2 -jm 1024 -tm 1024 & 以这种方式运行需要在每个服务器节点相同路径下部署flinkx插件包(只需要syncplugins)，且flink-conf.yaml中classloader.resolve-order = child-first， 后续更新插件包时所有节点都需要更新，这种方式启动session的速度较快

2). nohup yarn-session.sh -qu root.default -jm 1024 -tm 1024 -ship $FLINKX_HOME/syncplugins/ & 以这种方式运行只需要在提交任务的节点部署flinkx插件包，且flink-conf.yaml中classloader.resolve-order = parent-first，但这种方式session启动速度较慢

/usr/local/src/flinkx-1.10/bin/flinkx \ -mode yarn \ -job /usr/local/src/flinkx-1.10/docs/example/stream_stream.json \ -pluginLoadMode classpath \ -queue root.default

Yarn Perjob模式

该模式为每个任务单独申请一个session，并且可以自由配置任务所需要的资源，适合资源消耗大以及如实时采集、间隔轮询等需要长时间运行的任务模式的选择标准，比如某个CPU

# 配置好Flink，FlinkX，Hadoop环境变量后，这三段代码实际作用一样
/usr/local/src/flinkx-1.10/bin/flinkx \ -mode yarnPer \ -job /usr/local/src/flinkx-1.10/docs/example/stream_stream.json \ -queue root.default /usr/local/src/flinkx-1.10/bin/flinkx \ -mode yarnPer \ -job /usr/local/src/flinkx-1.10/docs/example/stream_stream.json \ -pluginRoot $FLINKX_HOME/syncplugins \ -flinkconf $FLINK_HOME/conf \ -flinkLibJar $FLINK_HOME/lib \ -yarnconf $HADOOP_HOME/etc/hadoop \ -queue root.default /usr/local/src/flinkx-1.10/bin/flinkx \ -mode yarnPer \ -job /usr/local/src/flinkx-1.10/docs/example/stream_stream.json \ -pluginRoot /usr/local/src/flinkx-1.10/syncplugins \ -flinkconf /opt/cloudera/parcels/FLINK-1.10.1-BIN-SCALA_2.12/lib/flink/conf \ -flinkLibJar /opt/cloudera/parcels/FLINK-1.10.1-BIN-SCALA_2.12/lib/flink/lib \ -yarnconf /opt/cloudera/parcels/CDH/lib/hadoop/etc/hadoop \ -queue root.default

断点续传恢复

/usr/local/src/flinkx-1.10/bin/flinkx \ -mode yarnPer \ -job /usr/local/src/flinkx-1.10/job/mysql2hiverestore.json \ -confProp "{\"flink.checkpoint.interval\":30000}" \ -queue root.default \ -s /user/flink/cluster_yarn/checkpoints/eb64f097c9504b1f1cfecb1420a71903/chk-2

提交任务添加变量

bin/flinkx \ -mode local \ -job job_flinkx.json \ -p "date=20191122" job_flinkx.json: "name": "hdfsreader", "parameter": { "path": "hdfs://xxx/user/hive/warehouse/xxx.db/xx/d=${date}", "hadoopConfig": { "dfs.nameservices": "xxx", "dfs.ha.namenodes.xxx": "nn1,nn2", "dfs.namenode.rpc-address.xxx.nn1": "xxx-bd-nn01.self.internal:8020","dfs.namenode.rpc-address.xxx.nn2": "xxx-bd-nn02.self.internal:8020","dfs.client.failover.proxy.provider.xxx":"org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider" },

Flinkx启动脚本

/usr/local/src/flinkx-1.10/bin/flinkx

set -eexport FLINKX_HOME="$(cd "`dirname "$0"`"/..; pwd)"# Find the java binary
if [ -n "${JAVA_HOME}" ]; thenJAVA_RUN="${JAVA_HOME}/bin/java"
elseif [ `command -v java` ]; thenJAVA_RUN="java"elseecho "JAVA_HOME is not set" >&2exit 1fi
fiJAR_DIR=$FLINKX_HOME/lib/*
CLASS_NAME=com.dtstack.flinkx.launcher.Launcherecho "flinkx starting ..."
nohup $JAVA_RUN -cp $JAR_DIR $CLASS_NAME $@ &
tail -f nohup.out1.nohup
用途：不挂断地运行命令。
语法：nohup Command [ Arg … ] [　& ]无论是否将 nohup 命令的输出重定向到终端，输出都将附加到当前目录的 nohup.out 文件中。如果当前目录的 nohup.out 文件不可写，输出重定向到 $HOME/nohup.out 文件中。如果没有文件能创建或打开以用于追加，那么 Command 参数指定的命令不可调用。
退出状态：该命令返回下列出口值： 　　126 可以查找但不能调用 Command 参数指定的命令。 　　127 nohup 命令发生错误或不能查找由 Command 参数指定的命令。 　　否则，nohup 命令的退出状态是 Command 参数指定命令的退出状态。
2.&
用途：在后台运行
一般两个一起用
nohup command &

这篇关于FlinkX各种模式的启动脚本和解释的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/393073。

相关文章

MySQL数据库宕机，启动不起来，教你一招搞定！

MySQL数据库宕机，启动不起来，教你一招搞定！

作者介绍：老苏，10余年DBA工作运维经验，擅长Oracle、MySQL、PG、Mongodb数据库运维（如安装迁移，性能优化、故障应急处理等）公众号：老苏畅谈运维欢迎关注本人公众号，更多精彩与您分享。 MySQL数据库宕机，数据页损坏问题，启动不起来，该如何排查和解决，本文将为你说明具体的排查过程。 查看MySQL error日志 查看 MySQL error日志，排查哪个表（表空间
阅读更多...
wolfSSL参数设置或配置项解释

wolfSSL参数设置或配置项解释

1. wolfCrypt Only 解释：wolfCrypt是一个开源的、轻量级的、可移植的加密库，支持多种加密算法和协议。选择“wolfCrypt Only”意味着系统或应用将仅使用wolfCrypt库进行加密操作，而不依赖其他加密库。 2. DTLS Support 解释：DTLS（Datagram Transport Layer Security）是一种基于UDP的安全协议，提供类似于
阅读更多...
springboot3打包成war包，用tomcat8启动

springboot3打包成war包，用tomcat8启动

1、在pom中，将打包类型改为war <packaging>war</packaging> 2、pom中排除SpringBoot内置的Tomcat容器并添加Tomcat依赖，用于编译和测试,         *依赖时一定设置 scope 为 provided （相当于 tomcat 依赖只在本地运行和测试的时候有效，         打包的时候会排除这个依赖）<scope>provided
阅读更多...
在JS中的设计模式的单例模式、策略模式、代理模式、原型模式浅讲

在JS中的设计模式的单例模式、策略模式、代理模式、原型模式浅讲

1. 单例模式（Singleton Pattern） 确保一个类只有一个实例，并提供一个全局访问点。 示例代码： class Singleton {constructor() {if (Singleton.instance) {return Singleton.instance;}Singleton.instance = this;this.data = [];}addData(value)
阅读更多...
内核启动时减少log的方式

内核启动时减少log的方式

内核引导选项 内核引导选项大体上可以分为两类：一类与设备无关、另一类与设备有关。与设备有关的引导选项多如牛毛，需要你自己阅读内核中的相应驱动程序源码以获取其能够接受的引导选项。比如，如果你想知道可以向 AHA1542 SCSI 驱动程序传递哪些引导选项，那么就查看 drivers/scsi/aha1542.c 文件，一般在前面 100 行注释里就可以找到所接受的引导选项说明。大多数选项是通过"_
阅读更多...
用命令行的方式启动.netcore webapi

用命令行的方式启动.netcore webapi

用命令行的方式启动.netcore web项目 进入指定的项目文件夹，比如我发布后的代码放在下面文件夹中 在此地址栏中输入“cmd”，打开命令提示符，进入到发布代码目录 命令行启动.netcore项目的命令为:  dotnet 项目启动文件.dll --urls="http://*:对外端口" --ip="本机ip" --port=项目内部端口 例： dotnet Imagine.M
阅读更多...
Linux服务器Java启动脚本

Linux服务器Java启动脚本

Linux服务器Java启动脚本 1、初版2、优化版本3、常用脚本仓库 本文章介绍了如何在Linux服务器上执行Java并启动jar包， 通常我们会使用nohup直接启动，但是还是需要手动停止然后再次启动， 那如何更优雅的在服务器上启动jar包呢，让我们一起探讨一下吧。 1、初版 第一个版本是常用的做法，直接使用nohup后台启动jar包， 并将日志输出到当前文件夹n
阅读更多...
衡石分析平台使用手册-单机安装及启动

衡石分析平台使用手册-单机安装及启动

单机安装及启动​ 本文讲述如何在单机环境下进行 HENGSHI SENSE 安装的操作过程。 在安装前请确认网络环境，如果是隔离环境，无法连接互联网时，请先按照 离线环境安装依赖的指导进行依赖包的安装，然后按照本文的指导继续操作。如果网络环境可以连接互联网，请直接按照本文的指导进行安装。 准备工作​ 请参考安装环境文档准备安装环境。 配置用户与安装目录。 在操作前请检查您是否有 sud
阅读更多...
SpringBoot项目是如何启动

SpringBoot项目是如何启动

启动步骤 概念 运行main方法，初始化SpringApplication 从spring.factories读取listener ApplicationContentInitializer运行run方法读取环境变量，配置信息创建SpringApplication上下文预初始化上下文，将启动类作为配置类进行读取调用 refresh 加载 IOC容器，加载所有的自动配置类，创建容器在这个过程
阅读更多...
嵌入式Openharmony系统构建与启动详解

嵌入式Openharmony系统构建与启动详解

大家好，今天主要给大家分享一下，如何构建Openharmony子系统以及系统的启动过程分解。 第一：OpenHarmony系统构建      首先熟悉一下，构建系统是一种自动化处理工具的集合，通过将源代码文件进行一系列处理，最终生成和用户可以使用的目标文件。这里的目标文件包括静态链接库文件、动态链接库文件、可执行文件、脚本文件、配置文件等。      我们在编写hellowor
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2