本文主要是介绍FlinkX配置文件解析,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!
FlinkX配置文件解析
配置文件 (本章节引自官网)
一个完整的Flinkx任务脚本配置包含 content, setting两个部分。content用于配置任务的输入源与输出源,其中包含reader,writer。而setting则配置任务整体的环境设定,其中包含restore,speed,errorLimit,dirty,log。具体如下所示:
{"job" : {"content" :[{"reader" : {......},"writer" : {......}}],"setting" : {"restore" : {......},"speed" : {......},"errorLimit" : {......},"dirty" : {......},"log" : {......}}}
}
名称 | 说明 | 是否必填 | |
---|---|---|---|
content | reader | reader插件详细配置 | 是 |
writer | writer插件详细配置 | 是 | |
setting | restore | 任务类型及断点续传配置 | 否 |
speed | 速率限制 | 否 | |
errorLimit | 出错控制 | 否 | |
dirty | 脏数据保存 | 否 | |
log | 日志记录配置 | 否 |
content配置
reader
reader用于配置数据的输入源,即数据从何而来。具体配置如下所示:
"reader" : {"name" : "xxreader","parameter" : {......}
}
名称 | 说明 | 是否必填 |
---|---|---|
name | reader插件名称,具体名称参考各数据源配置文档 | 是 |
parameter | 数据源配置参数,具体配置参考各数据源配置文档 | 是 |
writer
writer用于配置数据的输出源,即数据写往何处。具体配置如下所示:
"writer" : {"name" : "xxwriter",
这篇关于FlinkX配置文件解析的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!