本文主要是介绍Flink实战（113）：flink-sql使用（二十一）Flink SQL FileSystem Connector分区提交与自定义小文件合并策略，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！
1 Prologue
之前笔者在介绍Flink 1.11 Hive Streaming新特性时提到过，Flink SQL的FileSystem Connector为了与Flink-Hive集成的大环境适配，做了很多改进，而其中最为明显的就是分区提交（partition commit）机制。本文先通过源码简单过一下分区提交机制的两个要素——即触发（trigger）和策略（policy）的实现，然后用合并小文件的实例说一下自定义分区提交策略的方法。
2 PartitionCommitTrigger
在最新的Flink SQL中，FileSystem Connector原生支持数据分区，并且写入时采用标准Hive分区格式，如下所示。
path
└── datetime=2019-08-25└── hour=11├── part-0.parquet├── part-1.parquet└── hour=12├── part-0.parquet
└── datetime=2019-08-26└── hour=6这篇关于Flink实战（113）：flink-sql使用（二十一）Flink SQL FileSystem Connector分区提交与自定义小文件合并策略的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！
