本文主要是介绍大数据-玩转数据-Spark-Structured Streaming 输出操作(python版),希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!
大数据-玩转数据-Spark-Structured Streaming 输出操作(python版)
1、说明
Structured Streaming流计算过程定义的DataFrame/Dataset结果,通过writeStream()方法写入到输出接收器,接收器对应关系如下:
接收器 | 支持输出模式 |
---|---|
File接收器 | Append |
Kafka接收器 | Append、Complete、Update |
Foreach接收器 | Append、Complete、Update |
Console接收器 | Append、Complete、Update |
Memory接收器 | Append、Complete |
writeStream()方法包括以下几个主要函数
format : 接收器类型
outputMode :输出模式
queryName :查询名称
trigger :触发间隔时间
2、socket输入File接收append模式代码
vi kafkastructuredwordCountresultsave1.py
#/usr/bin/env python3
from pyspark.sql import SparkSession
from pyspark.sql.functions import split
from pyspark.sql.functions import explode
from pyspark.sql.functions import lengthif __name__ == '__main__':spark =SparkSession.builder.appName
这篇关于大数据-玩转数据-Spark-Structured Streaming 输出操作(python版)的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!