Spark 中 Dataset.show 如何使用？有哪些值得注意的地方？

2023-12-08 08:48
文章标签 使用 地方 spark show dataset 值得注意

本文主要是介绍Spark 中 Dataset.show 如何使用？有哪些值得注意的地方？，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

前言

本文隶属于专栏《大数据技术体系》，该专栏为笔者原创，引用请注明来源，不足和错误之处请在评论区帮忙指出，谢谢！

本专栏目录结构和参考文献请见大数据技术体系

WHAT

Dataset.show 在我们平常 Spark 开发测试中经常使用。

它可以用来展示 Dataset。

重载方法

def show(numRows: Int): Unitdef show(): Unitdef show(truncate: Boolean): Unitdef show(numRows: Int, truncate: Boolean): Unitdef show(numRows: Int, truncate: Int): Unitdef show(numRows: Int, truncate: Int, vertical: Boolean): Unit

使用注意点

上面的 6 个重载方法有哪些值得注意的地方呢？

1. vertical

show() 方法存在 2 种打印模式

默认是横式的，如下所示：

  year  month AVG('Adj Close) MAX('Adj Close)1980  12    0.503218        0.5951031981  01    0.523289        0.5703071982  02    0.436504        0.4752561983  03    0.410516        0.4421941984  04    0.450090        0.483521

另一种是竖式的，如下所示：

-RECORD 0-------------------year            | 1980month           | 12AVG('Adj Close) | 0.503218AVG('Adj Close) | 0.595103
-RECORD 1-------------------year            | 1981month           | 01AVG('Adj Close) | 0.523289AVG('Adj Close) | 0.570307
-RECORD 2-------------------year            | 1982month           | 02AVG('Adj Close) | 0.436504AVG('Adj Close) | 0.475256
-RECORD 3-------------------year            | 1983month           | 03AVG('Adj Close) | 0.410516AVG('Adj Close) | 0.442194
-RECORD 4-------------------year            | 1984month           | 04AVG('Adj Close) | 0.450090AVG('Adj Close) | 0.483521

2. numRows

show() 方法可以通过设置 numRows 来控制最终返回多少行数据，默认 20。

3. truncate

  1. show() 方法可以通过设置 truncate 参数来控制单个数据列字符串最长显示的长度，并且所有列都会靠右对齐。
  2. 字符串如果超过 truncate（默认是 20），将会截取前面的 truncate - 3 长度，后面再加上 ...
str.substring(0, truncate - 3) + "..."
  1. 对于数据类型是 Array[Byte] 的数据列，会用"[", " ", "]" 的格式输出
binary.map("%02X".format(_)).mkString("[", " ", "]")

Dataset.show 具体的源码解析请参考我的这篇博客——Spark SQL 工作流程源码解析（四）optimization 阶段（基于 Spark 3.3.0）

实践

源码下载

spark-examples 代码已开源，本项目致力于提供最具实践性的 Apache Spark 代码开发学习指南。

点击链接前往 github 下载源码：spark-examples

数据

{"name": "Alice","age": 18,"sex": "Female","addr": ["address_1","address_2", " address_3"]}
{"name": "Thomas","age": 20, "sex": "Male","addr": ["address_1"]}
{"name": "Tom","age": 50, "sex": "Male","addr": ["address_1","address_2","address_3"]}
{"name": "Catalina","age": 30, "sex": "Female","addr": ["address_1","address_2"]}

代码

package com.shockang.study.spark.sql.showimport com.shockang.study.spark.SQL_DATA_DIR
import com.shockang.study.spark.util.Utils.formatPrint
import org.apache.spark.sql.SparkSession/**** @author Shockang*/
object ShowExample {val DATA_PATH: String = SQL_DATA_DIR + "user.json"def main(args: Array[String]): Unit = {val spark = SparkSession.builder.master("local[*]").appName("ShowExample").getOrCreate()spark.sparkContext.setLogLevel("ERROR")spark.read.json(DATA_PATH).createTempView("t_user")val df = spark.sql("SELECT * FROM t_user")formatPrint("""df.show""")df.showformatPrint("""df.show(2)""")df.show(2)formatPrint("""df.show(true)""")df.show(true)formatPrint("""df.show(false)""")df.show(false)formatPrint("""df.show(2, truncate = true)""")df.show(2, truncate = true)formatPrint("""df.show(2, truncate = false)""")df.show(2, truncate = false)formatPrint("""df.show(2, truncate = 0)""")df.show(2, truncate = 0)formatPrint("""df.show(2, truncate = 20)""")df.show(2, truncate = 20)formatPrint("""df.show(2, truncate = 0, vertical = true)""")df.show(2, truncate = 0, vertical = true)formatPrint("""df.show(2, truncate = 20, vertical = true)""")df.show(2, truncate = 20, vertical = true)formatPrint("""df.show(2, truncate = 0, vertical = false)""")df.show(2, truncate = 0, vertical = false)formatPrint("""df.show(2, truncate = 20, vertical = false)""")df.show(2, truncate = 20, vertical = false)spark.stop()}
}

打印

========== df.show ==========
+--------------------+---+--------+------+
|                addr|age|    name|   sex|
+--------------------+---+--------+------+
|[address_1, addre...| 18|   Alice|Female|
|         [address_1]| 20|  Thomas|  Male|
|[address_1, addre...| 50|     Tom|  Male|
|[address_1, addre...| 30|Catalina|Female|
+--------------------+---+--------+------+========== df.show(2) ==========
+--------------------+---+------+------+
|                addr|age|  name|   sex|
+--------------------+---+------+------+
|[address_1, addre...| 18| Alice|Female|
|         [address_1]| 20|Thomas|  Male|
+--------------------+---+------+------+
only showing top 2 rows========== df.show(true) ==========
+--------------------+---+--------+------+
|                addr|age|    name|   sex|
+--------------------+---+--------+------+
|[address_1, addre...| 18|   Alice|Female|
|         [address_1]| 20|  Thomas|  Male|
|[address_1, addre...| 50|     Tom|  Male|
|[address_1, addre...| 30|Catalina|Female|
+--------------------+---+--------+------+========== df.show(false) ==========
+----------------------------------+---+--------+------+
|addr                              |age|name    |sex   |
+----------------------------------+---+--------+------+
|[address_1, address_2,  address_3]|18 |Alice   |Female|
|[address_1]                       |20 |Thomas  |Male  |
|[address_1, address_2, address_3] |50 |Tom     |Male  |
|[address_1, address_2]            |30 |Catalina|Female|
+----------------------------------+---+--------+------+========== df.show(2, truncate = true) ==========
+--------------------+---+------+------+
|                addr|age|  name|   sex|
+--------------------+---+------+------+
|[address_1, addre...| 18| Alice|Female|
|         [address_1]| 20|Thomas|  Male|
+--------------------+---+------+------+
only showing top 2 rows========== df.show(2, truncate = false) ==========
+----------------------------------+---+------+------+
|addr                              |age|name  |sex   |
+----------------------------------+---+------+------+
|[address_1, address_2,  address_3]|18 |Alice |Female|
|[address_1]                       |20 |Thomas|Male  |
+----------------------------------+---+------+------+
only showing top 2 rows========== df.show(2, truncate = 0) ==========
+----------------------------------+---+------+------+
|addr                              |age|name  |sex   |
+----------------------------------+---+------+------+
|[address_1, address_2,  address_3]|18 |Alice |Female|
|[address_1]                       |20 |Thomas|Male  |
+----------------------------------+---+------+------+
only showing top 2 rows========== df.show(2, truncate = 20) ==========
+--------------------+---+------+------+
|                addr|age|  name|   sex|
+--------------------+---+------+------+
|[address_1, addre...| 18| Alice|Female|
|         [address_1]| 20|Thomas|  Male|
+--------------------+---+------+------+
only showing top 2 rows========== df.show(2, truncate = 0, vertical = true) ==========
-RECORD 0----------------------------------addr | [address_1, address_2,  address_3] age  | 18                                 name | Alice                              sex  | Female                             
-RECORD 1----------------------------------addr | [address_1]                        age  | 20                                 name | Thomas                             sex  | Male                               
only showing top 2 rows========== df.show(2, truncate = 20, vertical = true) ==========
-RECORD 0--------------------addr | [address_1, addre... age  | 18                   name | Alice                sex  | Female               
-RECORD 1--------------------addr | [address_1]          age  | 20                   name | Thomas               sex  | Male                 
only showing top 2 rows========== df.show(2, truncate = 0, vertical = false) ==========
+----------------------------------+---+------+------+
|addr                              |age|name  |sex   |
+----------------------------------+---+------+------+
|[address_1, address_2,  address_3]|18 |Alice |Female|
|[address_1]                       |20 |Thomas|Male  |
+----------------------------------+---+------+------+
only showing top 2 rows========== df.show(2, truncate = 20, vertical = false) ==========
+--------------------+---+------+------+
|                addr|age|  name|   sex|
+--------------------+---+------+------+
|[address_1, addre...| 18| Alice|Female|
|         [address_1]| 20|Thomas|  Male|
+--------------------+---+------+------+
only showing top 2 rows

这篇关于Spark 中 Dataset.show 如何使用？有哪些值得注意的地方？的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/469247。

相关文章

深入理解Go语言中二维切片的使用

深入理解Go语言中二维切片的使用

《深入理解Go语言中二维切片的使用》本文深入讲解了Go语言中二维切片的概念与应用,用于表示矩阵、表格等二维数据结构,文中通过示例代码介绍的非常详细,需要的朋友们下面随着小编来一起学习学习吧... 目录引言二维切片的基本概念定义创建二维切片二维切片的操作访问元素修改元素遍历二维切片二维切片的动态调整追加行动态
阅读更多...
prometheus如何使用pushgateway监控网路丢包

prometheus如何使用pushgateway监控网路丢包

《prometheus如何使用pushgateway监控网路丢包》：本文主要介绍prometheus如何使用pushgateway监控网路丢包问题,具有很好的参考价值,希望对大家有所帮助,如有错误... 目录监控网路丢包脚本数据图表总结监控网路丢包脚本[root@gtcq-gt-monitor-prome
阅读更多...
Python通用唯一标识符模块uuid使用案例详解

Python通用唯一标识符模块uuid使用案例详解

《Python通用唯一标识符模块uuid使用案例详解》Pythonuuid模块用于生成128位全局唯一标识符,支持UUID1-5版本,适用于分布式系统、数据库主键等场景,需注意隐私、碰撞概率及存储优... 目录简介核心功能1. UUID版本2. UUID属性3. 命名空间使用场景1. 生成唯一标识符2. 数
阅读更多...
SpringBoot中如何使用Assert进行断言校验

SpringBoot中如何使用Assert进行断言校验

《SpringBoot中如何使用Assert进行断言校验》Java提供了内置的assert机制,而Spring框架也提供了更强大的Assert工具类来帮助开发者进行参数校验和状态检查,下... 目录前言一、Java 原生assert简介1.1 使用方式1.2 示例代码1.3 优缺点分析二、Spring Fr
阅读更多...
Android kotlin中 Channel 和 Flow 的区别和选择使用场景分析

Android kotlin中 Channel 和 Flow 的区别和选择使用场景分析

《Androidkotlin中Channel和Flow的区别和选择使用场景分析》Kotlin协程中,Flow是冷数据流,按需触发,适合响应式数据处理；Channel是热数据流,持续发送,支持... 目录一、基本概念界定FlowChannel二、核心特性对比数据生产触发条件生产与消费的关系背压处理机制生命周期
阅读更多...
java使用protobuf-maven-plugin的插件编译proto文件详解

java使用protobuf-maven-plugin的插件编译proto文件详解

《java使用protobuf-maven-plugin的插件编译proto文件详解》：本文主要介绍java使用protobuf-maven-plugin的插件编译proto文件,具有很好的参考价... 目录protobuf文件作为数据传输和存储的协议主要介绍在Java使用maven编译proto文件的插件
阅读更多...
SpringBoot线程池配置使用示例详解

SpringBoot线程池配置使用示例详解

《SpringBoot线程池配置使用示例详解》SpringBoot集成@Async注解,支持线程池参数配置（核心数、队列容量、拒绝策略等）及生命周期管理,结合监控与任务装饰器,提升异步处理效率与系统... 目录一、核心特性二、添加依赖三、参数详解四、配置线程池五、应用实践代码说明拒绝策略（Rejected
阅读更多...
C++ Log4cpp跨平台日志库的使用小结

C++ Log4cpp跨平台日志库的使用小结

《C++Log4cpp跨平台日志库的使用小结》Log4cpp是c++类库,本文详细介绍了C++日志库log4cpp的使用方法,及设置日志输出格式和优先级,具有一定的参考价值,感兴趣的可以了解一下... 目录一、介绍1. log4cpp的日志方式2.设置日志输出的格式3. 设置日志的输出优先级二、Window
阅读更多...
Ubuntu如何分配​​未使用的空间

Ubuntu如何分配​​未使用的空间

《Ubuntu如何分配​​未使用的空间》Ubuntu磁盘空间不足,实际未分配空间8.2G因LVM卷组名称格式差异（双破折号误写）导致无法扩展,确认正确卷组名后,使用lvextend和resize2fs... 目录1：原因2：操作3：报错5：解决问题：确认卷组名称​6：再次操作7：验证扩展是否成功8：问题已解
阅读更多...
Qt使用QSqlDatabase连接MySQL实现增删改查功能

Qt使用QSqlDatabase连接MySQL实现增删改查功能

《Qt使用QSqlDatabase连接MySQL实现增删改查功能》这篇文章主要为大家详细介绍了Qt如何使用QSqlDatabase连接MySQL实现增删改查功能,文中的示例代码讲解详细,感兴趣的小伙伴... 目录一、创建数据表二、连接mysql数据库三、封装成一个完整的轻量级 ORM 风格类3.1 表结构
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2