Spark 中 Dataset.show 如何使用？有哪些值得注意的地方？

2023-12-08 08:48
文章标签 使用 地方 spark show dataset 值得注意

本文主要是介绍Spark 中 Dataset.show 如何使用？有哪些值得注意的地方？，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

前言

本文隶属于专栏《大数据技术体系》，该专栏为笔者原创，引用请注明来源，不足和错误之处请在评论区帮忙指出，谢谢！

本专栏目录结构和参考文献请见大数据技术体系

WHAT

Dataset.show 在我们平常 Spark 开发测试中经常使用。

它可以用来展示 Dataset。

重载方法

def show(numRows: Int): Unitdef show(): Unitdef show(truncate: Boolean): Unitdef show(numRows: Int, truncate: Boolean): Unitdef show(numRows: Int, truncate: Int): Unitdef show(numRows: Int, truncate: Int, vertical: Boolean): Unit

使用注意点

上面的 6 个重载方法有哪些值得注意的地方呢？

1. vertical

show() 方法存在 2 种打印模式

默认是横式的，如下所示：

  year  month AVG('Adj Close) MAX('Adj Close)1980  12    0.503218        0.5951031981  01    0.523289        0.5703071982  02    0.436504        0.4752561983  03    0.410516        0.4421941984  04    0.450090        0.483521

另一种是竖式的，如下所示：

-RECORD 0-------------------year            | 1980month           | 12AVG('Adj Close) | 0.503218AVG('Adj Close) | 0.595103
-RECORD 1-------------------year            | 1981month           | 01AVG('Adj Close) | 0.523289AVG('Adj Close) | 0.570307
-RECORD 2-------------------year            | 1982month           | 02AVG('Adj Close) | 0.436504AVG('Adj Close) | 0.475256
-RECORD 3-------------------year            | 1983month           | 03AVG('Adj Close) | 0.410516AVG('Adj Close) | 0.442194
-RECORD 4-------------------year            | 1984month           | 04AVG('Adj Close) | 0.450090AVG('Adj Close) | 0.483521

2. numRows

show() 方法可以通过设置 numRows 来控制最终返回多少行数据，默认 20。

3. truncate

  1. show() 方法可以通过设置 truncate 参数来控制单个数据列字符串最长显示的长度，并且所有列都会靠右对齐。
  2. 字符串如果超过 truncate（默认是 20），将会截取前面的 truncate - 3 长度，后面再加上 ...
str.substring(0, truncate - 3) + "..."
  1. 对于数据类型是 Array[Byte] 的数据列，会用"[", " ", "]" 的格式输出
binary.map("%02X".format(_)).mkString("[", " ", "]")

Dataset.show 具体的源码解析请参考我的这篇博客——Spark SQL 工作流程源码解析（四）optimization 阶段（基于 Spark 3.3.0）

实践

源码下载

spark-examples 代码已开源，本项目致力于提供最具实践性的 Apache Spark 代码开发学习指南。

点击链接前往 github 下载源码：spark-examples

数据

{"name": "Alice","age": 18,"sex": "Female","addr": ["address_1","address_2", " address_3"]}
{"name": "Thomas","age": 20, "sex": "Male","addr": ["address_1"]}
{"name": "Tom","age": 50, "sex": "Male","addr": ["address_1","address_2","address_3"]}
{"name": "Catalina","age": 30, "sex": "Female","addr": ["address_1","address_2"]}

代码

package com.shockang.study.spark.sql.showimport com.shockang.study.spark.SQL_DATA_DIR
import com.shockang.study.spark.util.Utils.formatPrint
import org.apache.spark.sql.SparkSession/**** @author Shockang*/
object ShowExample {val DATA_PATH: String = SQL_DATA_DIR + "user.json"def main(args: Array[String]): Unit = {val spark = SparkSession.builder.master("local[*]").appName("ShowExample").getOrCreate()spark.sparkContext.setLogLevel("ERROR")spark.read.json(DATA_PATH).createTempView("t_user")val df = spark.sql("SELECT * FROM t_user")formatPrint("""df.show""")df.showformatPrint("""df.show(2)""")df.show(2)formatPrint("""df.show(true)""")df.show(true)formatPrint("""df.show(false)""")df.show(false)formatPrint("""df.show(2, truncate = true)""")df.show(2, truncate = true)formatPrint("""df.show(2, truncate = false)""")df.show(2, truncate = false)formatPrint("""df.show(2, truncate = 0)""")df.show(2, truncate = 0)formatPrint("""df.show(2, truncate = 20)""")df.show(2, truncate = 20)formatPrint("""df.show(2, truncate = 0, vertical = true)""")df.show(2, truncate = 0, vertical = true)formatPrint("""df.show(2, truncate = 20, vertical = true)""")df.show(2, truncate = 20, vertical = true)formatPrint("""df.show(2, truncate = 0, vertical = false)""")df.show(2, truncate = 0, vertical = false)formatPrint("""df.show(2, truncate = 20, vertical = false)""")df.show(2, truncate = 20, vertical = false)spark.stop()}
}

打印

========== df.show ==========
+--------------------+---+--------+------+
|                addr|age|    name|   sex|
+--------------------+---+--------+------+
|[address_1, addre...| 18|   Alice|Female|
|         [address_1]| 20|  Thomas|  Male|
|[address_1, addre...| 50|     Tom|  Male|
|[address_1, addre...| 30|Catalina|Female|
+--------------------+---+--------+------+========== df.show(2) ==========
+--------------------+---+------+------+
|                addr|age|  name|   sex|
+--------------------+---+------+------+
|[address_1, addre...| 18| Alice|Female|
|         [address_1]| 20|Thomas|  Male|
+--------------------+---+------+------+
only showing top 2 rows========== df.show(true) ==========
+--------------------+---+--------+------+
|                addr|age|    name|   sex|
+--------------------+---+--------+------+
|[address_1, addre...| 18|   Alice|Female|
|         [address_1]| 20|  Thomas|  Male|
|[address_1, addre...| 50|     Tom|  Male|
|[address_1, addre...| 30|Catalina|Female|
+--------------------+---+--------+------+========== df.show(false) ==========
+----------------------------------+---+--------+------+
|addr                              |age|name    |sex   |
+----------------------------------+---+--------+------+
|[address_1, address_2,  address_3]|18 |Alice   |Female|
|[address_1]                       |20 |Thomas  |Male  |
|[address_1, address_2, address_3] |50 |Tom     |Male  |
|[address_1, address_2]            |30 |Catalina|Female|
+----------------------------------+---+--------+------+========== df.show(2, truncate = true) ==========
+--------------------+---+------+------+
|                addr|age|  name|   sex|
+--------------------+---+------+------+
|[address_1, addre...| 18| Alice|Female|
|         [address_1]| 20|Thomas|  Male|
+--------------------+---+------+------+
only showing top 2 rows========== df.show(2, truncate = false) ==========
+----------------------------------+---+------+------+
|addr                              |age|name  |sex   |
+----------------------------------+---+------+------+
|[address_1, address_2,  address_3]|18 |Alice |Female|
|[address_1]                       |20 |Thomas|Male  |
+----------------------------------+---+------+------+
only showing top 2 rows========== df.show(2, truncate = 0) ==========
+----------------------------------+---+------+------+
|addr                              |age|name  |sex   |
+----------------------------------+---+------+------+
|[address_1, address_2,  address_3]|18 |Alice |Female|
|[address_1]                       |20 |Thomas|Male  |
+----------------------------------+---+------+------+
only showing top 2 rows========== df.show(2, truncate = 20) ==========
+--------------------+---+------+------+
|                addr|age|  name|   sex|
+--------------------+---+------+------+
|[address_1, addre...| 18| Alice|Female|
|         [address_1]| 20|Thomas|  Male|
+--------------------+---+------+------+
only showing top 2 rows========== df.show(2, truncate = 0, vertical = true) ==========
-RECORD 0----------------------------------addr | [address_1, address_2,  address_3] age  | 18                                 name | Alice                              sex  | Female                             
-RECORD 1----------------------------------addr | [address_1]                        age  | 20                                 name | Thomas                             sex  | Male                               
only showing top 2 rows========== df.show(2, truncate = 20, vertical = true) ==========
-RECORD 0--------------------addr | [address_1, addre... age  | 18                   name | Alice                sex  | Female               
-RECORD 1--------------------addr | [address_1]          age  | 20                   name | Thomas               sex  | Male                 
only showing top 2 rows========== df.show(2, truncate = 0, vertical = false) ==========
+----------------------------------+---+------+------+
|addr                              |age|name  |sex   |
+----------------------------------+---+------+------+
|[address_1, address_2,  address_3]|18 |Alice |Female|
|[address_1]                       |20 |Thomas|Male  |
+----------------------------------+---+------+------+
only showing top 2 rows========== df.show(2, truncate = 20, vertical = false) ==========
+--------------------+---+------+------+
|                addr|age|  name|   sex|
+--------------------+---+------+------+
|[address_1, addre...| 18| Alice|Female|
|         [address_1]| 20|Thomas|  Male|
+--------------------+---+------+------+
only showing top 2 rows

这篇关于Spark 中 Dataset.show 如何使用？有哪些值得注意的地方？的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/469247。

相关文章

中文分词jieba库的使用与实景应用（一）

中文分词jieba库的使用与实景应用（一）

知识星球：https://articles.zsxq.com/id_fxvgc803qmr2.html 目录 一.定义： 精确模式（默认模式）： 全模式： 搜索引擎模式： paddle 模式（基于深度学习的分词模式）： 二 自定义词典 三.文本解析   调整词出现的频率 四. 关键词提取 A. 基于TF-IDF算法的关键词提取 B. 基于TextRank算法的关键词提取
阅读更多...
使用SecondaryNameNode恢复NameNode的数据

使用SecondaryNameNode恢复NameNode的数据

1）需求： NameNode进程挂了并且存储的数据也丢失了，如何恢复NameNode 此种方式恢复的数据可能存在小部分数据的丢失。 2）故障模拟 （1）kill -9 NameNode进程 [lytfly@hadoop102 current]$ kill -9 19886 （2）删除NameNode存储的数据（/opt/module/hadoop-3.1.4/data/tmp/dfs/na
阅读更多...
Hadoop数据压缩使用介绍

Hadoop数据压缩使用介绍

一、压缩原则 （1）运算密集型的Job，少用压缩 （2）IO密集型的Job，多用压缩 二、压缩算法比较 三、压缩位置选择 四、压缩参数配置 1）为了支持多种压缩/解压缩算法，Hadoop引入了编码/解码器 2）要在Hadoop中启用压缩，可以配置如下参数
阅读更多...
Makefile简明使用教程

Makefile简明使用教程

文章目录 规则makefile文件的基本语法：加在命令前的特殊符号：.PHONY伪目标: Makefilev1 直观写法v2 加上中间过程v3 伪目标v4 变量 make 选项-f-n-C Make 是一种流行的构建工具，常用于将源代码转换成可执行文件或者其他形式的输出文件(如库文件、文档等)。Make 可以自动化地执行编译、链接等一系列操作。 规则 makefile文件
阅读更多...
使用opencv优化图片（画面变清晰）

使用opencv优化图片（画面变清晰）

文章目录 需求影响照片清晰度的因素 实现降噪测试代码 锐化空间锐化Unsharp Masking频率域锐化对比测试 对比度增强常用算法对比测试 需求 对图像进行优化，使其看起来更清晰，同时保持尺寸不变，通常涉及到图像处理技术如锐化、降噪、对比度增强等 影响照片清晰度的因素 影响照片清晰度的因素有很多，主要可以从以下几个方面来分析 1. 拍摄设备 相机传感器：相机传
阅读更多...
pdfmake生成pdf的使用

pdfmake生成pdf的使用

实际项目中有时会有根据填写的表单数据或者其他格式的数据，将数据自动填充到pdf文件中根据固定模板生成pdf文件的需求 文章目录 利用pdfmake生成pdf文件1.下载安装pdfmake第三方包2.封装生成pdf文件的共用配置3.生成pdf文件的文件模板内容4.调用方法生成pdf 利用pdfmake生成pdf文件 1.下载安装pdfmake第三方包 npm i pdfma
阅读更多...
零基础学习Redis(10) -- zset类型命令使用

零基础学习Redis(10) -- zset类型命令使用

zset是有序集合，内部除了存储元素外，还会存储一个score，存储在zset中的元素会按照score的大小升序排列，不同元素的score可以重复，score相同的元素会按照元素的字典序排列。 1. zset常用命令 1.1 zadd  zadd key [NX | XX] [GT | LT]   [CH] [INCR] score member [score member ...]
阅读更多...
git使用的说明总结

git使用的说明总结

Git使用说明 下载安装(下载地址) macOS: Git - Downloading macOS Windows: Git - Downloading Windows Linux/Unix: Git (git-scm.com) 创建新仓库 本地创建新仓库：创建新文件夹，进入文件夹目录，执行指令 git init ，用以创建新的git 克隆仓库 执行指令用以创建一个本地仓库的
阅读更多...
【北交大信息所AI-Max2】使用方法

【北交大信息所AI-Max2】使用方法

BJTU信息所集群AI_MAX2使用方法 使用的前提是预约到相应的算力卡，拥有登录权限的账号密码，一般为导师组共用一个。 有浏览器、ssh工具就可以。 1.新建集群Terminal 浏览器登陆10.126.62.75 （如果是1集群把75改成66） 交互式开发 执行器选Terminal 密码随便设一个（需记住） 工作空间：私有数据、全部文件 加速器选GeForce_RTX_2080_Ti
阅读更多...
【Linux 从基础到进阶】Ansible自动化运维工具使用

【Linux 从基础到进阶】Ansible自动化运维工具使用

Ansible自动化运维工具使用 Ansible 是一款开源的自动化运维工具，采用无代理架构（agentless），基于 SSH 连接进行管理，具有简单易用、灵活强大、可扩展性高等特点。它广泛用于服务器管理、应用部署、配置管理等任务。本文将介绍 Ansible 的安装、基本使用方法及一些实际运维场景中的应用，旨在帮助运维人员快速上手并熟练运用 Ansible。 1. Ansible的核心概念
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2