大数据spark3.5安装部署之local模式详解

2025-03-15 13:50

本文主要是介绍大数据spark3.5安装部署之local模式详解,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

《大数据spark3.5安装部署之local模式详解》本文介绍了如何在本地模式下安装和配置Spark,并展示了如何使用SparkShell进行基本的数据处理操作,同时,还介绍了如何通过Spark-su...

spark,一个数据处理框架和计算引擎。

下载

大数据spark3.5安装部署之local模式详解

大数据spark3.5安装部署之local模式详解

local模式即本地模式,就是不需要任何其他节点资源就可以在本地执行spark代码的环境。用于练习演示。

上传解压

使用PortX将文件上传至/opt

大数据spark3.5安装部署之local模式详解

进入/opt目录,创建目录module,解压文件至/opt/module

大数据spark3.5安装部署之local模式详解

进入module,并修改名称

大数据spark3.5安装部署之local模式详解

配置jdk

启动spark前要安装jdk,上传jdk文件

大数据spark3.5安装部署之local模式详解

解压

tar zxvf jdk-8u271-linux-x64.tar.gz

大数据spark3.5安装部署之local模式详解

配置环境变量

以root用户配置环境变量

cd ~

大数据spark3.5安装部署之local模式详解

大数据spark3.5安装部署之local模式详解

保存后,以root用户,执行source .profle,使更改生效,并验证。

大数据spark3.5安装部署之local模式详解

启动查看

进入spark-local,android执行命令bin/spark-shell 启动spark,如下所示则成功启动

大数据spark3.5安装部署之local模式详解

启动成功后,可以通过浏览器访问WebUI监控页面

http://ip:4040

大数据spark3.5安装部署之local模式详解

交互操作

使用命令行或者提交作业的方式,与spark进行交互。

命令行

进入spark目录中的data文件夹,添加test.txt文件

大数据spark3.5安装部署之local模式详解

vi test.txt

大数据spark3.5安装部署之local模式详解

进入spark-standalone/bin目录,执行./spark-shell,启动命令行,执行以下内容

sc.textFile("../data/test.txt").flatMap(_.split(" ")).map((_,1)).reduceByKey(_+_).collepythonct

大数据spark3.5安装部署之local模式详解

退出CiebhILtrl+c或者输入:quit后回车

提交应用

对于公司大数据的批量处理或周期性数据分析/处理任务,通常采用编写好的Spark程序,并通过Spark-submit指令的方式提交给Spark集群进行具体的任务计算。

bin/spark-submit \

--class org.apache.spark.China编程examples.SparkPi \

--master local[2] \

./examples/jars/spark-examples_2.12-3.5.5.jar \

10

大数据spark3.5安装部署之local模式详解

大数据spark3.5安装部署之local模式详解

大数据spark3.5安装部署之local模式详解

备注:路径等信息如下,示例代码都位于spark目录中。

大数据spark3.5安装部署之local模式详解

到此这篇关于大数据spark3.5安装部署之local模式详解的文编程章就介绍到这了,更多相关spark安装部署内容请搜索China编程(www.chinasem.cn)以前的文章或继续浏览下面的相关文章希望大家以后多多支持编程China编程(www.chinasem.cn)!

这篇关于大数据spark3.5安装部署之local模式详解的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1153763

相关文章

SpringBoot多环境配置数据读取方式

《SpringBoot多环境配置数据读取方式》SpringBoot通过环境隔离机制,支持properties/yaml/yml多格式配置,结合@Value、Environment和@Configura... 目录一、多环境配置的核心思路二、3种配置文件格式详解2.1 properties格式(传统格式)1.

Python标准库之数据压缩和存档的应用详解

《Python标准库之数据压缩和存档的应用详解》在数据处理与存储领域,压缩和存档是提升效率的关键技术,Python标准库提供了一套完整的工具链,下面小编就来和大家简单介绍一下吧... 目录一、核心模块架构与设计哲学二、关键模块深度解析1.tarfile:专业级归档工具2.zipfile:跨平台归档首选3.

使用IDEA部署Docker应用指南分享

《使用IDEA部署Docker应用指南分享》本文介绍了使用IDEA部署Docker应用的四步流程:创建Dockerfile、配置IDEADocker连接、设置运行调试环境、构建运行镜像,并强调需准备本... 目录一、创建 dockerfile 配置文件二、配置 IDEA 的 Docker 连接三、配置 Do

解决pandas无法读取csv文件数据的问题

《解决pandas无法读取csv文件数据的问题》本文讲述作者用Pandas读取CSV文件时因参数设置不当导致数据错位,通过调整delimiter和on_bad_lines参数最终解决问题,并强调正确参... 目录一、前言二、问题复现1. 问题2. 通过 on_bad_lines=‘warn’ 跳过异常数据3

idea的终端(Terminal)cmd的命令换成linux的命令详解

《idea的终端(Terminal)cmd的命令换成linux的命令详解》本文介绍IDEA配置Git的步骤:安装Git、修改终端设置并重启IDEA,强调顺序,作为个人经验分享,希望提供参考并支持脚本之... 目录一编程、设置前二、前置条件三、android设置四、设置后总结一、php设置前二、前置条件

python中列表应用和扩展性实用详解

《python中列表应用和扩展性实用详解》文章介绍了Python列表的核心特性:有序数据集合,用[]定义,元素类型可不同,支持迭代、循环、切片,可执行增删改查、排序、推导式及嵌套操作,是常用的数据处理... 目录1、列表定义2、格式3、列表是可迭代对象4、列表的常见操作总结1、列表定义是处理一组有序项目的

python使用try函数详解

《python使用try函数详解》Pythontry语句用于异常处理,支持捕获特定/多种异常、else/final子句确保资源释放,结合with语句自动清理,可自定义异常及嵌套结构,灵活应对错误场景... 目录try 函数的基本语法捕获特定异常捕获多个异常使用 else 子句使用 finally 子句捕获所

C++11范围for初始化列表auto decltype详解

《C++11范围for初始化列表autodecltype详解》C++11引入auto类型推导、decltype类型推断、统一列表初始化、范围for循环及智能指针,提升代码简洁性、类型安全与资源管理效... 目录C++11新特性1. 自动类型推导auto1.1 基本语法2. decltype3. 列表初始化3

SQL Server 中的 WITH (NOLOCK) 示例详解

《SQLServer中的WITH(NOLOCK)示例详解》SQLServer中的WITH(NOLOCK)是一种表提示,等同于READUNCOMMITTED隔离级别,允许查询在不获取共享锁的情... 目录SQL Server 中的 WITH (NOLOCK) 详解一、WITH (NOLOCK) 的本质二、工作

Linux系统中查询JDK安装目录的几种常用方法

《Linux系统中查询JDK安装目录的几种常用方法》:本文主要介绍Linux系统中查询JDK安装目录的几种常用方法,方法分别是通过update-alternatives、Java命令、环境变量及目... 目录方法 1:通过update-alternatives查询(推荐)方法 2:检查所有已安装的 JDK方