spark专题

SpringBoot操作spark处理hdfs文件的操作方法

《SpringBoot操作spark处理hdfs文件的操作方法》本文介绍了如何使用SpringBoot操作Spark处理HDFS文件,包括导入依赖、配置Spark信息、编写Controller和Ser... 目录SpringBoot操作spark处理hdfs文件1、导入依赖2、配置spark信息3、cont

Spark MLlib模型训练—聚类算法 PIC(Power Iteration Clustering)

Spark MLlib模型训练—聚类算法 PIC(Power Iteration Clustering) Power Iteration Clustering (PIC) 是一种基于图的聚类算法，用于在大规模数据集上进行高效的社区检测。PIC 算法的核心思想是通过迭代图的幂运算来发现数据中的潜在簇。该算法适用于处理大规模图数据，特别是在社交网络分析、推荐系统和生物信息学等领域具有广泛应用。Spa

【spark 读写数据】数据源的读写操作

通用的 Load/Save 函数在最简单的方式下，默认的数据源（parquet 除非另外配置通过spark.sql.sources.default）将会用于所有的操作。 Parquet 是一个列式存储格式的文件，被许多其他数据处理系统所支持。Spark SQL 支持对 Parquet 文件的读写还可以自动的保存源数据的模式 val usersDF = spark.read.load("e

Spark数据介绍

从趋势上看，DataFrame 和 Dataset 更加流行。示例场景数据仓库和 BI 工具集成：如果你需要处理存储在数据仓库中的结构化数据，并且希望与 BI 工具集成，那么 DataFrame 和 Dataset 是首选。机器学习流水线：在构建机器学习流水线时，使用 DataFrame 和 Dataset 可以更好地管理数据流，并且可以方便地与 MLlib 集成。实时数据处理：

Mac搭建华为云平台Hadoop+spark步骤

1、安装终端和文件传输软件下载、安装、配置详戳数据平台搭建文件夹 Transmit 用于文件传输 iTerm2 用于终端 2、连接与登录 mac 使用iTerm2快捷登录远程服务器 Mac Transmit连接（密码不可复制，手动输入） 3、安装jdk 4、修改主机名 Linux系统下如何修改主机名 4、安装配置hadoop

Spark-在集群上运行Spark

Spark—数据读取和保存

Spark-在集群运行spark

在集群运行spark

Spark源码分析之Spark Shell（上）

终于开始看Spark源码了，先从最常用的spark-shell脚本开始吧。不要觉得一个启动脚本有什么东东，其实里面还是有很多知识点的。另外，从启动脚本入手，是寻找代码入口最简单的方法，很多开源框架，其实都可以通过这种方式来寻找源码入口。先来介绍一下Spark-shell是什么？ Spark-shell是提供给用户即时交互的一个命令窗口，你可以在里面编写spark代码，然后根据你的命令立即进行

[大数据之Spark]——快速入门

本篇文档是介绍如何快速使用spark，首先将会介绍下spark在shell中的交互api，然后展示下如何使用java,scala,python等语言编写应用。可以查看编程指南了解更多的内容。为了良好的阅读下面的文档，最好是结合实际的练习。首先需要下载spark,然后安装hdfs，可以下载任意版本的hdfs。 Spark Shell 交互基本操作 Spark Shell提供给用

周期性清除Spark Streaming流状态的方法

在Spark Streaming程序中，我们经常需要使用有状态的流来统计一些累积性的指标，比如各个商品的PV。简单的代码描述如下，使用mapWithState()算子：现在的问题是，PV并不是一直累加的，而是每天归零，重新统计数据。要达到在凌晨0点清除状态的目的，有以下两种方法。编写脚本重启Streaming程序用crontab、Azkaban等在凌晨0点调度执行下面的Shell脚本

Spark SQL重点知识总结

一、Spark SQL的概念理解 Spark SQL是spark套件中一个模板，它将数据的计算任务通过SQL的形式转换成了RDD的计算，类似于Hive通过SQL的形式将数据的计算任务转换成了MapReduce。 Spark SQL的特点：1、和Spark Core的无缝集成，可以在写整个RDD应用的时候，配置Spark SQL来完成逻辑实现。2、统一的数据访问方式，Spark SQL提供标准化的

Apache Spark3.0什么样？一文读懂Apache Spark最新技术发展与展望

简介：阿里巴巴高级技术专家李呈祥带来了《Apache Spark 最新技术发展和3.0+ 展望》的全面解析，为大家介绍了Spark在整体IT基础设施上云背景下的新挑战和最新技术进展，同时预测了Spark 3.0即将重磅发布的新功能。 2019阿里云峰会·上海开发者大会于7月24日盛大开幕，在本次峰会的开源大数据专场上，阿里巴巴高级技术专家李呈祥带来了《Apache Spark 最新技术发展和

Spark Core源码精读计划7 | Spark执行环境的初始化

Spark Core源码精读计划3 | SparkContext辅助属性及后初始化

Spark 全套知识体系，终于搞到了！

福利手慢无 ☆☞ 廖雪峰的大数据开发必备教程-Spark视频资料终于免费啦！限额领取~ 2019年已过去3/4，年初许下的愿实现了吗？可爱的程序员们都有哪些愿望呢？找个女朋友。升级电脑、键盘、鼠标等。来一次说走就走的旅行。升职&加薪。…… 说起“升职&加薪”，一向“多金”的程序员们，今年的职场晋升似乎并非那么顺畅。说是大环境所致，这也没错。但有一部

Structured Streaming | Apache Spark中处理实时数据的声明式API

关于Spark的相关文章在这里：《Spark面对OOM问题的解决方法及优化总结》《Spark 动态资源分配(Dynamic Resource Allocation) 解析》《Apache Spark在海致大数据平台中的优化实践》《Spark/Flink广播实现作业配置动态更新》《Spark SQL读数据库时不支持某些数据类型的问题》《阿里云Spark Shuffle的优化》《Spa

Spark源码阅读的正确打开方式

Spark发展至今，应该说已经非常成熟了。是大数据计算领域不得不学习的框架。尤其是Spark在稳定性和社区发展的成熟度方面，吊打其他的大数据处理框架。 Spark至今只经历过1.x、2.x和3.x三个大版本的变化，在核心实现上，我们在Github能看到的最早的实现是0.5版本，这个版本只有1万多行代码，就把Spark的核心功能实现了。当然我们不可能从这么古老的版本看，假如你接触过Spar

Kylin使用Spark构建Cube

Apache Kylin™是一个开源的分布式分析引擎，提供Hadoop/Spark之上的SQL查询接口及多维分析（OLAP）能力以支持超大规模数据，最初由eBay Inc. 开发并贡献至开源社区。它能在亚秒内查询巨大的Hive表。下面是单机安装采坑记，直接上配置和问题解决。找一台干净的机器，把hadoop hive hbase从原有节点分别拷贝一份，主要目的是配置文件，可以不在kylin所在机器

Spark Streaming整合log4j、Flume与Kafka的案例

点击上方蓝色字体，选择“设为星标” 回复”资源“获取更多资源来源:作者TAI_SPARK，http://suo.im/5w7LF8 大数据技术与架构点击右侧关注，大数据开发领域最强公众号！暴走大数据点击右侧关注，暴走大数据！ 1.框架 2.log4j完成模拟日志输出设置模拟日志格式，log4j.properties： log4j.rootLogger = INFO,stdo

数据倾斜？Spark 3.0 AQE专治各种不服

Spark3.0已经发布半年之久，这次大版本的升级主要是集中在性能优化和文档丰富上，其中46%的优化都集中在Spark SQL上，SQL优化里最引人注意的非Adaptive Query Execution莫属了。 Adaptive Query Execution(AQE)是英特尔大数据技术团队和百度大数据基础架构部工程师在Spark 社区版本的基础上，改进并实现的自适应执行引擎。近些年来，S

Spark学习之路（十四）SparkCore的调优之资源调优JVM的GC垃圾收集器

《2021年最新版大数据面试题全面开启更新》欢迎关注github《大数据成神之路》目录一、概述二、垃圾收集器(garbage collector (GC)) 是什么？三、为什么需要GC？四、为什么需要多种GC？五、对象存活的判断六、垃圾回收算法 6.1　标记 -清除算法 6.2　复制算法 6.3　标记-整理算法 6.4　分代收集算法七、垃圾收集器 7.1　Serial收集器

Spark学习之路（十三）SparkCore的调优之资源调优JVM的基本架构

《2021年最新版大数据面试题全面开启更新》欢迎关注github《大数据成神之路》目录一、JVM的结构图 1.1　Java内存结构 1.2　如何通过参数来控制各区域的内存大小 1.3　控制参数 1.4　JVM和系统调用之间的关系二、JVM各区域的作用 2.1　Java堆（Heap） 2.2　方法区（Method Area） 2.3　程序计数器（Program Counter R

Spark学习之路（十二）SparkCore的调优之资源调优

《2021年最新版大数据面试题全面开启更新》欢迎关注github《大数据成神之路》目录一、概述二、Spark作业基本运行原理三、资源参数调优 3.1　num-executors 3.2　executor-memory 3.3　executor-cores 3.4　driver-memory 3.5　spark.default.parallelism 3.6　spark.storag

Spark学习之路（十）SparkCore的调优之Shuffle调优

《2021年最新版大数据面试题全面开启更新》欢迎关注github《大数据成神之路》目录一、概述二、shuffle的定义三、ShuffleManager发展概述四、HashShuffleManager的运行原理 4.1　未经优化的HashShuffleManager 4.2　优化后的HashShuffleManager 五、SortShuffleManager运行原理 5.1　普通

Spark学习之路（九）SparkCore的调优之数据倾斜调优

《2021年最新版大数据面试题全面开启更新》欢迎关注github《大数据成神之路》目录调优概述数据倾斜发生时的现象数据倾斜发生的原理如何定位导致数据倾斜的代码某个task执行特别慢的情况某个task莫名其妙内存溢出的情况查看导致数据倾斜的key的数据分布情况数据倾斜的解决方案解决方案一：使用Hive ETL预处理数据解决方案二：过滤少数导致倾斜的key 解决方案三：提