spark streaming中的广播变量应用

2024-06-16 19:58

本文主要是介绍spark streaming中的广播变量应用,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

1. 广播变量

我们知道spark 的广播变量允许缓存一个只读的变量在每台机器上面,而不是每个任务保存一份拷贝。常见于spark在一些全局统计的场景中应用。通过广播变量,能够以一种更有效率的方式将一个大数据量输入集合的副本分配给每个节点。Spark也尝试着利用有效的广播算法去分配广播变量,以减少通信的成本。 
一个广播变量可以通过调用SparkContext.broadcast(v)方法从一个初始变量v中创建。广播变量是v的一个包装变量,它的值可以通过value方法访问,下面的代码说明了这个过程:

scala> val broadcastVar = sc.broadcast(Array(1, 2, 3))
broadcastVar: org.apache.spark.broadcast.Broadcast[Array[Int]] = Broadcast(0)scala> broadcastVar.value
res0: Array[Int] = Array(1, 2, 3)

2. Spark Streaming 广播变量的更新

广播变量的声明很简单,调用broadcast就能搞定,并且scala中一切可序列化的对象都是可以进行广播的,这就给了我们很大的想象空间,可以利用广播变量将一些经常访问的大变量进行广播,而不是每个任务保存一份,这样可以减少资源上的浪费。

但是,现在项目中遇到一种这样的需求,用spark streaming 通过一些离线全局更新好的数据对用户进行实时推荐(当然这里基于一些spark streaming的内部机制,不能实现真正的时效性):(1)日志流通过kafka获取 (2) 解析日志流数据,融合离线的全局数据,对每个Dtream进行计算(3)计算结果最后发送到redis中。

其中就会涉及这样的问题:(1)离线全局的数据是需要全局获取的,不能局部进行计算 (2)这部分数据是离线定期更新的,而spark streaming一旦开始,就长时间运行。如果离线数据更新了,如何在开始的流计算中,获取到这部分更新后的数据。

针对上述问题,我们可以直接想的一种方法是,在driver端开启一个附属线程,周期性去获取离线的全局数据,然后通过diver分发到各个task中。但是考虑到这种方式:spark streaming整体的性能开销会很大,并且重新开启的后台线程的不易管理。结合spark中的广播变量,我们采用另一种方式来解决以上问题: 
1> spark中的广播变量是只读的,通过unpersist函数,可以内存中的相关序列化对象 
2> 通过Dstream的foreachRDD方法,做到定时更新 (官网上有说明,该方法是在driver端执行的)


import java.io.{ObjectInputStream, ObjectOutputStream}
import com.bf.dt.wireless.config.WirelessConfig
import com.bf.dt.wireless.formator.WirelessFormator
import com.bf.dt.wireless.storage.MysqlConnectionPool
import com.bf.dt.wireless.utils.DateUtils
import kafka.serializer.StringDecoder
import org.apache.spark.{SparkConf, SparkContext}
import org.apache.spark.broadcast.Broadcast
import org.apache.spark.streaming.kafka.KafkaUtils
import org.apache.spark.streaming.{Seconds, StreamingContext}
import org.json4s._
import org.slf4j.LoggerFactory
import scala.collection.mutableobject WirelessLogAnalysis {object BroadcastWrapper {@volatile private var instance: Broadcast[Map[String, List[String]]] = nullprivate val map = mutable.LinkedHashMap[String, List[String]]()def getMysql(): Map[String, List[String]] = {//1.获取mysql连接池的一个连接val conn = MysqlConnectionPool.getConnection.get//2.查询新的数据val sql = "select aid_type,aids from cf_similarity"val ps = conn.prepareStatement(sql)val rs = ps.executeQuery()while (rs.next()) {val aid = rs.getString("aid_type")val aids = rs.getString("aids").split(",").toListmap += (aid -> aids)}//3.连接池回收连接MysqlConnectionPool.closeConnection(conn)map.toMap}def update(sc: SparkContext, blocking: Boolean = false): Unit = {if (instance != null)instance.unpersist(blocking)instance = sc.broadcast(getMysql())}def getInstance(sc: SparkContext): Broadcast[Map[String, List[String]]] = {if (instance == null) {synchronized {if (instance == null) {instance = sc.broadcast(getMysql)}}}instance}private def writeObject(out: ObjectOutputStream): Unit = {out.writeObject(instance)}private def readObject(in: ObjectInputStream): Unit = {instance = in.readObject().asInstanceOf[Broadcast[Map[String, List[String]]]]}}def main(args: Array[String]): Unit = {val logger = LoggerFactory.getLogger(this.getClass)val conf = new SparkConf().setAppName("wirelessLogAnalysis")val ssc = new StreamingContext(conf, Seconds(10))val kafkaConfig: Map[String, String] = Map("metadata.broker.list" -> WirelessConfig.getConf.get.getString("wireless.metadata.broker.list"),"group.id" -> WirelessConfig.getConf.get.getString("wireless.group.id"),"zookeeper.connect" -> WirelessConfig.getConf.get.getString("wireless.zookeeper.connect"),"auto.offset.reset" -> WirelessConfig.getConf.get.getString("wireless.auto.offset.reset"))val androidvvTopic = WirelessConfig.getConf.get.getString("wireless.topic1")val iphonevvToplic = WirelessConfig.getConf.get.getString("wireless.topic2")val kafkaDStream = KafkaUtils.createDirectStream[String, String, StringDecoder, StringDecoder](ssc,kafkaConfig,Set(androidvvTopic, iphonevvToplic))//原始日志流打印kafkaDStream.print()val jsonDstream = kafkaDStream.map(x =>//解析日志流WirelessFormator.format(x._2))//解密的日志流打印jsonDstream.print()jsonDstream.foreachRDD {rdd => {// driver端运行,涉及操作:广播变量的初始化和更新// 可以自定义更新时间if ((DateUtils.getNowTime().split(" ")(1) >= "08:00:00") && (DateUtils.getNowTime().split(" ")(1) <= "10:10:00")) {BroadcastWrapper.update(rdd.sparkContext, true)println("广播变量更新成功: " + DateUtils.getNowTime())}//worker端运行,涉及操作:Dstream数据的处理和Redis更新rdd.foreachPartition {partitionRecords =>//1.获取redis连接,保证每个partition建立一次连接,避免每个记录建立/关闭连接的性能消耗partitionRecords.foreach(record => {//2.处理日志流val uid = record._1val aid_type = record._2 + "_" + record._3if (cf.value.keySet.contains(aid_type)) {(uid, cf.value.get(aid_type))println((uid, cf.value.get(aid_type)))}else(uid, "-1")}//3.redis更新数据)//4.关闭redis连接}}}ssc.start()ssc.awaitTermination()}
}

说明:以上是无线推荐项目中部分代码,其中离线全局数据存储在mysql中,MysqlConnectionPool是mysql连接池定义类,WirelessFormator是日志解密的定义类

这篇关于spark streaming中的广播变量应用的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1067403

相关文章

Java中的Lambda表达式及其应用小结

《Java中的Lambda表达式及其应用小结》Java中的Lambda表达式是一项极具创新性的特性,它使得Java代码更加简洁和高效,尤其是在集合操作和并行处理方面,:本文主要介绍Java中的La... 目录前言1. 什么是Lambda表达式?2. Lambda表达式的基本语法例子1:最简单的Lambda表

Python结合PyWebView库打造跨平台桌面应用

《Python结合PyWebView库打造跨平台桌面应用》随着Web技术的发展,将HTML/CSS/JavaScript与Python结合构建桌面应用成为可能,本文将系统讲解如何使用PyWebView... 目录一、技术原理与优势分析1.1 架构原理1.2 核心优势二、开发环境搭建2.1 安装依赖2.2 验

Java字符串操作技巧之语法、示例与应用场景分析

《Java字符串操作技巧之语法、示例与应用场景分析》在Java算法题和日常开发中,字符串处理是必备的核心技能,本文全面梳理Java中字符串的常用操作语法,结合代码示例、应用场景和避坑指南,可快速掌握字... 目录引言1. 基础操作1.1 创建字符串1.2 获取长度1.3 访问字符2. 字符串处理2.1 子字

SpringShell命令行之交互式Shell应用开发方式

《SpringShell命令行之交互式Shell应用开发方式》本文将深入探讨SpringShell的核心特性、实现方式及应用场景,帮助开发者掌握这一强大工具,具有很好的参考价值,希望对大家有所帮助,如... 目录引言一、Spring Shell概述二、创建命令类三、命令参数处理四、命令分组与帮助系统五、自定

SpringBoot应用中出现的Full GC问题的场景与解决

《SpringBoot应用中出现的FullGC问题的场景与解决》这篇文章主要为大家详细介绍了SpringBoot应用中出现的FullGC问题的场景与解决方法,文中的示例代码讲解详细,感兴趣的小伙伴可... 目录Full GC的原理与触发条件原理触发条件对Spring Boot应用的影响示例代码优化建议结论F

MySQL 分区与分库分表策略应用小结

《MySQL分区与分库分表策略应用小结》在大数据量、复杂查询和高并发的应用场景下,单一数据库往往难以满足性能和扩展性的要求,本文将详细介绍这两种策略的基本概念、实现方法及优缺点,并通过实际案例展示如... 目录mysql 分区与分库分表策略1. 数据库水平拆分的背景2. MySQL 分区策略2.1 分区概念

Spring Shell 命令行实现交互式Shell应用开发

《SpringShell命令行实现交互式Shell应用开发》本文主要介绍了SpringShell命令行实现交互式Shell应用开发,能够帮助开发者快速构建功能丰富的命令行应用程序,具有一定的参考价... 目录引言一、Spring Shell概述二、创建命令类三、命令参数处理四、命令分组与帮助系统五、自定义S

C语言函数递归实际应用举例详解

《C语言函数递归实际应用举例详解》程序调用自身的编程技巧称为递归,递归做为一种算法在程序设计语言中广泛应用,:本文主要介绍C语言函数递归实际应用举例的相关资料,文中通过代码介绍的非常详细,需要的朋... 目录前言一、递归的概念与思想二、递归的限制条件 三、递归的实际应用举例(一)求 n 的阶乘(二)顺序打印

Python中随机休眠技术原理与应用详解

《Python中随机休眠技术原理与应用详解》在编程中,让程序暂停执行特定时间是常见需求,当需要引入不确定性时,随机休眠就成为关键技巧,下面我们就来看看Python中随机休眠技术的具体实现与应用吧... 目录引言一、实现原理与基础方法1.1 核心函数解析1.2 基础实现模板1.3 整数版实现二、典型应用场景2

Python Dash框架在数据可视化仪表板中的应用与实践记录

《PythonDash框架在数据可视化仪表板中的应用与实践记录》Python的PlotlyDash库提供了一种简便且强大的方式来构建和展示互动式数据仪表板,本篇文章将深入探讨如何使用Dash设计一... 目录python Dash框架在数据可视化仪表板中的应用与实践1. 什么是Plotly Dash?1.1