使用SBT正确构建IndexedRDD环境

2024-08-22 09:18

本文主要是介绍使用SBT正确构建IndexedRDD环境,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

IndexedRDDAMPLabAnkur Dave提出,它是ImmutabilityFine-Grained updates的精妙结合。IndexedRDD是一个基于RDDKey-Value Store,扩展自RDD[(K, V)],可以在IndexRDD上进行高效的查找、更新以及删除。由于其并没有合并到 Spark 的主项目分支,所以在使用时需要引入特别的对其的支持。

IndexedRDD的详细分析

这里主要是记录引进 IndexedRDD 之后项目出现的各种错误及解决过程,目前关于 IndexedRDD 的文章不多,百度出来的与搭环境有关系的也就十几篇左右,出现错误更是无解,所以特此记录一下填坑之路。

开始引入 IndexedRDD

参见 Github 的说明,在 build.sbt 中添加:

//这句很关键
resolvers += "Spark Packages Repo" at "http://dl.bintray.com/spark-packages/maven"
libraryDependencies += "amplab" % "spark-indexedrdd" % "0.3"

//顺带引入GraphX
libraryDependencies += "org.apache.spark" %% "spark-graphx" % "2.2.0"

编译错误

注意:这里出现了一个天坑,总是编译(包含IndexedRDD时)出错的问题

历经解决过程:

解决措施一

明确 scalaspark 版本的对照关系,版本确定为:
scala-2.11.8
spark-core-2.1.0(graphx同2.1.0)

上述版本是 spark-rdd 代码库中 build.sbt 的版本,详见 Github-spark-indexedrdd

明确 spark-indexedrdd 版本
注意,maven源 的版本只有 0.1 0.2 0.3 0.4.0 这四个,Github代码库中的实例程序推荐的是 0.3

但是编译时会出现如下错误:

Run:
18/05/22 01:29:47 WARN ClosureCleaner: Expected a closure; got edu.berkeley.cs.amplab.spark.indexedrdd.IndexedRDD$MultiputZipper
Exception in thread "main" java.lang.NoSuchMethodError: org.apache.spark.SparkContext.runJob

Sbt shell:
could not find implicit value for evidence parameter of type edu.berkeley.cs.amplab.spark.indexedrdd.KeySerializer[Long]
解决措施二

这时看到了 源库 的这个 Issue
于是将 spark-indexedrdd 改为 0.4.0 版本,注意是三位数字

然后继续编译仍然出同样的错(没效果)

解决措施三

这时,又看见了 这个问题 其错误跟咱们的不一样,但是格式太像了,然后看他的解决方案:

报错分析:这种异常的发生通常是因为程序需要一个隐式参数 (implicit parameter)
方法的定义中有个 [R: TypeInformation] ,但程序并没有指定任何有关隐式参数的定义,编译代码无法创建 TypeInformation ,所以出现上面提到的异常信息。
解决方案:
1) 我们可以直接在代码里面加上以下的代码:
  implicit val typeInfo = TypeInformation.of(classOf[Int])
然后再去编译代码就不会出现上面的异常。
2) 但是这并不是Flink推荐我们去做的,推荐的做法是在代码中引入一下包:
  import org.apache.flink.streaming.api.scala._
如果数据是有限的(静态数据集),我们可以引入以下包:
  import org.apache.flink.api.scala._
然后即可解决上面的异常信息。

同样的思路,翻过头来看,自己项目里的 import 确实少了一个!

import edu.berkeley.cs.amplab.spark.indexedrdd.IndexedRDD
// 下面这个不引入也不会报错,但是会编译出错
// 还要注意顺序,上下颠倒IDEA会自动省略
import edu.berkeley.cs.amplab.spark.indexedrdd.IndexedRDD._

同时还要注意,之前改为 0.4.0 版本是对的,如果换做 0.3 ,此时还是会编译出错

结论

综上,IndexedRDD 环境(示例运行正常)应该如下:

scala-2.11.8 
spark-core-2.1.0
graphx-2.1.0(非必须)
spark-indexedrdd-0.4.0

build.sbt 文件:

name := "VISNWK"
version := "0.1"
scalaVersion := "2.11.8"
libraryDependencies += "org.apache.spark" %% "spark-core" % "2.1.0"
libraryDependencies += "org.apache.spark" %% "spark-graphx" % "2.1.0"
resolvers += "Spark Packages Repo" at "http://dl.bintray.com/spark-packages/maven"
libraryDependencies += "amplab" % "spark-indexedrdd" % "0.4.0"

IndexedRDD demo(IDEA环境下):

import edu.berkeley.cs.amplab.spark.indexedrdd.IndexedRDD   //缺一不可
import edu.berkeley.cs.amplab.spark.indexedrdd.IndexedRDD._ //缺一不可
import org.apache.spark.rdd.RDD
import org.apache.spark.{SparkConf, SparkContext}

import scala.util.Random

object graphxDemo {
def main(args: Array[String]) {

//设置运行环境
val conf = new SparkConf().setAppName("SimpleGraphX").setMaster("local")
val sc = new SparkContext(conf)

// Create an RDD of key-value pairs with Long keys.
val rdd = sc.parallelize((1 to 1000000).map(x => (x.toLong, 0)))
// Construct an IndexedRDD from the pairs, hash-partitioning and indexing
// the entries.
val indexed = IndexedRDD(rdd).cache()

// Perform a point update.
val indexed2 = indexed.put(1234L, 10873).cache()
// Perform a point lookup. Note that the original IndexedRDD remains
// unmodified.
indexed2.get(1234L) // => Some(10873)
indexed.get(1234L) // => Some(0)

// Efficiently join derived IndexedRDD with original.
val indexed3 = indexed.innerJoin(indexed2) { (id, a, b) => b }.filter(_._2 != 0)
indexed3.collect // => Array((1234L, 10873))

// Perform insertions and deletions.
val indexed4 = indexed2.put(-100L, 111).delete(Array(998L, 999L)).cache()
indexed2.get(-100L) // => None
indexed4.get(-100L) // => Some(111)
indexed2.get(999L) // => Some(0)
indexed4.get(999L) // => None

sc.stop()
}
}

其他错误

注意,之前还出现过 Apache Spark: Java.Lang.NoSuchMethodError .RddToPairRDDFunctions 这个错误,但是今天明确版本后就没有复现,所以该错误八成是因为版本不兼容的缘故,总之还是版本不兼容引起的编译错误。

还有这个错误 unresolved dependency: com.ankurdave#part_2.10;0.1,之前是使用 Sbt 和 Maven 混用,然后用 Maven 添加的 spark-indexedrdd 才出现的这个错误,在改用 Sbt 单一管理依赖后该错误也没有复现。



😒 留下您对该文章的评价 😄


这篇关于使用SBT正确构建IndexedRDD环境的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1095864

相关文章

Java学习手册之Filter和Listener使用方法

《Java学习手册之Filter和Listener使用方法》:本文主要介绍Java学习手册之Filter和Listener使用方法的相关资料,Filter是一种拦截器,可以在请求到达Servl... 目录一、Filter(过滤器)1. Filter 的工作原理2. Filter 的配置与使用二、Listen

Pandas使用AdaBoost进行分类的实现

《Pandas使用AdaBoost进行分类的实现》Pandas和AdaBoost分类算法,可以高效地进行数据预处理和分类任务,本文主要介绍了Pandas使用AdaBoost进行分类的实现,具有一定的参... 目录什么是 AdaBoost?使用 AdaBoost 的步骤安装必要的库步骤一:数据准备步骤二:模型

使用Pandas进行均值填充的实现

《使用Pandas进行均值填充的实现》缺失数据(NaN值)是一个常见的问题,我们可以通过多种方法来处理缺失数据,其中一种常用的方法是均值填充,本文主要介绍了使用Pandas进行均值填充的实现,感兴趣的... 目录什么是均值填充?为什么选择均值填充?均值填充的步骤实际代码示例总结在数据分析和处理过程中,缺失数

如何使用 Python 读取 Excel 数据

《如何使用Python读取Excel数据》:本文主要介绍使用Python读取Excel数据的详细教程,通过pandas和openpyxl,你可以轻松读取Excel文件,并进行各种数据处理操... 目录使用 python 读取 Excel 数据的详细教程1. 安装必要的依赖2. 读取 Excel 文件3. 读

解决Maven项目idea找不到本地仓库jar包问题以及使用mvn install:install-file

《解决Maven项目idea找不到本地仓库jar包问题以及使用mvninstall:install-file》:本文主要介绍解决Maven项目idea找不到本地仓库jar包问题以及使用mvnin... 目录Maven项目idea找不到本地仓库jar包以及使用mvn install:install-file基

Python使用getopt处理命令行参数示例解析(最佳实践)

《Python使用getopt处理命令行参数示例解析(最佳实践)》getopt模块是Python标准库中一个简单但强大的命令行参数处理工具,它特别适合那些需要快速实现基本命令行参数解析的场景,或者需要... 目录为什么需要处理命令行参数?getopt模块基础实际应用示例与其他参数处理方式的比较常见问http

C 语言中enum枚举的定义和使用小结

《C语言中enum枚举的定义和使用小结》在C语言里,enum(枚举)是一种用户自定义的数据类型,它能够让你创建一组具名的整数常量,下面我会从定义、使用、特性等方面详细介绍enum,感兴趣的朋友一起看... 目录1、引言2、基本定义3、定义枚举变量4、自定义枚举常量的值5、枚举与switch语句结合使用6、枚

使用Python从PPT文档中提取图片和图片信息(如坐标、宽度和高度等)

《使用Python从PPT文档中提取图片和图片信息(如坐标、宽度和高度等)》PPT是一种高效的信息展示工具,广泛应用于教育、商务和设计等多个领域,PPT文档中常常包含丰富的图片内容,这些图片不仅提升了... 目录一、引言二、环境与工具三、python 提取PPT背景图片3.1 提取幻灯片背景图片3.2 提取

使用Python实现图像LBP特征提取的操作方法

《使用Python实现图像LBP特征提取的操作方法》LBP特征叫做局部二值模式,常用于纹理特征提取,并在纹理分类中具有较强的区分能力,本文给大家介绍了如何使用Python实现图像LBP特征提取的操作方... 目录一、LBP特征介绍二、LBP特征描述三、一些改进版本的LBP1.圆形LBP算子2.旋转不变的LB

Maven的使用和配置国内源的保姆级教程

《Maven的使用和配置国内源的保姆级教程》Maven是⼀个项目管理工具,基于POM(ProjectObjectModel,项目对象模型)的概念,Maven可以通过一小段描述信息来管理项目的构建,报告... 目录1. 什么是Maven?2.创建⼀个Maven项目3.Maven 核心功能4.使用Maven H