使用SBT正确构建IndexedRDD环境

2024-08-22 09:18

本文主要是介绍使用SBT正确构建IndexedRDD环境,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

IndexedRDDAMPLabAnkur Dave提出,它是ImmutabilityFine-Grained updates的精妙结合。IndexedRDD是一个基于RDDKey-Value Store,扩展自RDD[(K, V)],可以在IndexRDD上进行高效的查找、更新以及删除。由于其并没有合并到 Spark 的主项目分支,所以在使用时需要引入特别的对其的支持。

IndexedRDD的详细分析

这里主要是记录引进 IndexedRDD 之后项目出现的各种错误及解决过程,目前关于 IndexedRDD 的文章不多,百度出来的与搭环境有关系的也就十几篇左右,出现错误更是无解,所以特此记录一下填坑之路。

开始引入 IndexedRDD

参见 Github 的说明,在 build.sbt 中添加:

//这句很关键
resolvers += "Spark Packages Repo" at "http://dl.bintray.com/spark-packages/maven"
libraryDependencies += "amplab" % "spark-indexedrdd" % "0.3"

//顺带引入GraphX
libraryDependencies += "org.apache.spark" %% "spark-graphx" % "2.2.0"

编译错误

注意:这里出现了一个天坑,总是编译(包含IndexedRDD时)出错的问题

历经解决过程:

解决措施一

明确 scalaspark 版本的对照关系,版本确定为:
scala-2.11.8
spark-core-2.1.0(graphx同2.1.0)

上述版本是 spark-rdd 代码库中 build.sbt 的版本,详见 Github-spark-indexedrdd

明确 spark-indexedrdd 版本
注意,maven源 的版本只有 0.1 0.2 0.3 0.4.0 这四个,Github代码库中的实例程序推荐的是 0.3

但是编译时会出现如下错误:

Run:
18/05/22 01:29:47 WARN ClosureCleaner: Expected a closure; got edu.berkeley.cs.amplab.spark.indexedrdd.IndexedRDD$MultiputZipper
Exception in thread "main" java.lang.NoSuchMethodError: org.apache.spark.SparkContext.runJob

Sbt shell:
could not find implicit value for evidence parameter of type edu.berkeley.cs.amplab.spark.indexedrdd.KeySerializer[Long]
解决措施二

这时看到了 源库 的这个 Issue
于是将 spark-indexedrdd 改为 0.4.0 版本,注意是三位数字

然后继续编译仍然出同样的错(没效果)

解决措施三

这时,又看见了 这个问题 其错误跟咱们的不一样,但是格式太像了,然后看他的解决方案:

报错分析:这种异常的发生通常是因为程序需要一个隐式参数 (implicit parameter)
方法的定义中有个 [R: TypeInformation] ,但程序并没有指定任何有关隐式参数的定义,编译代码无法创建 TypeInformation ,所以出现上面提到的异常信息。
解决方案:
1) 我们可以直接在代码里面加上以下的代码:
  implicit val typeInfo = TypeInformation.of(classOf[Int])
然后再去编译代码就不会出现上面的异常。
2) 但是这并不是Flink推荐我们去做的,推荐的做法是在代码中引入一下包:
  import org.apache.flink.streaming.api.scala._
如果数据是有限的(静态数据集),我们可以引入以下包:
  import org.apache.flink.api.scala._
然后即可解决上面的异常信息。

同样的思路,翻过头来看,自己项目里的 import 确实少了一个!

import edu.berkeley.cs.amplab.spark.indexedrdd.IndexedRDD
// 下面这个不引入也不会报错,但是会编译出错
// 还要注意顺序,上下颠倒IDEA会自动省略
import edu.berkeley.cs.amplab.spark.indexedrdd.IndexedRDD._

同时还要注意,之前改为 0.4.0 版本是对的,如果换做 0.3 ,此时还是会编译出错

结论

综上,IndexedRDD 环境(示例运行正常)应该如下:

scala-2.11.8 
spark-core-2.1.0
graphx-2.1.0(非必须)
spark-indexedrdd-0.4.0

build.sbt 文件:

name := "VISNWK"
version := "0.1"
scalaVersion := "2.11.8"
libraryDependencies += "org.apache.spark" %% "spark-core" % "2.1.0"
libraryDependencies += "org.apache.spark" %% "spark-graphx" % "2.1.0"
resolvers += "Spark Packages Repo" at "http://dl.bintray.com/spark-packages/maven"
libraryDependencies += "amplab" % "spark-indexedrdd" % "0.4.0"

IndexedRDD demo(IDEA环境下):

import edu.berkeley.cs.amplab.spark.indexedrdd.IndexedRDD   //缺一不可
import edu.berkeley.cs.amplab.spark.indexedrdd.IndexedRDD._ //缺一不可
import org.apache.spark.rdd.RDD
import org.apache.spark.{SparkConf, SparkContext}

import scala.util.Random

object graphxDemo {
def main(args: Array[String]) {

//设置运行环境
val conf = new SparkConf().setAppName("SimpleGraphX").setMaster("local")
val sc = new SparkContext(conf)

// Create an RDD of key-value pairs with Long keys.
val rdd = sc.parallelize((1 to 1000000).map(x => (x.toLong, 0)))
// Construct an IndexedRDD from the pairs, hash-partitioning and indexing
// the entries.
val indexed = IndexedRDD(rdd).cache()

// Perform a point update.
val indexed2 = indexed.put(1234L, 10873).cache()
// Perform a point lookup. Note that the original IndexedRDD remains
// unmodified.
indexed2.get(1234L) // => Some(10873)
indexed.get(1234L) // => Some(0)

// Efficiently join derived IndexedRDD with original.
val indexed3 = indexed.innerJoin(indexed2) { (id, a, b) => b }.filter(_._2 != 0)
indexed3.collect // => Array((1234L, 10873))

// Perform insertions and deletions.
val indexed4 = indexed2.put(-100L, 111).delete(Array(998L, 999L)).cache()
indexed2.get(-100L) // => None
indexed4.get(-100L) // => Some(111)
indexed2.get(999L) // => Some(0)
indexed4.get(999L) // => None

sc.stop()
}
}

其他错误

注意,之前还出现过 Apache Spark: Java.Lang.NoSuchMethodError .RddToPairRDDFunctions 这个错误,但是今天明确版本后就没有复现,所以该错误八成是因为版本不兼容的缘故,总之还是版本不兼容引起的编译错误。

还有这个错误 unresolved dependency: com.ankurdave#part_2.10;0.1,之前是使用 Sbt 和 Maven 混用,然后用 Maven 添加的 spark-indexedrdd 才出现的这个错误,在改用 Sbt 单一管理依赖后该错误也没有复现。



😒 留下您对该文章的评价 😄


这篇关于使用SBT正确构建IndexedRDD环境的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1095864

相关文章

vue使用docxtemplater导出word

《vue使用docxtemplater导出word》docxtemplater是一种邮件合并工具,以编程方式使用并处理条件、循环,并且可以扩展以插入任何内容,下面我们来看看如何使用docxtempl... 目录docxtemplatervue使用docxtemplater导出word安装常用语法 封装导出方

Linux换行符的使用方法详解

《Linux换行符的使用方法详解》本文介绍了Linux中常用的换行符LF及其在文件中的表示,展示了如何使用sed命令替换换行符,并列举了与换行符处理相关的Linux命令,通过代码讲解的非常详细,需要的... 目录简介检测文件中的换行符使用 cat -A 查看换行符使用 od -c 检查字符换行符格式转换将

使用Jackson进行JSON生成与解析的新手指南

《使用Jackson进行JSON生成与解析的新手指南》这篇文章主要为大家详细介绍了如何使用Jackson进行JSON生成与解析处理,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下... 目录1. 核心依赖2. 基础用法2.1 对象转 jsON(序列化)2.2 JSON 转对象(反序列化)3.

使用Python实现快速搭建本地HTTP服务器

《使用Python实现快速搭建本地HTTP服务器》:本文主要介绍如何使用Python快速搭建本地HTTP服务器,轻松实现一键HTTP文件共享,同时结合二维码技术,让访问更简单,感兴趣的小伙伴可以了... 目录1. 概述2. 快速搭建 HTTP 文件共享服务2.1 核心思路2.2 代码实现2.3 代码解读3.

Elasticsearch 在 Java 中的使用教程

《Elasticsearch在Java中的使用教程》Elasticsearch是一个分布式搜索和分析引擎,基于ApacheLucene构建,能够实现实时数据的存储、搜索、和分析,它广泛应用于全文... 目录1. Elasticsearch 简介2. 环境准备2.1 安装 Elasticsearch2.2 J

使用C#代码在PDF文档中添加、删除和替换图片

《使用C#代码在PDF文档中添加、删除和替换图片》在当今数字化文档处理场景中,动态操作PDF文档中的图像已成为企业级应用开发的核心需求之一,本文将介绍如何在.NET平台使用C#代码在PDF文档中添加、... 目录引言用C#添加图片到PDF文档用C#删除PDF文档中的图片用C#替换PDF文档中的图片引言在当

Java中List的contains()方法的使用小结

《Java中List的contains()方法的使用小结》List的contains()方法用于检查列表中是否包含指定的元素,借助equals()方法进行判断,下面就来介绍Java中List的c... 目录详细展开1. 方法签名2. 工作原理3. 使用示例4. 注意事项总结结论:List 的 contain

C#使用SQLite进行大数据量高效处理的代码示例

《C#使用SQLite进行大数据量高效处理的代码示例》在软件开发中,高效处理大数据量是一个常见且具有挑战性的任务,SQLite因其零配置、嵌入式、跨平台的特性,成为许多开发者的首选数据库,本文将深入探... 目录前言准备工作数据实体核心技术批量插入:从乌龟到猎豹的蜕变分页查询:加载百万数据异步处理:拒绝界面

Android中Dialog的使用详解

《Android中Dialog的使用详解》Dialog(对话框)是Android中常用的UI组件,用于临时显示重要信息或获取用户输入,本文给大家介绍Android中Dialog的使用,感兴趣的朋友一起... 目录android中Dialog的使用详解1. 基本Dialog类型1.1 AlertDialog(

Python使用自带的base64库进行base64编码和解码

《Python使用自带的base64库进行base64编码和解码》在Python中,处理数据的编码和解码是数据传输和存储中非常普遍的需求,其中,Base64是一种常用的编码方案,本文我将详细介绍如何使... 目录引言使用python的base64库进行编码和解码编码函数解码函数Base64编码的应用场景注意