本文主要是介绍spark graphx 实现二跳邻居统计——使用pregel,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!
本文参考自: 原文地址
本文是对二跳邻居统计的实战,因为用到了pregel,需要对pregel模型有一些大致的了解,例如各个参数的意义,各个函数的作用,以及大致的流程。最核心的应该就是消息发送函数这个部分,注释中有对两轮迭代的过程有解释。
def main(args: Array[String]): Unit = {case class Person(id: String, tel: String, relatel: String, fritel: String, birthplace: String, homeaddress: String)case class Relation(ty: Int)Logger.getLogger("org.apache.spark").setLevel(Level.WARN)Logger.getLogger("org.eclipse.jetty.server").setLevel(Level.OFF)@transientval conf = new SparkConf().setAppName("RelatianNet")conf.setMaster("local")@transientval sc = new SparkContext(conf)val vertices = sc.textFile("vertex1.txt")//节点包含用户的id等信息val id_node_table = new scala.collection.mutable.HashMap[String, Int]()//存放节点id和对应编号的键值对var nodeid = 0for (line
这篇关于spark graphx 实现二跳邻居统计——使用pregel的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!