首页
Python
Java
前端
数据库
Linux
Chatgpt专题
开发者工具箱
pregel专题
Google图算法引擎Pregel介绍
参考文献点击打开链接 【前言:有一种说法[1]是Google的程序里面80%用的是MapReduce,20%用的是Pregel。今天就来介绍一下这个Pregel。想要深入研究的同志们,可以参考最新的SIGMOD 2010 ppt[2]。】 简介 Pregel是一个用于分布式图计算的计算框架,主要用于图遍历(BFS)、最短路径(SSSP)、PageRank计算等等。共享内存的运行库有很多
阅读更多...
毕设第二周(GraphX环境搭建 GraphX API 以及对Pregel的熟悉)
GraphX环境搭建与API的熟悉 我自己在本机上搭建了GraphX的环境,并测试了几个Demo。这方面的内容,GraphX的官方网站上有详细的介绍,列举几个我个人认为比较基础和重要的关于Graph的Operators: class Graph[VD, ED] {//这个是把图存成Table所需要的数据,上一个周报里面提到了val vertices: VertexRDD[VD]val ed
阅读更多...
借助ArangoDB,带你玩转Google图算法引擎Pregel
借助ArangoDB,带你玩转Google图算法引擎Pregel ArangoDB团队研究出一种算法,能够在一个图中识别出已连接的子图,文中以国家为例;在ArangoDB中引入Pregel框架,通过Worker算法、合成算法、pregelRunner模块来执行不同的实现方式。来试试吧! ArangoDB团队研究出一种算法,能够在一个图中识别出已连接的子图,文中以国家为例;在ArangoD
阅读更多...
spark graphx 实现二跳邻居统计——使用pregel
本文参考自: 原文地址 本文是对二跳邻居统计的实战,因为用到了pregel,需要对pregel模型有一些大致的了解,例如各个参数的意义,各个函数的作用,以及大致的流程。最核心的应该就是消息发送函数这个部分,注释中有对两轮迭代的过程有解释。 def main(args: Array[String]): Unit = {case class Person(id: String, tel: Stri
阅读更多...