CS224W3.3——整图Embedding

2023-10-30 14:52
文章标签 embedding cs224w3.3 整图

本文主要是介绍CS224W3.3——整图Embedding,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

在某些情况下,重要的是不仅要学习节点的嵌入,还要学习整个图。在这篇中,我们介绍了几种可以有效地学习整个图嵌入的方法,包括节点嵌入的聚合(aggregation of node embeddings),以及匿名行走嵌入方法( anonymous walk embedding approach)。

文章目录

  • 1. 目标
  • 2. 方法
  • 3. 如何使用Embeddings

1. 目标

在这里插入图片描述

比如,可以用来区分哪些分子是有毒的,哪些是无毒的。

2. 方法

方法1:

在这里插入图片描述

方法1的思想很简单,就是简单的将图或者子图中的所有节点的embedding相加,或者求平均,得到图的embedding。

方法2:

在这里插入图片描述

方法3(Anonymous Walk Embeddings):

在这里插入图片描述

从节点u开始匿名游走以建立与u在给定距离内的所有节点构成的子图,这种分布唯一地决定了u中的马尔科夫过程,所以不存在两个不同的子图具有相同的匿名游走分布。这意味着两个匿名游走分布相似的图应该在拓扑结构上相似。因此定义了基于特征的网络嵌入在匿名行走的分布,并展示了一种有效的采样方法,该方法近似于大型网络的分布。

在这里插入图片描述

在这里插入图片描述

匿名随机游走的数量随着长度而增加。

在这里插入图片描述

在这里插入图片描述

新思想:

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

  • 总结:

在这里插入图片描述

3. 如何使用Embeddings

在这里插入图片描述

这篇关于CS224W3.3——整图Embedding的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/308690

相关文章

【生成模型系列(初级)】嵌入(Embedding)方程——自然语言处理的数学灵魂【通俗理解】

【通俗理解】嵌入(Embedding)方程——自然语言处理的数学灵魂 关键词提炼 #嵌入方程 #自然语言处理 #词向量 #机器学习 #神经网络 #向量空间模型 #Siri #Google翻译 #AlexNet 第一节:嵌入方程的类比与核心概念【尽可能通俗】 嵌入方程可以被看作是自然语言处理中的“翻译机”,它将文本中的单词或短语转换成计算机能够理解的数学形式,即向量。 正如翻译机将一种语言

【AIGC】Transformer模型:Postion Embedding概述、应用场景和实现方式的详细介绍。

🏆🏆欢迎大家来到我们的天空🏆🏆 🏆🏆如果文章内容对您有所触动,别忘了点赞、关注,收藏! 🏆 作者简介:我们的天空 🏆《头衔》:大厂高级软件测试工程师,阿里云开发者社区专家博主,CSDN人工智能领域新星创作者。 🏆《博客》:人工智能,深度学习,机器学习,python,自然语言处理,AIGC等分享。 所属的专栏:TensorFlow项目开发实战,人工智能技术 🏆🏆主页:我们

深入RAG优化:BGE词嵌入全解析与Landmark Embedding新突破

前面已经写过一篇关于Embedding选型的文章,《如何高效选择RAG的中文Embedding模型?揭秘最佳实践与关键标准!》,主要介绍通过开源网站的下载量和测评效果选择Embedding模型。 一、Embedding选型建议与结果 选型建议: 1、大部分模型的序列长度是 512 tokens。8192 可尝试 tao-8k,1024 可尝试 stella。 2、在专业数据领域上,嵌入

关于NLP的word Embedding

Embedding在数学上表示一个maping, f: X -> Y, 也就是一个function,其中该函数是injective(就是我们所说的单射函数,每个Y只有唯一的X对应,反之亦然)和structure-preserving (结构保存,比如在X所属的空间上X1 < X2,那么映射后在Y所属空间上同理 Y1 < Y2)。那么对于word embedding,就是将单词word映射到另外

点击率预测模型Embedding层的学习和训练

导读: 本文将简要介绍推荐模型的发展历史,现状,和下一步的研究趋势。并重点介绍针对embedding数据的模型训练及优化。主要包含以下几大部分内容: CTR预测模型(CTR Models)连续值处理(Continuous Feature)交叉特征建模(Interaction Modelling)大Embedding模型训练(Distributed Training)总结和展望 01 CTR预

关于Embedding的两种实现方式

目录 言简意赅方式一方式二以DNN为例两种方式全部demo代码 言简意赅 假设现在有一段话:“我爱你中国”,在训练入模的时候,常用的方法分别有:onehot、embedding、hash,如果词表很大、特征很多,那么onehot之后会极其稀疏,hash也会有一定的hash冲突,所以这其中emb是最常用的方法。 我们希望,通过一个向量去表征每一个词,以“我爱你中国”为例,将其映射成为一

初识 Embedding,为何大家都基于它搭建私人智能客服?

随着 AI 技术的发展,大家在日常使用过程中经常会碰到一些目前 GPT4 也无法解决的问题: 无法获取个人私有数据信息,进行智能问答无法获取最新信息,LLM 模型训练都是都是有截止日期的无法定制化私有的专属模型,从而在某个领域内取得更好效果 基于以上问题 OpenAI 官方提供了两种不同私有化模型定制方式:Fine-Tuning(微调)、Embedding(嵌入)。 一、Fine-Tunin

GNN-节点向量(Node Embedding)的表征学习-发展:随机游走/一阶二阶相似度(静态表征)【直接学习出各个节点的向量表示】 -->图卷积(动态表征)【学习节点间聚合函数的参数】

静态表征 基于“随机游走”、“Word2vec”的:DeepWalk、Node2vec、Metapath2vec;基于“一阶相似度”、“二阶相似度”的:LINE、SDNE; 动态表征(GCN、GraphSAGE、GAT)【训练聚合函数的参数】

词向量 Word Embedding one hot

转载地址:点击打开链接 词向量,英文名叫Word Embedding,按照字面意思,应该是词嵌入。说到词向量,不少读者应该会立马想到Google出品的Word2Vec,大牌效应就是不一样。另外,用Keras之类的框架还有一个Embedding层,也说是将词ID映射为向量。由于先入为主的意识,大家可能就会将词向量跟Word2Vec等同起来,而反过来问“Embedding是哪种词向量?”这类问题,尤

Transformer模型中的位置编码(Position Embedding)详解

下面我将为您详细解释关于“Transformer模型中的位置编码(Position Embedding)”。我们将从基础概念入手,逐步深入到具体实现,并通过示例代码来帮助理解。 目录 介绍Transformer简介为什么需要位置编码?位置编码详解实现位置编码示例与应用总结 1. 介绍 在自然语言处理领域,Transformer模型因其高效并行处理的能力而成为深度学习领域的里程碑之一。它