InfoGraph方法部分 (Unsupervised and Semi-supervised Graph-Level Representation Learning via Mutual Info)

本文主要是介绍InfoGraph方法部分 (Unsupervised and Semi-supervised Graph-Level Representation Learning via Mutual Info),希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

目录

摘要

贡献

方法

 问题定义

INFOGRAPH


论文链接:https://arxiv.org/abs/1908.01000

摘要

        本文研究了在无监督和半监督情况下学习整个图的表示。图级表示在各种现实应用中至关重要,例如预测分子的属性和社交网络中的社区分析。

        传统的基于图核的方法很简单,但对于获得图的固定长度表示很有效,但由于手工设计,它们的泛化能力很差。最近也有一些基于语言模型的方法(例如 graph2vec),但它们往往只考虑某些子结构(例如子树)作为图形代表。

        受最近无监督表示学习进展的启发,在本文中,我们提出了一种称为 InfoGraph 的新方法,用于学习图级表示。我们最大化图级表示与不同尺度子结构(例如,节点、边、三角形)的表示之间的互信息。通过这样做,图级表示对跨不同子结构规模共享的数据的各个方面进行编码。

        此外,我们进一步提出了 InfoGraph*,它是 InfoGraph 的半监督场景扩展。 InfoGraph* 最大化 InfoGraph 学习的无监督图表示与现有监督方法学习的表示之间的互信息。因此,监督编码器从未标记的数据中学习,同时保留当前监督任务青睐的潜在语义空间。

        图分类和分子特性预测任务的实验结果表明,InfoGraph 优于最先进的基线,InfoGraph* 可以实现与最先进的半监督模型相媲美的性能。

贡献

        我们提出了 InfoGraph,一种基于 Deep InfoMax (DIM) Hjelm 等人的无监督图表示学习方法。 (2018)。

        我们展示了InfoGraph 可以扩展到图上的半监督预测任务

        我们凭经验表明,InfoGraph 在使用无监督学习的图分类任务上超越了最先进的性能,并且在使用半监督学习的分子特性预测任务上获得了与最先进的方法相当的性能

方法

        最近关于图的工作集中在监督学习任务或学习节点表示上。然而,许多图分析任务(例如图分类、回归和聚类)需要将整个图表示为固定长度的特征向量。虽然图级表示可以通过节点级表示隐式获得,但显式提取图对于面向图的任务来说可能更直接和最佳

        另一个重要但在图相关文献中引起相对较少关注的场景是半监督学习。生物学预测任务中最大的挑战之一 Yan 等人。 (2017);杨等。 (2014) 或分子机器学习 Duvenaud 等人。 (2015);吉尔默等人。 (2017); Jia & Liang (2017) 是标记数据的极度稀缺。因此,将大量未标记样本与少量标记样本结合以提高模型准确性的半监督学习将在这些领域发挥关键作用

        在本节中,我们首先制定一个无监督的全图表示学习问题和一个半监督的图预测任务。然后,我们介绍了我们学习图级表示的方法。之后,我们提出了我们针对半监督学习场景提出的模型。

 

 问题定义

        无监督图表示学习。给定一组图 G = {G1, G2, ...} 和一个正整数 δ(预期嵌入大小),我们的目标是学习每个图 Gi ∈ G 的 δ 维分布式表示。我们将Gi中的节点数表示为 | Gi |。我们将所有图的表示矩阵表示为 Φ ∈ R | G | × δ。

        半监督图预测任务。给定一组标记图 GL = {G1, · · · , G|GL|} 以及相应的输出 {o1, · · · , o|GL |},以及一组未标记的样本 GU = {G|GL|+ 1, · · · , G|GL|+|GU |},我们的目标是学习一个可以对未见过的图做出预测的模型。请注意,在大多数情况下 |GU | 》|GL|。

INFOGRAPH

        我们专注于图神经网络 (GNN)——一类灵活的嵌入架构,它通过对局部节点邻域的重复聚合生成节点表示。节点的表示是通过聚合其邻域节点的特征来学习的,因此我们将这些称为补丁表示。 GNNs 利用 READOUT 函数将所有获得的补丁表示汇总为固定长度的图级表示

        形式上,GNN 的第 k 层是

         其中  是节点 v 在第 k 次迭代/层(或以节点 i 为中心的补丁表示)的特征向量,e_{uv} 是 u 和 v 之间边的特征向量,N (v) 是节点 v 的邻域。h^{(0)}_v 通常被初始化为节点特征。 READOUT 可以是一个简单的置换不变函数,例如平均或更复杂的图级池函数 Ying 等人。 (2018);张等。 (2018)。

        我们寻求通过最大化图形级和补丁级表示之间的互信息来获得图形表示。通过这样做,图表示可以学习对跨所有子结构共享的数据方面进行编码。假设给定我们一组训练样本 ,在输入空间上具有经验概率分布 P。设 \phi 表示 K 层图神经网络的参数集 .在图神经网络的第一个 k 层之后,将输入图编码成一组补丁表示 。接下来,我们将图形神经网络各个深度的特征向量汇总为一个单一的特征向量,以每个节点为中心捕获不同尺度的补丁信息。

        其中  是以节点 i 为中心的汇总补丁表示 是应用 READOUT 后的全局表示。请注意,这里我们稍微滥用了 h 的符号 

         我们在全局/局部对上定义我们的互信息 (MI) 估计器,最大化给定数据集 上的估计 MI

         Iφ,ψ 是由鉴别器 Tψ 建模并由具有参数 ψ 的神经网络参数化的互信息估计器。我们使用 Jensen-Shannon MI 估计器(遵循 Nowozin 等人 (2016) 的公式),

         其中x是输入样本,x′(负样本)是从\widetilde{P} = P采样的输入,一个与输入空间的经验概率分布相同的分布,sp(z) = log(1 + e^z )是softplus函数。在实践中,我们使用批处理中所有图形实例的全局和局部补丁表示的所有可能组合来生成负样本

        由于鼓励 Hφ(G) 具有包含所有尺度信息的补丁的高 MI,这有利于对跨补丁共享的数据方面和跨尺度共享的方面进行编码。该算法如图 1 所示。 

        需要注意的是,我们的模型类似于 Deep Graph Infomax (DGI) Veliˇckovi ́c 等人。 (2018),一种用于学习无监督节点嵌入的模型。但是,由于我们关注的问题不同,因此存在重要的设计差异。首先,在 DGI 中,他们使用随机抽样来获得负样本,因为他们主要专注于学习图上的节点嵌入。然而,对比方法需要大量的负样本才能具有竞争力 Hjelm 等人。 (2018),因此,当我们试图在给定许多图实例的情况下学习图嵌入时,使用分批生成负样本至关重要。其次,图卷积编码器的选择也很关键。我们使用 GIN Xu 等人。 (2018a) 而 DGI 使用 GCN Kipf & Welling (2016) 作为 GIN 为图级应用程序提供更好的归纳偏差。应仔细考虑图形神经网络设计,以便图形表示可以区分其他图形实例。例如,我们对 READOUT 使用 均值求和,这可以提供有关图形大小的重要信息。

这篇关于InfoGraph方法部分 (Unsupervised and Semi-supervised Graph-Level Representation Learning via Mutual Info)的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/243023

相关文章

Java中的String.valueOf()和toString()方法区别小结

《Java中的String.valueOf()和toString()方法区别小结》字符串操作是开发者日常编程任务中不可或缺的一部分,转换为字符串是一种常见需求,其中最常见的就是String.value... 目录String.valueOf()方法方法定义方法实现使用示例使用场景toString()方法方法

Java中List的contains()方法的使用小结

《Java中List的contains()方法的使用小结》List的contains()方法用于检查列表中是否包含指定的元素,借助equals()方法进行判断,下面就来介绍Java中List的c... 目录详细展开1. 方法签名2. 工作原理3. 使用示例4. 注意事项总结结论:List 的 contain

macOS无效Launchpad图标轻松删除的4 种实用方法

《macOS无效Launchpad图标轻松删除的4种实用方法》mac中不在appstore上下载的应用经常在删除后它的图标还残留在launchpad中,并且长按图标也不会出现删除符号,下面解决这个问... 在 MACOS 上,Launchpad(也就是「启动台」)是一个便捷的 App 启动工具。但有时候,应

SpringBoot日志配置SLF4J和Logback的方法实现

《SpringBoot日志配置SLF4J和Logback的方法实现》日志记录是不可或缺的一部分,本文主要介绍了SpringBoot日志配置SLF4J和Logback的方法实现,文中通过示例代码介绍的非... 目录一、前言二、案例一:初识日志三、案例二:使用Lombok输出日志四、案例三:配置Logback一

Python实现无痛修改第三方库源码的方法详解

《Python实现无痛修改第三方库源码的方法详解》很多时候,我们下载的第三方库是不会有需求不满足的情况,但也有极少的情况,第三方库没有兼顾到需求,本文将介绍几个修改源码的操作,大家可以根据需求进行选择... 目录需求不符合模拟示例 1. 修改源文件2. 继承修改3. 猴子补丁4. 追踪局部变量需求不符合很

mysql出现ERROR 2003 (HY000): Can‘t connect to MySQL server on ‘localhost‘ (10061)的解决方法

《mysql出现ERROR2003(HY000):Can‘tconnecttoMySQLserveron‘localhost‘(10061)的解决方法》本文主要介绍了mysql出现... 目录前言:第一步:第二步:第三步:总结:前言:当你想通过命令窗口想打开mysql时候发现提http://www.cpp

Mysql删除几亿条数据表中的部分数据的方法实现

《Mysql删除几亿条数据表中的部分数据的方法实现》在MySQL中删除一个大表中的数据时,需要特别注意操作的性能和对系统的影响,本文主要介绍了Mysql删除几亿条数据表中的部分数据的方法实现,具有一定... 目录1、需求2、方案1. 使用 DELETE 语句分批删除2. 使用 INPLACE ALTER T

MySQL INSERT语句实现当记录不存在时插入的几种方法

《MySQLINSERT语句实现当记录不存在时插入的几种方法》MySQL的INSERT语句是用于向数据库表中插入新记录的关键命令,下面:本文主要介绍MySQLINSERT语句实现当记录不存在时... 目录使用 INSERT IGNORE使用 ON DUPLICATE KEY UPDATE使用 REPLACE

CentOS 7部署主域名服务器 DNS的方法

《CentOS7部署主域名服务器DNS的方法》文章详细介绍了在CentOS7上部署主域名服务器DNS的步骤,包括安装BIND服务、配置DNS服务、添加域名区域、创建区域文件、配置反向解析、检查配置... 目录1. 安装 BIND 服务和工具2.  配置 BIND 服务3 . 添加你的域名区域配置4.创建区域

mss32.dll文件丢失怎么办? 电脑提示mss32.dll丢失的多种修复方法

《mss32.dll文件丢失怎么办?电脑提示mss32.dll丢失的多种修复方法》最近,很多电脑用户可能遇到了mss32.dll文件丢失的问题,导致一些应用程序无法正常启动,那么,如何修复这个问题呢... 在电脑常年累月的使用过程中,偶尔会遇到一些问题令人头疼。像是某个程序尝试运行时,系统突然弹出一个错误提