【论文分析】异质信息网络上部分消息传播的可微元多图搜索

本文主要是介绍【论文分析】异质信息网络上部分消息传播的可微元多图搜索，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

异质信息网络上部分消息传播的可微元多图搜索

标题	Differentiable Meta Multigraph Search with Partial Message Propagation on Heterogeneous Information Networks
作者	Chao Li, Hao Xu, Kun He
机构	School of Computer Science, Huazhong University of Science and Technology, China. Hopcroft Center on Computing Science, Huazhong University of Science and Technology,China.
邮箱	{D201880880, M202173589, brooklet60}@hust.edu.cn
论文	https://arxiv.org/abs/2211.14752

摘要

异构信息网络（HINs）广泛用于描述具有复杂实体和关系的真实世界数据。为了自动利用它们的语义信息，最近在HINs的各种任务上开发了图神经架构搜索。然而，现有的工作在不稳定性和不灵活性方面存在弱点。为了解决这些问题，我们提出了一种称为Partial Message Meta Multigraph Search（PMMM）的新方法，用于在HINs上自动优化神经架构设计。具体来说，为了学习图神经网络（GNNs）如何沿着各种类型的边传播消息，PMMM采用了一种高效的可微分框架来搜索有意义的元多图，它可以捕捉比元图更灵活和复杂的语义关系。可微分搜索通常会受到性能不稳定性的影响，因此我们进一步提出了一种稳定的算法，称为部分消息搜索，以确保搜索到的元多图始终优于手动设计的元结构，即元路径。在两个代表性任务上的六个基准数据集上进行的大量实验证明了所提方法的有效性。我们的方法优于最先进的异构GNNs，找到了有意义的元多图，并且更加稳定。

总结：

异构信息网络（HINs）广泛用于描述具有复杂实体和关系的真实世界数据；现有的基于HINs的图神经架构搜索具有不稳定性和不灵活性问题。作者提出了PMMM的新方法，采用高效的可微分架构搜索元多图，具有更灵活的特点；同时采用部分信息搜索，避免性能不稳定问题。作者在两个代表性任务的六个基准数据集上进行实验，证明提出的观点。

引言

异构信息网络（HINs）在现实世界中广泛存在，用于抽象和建模由多个节点类型、边类型和节点特征组成的异构关系提供的丰富语义信息的复杂系统。例如，具有三种节点类型（作者、论文和场馆）的文献图（如DBLP）包括多种边类型，如共同作者关系、共同引用关系以及在相同场馆发表关系。为了建模异构结构，已经提出了许多异构GNNs，将元路径与HINs一起学习（Schlichtkrull等人，2018；Zhang等人，2019a；Wang等人，2019a；Yun等人，2019a）。最近，鉴于卷积神经网络（CNNs）中神经架构搜索（NAS）的成就，一些工作已将NAS扩展到异构GNNs，基于自动定制神经架构以适应特定的数据集和任务的能力。

异构信息网络用于抽象和建模多个节点类型、边类型、节点特征组成的异构关系复杂系统。目前人们借鉴CNNs中的神经架构搜索成果，将NAS扩展到GNNs中，以设计合适的自动神经架构搜索用于相关数据集和任务。

然而，现有的异构GNNs的NAS方法存在一些弱点。例如，GEMS（Han等人，2020）使用进化算法作为搜索策略，使其搜索成本是训练单个GNN的几十倍。HGNAS（Gao等人，2021）采用强化学习作为搜索策略，也存在效率问题。受到CNNs中可微分架构搜索（Liu、Simonyan和Yang，2019）的简单性和计算效率的启发，DiffMG（Ding等人，2021）提出以可微分的方式搜索元图，使得搜索成本与训练单个GNN相当。然而，它存在性能不稳定性，并经常找到比手工设计的模型更差的架构。

说明现如今异构GNNs存在的问题：搜索成本高、搜索效率低。

此外，现有的工作都有一个共同的弱点，即不灵活性。例如，GEMS（Han等人，2020）和DiffMG（Ding等人，2021）搜索元图来指导GNNs如何传播消息。然而，元路径和元图最初是为手工设计的具有固定模式的异构GNNs而定义的，因此它们不足以编码各种丰富的语义信息在不同的HINs上，并将限制搜索的架构为不灵活的拓扑结构。HGNAS（Gao等人，2021）搜索消息编码和聚合函数，但使用预定义的元路径或元图来传播消息。这激发了我们提出在HINs上进行NAS的更具表现力的元结构。

介绍现有的NAS存在的问题：不灵活性。作者受到HGNSA中的搜索信息编码和聚合函数启发，提出了更具有表现力的元结构。

专业名词：

“元路径”（meta-path）和"元图"（meta-graph）是异构图神经网络（Heterogeneous Graph Neural Networks，Heterogeneous GNNs）中的两个重要概念。用于描述如何在异构信息网络（Heterogeneous Information Network，HIN）中传播信息。

元路径（Meta-Path）： 元路径是一种在异构信息网络（HIN）中定义的路径模式。它是一种抽象的概念，通常由节点类型和边类型的序列构成，用于描述节点之间的语义关系。例如，一个元路径可能是"Autor -> Write -> Paper"，其中"Autor"表示作者节点类型，"Write"表示写作关系边类型，"Paper"表示论文节点类型。元路径定义了在网络中如何沿着特定的语义路径传播信息，用于捕获节点之间的语义联系。
元图（Meta-Graph）： 元图是异构信息网络（HIN）的一种抽象表示，它描述了网络中不同节点类型之间的关系以及如何在它们之间传播信息。元图通常由节点类型和边类型组成，其中节点类型表示网络中的不同实体类型，边类型表示不同实体之间的关联关系。元图的目的是定义一种数据结构，以便在HIN中进行图神经网络操作，以实现信息传播和特征学习。

元路径通常用于定义元图，元路径描述了从一个节点类型到另一个节点类型的特定语义路径，而元图则将这些路径整合在一起，以便在HIN上执行更复杂的操作。

为此，我们提出了一种新方法，称为PMMM（Partial Message Meta Multigraph search），它由一个稳定的搜索的新型可微分搜索算法，即==部分消息搜索，以及一种用于灵活拓扑的创新元结构，即元多图==，组成。具体来说，为了稳定可微分搜索，PMMM随机选择部分候选消息传递步骤，每次迭代更新，以确保所有候选路径都得到了平等和充分的训练，并解耦路径的联合优化。为了得到灵活的拓扑结构，PMMM通过选择前k个最有前途的候选消息传递类型来搜索新颖的元多图。搜索元多图是一种免费的性能增强策略，因为它可以在HINs中编码比元路径或元图更灵活和复杂的语义信息。实验证明，PMMM在节点分类和推荐任务上一贯优于最先进的基线，并且相对于差分元图搜索，显著提高了稳定性。我们的主要贡献有三个方面：
• 据我们所知，PMMM是第一个以多图作为架构进行搜索的NAS方法。我们提出了一个新概念的元多图，用于指导GNNs在HINs上进行NAS时传播消息。
• 我们提出了HINs上的第一个稳定的可微分架构搜索算法，称为部分消息搜索，它可以始终发现优于手工设计的模型的有前途的架构。
• 我们进行了彻底的实验证明了我们方法的有效性、稳定性和灵活性。

本文作者的两个创新点：部分信息搜索、元多图

方法学

在本节中，我们首先简要展示了在HINs上提出的可微分元多图搜索的框架，然后我们开发了一个部分消息搜索算法和元多图导出策略，展示它们如何提高稳定性并分别生成灵活和有效的元多图。

可微分元多图搜索

可微分元多图搜索是基于可微分元图搜索（DiffMG）（Ding等人，2021）开发的。可微分元多图搜索的训练包括两个阶段。在搜索阶段，我们训练一个超网络，可以指数方式采样子网络。超网络由有向无环多图构建，其多边包含多条对应于候选消息传递类型的路径。每个候选消息传递类型由架构参数加权，这些参数与超网络的权重一起以端到端的方式进行联合优化。搜索阶段的目标是确定架构参数。在评估阶段，通过基于搜索到的架构参数修剪冗余路径，保留最强的子网络作为目标网络。然后，从头开始重新训练目标网络以获得最终结果。

我们将可微分元多图搜索的搜索空间定义为有向无环多图，其中有序节点 $\boldsymbol{H}=\left\{\boldsymbol{H}^{(0)}, \boldsymbol{H}^{(1)}, \cdots, \boldsymbol{H}^{(n)}, \cdots, \boldsymbol{H}^{(N)}\right\}$ 表示消息传递过程中的超节点，多边 $E=\left\{\mathcal{R}^{(i, j)} \mid 0 \leq i<j \leq N\right\}$ 表示超节点之间的消息传递类型。每个超节点 $\boldsymbol{H}^{(n)} \subseteq \mathcal{T}$ 。 $\boldsymbol{H}^{(0)}$ 和 $\boldsymbol{H}^{(N)}$ 分别是元多图的输入和输出。每个多边 $\mathcal{R}^{(i, j)}⊆ R$ 包含多条路径，对应于候选消息传递类型。对于 $\mathcal{R}^{(i, j)}$ ，我们使用 $\mathcal{A}_r^{(i, j)}$ 来表示在 $\mathcal{G}$ 中类型为 $r$ 的边所形成的邻接矩阵。可微分元多图搜索的核心思想是将从 $\boldsymbol{H}^{(i)}$ 到 $\boldsymbol{H}^{(j)}$ 传播的信息表述为对所有候选消息传递步骤的加权和，即：

在这里插入图片描述

这里， $f(\mathcal{A}_r^{(i, j)},\boldsymbol{H}^{(i)})$ 表示一个消息传递步骤，它沿着 $\mathcal{A}_r^{(i, j)}$ 对 $\boldsymbol{H}^{(i)}$ 进行聚合， $\mathcal{α}_r^{(i, j)}$ 表示 $\mathcal{A}_r^{(i, j)}$ 的架构参数， $\mathcal{p}_r^{(i, j)}∈ (0, 1]$ 表示通过对 $\mathcal{α}_r^{(i, j)}$ 进行softmax计算得到的相应路径强度。f(·)可以是任何聚合函数。与DiffMG（Ding等人，2021）一样，我们采用了图卷积网络（GCN）中的聚合函数。

可微分元多图搜索过程中应用了聚合函数（思想来源：HGNAS（Gao等人，2021）搜索消息编码和聚合函数，但使用预定义的元路径或元图来传播消息）

方程1中的参数更新涉及到一个双层优化问题（Anandalingam和Friesz，1992；Colson、Marcotte和Savard，2007；Xue等人，2021）：

在这里插入图片描述

其中， $\mathcal{L}_{train}$ 和 $\mathcal{L}_{val}$ 分别表示训练损失和验证损失。搜索阶段的目标是找到最小化 $\mathcal{L}_{val}((ω^∗, α^∗))$ 的 $α^∗$ 。

总结可微分元多图搜索：

核心思想：

可微分元多图搜索的核心思想是将从 $\boldsymbol{H}^{(i)}$ 到 $\boldsymbol{H}^{(j)}$ 传播的信息视为所有候选消息传递方式的加权和。
具体地，每种消息传递方式 $r$ 使用消息传递步骤 $f(\mathcal{A}_r^{(i, j)}, \boldsymbol{H}^{(i)})$ 对 $\boldsymbol{H}^{(i)}$ 进行聚合。这一步骤可以根据边的邻接矩阵和节点的特征来计算，以传递信息。
每个消息传递方式的架构参数为 $\mathcal{α}_r^{(i, j)}$ ，用于调整消息传递方式的重要性。
路径强度 $\mathcal{p}_r^{(i, j)}$ 通过对 $\mathcal{α}_r^{(i, j)}$ 进行softmax计算得到，表示了每种消息传递方式在整个传播过程中的贡献度。
所有候选消息传递方式的结果进行加权求和，以获得最终的传播信息。

该方法是通过在消息传递方式和架构参数之间进行搜索，找到最佳的网络结构，允许模型自动学习适合特定任务的消息传递方式和架构参数，以便在给定任务上实现最佳性能。

在评估阶段，我们根据架构参数确定的路径强度 $\mathcal{p}_r^{(i, j)}$ 来修剪冗余路径，得到一个紧凑的元多图。然后，从头开始重新训练元多图，为不同的下游任务生成节点表示，即节点分类和推荐。

思考：什么是下游任务？

“下游任务” 通常指的是在机器学习或深度学习中，与主要任务相关联的二级任务或后续任务。本文主要任务是使用元多图进行节点表示学习，而节点分类和推荐则被视为与主要任务相关的下游任务。指的是使用元多图生成的节点表示进行的额外任务。

什么是修剪冗余路径？

目的是减小网络的复杂性、提高计算效率或减少噪音的影响。本文中通过剪除元多图中对于特定任务或目标不是必要的连接或路径，进而获得一个更加紧凑的元多图，减小模型的复杂性，提高模型的性能和训练效率，该过程通过基于路径强度的阈值来实现，只保留具有足够强度的路径，移除弱路径。

基于部分消息的搜索算法

DiffMG与我们的可微分多图搜索最相关。在每个迭代中，DiffMG对前向传播和反向传播中的每条边都采样一个候选消息传递类型，最强的消息传递类型最有可能被采样，导致训练随机且不充分。DiffMG高效并且优于现有的基线方法。然而，DiffMG的一个局限性在于其不稳定性。正如实验中图4所示，DiffMG只在少数随机种子下有效，而在大多数随机种子下性能急剧下降。

在这里插入图片描述

为了解决DiffMG中的不稳定性问题，直观上，我们希望在搜索阶段确保所有消息传递类型都能得到平等和充分的搜索。另一种解决方案是使用方程1，它将所有可能的消息传递步骤一起训练，并将传播的信息形式化为所有路径的加权和。然而，方程1中各种路径的架构参数是深度耦合并联合优化的。可微方法的贪婪性质不可避免地会因深度耦合（Guo等人，2020）而误导架构搜索，特别是在候选路径的数量很大时。这激发了我们提出一种新的搜索方法，用于实现稳定的元多图搜索，同时克服优化中的耦合问题。

DiffMG中的不稳定性问题；可微分中的贪婪性质可能会由于路径的架构参数深度耦合误导架构搜索，为此作者提出解决方案

为了克服耦合优化问题，我们为每种消息传递类型定义了一个二进制门 $M_r^{(i, j)}$ ，将1分配给选定的消息传递类型，将0分配给被屏蔽的类型。具体来说，我们让每个多边中的路径均匀独立地进行采样，并将 $M_r^{(i, j)}$ 的比例设置为1/p，将p视为超参数。然后，我们可以得到超节点 $\boldsymbol{H}^{(i)}$ 和 $\boldsymbol{H}^{(j)}$ 之间的所有活跃路径的集合：

在这里插入图片描述

如图2所示，通过引入二进制门，只有1/p的消息传递步骤路径是活跃的。然后，我们将从 $\boldsymbol{H}^{(i)}$ 传播到 $\boldsymbol{H}^{(j)}$ 的信息形式化为对活跃的候选消息传递步骤的加权和：

在这里插入图片描述

其中，路径强度 $\mathcal{p}_r^{(i, j)}$ 由方程2计算得出。由于消息采样掩码 $M^{(i, j)}$ 涉及到计算图，因此可以通过反向传播计算方程6中更新的参数。总体算法如Algorithm 1所示。在这里插入图片描述

基于元多图的架构推导

一旦架构参数的训练完成，我们可以通过修剪冗余路径来推导出紧凑的架构。据我们所知，所有现有的用于CNN的可微架构搜索算法都选择了每条边上具有最高路径强度的一条路径。因为保留多条路径意味着在两个节点表示之间使用多种类型的操作，这在大多数情况下会损害性能。

DiffMG继承了这些方法的导出策略以生成元图。但是，DiffMG不是搜索操作，而是搜索决定在元图中不同类型的节点表示之间传播哪些消息的消息传递类型。考虑到HIN由多个节点类型和边类型组成，仅在两个不同节点表示之间派生单一的消息传递类型是不足够且不灵活的，无法编码丰富的语义信息。如图1（c）所示，在H(0)和H(2)之间有多条路径，这无法通过传统的导出策略来学习。导出单一路径带来的另一个问题是，某些有效的消息传递类型，虽然路径强度较低，但类似但较弱的路径强度的消息传递类型将被丢弃。因此，简单地选择路径强度最高的消息传递类型可能会拒绝潜在良好的架构。

为了解决上述问题，我们建议派生元多图作为异构消息传递层，使消息传递类型比仅保留具有最高路径强度的类型更加多样化。派生元多图的另一种解决方案是设置一个阈值 $\mathcal{T}$ ，保留路径强度在该阈值以上的消息传递类型。由于路径强度在搜索阶段不断变化，所以τ也需要随之变化。在这里，我们将阈值 $\mathcal{T}^{i,j}$ 设置为每个多边 $\mathcal{R}^{i,j}$ 中路径强度的最大值和最小值之间的值：

在这里插入图片描述

这里， $\mathcal{p}_r^{(i, j)}$ 是从搜索阶段继承的，λ ∈ [0, 1]是一个控制每个多边中重新训练路径数量的超参数。

然后，我们将从 $\boldsymbol{H}^{(i)}$ 传播到 $\boldsymbol{H}^{(j)}$ 的信息形式化为在具有路径强度大于 $\mathcal{T}^{i,j}$ 的候选路径上的无权和：

在这里插入图片描述

其中， $\hat{S}^{(i,j)}$ 是超节点 $\boldsymbol{H}^{(i)}$ 和 $\boldsymbol{H}^{(j)}$ 之间保留的所有路径的集合。然后，派生的元多图可以用作从头开始重新训练的目标网络。

与先前方法的差异

表1详细列出了我们的方法与相关的可微分NAS算法之间的区别，包括DARTS（Liu、Simonyan和Yang 2019）、PC-DARTS（Xu等人 2020）、ProxylessNAS（Cai、Zhu和Han 2019）、SPOS（Guo等人 2020）和DiffMG（Yao等人 2020）。前四种算法搜索CNN中的卷积或池化操作，而不是GNN中的元结构。我们忽略了这些差异，重点关注算法。与DARTS和PC-DARTS相比，我们的搜索算法不会联合优化所有的架构参数，从而减少了搜索阶段与评估阶段之间的不一致性。与ProxylessNAS、SPOS和DiffMG相比，我们的搜索算法以更高的概率更新每个消息传递步骤，避免了由于不充分训练而引起的不公平现象。关于派生策略，我们的方法与上述所有方法都不同。
在这里插入图片描述

实验

在实验中，我们首先将PMMM与基线方法在两个代表性任务上进行比较，以评估其性能。然后，我们评估PMMM的效率，并可视化我们搜索的架构，以分析元多图如何改进性能。我们还将PMMM与可微分元图搜索进行比较，以展示其在不同设置下的稳定性。最后，我们对超参数 $λ$ 进行参数分析，以展示PMMM的灵活性。

实验设置

数据集 我们在两个流行的任务上评估我们的方法（Yang等人 2020）：节点分类和推荐。节点分类任务的目标是基于网络结构和节点特征预测节点的正确标签。我们使用三个广泛使用的真实世界数据集：DBLP、ACM和IMDB。关于推荐任务，我们的目标是预测源节点（例如用户）和目标节点（例如物品）之间的链接。我们采用了三个广泛使用的异构推荐数据集：Amazon、Yelp和Douban Movie（简称Douban）。所有数据集的详细信息显示在附录中。

节点分类任务：基于网络结构和节点特征预测节点的正确标签；数据集：DBLP、ACM和IMDB

推荐任务：预测某源节点和目标节点之间的链接；数据集：Amazon、Yelp和Douban Movie（简称Douban）

基线我们将我们的方法与十一种方法进行比较，包括：1）基于随机游走的网络嵌入方法metapath2vec（Dong、Chawla和Swami 2017）；2）两种同质GNN，即GCN（Kipf和Welling 2017）和GAT（Velickovic等人 2018）；3）五种异构GNN，即HAN（Wang等人 2019b）、MAGNN（Fu等人 2020）、GTN（Yun等人 2019b）、HGT（Hu等人 2020）和GraphMSE（Li等人 2021）；4）三种AutoML方法，即GEMS（Han等人 2020）用于推荐、HGNAS（Gao等人 2021）用于节点分类和DiffMG（Ding等人 2021）。特别地，HGNAS采用了不同的数据分割，并且没有提供源代码，因此我们使用附录中的数据分割进行单独比较。关于这些方法的更多细节以及与我们模型的不同之处，可以在附录中找到。

参数设置 与DiffMG一样，我们使用不同的随机搜索种子运行搜索算法三次，以从实现最佳验证性能的运行中派生元多图。为了公平比较，候选消息传递类型与DiffMG相同，并将搜索轮数设置为30。我们大多数数据集上将p设置为2，即在每个边上随机抽样1/2的路径，除了DBLP和ACM的K较小，我们将p设置为1。为了与基线协调，我们设置步数N = 4，与GTN学到的元路径长度和DiffMG搜索到的元图长度相同。此外，我们将λ设置为0.9。为了展示我们的元多图策略的有效性，我们将DiffMG的搜索算法与我们的元多图导出策略结合起来，获得新的架构，称为Multigraph，并将其与DiffMG进行比较。我们将基线的设置放在附录中。实验在具有11GB内存的单个RTX 2080 Ti GPU上进行。

λ表示为控制每个多边中重新训练路径数量的超参数

评估指标 为了评估，我们使用宏F1分数和微F1分数来进行节点分类任务，使用AUC（ROC曲线下的面积）来进行推荐任务。对于每种方法，我们使用不同的随机训练种子重复10次过程，并报告平均分数和标准差。

宏F1分数（Macro-F1 Score）是一种用于评估多类别分类性能的指标。它计算每个类别的F1分数，然后对这些分数取平均。F1分数是精确度（Precision）和召回率（Recall）的调和平均值。它用于衡量模型在每个类别上的分类准确度，并对所有类别的性能进行平均。
微F1分数（Micro-F1 Score）也是用于评估多类别分类性能的指标。与宏F1不同，微F1将所有类别的真阳性、假阳性和假阴性的总数汇总起来，然后计算精确度和召回率，并最终计算微平均F1分数。它对每个样本的贡献是相等的，适用于不平衡数据集。
AUC（Area Under the Curve）是用于评估二元分类模型性能的指标。它度量了ROC曲线（接收器操作特征曲线）下方的面积，ROC曲线是真阳性率与假阳性率之间的关系曲线。AUC值越接近1，表示模型性能越好，能更好地区分正类别和负类别。

sklearn中 F1-micro 与 F1-macro区别和计算原理_飞翔的大马哈鱼的博客-CSDN博客

[评价指标系列01] Micro-F1和Micro-F1 - 知乎 (zhihu.com)

节点分类的比较

表2总结了所提出的模型和基线的结果。首先，依赖手动设计的元路径的异构GNN，例如HAN和MAGNN，没有达到理想的性能。它们甚至可能比同质GNN（如GAT）性能更差，这表明手工制定的规则可能会产生不利的影响。其次，DiffMG在性能上优于使用元路径的异构GNN，表明了NAS的威力以及元图相对于元路径的优势。然而，如后续的图4和图5所示，DiffMG的性能是脆弱的，因为它依赖于精心选择的随机种子和元图长度。最后，PMMM始终优于所有最先进的模型，这进一步表明了自动利用HIN中依赖任务的语义信息的重要性。此外，Multigraph相对于DiffMG的性能改进验证了元多图在HIN上的表示学习方面优于元图。请注意，元多图策略无法解决不稳定性问题。因此，在大多数其他搜索种子中，Multigraph的性能不如PMMM。

在这里插入图片描述

效率

表4比较了我们的方法与现有方法在三个推荐数据集上使用NAS进行异构GNN的搜索成本。由于HGNAS没有提供搜索成本和源代码，因此它被省略。由于GEMS在单独评估每个候选模型，所以非常耗时。对于DiffMG和PMMM，我们提供了三次运行的总体搜索成本。这两种方法都将候选模型合并到超级网络中。因此，搜索成本可以减少约1000倍，使它们可以应用于大规模HIN。与DiffMG相比，我们的方法具有类似的搜索效率，但表现更好，稳定性大大提高。评估效率在附录中进行了说明，具有与搜索效率类似的性能。

在这里插入图片描述

在三个推荐数据集上进行比较，其中将DiffMG与PMMM都将候选模型整合到超级网络上，搜索成本减少1000倍

可视化

图3可视化了在DBLP上进行的节点分类和在亚马逊上进行的推荐任务中搜索到的模型架构。PMMM搜索到的元结构比DiffMG的元图更复杂。然而，由于神经架构训练中的并行化，更多的消息传递步骤对效率几乎没有负面影响。在图3（a）中，H（2）从H（1）接收了两种不同的边缘类型。我们发现 $A_{AP}$ 和 $A_{PC}$ 对H（1）和H（2）之间的消息传递都至关重要。如果我们搜索类似于DiffMG的元图，则必须丢弃 $A_{AP}$ ，因为不允许多个路径，这将严重影响性能。

在这里插入图片描述

稳定性研究

为了评估我们方法的稳定性，我们从两个角度比较了PMMM和可微分元图搜索。

随机搜索种子 我们通过在从0到30的随机搜索种子上运行两个算法来评估每个算法的稳定性，并绘制了在不同随机训练种子下搜索架构的三次相关重训练的宏F1分数的平均值。结果如图4所示。灰色虚线显示了手工设计的异构GNNs，HAN用于节点分类和GTN用于推荐的基线结果。虽然DiffMG在一些搜索种子上表现出色，但在大多数其他种子中性能急剧下降。在大多数情况下，其性能甚至不如HAN和GTN。相反，PMMM可以克服DiffMG中的不稳定性问题。此外，PMMM在大多数搜索种子中明显优于DiffMG，并始终超越手动设计的网络。具体来说，考虑到从0到30的搜索种子的平均结果，PMMM相对于DiffMG具有8.97％、8.33％、1.53％、1.78％、2.67％和3.11％更好的性能。
在这里插入图片描述

步骤 DiffMG的结果是在元图的步数（深度）N = 4下进行的。我们在主要实验中遵循了他们的设置，以进行公平比较。为了探讨两种算法在不同深度的元结构上的性能，我们在不同步数下运行了这两种算法。图5说明了结果。DiffMG在不同深度的元图下性能不稳定，通常不如手动网络，这极大限制了其实际应用。

在这里插入图片描述

参数研究

我们对控制我们模型的派生元多图的超参数λ进行了分析。当λ = 1时，每个边缘中只保留最强的路径，这是大多数可微NAS（包括DiffMG）的派生策略。当λ = 0时，保留所有路径。我们猜测λ应该接近1，以确保保留所有有效的路径并丢弃弱路径。我们将λ分为两部分，λseq和λres，分别控制顺序多边缘中重新训练路径的数量和残余多边缘中重新训练路径的数量。我们将λseq和λres从0变化到1，并在图6中绘制了DBLP的节点分类和亚马逊的推荐结果。当λseq和λres约为0.9时，性能达到峰值，这证明了元多图策略的有效性，并验证了我们的猜测。值得注意的是，PMMM可以通过变化λseq和λres来派生灵活的元多图。

在这里插入图片描述