图神经网络与分子表征:7. LEFTNet

2024-04-20 11:04

本文主要是介绍图神经网络与分子表征:7. LEFTNet,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

在执行性质预测任务时,我们需要考虑两个问题:1. 如何正确的将图结构进行编码?2. 如何汇聚编码信息预测整个分子的任务?
LEFTNet 就是通过回答上述问题来进行模型设计的。
原文地址

算法设计

原文中,作者定义了三个图同构问题:

  1. 树同构:任意邻接的两原子间的距离一致即可
  2. 三角同构:任意邻接的三原子构成的三角形一致
  3. 子图同构:任意两个三角形的相对位置保持一致

作者认为,一个好的编码器能够甄别上述所有同构问题,就像一台高分辨率的相机一样。为了方便理解,作者给出了两个案例:
在这里插入图片描述
在图(a)中,作者展示了一种,满足树同构,但不满足三角同构的情况。
在图(b)中,作者展示了一种,满足三角同构,但不满足子图同构的情况。
有了模型设计方向,作者开始讲述设计思路:
首先,为了满足树同构的要求。作者认为,只要正确抽取原子间距离即可,所有的 3DGNN 均满足。
其次,为了满足三角同构的要求。作者认为,三角同构本质上是局域完备性问题。作者设计了一个局域坐标系,通过将原坐标映射到局域坐标,即可满足局域完备性的要求,同时还能满足等变要求。此处直接采用了作者上一篇文章 ClofNet。
注:能够满足局域完备性的模型很多,可以参考我之前的博客
最后,为了满足子图同构的要求,作者认为,不同局域坐标系相对位置不一样,这导致局域信息汇聚过程中遭受信息损失。在信息汇聚过程中有效考虑不同坐标系的相对位置,能够有效解决这一问题。
在这里插入图片描述

如上图所示,点 b 和点 c 分别建立了局域坐标系,在这两个局域坐标系下,cluster(团簇)b 和 cluster c 进行了有效映射。b 处的局域信息如何才能有效和 c 处的局域信息融合呢?
作者指出,通过二者共同的邻居 a,以及两个局域坐标系的相对位置,能够实现信息的转换融合。因此,模型设计时需要考虑两点:

  1. 编码时需要纳入尽可能完备的局域信息;
  2. 信息汇聚时需要考虑不同局域坐标系的相对位置;

算法实现

一共两处 github 仓库与 LEFTNet 的实现有关:m2hub, leftnet

二者差别不大,此处以 m2hub 中的为例。
在这里插入图片描述

作者在原文中给出了模型框架图(上图)和算法流程(下图):
在这里插入图片描述

实际代码实现与原文存在些许区别。按原文的模型框架图,LEFTNet 是向量、标量双通道模型,与 PAINN 一致。
在消息传递模块中,模型会首先通过 LSE 抽取子图信息,并将其抽象成邻居消息的权重 Aij.
邻居消息就是边的 embedding,通过与权重进行糅合,有效融入局域信息。
最后,在消息的聚合阶段,通过考虑不同局域坐标系的相对位置,实现子图级的消息融合。
下面我们读一下代码:

  1. 抽取局域信息的 LSE 模块
    该模块在 interaction 之前,属于数据预处理:
    在这里插入图片描述
  2. 消息传递主函数
    在这里插入图片描述
    实际实现过程中,原文提到的 FTE 模块进行了简化,取消了node_frame的介入,因此可以看做是简单的 scalar vector infusion
  3. 消息传递模块
    此处是直接调用的 torch geometric 的消息传递类
    原文中消息是由三个成分构成,实际代码实现中仅使用了前两项
    在这里插入图片描述
    消息传递模块如下:
    在这里插入图片描述
  4. 标量、向量融合阶段

对应原文中的 FTE(进行了简化)
在这里插入图片描述

核心思路是向量标量化,与原标量信息融合。融合标量再向量化,与原向量信息进行融合。
使用类似融合方法的模型很多,例如:
so3krate 和 torchmd-net, BAMBOO 中的 GET layer,如下图所示:
在这里插入图片描述

写在最后

LEFTNet 这篇论文行文晦涩难懂,这是和其他模型文章最大的区别。大量的定理证明展现了作者扎实的数学功底。在 LEFTNet 之后,西班牙团队很快发展出了 torchmd-net (有名 tensornet, neruips 2023),torchmd-net 在纳入电荷信息后升级到了 torchmd-net 2。字节团队在 torchmd-net 2 之上搭建了 BAMBOO。这些论文相对容易理解,感兴趣的读者可以拓展阅读。

这篇关于图神经网络与分子表征:7. LEFTNet的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/920086

相关文章

图神经网络模型介绍(1)

我们将图神经网络分为基于谱域的模型和基于空域的模型,并按照发展顺序详解每个类别中的重要模型。 1.1基于谱域的图神经网络         谱域上的图卷积在图学习迈向深度学习的发展历程中起到了关键的作用。本节主要介绍三个具有代表性的谱域图神经网络:谱图卷积网络、切比雪夫网络和图卷积网络。 (1)谱图卷积网络 卷积定理:函数卷积的傅里叶变换是函数傅里叶变换的乘积,即F{f*g}

MOLE 2.5 分析分子通道和孔隙

软件介绍 生物大分子通道和孔隙在生物学中发挥着重要作用,例如在分子识别和酶底物特异性方面。 我们介绍了一种名为 MOLE 2.5 的高级软件工具,该工具旨在分析分子通道和孔隙。 与其他可用软件工具的基准测试表明,MOLE 2.5 相比更快、更强大、功能更丰富。作为一项新功能,MOLE 2.5 可以估算已识别通道的物理化学性质。 软件下载 https://pan.quark.cn/s/57

机器学习之监督学习(三)神经网络

机器学习之监督学习(三)神经网络基础 0. 文章传送1. 深度学习 Deep Learning深度学习的关键特点深度学习VS传统机器学习 2. 生物神经网络 Biological Neural Network3. 神经网络模型基本结构模块一:TensorFlow搭建神经网络 4. 反向传播梯度下降 Back Propagation Gradient Descent模块二:激活函数 activ

图神经网络框架DGL实现Graph Attention Network (GAT)笔记

参考列表: [1]深入理解图注意力机制 [2]DGL官方学习教程一 ——基础操作&消息传递 [3]Cora数据集介绍+python读取 一、DGL实现GAT分类机器学习论文 程序摘自[1],该程序实现了利用图神经网络框架——DGL,实现图注意网络(GAT)。应用demo为对机器学习论文数据集——Cora,对论文所属类别进行分类。(下图摘自[3]) 1. 程序 Ubuntu:18.04

基于深度学习 卷积神经网络resnext50的中医舌苔分类系统

项目概述 本项目旨在通过深度学习技术,特别是利用卷积神经网络(Convolutional Neural Networks, CNNs)中的ResNeXt50架构,实现对中医舌象图像的自动分类。该系统不仅能够识别不同的舌苔类型,还能够在PyQt5框架下提供一个直观的图形用户界面(GUI),使得医生或患者能够方便地上传舌象照片并获取分析结果。 技术栈 深度学习框架:采用PyTorch或其他

图神经网络(2)预备知识

1. 图的基本概念         对于接触过数据结构和算法的读者来说,图并不是一个陌生的概念。一个图由一些顶点也称为节点和连接这些顶点的边组成。给定一个图G=(V,E),  其 中V={V1,V2,…,Vn}  是一个具有 n 个顶点的集合。 1.1邻接矩阵         我们用邻接矩阵A∈Rn×n表示顶点之间的连接关系。 如果顶点 vi和vj之间有连接,就表示(vi,vj)  组成了

自然语言处理系列六十三》神经网络算法》LSTM长短期记忆神经网络算法

注:此文章内容均节选自充电了么创始人,CEO兼CTO陈敬雷老师的新书《自然语言处理原理与实战》(人工智能科学与技术丛书)【陈敬雷编著】【清华大学出版社】 文章目录 自然语言处理系列六十三神经网络算法》LSTM长短期记忆神经网络算法Seq2Seq端到端神经网络算法 总结 自然语言处理系列六十三 神经网络算法》LSTM长短期记忆神经网络算法 长短期记忆网络(LSTM,Long S

神经网络训练不起来怎么办(零)| General Guidance

摘要:模型性能不理想时,如何判断 Model Bias, Optimization, Overfitting 等问题,并以此着手优化模型。在这个分析过程中,我们可以对Function Set,模型弹性有直观的理解。关键词:模型性能,Model Bias, Optimization, Overfitting。 零,领域背景 如果我们的模型表现较差,那么我们往往需要根据 Training l

如何将卷积神经网络(CNN)应用于医学图像分析:从分类到分割和检测的实用指南

引言 在现代医疗领域,医学图像已经成为疾病诊断和治疗规划的重要工具。医学图像的类型繁多,包括但不限于X射线、CT(计算机断层扫描)、MRI(磁共振成像)和超声图像。这些图像提供了对身体内部结构的详细视图,有助于医生在进行准确诊断和制定个性化治疗方案时获取关键的信息。 1. 医学图像分析的挑战 医学图像分析面临诸多挑战,其中包括: 图像数据的复杂性:医学图像通常具有高维度和复杂的结构

临床基础两手抓!这个12+神经网络模型太贪了,免疫治疗预测、通路重要性、基因重要性、通路交互作用性全部拿下!

生信碱移 IRnet介绍 用于预测病人免疫治疗反应类型的生物过程嵌入神经网络,提供通路、通路交互、基因重要性的多重可解释性评估。 临床实践中常常遇到许多复杂的问题,常见的两种是: 二分类或多分类:预测患者对治疗有无耐受(二分类)、判断患者的疾病分级(多分类); 连续数值的预测:预测癌症病人的风险、预测患者的白细胞数值水平; 尽管传统的机器学习提供了高效的建模预测与初步的特征重