论文阅读: DeepGCNs: Can GCNs Go as Deep as CNNs?

2024-04-25 07:48

本文主要是介绍论文阅读: DeepGCNs: Can GCNs Go as Deep as CNNs?,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

论文名称:图卷积神经网络可以走向更深吗?(究极缝合怪)
出自:ICCV 2019 Oral
作者单位: 阿卜杜拉国王科技大学

引言:
卷积神经网络很好,因为它很深,并且由残差连接保证性能的提高。在现有的Graph Convolution Network 只有三到四层,而本文提出的缝合怪有56层。

前言:在后续的论文中,在深度GCN上的论文并没有多少,现有的缝合怪论文体系中并没有它的太多身影。直至2021年12.28日,两年时间内,引用次数为420+次 。
可以看出来,在GCN的狂潮下,这篇文章还是属于热门文章的。而我们也能够充GCN的代码堆叠中看出来,通过不同形式的模块堆叠是能够起到增加模型学习能力的目的的。

内容:

在这篇文章里,主要叙述了一下残差网络、denseNet的功能和效果,并且将他们的思路引入到GCN中,与原始的GCN不同,这里的集成模块由GCN的backbone和融合模块和MLP预测模块组成。
融合模块类似于SE的结构,而mlp是分类器最后的常用操作,只不过后面逐渐被1*1的卷积代替了。
在GCN的backbone,作者给定了三个;
plainGCN
ResGCN
DenseGCN
可以说三者的区别仅仅是跳过连接的数量不同。所以这样能够最大程度的保留原有数据的特征信息,减少梯度过平滑的情况,也就是梯度消失问题的出现。
直接上图DGCN
different backbone

显然,这种backbone + 特征融合(likely SE_block)+MLP (classify)模式定下来,接下来的工作就是换backbone了。
很明显,三种backbone,plain 和 res的k, f都相等,而dense则将f减半,而res和Dense都使用了空洞卷积,这样的好处就是参数量会变少,所以综合这种设计,我们可以猜想,这网络的计算量是有的,并且按照作者当时的背景,一个大型的私立研究所尚且对于图卷积的参数要控制,我们在设计网络架构的时候也要注意,可以将空洞卷积用于GCN中来减少参数!

现在的想法暂时是这样,实验为王!

这篇关于论文阅读: DeepGCNs: Can GCNs Go as Deep as CNNs?的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/934093

相关文章

go中空接口的具体使用

《go中空接口的具体使用》空接口是一种特殊的接口类型,它不包含任何方法,本文主要介绍了go中空接口的具体使用,具有一定的参考价值,感兴趣的可以了解一下... 目录接口-空接口1. 什么是空接口?2. 如何使用空接口?第一,第二,第三,3. 空接口几个要注意的坑坑1:坑2:坑3:接口-空接口1. 什么是空接

利用Go语言开发文件操作工具轻松处理所有文件

《利用Go语言开发文件操作工具轻松处理所有文件》在后端开发中,文件操作是一个非常常见但又容易出错的场景,本文小编要向大家介绍一个强大的Go语言文件操作工具库,它能帮你轻松处理各种文件操作场景... 目录为什么需要这个工具?核心功能详解1. 文件/目录存javascript在性检查2. 批量创建目录3. 文件

Go语言中最便捷的http请求包resty的使用详解

《Go语言中最便捷的http请求包resty的使用详解》go语言虽然自身就有net/http包,但是说实话用起来没那么好用,resty包是go语言中一个非常受欢迎的http请求处理包,下面我们一起来学... 目录安装一、一个简单的get二、带查询参数三、设置请求头、body四、设置表单数据五、处理响应六、超

Golang基于内存的键值存储缓存库go-cache

《Golang基于内存的键值存储缓存库go-cache》go-cache是一个内存中的key:valuestore/cache库,适用于单机应用程序,本文主要介绍了Golang基于内存的键值存储缓存库... 目录文档安装方法示例1示例2使用注意点优点缺点go-cache 和 Redis 缓存对比1)功能特性

Go 1.23中Timer无buffer的实现方式详解

《Go1.23中Timer无buffer的实现方式详解》在Go1.23中,Timer的实现通常是通过time包提供的time.Timer类型来实现的,本文主要介绍了Go1.23中Timer无buff... 目录Timer 的基本实现无缓冲区的实现自定义无缓冲 Timer 实现更复杂的 Timer 实现总结在

Go使用pprof进行CPU,内存和阻塞情况分析

《Go使用pprof进行CPU,内存和阻塞情况分析》Go语言提供了强大的pprof工具,用于分析CPU、内存、Goroutine阻塞等性能问题,帮助开发者优化程序,提高运行效率,下面我们就来深入了解下... 目录1. pprof 介绍2. 快速上手:启用 pprof3. CPU Profiling:分析 C

使用Go语言开发一个命令行文件管理工具

《使用Go语言开发一个命令行文件管理工具》这篇文章主要为大家详细介绍了如何使用Go语言开发一款命令行文件管理工具,支持批量重命名,删除,创建,移动文件,需要的小伙伴可以了解下... 目录一、工具功能一览二、核心代码解析1. 主程序结构2. 批量重命名3. 批量删除4. 创建文件/目录5. 批量移动三、如何安

Go路由注册方法详解

《Go路由注册方法详解》Go语言中,http.NewServeMux()和http.HandleFunc()是两种不同的路由注册方式,前者创建独立的ServeMux实例,适合模块化和分层路由,灵活性高... 目录Go路由注册方法1. 路由注册的方式2. 路由器的独立性3. 灵活性4. 启动服务器的方式5.

Go语言中三种容器类型的数据结构详解

《Go语言中三种容器类型的数据结构详解》在Go语言中,有三种主要的容器类型用于存储和操作集合数据:本文主要介绍三者的使用与区别,感兴趣的小伙伴可以跟随小编一起学习一下... 目录基本概念1. 数组(Array)2. 切片(Slice)3. 映射(Map)对比总结注意事项基本概念在 Go 语言中,有三种主要

Go Mongox轻松实现MongoDB的时间字段自动填充

《GoMongox轻松实现MongoDB的时间字段自动填充》这篇文章主要为大家详细介绍了Go语言如何使用mongox库,在插入和更新数据时自动填充时间字段,从而提升开发效率并减少重复代码,需要的可以... 目录前言时间字段填充规则Mongox 的安装使用 Mongox 进行插入操作使用 Mongox 进行更