常见卷积神经网络总结:Densenet

2024-04-04 08:58

本文主要是介绍常见卷积神经网络总结:Densenet,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

常见卷积神经网络总结

    • DenseNet

最近时间没那么紧张了,准备把之前没看的论文总结一下,

DenseNet

DenseNet是CVPR2017的最佳论文,可见这篇论文还是很厉害的,DenseNet主要是借鉴了Resnet的思想,采取了一种全新的网络连接方式,最近的卷积神经网络主要是从深度和宽度上进行思考的,加深宽度或者加深深度,但这篇文章另辟蹊径,采取了一种新的结构,取得了很好地效果。
首先来看一下整个网络的结构,如下图所示,借鉴了Resnet的思想,Resnet是将输入和输出进行shortcut连接,而DenseNet可以看成是Resnet的极限形式,在同一个denseblock中,每一层的输入是之前所有层的输出。下图为Densenet中一个Denseblock的形状。
在这里插入图片描述
对比DenseNet和Resnet的公式,更有助于理解DenseNet:
在这里插入图片描述
在这里插入图片描述
Resnet的输出是上一层的输出加上这一层非线性变换之后的输出,而DenseNet某一层的输入是0~l-1层的输出的concat。这里需要注意,Resnet是做的加法,而Densenet的输入是concat,channel的数量不变。并且,在Densenet中,非线性变换的顺序是BN,ReLu,卷积。
Densenet的优点是网络更窄,参数少,每个卷积层输出的featuremap数都很小。另外这种连接方式使得特征和梯度的传递更加有效,网络也更加容易训练。由于全连接和紧密的连接,梯度可以轻易的从loss传递到任意一层,减轻了梯度消失的问题。另外这种denseconnection还有定的抑制过拟合的作用。
下图是Densenet的结构图
在这里插入图片描述
Densenet分为多个denseblock,各个Denseblock内的featuremap的size统一,这样做concat不会用size问题。
在这里插入图片描述
Table1为网络的结构图,k为growth rate,表示每个denseblock中每层输出的feature map的个数,作者采用的k都比较小,可见Densenet的参数量并不是很大,根据denseblock的设计,每个层的输入是前面层输出的concat,所以输入的channel还是很大的。在每个3×3的卷积前面,都存在1×1的卷积操作,这就是bottleneck layer,目的是减少输入的feature map数量,既能降维减少参数计算量,又能融合各个通道的信息。另外,另一个增加参数的方式是在两个denseblock之间加了transition layer,该层的1×1的卷积输出channel默认是输入channel的一半。
以Densenet169为例,包含32个层,每层的输入是之前层输出的concat,如果不做bottleneck,每层输出是32channel,concat之后最后的层输入都达到上千了,而1×1卷积将channel变为growth rate*4。在transition layer中,是放在两个denseblock之间的,因为上一个block的最后一层虽然只有32层输出,但是还会concat之前所有层的输出,所有channel数还是很大的,因此需要用1×1的卷积来降维,transition lay降维的比例reduction是0.5(默认)
总结:Densenet的核心思想在于在不同层之间建立连接关系,充分利用了特征,同时减少了梯度消失的问题,另外利用bottleneck结构和transition layer以及较小的channel数以减少参数,参数减少,有效抑制了过拟合。

这篇关于常见卷积神经网络总结:Densenet的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/875357

相关文章

SQL中redo log 刷⼊磁盘的常见方法

《SQL中redolog刷⼊磁盘的常见方法》本文主要介绍了SQL中redolog刷⼊磁盘的常见方法,将redolog刷入磁盘的方法确保了数据的持久性和一致性,下面就来具体介绍一下,感兴趣的可以了解... 目录Redo Log 刷入磁盘的方法Redo Log 刷入磁盘的过程代码示例(伪代码)在数据库系统中,r

Python实现图片分割的多种方法总结

《Python实现图片分割的多种方法总结》图片分割是图像处理中的一个重要任务,它的目标是将图像划分为多个区域或者对象,本文为大家整理了一些常用的分割方法,大家可以根据需求自行选择... 目录1. 基于传统图像处理的分割方法(1) 使用固定阈值分割图片(2) 自适应阈值分割(3) 使用图像边缘检测分割(4)

Windows Docker端口占用错误及解决方案总结

《WindowsDocker端口占用错误及解决方案总结》在Windows环境下使用Docker容器时,端口占用错误是开发和运维中常见且棘手的问题,本文将深入剖析该问题的成因,介绍如何通过查看端口分配... 目录引言Windows docker 端口占用错误及解决方案汇总端口冲突形成原因解析诊断当前端口情况解

SQL BETWEEN 的常见用法小结

《SQLBETWEEN的常见用法小结》BETWEEN操作符是SQL中非常有用的工具,它允许你快速选取某个范围内的值,本文给大家介绍SQLBETWEEN的常见用法,感兴趣的朋友一起看看吧... 在SQL中,BETWEEN是一个操作符,用于选取介于两个值之间的数据。它包含这两个边界值。BETWEEN操作符常用

python中各种常见文件的读写操作与类型转换详细指南

《python中各种常见文件的读写操作与类型转换详细指南》这篇文章主要为大家详细介绍了python中各种常见文件(txt,xls,csv,sql,二进制文件)的读写操作与类型转换,感兴趣的小伙伴可以跟... 目录1.文件txt读写标准用法1.1写入文件1.2读取文件2. 二进制文件读取3. 大文件读取3.1

C++中初始化二维数组的几种常见方法

《C++中初始化二维数组的几种常见方法》本文详细介绍了在C++中初始化二维数组的不同方式,包括静态初始化、循环、全部为零、部分初始化、std::array和std::vector,以及std::vec... 目录1. 静态初始化2. 使用循环初始化3. 全部初始化为零4. 部分初始化5. 使用 std::a

前端下载文件时如何后端返回的文件流一些常见方法

《前端下载文件时如何后端返回的文件流一些常见方法》:本文主要介绍前端下载文件时如何后端返回的文件流一些常见方法,包括使用Blob和URL.createObjectURL创建下载链接,以及处理带有C... 目录1. 使用 Blob 和 URL.createObjectURL 创建下载链接例子:使用 Blob

C++ vector的常见用法超详细讲解

《C++vector的常见用法超详细讲解》:本文主要介绍C++vector的常见用法,包括C++中vector容器的定义、初始化方法、访问元素、常用函数及其时间复杂度,通过代码介绍的非常详细,... 目录1、vector的定义2、vector常用初始化方法1、使编程用花括号直接赋值2、使用圆括号赋值3、ve

Pytest多环境切换的常见方法介绍

《Pytest多环境切换的常见方法介绍》Pytest作为自动化测试的主力框架,如何实现本地、测试、预发、生产环境的灵活切换,本文总结了通过pytest框架实现自由环境切换的几种方法,大家可以根据需要进... 目录1.pytest-base-url2.hooks函数3.yml和fixture结论你是否也遇到过

C/C++错误信息处理的常见方法及函数

《C/C++错误信息处理的常见方法及函数》C/C++是两种广泛使用的编程语言,特别是在系统编程、嵌入式开发以及高性能计算领域,:本文主要介绍C/C++错误信息处理的常见方法及函数,文中通过代码介绍... 目录前言1. errno 和 perror()示例:2. strerror()示例:3. perror(