常见卷积神经网络总结:Densenet

2024-04-04 08:58

本文主要是介绍常见卷积神经网络总结:Densenet,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

常见卷积神经网络总结

    • DenseNet

最近时间没那么紧张了,准备把之前没看的论文总结一下,

DenseNet

DenseNet是CVPR2017的最佳论文,可见这篇论文还是很厉害的,DenseNet主要是借鉴了Resnet的思想,采取了一种全新的网络连接方式,最近的卷积神经网络主要是从深度和宽度上进行思考的,加深宽度或者加深深度,但这篇文章另辟蹊径,采取了一种新的结构,取得了很好地效果。
首先来看一下整个网络的结构,如下图所示,借鉴了Resnet的思想,Resnet是将输入和输出进行shortcut连接,而DenseNet可以看成是Resnet的极限形式,在同一个denseblock中,每一层的输入是之前所有层的输出。下图为Densenet中一个Denseblock的形状。
在这里插入图片描述
对比DenseNet和Resnet的公式,更有助于理解DenseNet:
在这里插入图片描述
在这里插入图片描述
Resnet的输出是上一层的输出加上这一层非线性变换之后的输出,而DenseNet某一层的输入是0~l-1层的输出的concat。这里需要注意,Resnet是做的加法,而Densenet的输入是concat,channel的数量不变。并且,在Densenet中,非线性变换的顺序是BN,ReLu,卷积。
Densenet的优点是网络更窄,参数少,每个卷积层输出的featuremap数都很小。另外这种连接方式使得特征和梯度的传递更加有效,网络也更加容易训练。由于全连接和紧密的连接,梯度可以轻易的从loss传递到任意一层,减轻了梯度消失的问题。另外这种denseconnection还有定的抑制过拟合的作用。
下图是Densenet的结构图
在这里插入图片描述
Densenet分为多个denseblock,各个Denseblock内的featuremap的size统一,这样做concat不会用size问题。
在这里插入图片描述
Table1为网络的结构图,k为growth rate,表示每个denseblock中每层输出的feature map的个数,作者采用的k都比较小,可见Densenet的参数量并不是很大,根据denseblock的设计,每个层的输入是前面层输出的concat,所以输入的channel还是很大的。在每个3×3的卷积前面,都存在1×1的卷积操作,这就是bottleneck layer,目的是减少输入的feature map数量,既能降维减少参数计算量,又能融合各个通道的信息。另外,另一个增加参数的方式是在两个denseblock之间加了transition layer,该层的1×1的卷积输出channel默认是输入channel的一半。
以Densenet169为例,包含32个层,每层的输入是之前层输出的concat,如果不做bottleneck,每层输出是32channel,concat之后最后的层输入都达到上千了,而1×1卷积将channel变为growth rate*4。在transition layer中,是放在两个denseblock之间的,因为上一个block的最后一层虽然只有32层输出,但是还会concat之前所有层的输出,所有channel数还是很大的,因此需要用1×1的卷积来降维,transition lay降维的比例reduction是0.5(默认)
总结:Densenet的核心思想在于在不同层之间建立连接关系,充分利用了特征,同时减少了梯度消失的问题,另外利用bottleneck结构和transition layer以及较小的channel数以减少参数,参数减少,有效抑制了过拟合。

这篇关于常见卷积神经网络总结:Densenet的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/875357

相关文章

Go标准库常见错误分析和解决办法

《Go标准库常见错误分析和解决办法》Go语言的标准库为开发者提供了丰富且高效的工具,涵盖了从网络编程到文件操作等各个方面,然而,标准库虽好,使用不当却可能适得其反,正所谓工欲善其事,必先利其器,本文将... 目录1. 使用了错误的time.Duration2. time.After导致的内存泄漏3. jsO

MyBatis 动态 SQL 优化之标签的实战与技巧(常见用法)

《MyBatis动态SQL优化之标签的实战与技巧(常见用法)》本文通过详细的示例和实际应用场景,介绍了如何有效利用这些标签来优化MyBatis配置,提升开发效率,确保SQL的高效执行和安全性,感... 目录动态SQL详解一、动态SQL的核心概念1.1 什么是动态SQL?1.2 动态SQL的优点1.3 动态S

java常见报错及解决方案总结

《java常见报错及解决方案总结》:本文主要介绍Java编程中常见错误类型及示例,包括语法错误、空指针异常、数组下标越界、类型转换异常、文件未找到异常、除以零异常、非法线程操作异常、方法未定义异常... 目录1. 语法错误 (Syntax Errors)示例 1:解决方案:2. 空指针异常 (NullPoi

C++常见容器获取头元素的方法大全

《C++常见容器获取头元素的方法大全》在C++编程中,容器是存储和管理数据集合的重要工具,不同的容器提供了不同的接口来访问和操作其中的元素,获取容器的头元素(即第一个元素)是常见的操作之一,本文将详细... 目录一、std::vector二、std::list三、std::deque四、std::forwa

Java反转字符串的五种方法总结

《Java反转字符串的五种方法总结》:本文主要介绍五种在Java中反转字符串的方法,包括使用StringBuilder的reverse()方法、字符数组、自定义StringBuilder方法、直接... 目录前言方法一:使用StringBuilder的reverse()方法方法二:使用字符数组方法三:使用自

MySQL常见的存储引擎和区别说明

《MySQL常见的存储引擎和区别说明》MySQL支持多种存储引擎,如InnoDB、MyISAM、MEMORY、Archive、CSV和Blackhole,每种引擎有其特点和适用场景,选择存储引擎时需根... 目录mysql常见的存储引擎和区别说明1. InnoDB2. MyISAM3. MEMORY4. A

Python依赖库的几种离线安装方法总结

《Python依赖库的几种离线安装方法总结》:本文主要介绍如何在Python中使用pip工具进行依赖库的安装和管理,包括如何导出和导入依赖包列表、如何下载和安装单个或多个库包及其依赖,以及如何指定... 目录前言一、如何copy一个python环境二、如何下载一个包及其依赖并安装三、如何导出requirem

前端bug调试的方法技巧及常见错误

《前端bug调试的方法技巧及常见错误》:本文主要介绍编程中常见的报错和Bug,以及调试的重要性,调试的基本流程是通过缩小范围来定位问题,并给出了推测法、删除代码法、console调试和debugg... 目录调试基本流程调试方法排查bug的两大技巧如何看控制台报错前端常见错误取值调用报错资源引入错误解析错误

Rust格式化输出方式总结

《Rust格式化输出方式总结》Rust提供了强大的格式化输出功能,通过std::fmt模块和相关的宏来实现,主要的输出宏包括println!和format!,它们支持多种格式化占位符,如{}、{:?}... 目录Rust格式化输出方式基本的格式化输出格式化占位符Format 特性总结Rust格式化输出方式

通俗易懂的Java常见限流算法具体实现

《通俗易懂的Java常见限流算法具体实现》:本文主要介绍Java常见限流算法具体实现的相关资料,包括漏桶算法、令牌桶算法、Nginx限流和Redis+Lua限流的实现原理和具体步骤,并比较了它们的... 目录一、漏桶算法1.漏桶算法的思想和原理2.具体实现二、令牌桶算法1.令牌桶算法流程:2.具体实现2.1