脉冲神经网络(SNN)论文阅读(四)-----IJCAI-2022 多级发射方法的脉冲神经网络

2023-10-25 15:50

本文主要是介绍脉冲神经网络(SNN)论文阅读(四)-----IJCAI-2022 多级发射方法的脉冲神经网络,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

原文链接:CSDN-脉冲神经网络(SNN)论文阅读(四)-----IJCAI-2022 多级发射方法的脉冲神经网络

Multi-Level Firing with Spiking DS-ResNet: Enabling Better and Deeper Directly-Trained Spiking Neural Networks

  • 目录
    • 说明
    • 相关信息
    • 主要贡献
    • MLF方法
    • Dormant-Suppressed Residual Network
    • 实验部分

目录

说明

准备将自己读的一些和SNN(脉冲神经网络)相关的一些论文记录下来,方便自己以后回看也希望能够帮到有需要的人。
删除了原始论文中一些自认为不重要的内容而用自己的话对其创新进行简洁描述,如果有什么出错或不恰当的地方希望各位批评指出。

相关信息

论文地址: Multi-Level Firing with Spiking DS-ResNet: Enabling Better and Deeper Directly-Trained Spiking Neural Networks
论文由浙江大学(唐华锦组)研究人员发表于ICJAI 2022,代码发布于here

主要贡献

  • 论文提出了multi-level firing (MLF)方法可直接结合STBP训练SNN,MLF能够使得网络中梯度更有效地传播同时增强神经元的表达能力;
  • 论文提出了spiking dormant suppressed residual network (spiking DS-ResNet),Spiking DS-ResNet能够在离散的脉冲之间高效地执行恒等映射并。

MLF方法

MLF方法基于LIF神经元,其主要思路为使用MLF unit(可以理解为新的脉冲神经元)替换掉SNN中的LIF神经元。
图1
MLF unit

  • MLF可简单译为多级发射单元,顾名思义,其由多个LIF神经元组成,其中每个LIF神经元具有不同级别的发射阈值,如上图所示。在每个时间步长,MLF unit中的所有LIF神经元都会接收到突触前神经元传递来的信息,每个LIF神经元分别计算自己的膜电势以及输出脉冲。一个MLF unit在一个时间步长内的输出等于其中所有LIF神经元的输出之和。
  • 反向传播时使用STBP论文中提出的矩形函数作为代理梯度,公式如下:
    图2
  • 对于使用了K各级别的MLF unit来说,通过设置每个级别的LIF神经元的发射阈值之间相差a,即可令其近似的梯度分布区域刚好相邻。因此,MLF能够保证高效的梯度传播。其梯度覆盖区域如下图所示(a:当K=1时,MLF unit就是普通的LIF神经元):

梯度覆盖

Dormant-Suppressed Residual Network

在这里插入图片描述

Spiking DS-ResNet:

  • 使用tdBN替换掉普通的BN层。
  • 改变残差块中激活函数的位置。普通残差块中经过卷积后的数据和shortcut相加后再经过一个激活函数,Spiking DS-ResNet将该激活函数的位置提前,使卷积后的数据先经过激活函数后再和shortcut相加。如上图所示,虚线表示普通残差结构,实现表示Spiking DS-ResNet的残差结构。在SNN中激活函数均为脉冲神经元,因此可以看到,修改后的残差结构中经过卷积后的数据会先经过MLF unit再和shortcut相加。

实验部分

  • 作者使用20层的Spiking DS-ResNet在CIFAR-10、CIFAR1-DVS和DVS-Gesture上均进行了实验,实验结果如下:
    实验结果
    本文由CSDN-lan人啊原创,转载请注明!

这篇关于脉冲神经网络(SNN)论文阅读(四)-----IJCAI-2022 多级发射方法的脉冲神经网络的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/283585

相关文章

macOS无效Launchpad图标轻松删除的4 种实用方法

《macOS无效Launchpad图标轻松删除的4种实用方法》mac中不在appstore上下载的应用经常在删除后它的图标还残留在launchpad中,并且长按图标也不会出现删除符号,下面解决这个问... 在 MACOS 上,Launchpad(也就是「启动台」)是一个便捷的 App 启动工具。但有时候,应

SpringBoot日志配置SLF4J和Logback的方法实现

《SpringBoot日志配置SLF4J和Logback的方法实现》日志记录是不可或缺的一部分,本文主要介绍了SpringBoot日志配置SLF4J和Logback的方法实现,文中通过示例代码介绍的非... 目录一、前言二、案例一:初识日志三、案例二:使用Lombok输出日志四、案例三:配置Logback一

Python实现无痛修改第三方库源码的方法详解

《Python实现无痛修改第三方库源码的方法详解》很多时候,我们下载的第三方库是不会有需求不满足的情况,但也有极少的情况,第三方库没有兼顾到需求,本文将介绍几个修改源码的操作,大家可以根据需求进行选择... 目录需求不符合模拟示例 1. 修改源文件2. 继承修改3. 猴子补丁4. 追踪局部变量需求不符合很

mysql出现ERROR 2003 (HY000): Can‘t connect to MySQL server on ‘localhost‘ (10061)的解决方法

《mysql出现ERROR2003(HY000):Can‘tconnecttoMySQLserveron‘localhost‘(10061)的解决方法》本文主要介绍了mysql出现... 目录前言:第一步:第二步:第三步:总结:前言:当你想通过命令窗口想打开mysql时候发现提http://www.cpp

Mysql删除几亿条数据表中的部分数据的方法实现

《Mysql删除几亿条数据表中的部分数据的方法实现》在MySQL中删除一个大表中的数据时,需要特别注意操作的性能和对系统的影响,本文主要介绍了Mysql删除几亿条数据表中的部分数据的方法实现,具有一定... 目录1、需求2、方案1. 使用 DELETE 语句分批删除2. 使用 INPLACE ALTER T

MySQL INSERT语句实现当记录不存在时插入的几种方法

《MySQLINSERT语句实现当记录不存在时插入的几种方法》MySQL的INSERT语句是用于向数据库表中插入新记录的关键命令,下面:本文主要介绍MySQLINSERT语句实现当记录不存在时... 目录使用 INSERT IGNORE使用 ON DUPLICATE KEY UPDATE使用 REPLACE

CentOS 7部署主域名服务器 DNS的方法

《CentOS7部署主域名服务器DNS的方法》文章详细介绍了在CentOS7上部署主域名服务器DNS的步骤,包括安装BIND服务、配置DNS服务、添加域名区域、创建区域文件、配置反向解析、检查配置... 目录1. 安装 BIND 服务和工具2.  配置 BIND 服务3 . 添加你的域名区域配置4.创建区域

mss32.dll文件丢失怎么办? 电脑提示mss32.dll丢失的多种修复方法

《mss32.dll文件丢失怎么办?电脑提示mss32.dll丢失的多种修复方法》最近,很多电脑用户可能遇到了mss32.dll文件丢失的问题,导致一些应用程序无法正常启动,那么,如何修复这个问题呢... 在电脑常年累月的使用过程中,偶尔会遇到一些问题令人头疼。像是某个程序尝试运行时,系统突然弹出一个错误提

电脑提示找不到openal32.dll文件怎么办? openal32.dll丢失完美修复方法

《电脑提示找不到openal32.dll文件怎么办?openal32.dll丢失完美修复方法》openal32.dll是一种重要的系统文件,当它丢失时,会给我们的电脑带来很大的困扰,很多人都曾经遇到... 在使用电脑过程中,我们常常会遇到一些.dll文件丢失的问题,而openal32.dll的丢失是其中比较

python中字符串拼接的几种方法及优缺点对比详解

《python中字符串拼接的几种方法及优缺点对比详解》在Python中,字符串拼接是常见的操作,Python提供了多种方法来拼接字符串,每种方法有其优缺点和适用场景,以下是几种常见的字符串拼接方法,需... 目录1. 使用 + 运算符示例:优缺点:2. 使用&nbsjsp;join() 方法示例:优缺点:3