目标检测最新创新点： EMS-YOLO：首个用于目标检测的直接训练脉冲神经网络

本文主要是介绍目标检测最新创新点： EMS-YOLO：首个用于目标检测的直接训练脉冲神经网络，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

EMS-YOLO：第一个用于目标检测的深度直接训练脉冲神经网络，首次使用代理梯度训练深度 SNN 进行检测，并设计全脉冲残差块EMS-ResNet，代码刚刚开源！单位：国科大, 西安交大, 清华, 北大, 华为

脉冲神经网络 (SNN) 是受大脑启发的节能模型，可对时空动态信息进行编码。最近，直接训练的深度 SNN 在以很少的时间步长实现分类任务的高性能方面取得了巨大成功。然而，如何为目标检测的回归任务设计直接训练的 SNN 仍然是一个具有挑战性的问题。为了解决这个问题，我们提出了 EMS-YOLO，一种用于目标检测的新型直接训练 SNN 框架，这是第一个使用代理梯度训练深度 SNN 进行目标检测而不是 ANN-SNN 转换策略的尝试。具体来说，我们设计了一个全脉冲残差块EMS-ResNet，它可以有效地以低功耗扩展直接训练的SNN的深度。此外，我们从理论上分析并证明了EMS-ResNet可以避免梯度消失或爆炸。结果表明，我们的方法以极少的时间步长（仅 4 个时间步长）优于最先进的 ANN-SNN 转换方法（至少 500 个时间步长）。结果表明，我们的模型可以在基于框架的 COCO 数据集和基于事件的 Gen1 数据集上实现与具有相同架构的 ANN 相当的性能，同时消耗 5.83 倍的能量。

在这里插入图片描述

论文地址：https://openaccess.thecvf.com/content/ICCV2023/html/Su_Deep_Directly-Trained_Spiking_Neural_Networks_for_Object_Detection_ICCV_2023_paper.html