【组会整理及心得】BiFormer、SICNet、IceNet

2023-10-20 18:59

本文主要是介绍【组会整理及心得】BiFormer、SICNet、IceNet,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

【CVPR2023】BiFormer: Vision Transformer with Bi-Level Routing Attention

BiFormer:Vision Transformer with Bi-Level Routing Attention - 知乎

【本文贡献】

  1. 通过双层路由(bi-level routing)提出了一种新颖的动态稀疏注意力(dynamic sparse attention),以实现更灵活的计算分配和内容感知,使其具备动态的、query感知的稀疏性
  2. 使用两级路由注意力作为基本构建块,提出了一个新的视觉Transformer,名为BiFormer,视觉领域的多个实验表明该模型具有更好的性能。

【网络结构】

先是提出了Bi-Level Routing Attention (BRA),先将特征图划分为S×S个非重叠区域,得到QKV,再求Q和K的均值来得到对应的Qr和Kr,再使用转置乘法得到区域间的亲和度的邻接矩阵Ar,使用topK算子保留关系最密切的前k个区域,得到区域路由索引矩阵Ir。

得到Ir后即可应用细粒度的Token-to-token attention,如下图所示,先汇集以Ir中的所有元素为索引的路由区域,并收集它们的所有K和V得到Kg和Vg,再将Kg和Vg应用于注意力。

 

 最后,有

 这里的LCE是一个局部上下文增强项(相关论文《Shunted Self-Attention via Multi-Scale Token Aggregation》)。

使用 BRA 作为基本构建块,本文提出了BiFormer,如下图所示,大致结构为四阶段金字塔结构。

【心得体会】

采用动态稀疏注意力和topK方式有利于减少运算量,但也有使得准确率变低的风险,或许要注意一下K值的选取。

【TGRS2022】A data-driven deep learning model for weekly sea ice concentration prediction of the Pan-Arctic during the melting season

1. SICNet [Yibin Ren, Xiaofeng LI, Wenhao Zhang] - 知乎

【本文贡献】

提出了一个用于海冰预测的模型SICNet,它比现有的模型更轻量,并且性能好,显示了出比异常持久性 (Persist) 更好的递归预测性能。

【网络结构】

总体上是一个U-Net结构,主要创新点是提出了TSAM,它是将CBAM的MLP部分替换为本文提出的TCN模块形成的,相当于给特征图添加了权重信息。

TSAM相关模块的结构以及与CBAM的对比:

本文认为直接将 CBAM 搬到本文SIC长序列中不太合适, 因为计算机视觉中通常用不同 channel 表示不同类, MLP是用于提取类之间的全局关联性的, 而在 SIC 的长序列中, 更需要得到的是通道序列之间的顺序依赖关系, 即时空关系。由于SIC 任务高度依赖历史的 SIC 序列,并且需要考虑时序,本文把MLP替换为TCN 结构,如下图所示:

【心得体会】

这里的TCN相当于将MLP改成了稀疏的,和CBAM相比,TSAM计算量应该更小,在特定任务中可以尝试用TSAM替代原本的CBAM。

【Nature Communications】Seasonal Arctic sea ice forecasting with probabilistic deep learning 

【本文贡献】

提出了一个基于概率和深度学习的海洋冰预测系统 IceNet。

【网络结构】

总体上是一个U-Net结构:

 相关训练方案和参数:

【心得体会】

本文是一个将深度学习模型用于海洋领域的一个应用。

这篇关于【组会整理及心得】BiFormer、SICNet、IceNet的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/249103

相关文章

数论入门整理(updating)

一、gcd lcm 基础中的基础,一般用来处理计算第一步什么的,分数化简之类。 LL gcd(LL a, LL b) { return b ? gcd(b, a % b) : a; } <pre name="code" class="cpp">LL lcm(LL a, LL b){LL c = gcd(a, b);return a / c * b;} 例题:

rtmp流媒体编程相关整理2013(crtmpserver,rtmpdump,x264,faac)

转自:http://blog.163.com/zhujiatc@126/blog/static/1834638201392335213119/ 相关资料在线版(不定时更新,其实也不会很多,也许一两个月也不会改) http://www.zhujiatc.esy.es/crtmpserver/index.htm 去年在这进行rtmp相关整理,其实内容早有了,只是整理一下看着方

笔记整理—内核!启动!—kernel部分(2)从汇编阶段到start_kernel

kernel起始与ENTRY(stext),和uboot一样,都是从汇编阶段开始的,因为对于kernel而言,还没进行栈的维护,所以无法使用c语言。_HEAD定义了后面代码属于段名为.head .text的段。         内核起始部分代码被解压代码调用,前面关于uboot的文章中有提到过(eg:zImage)。uboot启动是无条件的,只要代码的位置对,上电就工作,kern

JavaScript整理笔记

JavaScript笔记 JavaScriptJavaScript简介快速入门JavaScript用法基础语法注释关键字显示数据输出innerHTML innerText属性返回值的区别调试 数据类型和变量数据类型数字(Number)字符串(String)布尔值(Boolean)null(空值)和undefined(未定义)数组(Array)对象(Object)函数(Function) 变量

关于回调函数和钩子函数基础知识的整理

回调函数:Callback Function 什么是回调函数? 首先做一个形象的比喻:   你有一个任务,但是有一部分你不会做,或者说不愿做,所以我来帮你做这部分,你做你其它的任务工作或者等着我的消息,但是当我完成的时候我要通知你我做好了,你可以用了,我怎么通知你呢?你给我一部手机,让我做完后给你打电话,我就打给你了,你拿到我的成果加到你的工作中,继续完成其它的工作.这就叫回叫,手机

站长常用Shell脚本整理分享(全)

站长常用Shell脚本整理分享 站长常用Shell脚本整理分享1-10 站长常用Shell脚本整理分享11-20 站长常用Shell脚本整理分享21-30 站长常用Shell脚本整理分享31-40 站长常用Shell脚本整理分享41-50 站长常用Shell脚本整理分享51-59 长期更新

我自己常用的eclipse 快捷键整理

---------------- 我自己改的快捷键: 复制当前行单下一行  ctrl alt n   --------------------- 自带快捷键: 快速定位到一行  CTRL+L 向上(下)移动选中的行:ALT+UP/DOWN ARROW 删除行(Delete Line):CTRL+D CTRL + 1也很有用     ----------

C/C++ 网络聊天室在线聊天系统(整理重传)

知识点: TCP网络通信 服务端的流程: 1.创建socket套接字 2.给这个socket绑定一个端口号 3.给这个socket开启监听属性 4.等待客户端连接 5.开始通讯 6.关闭连接 解释: socket:类似于接口的东西,只有通过这个才能跟对应的电脑通信。 每一台电脑都有一个IP地址,一台电脑上有多个应用,每个应用都会有一个端口号。 socket一般分为两种类型,一种是通讯,一种是监听

20190315 把整理和培养自己当作一生的事业,而不是局限在找工作拿offer。

把整理和培养自己当作一生的事业,而不是局限在找工作拿offer,做有本事的人。 来东南读研半年了,明显感觉自己掌握的不过是书本知识级别的中上水平,垃圾收集器这些的只知道背面经,靠脑子硬记,缺乏整理和系统,一头浆糊。 现在一边做实训这个烂项目,一边刷面经,一边刷剑指offer,想投些大公司的实习,又觉得还没准备好,看着各 种面经,都能说个大概,但明显感觉到自己知识的不体系和不深入,**做的项目

数据库系统原理概念整理(备考)

基本概念 数据模型 描述数据的概念和工具 关系数据模型 用关系描述数据 数据模型 包含三个方面 结构 操作 约束 对应于 关系数据模型 关系(表) 关系代数 主外键约束,断言 逻辑数据模型:详尽的描述数据,不关心具体的物理层实现,如关系数据模型中,设计实体及实体间的关系,属性,约束等等。业务逻辑的体现。 逻辑模型 --------查询处理----------物理模型 逻辑方面:SQL结构化查询