论文解读 MTL-NAS: Task-Agnostic Neural Architecture Search towards General-Purpose Multi-Task Learning

本文主要是介绍论文解读 MTL-NAS: Task-Agnostic Neural Architecture Search towards General-Purpose Multi-Task Learning,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

总结

此篇论文2020年发表于CVPR,可以说是多任务的神经网络结构搜索的经典之作。其侧重于寻找任务之间的相互关系,是一种任务无关的结构搜索方法。其特点大致如下:

  • 使用基于单次梯度的搜索方法。
  • 定义了基于节点的搜索空间。
  • 提出使用熵最小化使模型收敛于某个结构。

方法总览

在这里插入图片描述
具体来说,多个固定的单任务网络分支开始,将每个中间层表示为一个节点,将相关的特征融合操作表示为一条边。因此,问题变成了寻找任务间节点对之间的最佳边,其中搜索空间对于任何任务集都是统一的。

搜索算法

提出了一种新颖的基于梯度的单次搜索算法。它缓解了搜索阶段和评估阶段之间的性能差距。通过对架构权重施加最小熵正则化来实现这一点。这使架构混合能够收敛到单个模型/架构,这将直接用于评估,而无需架构修剪或从头开始重新训练。

融合方法

其实是仿照NDDR,好多废话,tmd。
在这里插入图片描述
Z表示有没有这条边,R是对特征图的大小变换。我们想要融合只能是先把大小统一然后再用1*1来统一通道,所以这是一个意思。

训练

一旦上述迭代收敛,架构以及模型权重就可以直接用于评估,而无需从头开始(重新)
训练模型权重。这是因为所提出的最小熵正则化使搜索优化能够收敛到单个网络。减轻了 DARTS 中的客观偏差和SNAS 中的抽样方差。这是通过对架构权重α ij 进行统一、简单和有效(在消融部分验证)最小熵正则化来实现的。

实验

在这里插入图片描述
Single和Multiple这是因为本来就是一样的东西。因此指标几乎相同。
MTL-NAS的PACC很高,很难超越。
在这里插入图片描述
这是在另外一个数据集做的实验,据说比Imagenet大三倍,只能说有钱为所欲为。

在这里插入图片描述
实验还评估了对1*1卷积初始化的影响,说明新加入的层的初始化很重要。

这篇关于论文解读 MTL-NAS: Task-Agnostic Neural Architecture Search towards General-Purpose Multi-Task Learning的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/345742

相关文章

Linux系统之authconfig命令的使用解读

《Linux系统之authconfig命令的使用解读》authconfig是一个用于配置Linux系统身份验证和账户管理设置的命令行工具,主要用于RedHat系列的Linux发行版,它提供了一系列选项... 目录linux authconfig命令的使用基本语法常用选项示例总结Linux authconfi

解读docker运行时-itd参数是什么意思

《解读docker运行时-itd参数是什么意思》在Docker中,-itd参数组合用于在后台运行一个交互式容器,同时保持标准输入和分配伪终端,这种方式适合需要在后台运行容器并保持交互能力的场景... 目录docker运行时-itd参数是什么意思1. -i(或 --interactive)2. -t(或 --

解读为什么@Autowired在属性上被警告,在setter方法上不被警告问题

《解读为什么@Autowired在属性上被警告,在setter方法上不被警告问题》在Spring开发中,@Autowired注解常用于实现依赖注入,它可以应用于类的属性、构造器或setter方法上,然... 目录1. 为什么 @Autowired 在属性上被警告?1.1 隐式依赖注入1.2 IDE 的警告:

Rust中的注释使用解读

《Rust中的注释使用解读》本文介绍了Rust中的行注释、块注释和文档注释的使用方法,通过示例展示了如何在实际代码中应用这些注释,以提高代码的可读性和可维护性... 目录Rust 中的注释使用指南1. 行注释示例:行注释2. 块注释示例:块注释3. 文档注释示例:文档注释4. 综合示例总结Rust 中的注释

解读Pandas和Polars的区别及说明

《解读Pandas和Polars的区别及说明》Pandas和Polars是Python中用于数据处理的两个库,Pandas适用于中小规模数据的快速原型开发和复杂数据操作,而Polars则专注于高效数据... 目录Pandas vs Polars 对比表使用场景对比Pandas 的使用场景Polars 的使用

Rust中的Drop特性之解读自动化资源清理的魔法

《Rust中的Drop特性之解读自动化资源清理的魔法》Rust通过Drop特性实现了自动清理机制,确保资源在对象超出作用域时自动释放,避免了手动管理资源时可能出现的内存泄漏或双重释放问题,智能指针如B... 目录自动清理机制:Rust 的析构函数提前释放资源:std::mem::drop android的妙

golang字符串匹配算法解读

《golang字符串匹配算法解读》文章介绍了字符串匹配算法的原理,特别是Knuth-Morris-Pratt(KMP)算法,该算法通过构建模式串的前缀表来减少匹配时的不必要的字符比较,从而提高效率,在... 目录简介KMP实现代码总结简介字符串匹配算法主要用于在一个较长的文本串中查找一个较短的字符串(称为

MySQL中的MVCC底层原理解读

《MySQL中的MVCC底层原理解读》本文详细介绍了MySQL中的多版本并发控制(MVCC)机制,包括版本链、ReadView以及在不同事务隔离级别下MVCC的工作原理,通过一个具体的示例演示了在可重... 目录简介ReadView版本链演示过程总结简介MVCC(Multi-Version Concurr

关于Gateway路由匹配规则解读

《关于Gateway路由匹配规则解读》本文详细介绍了SpringCloudGateway的路由匹配规则,包括基本概念、常用属性、实际应用以及注意事项,路由匹配规则决定了请求如何被转发到目标服务,是Ga... 目录Gateway路由匹配规则一、基本概念二、常用属性三、实际应用四、注意事项总结Gateway路由

解读Redis秒杀优化方案(阻塞队列+基于Stream流的消息队列)

《解读Redis秒杀优化方案(阻塞队列+基于Stream流的消息队列)》该文章介绍了使用Redis的阻塞队列和Stream流的消息队列来优化秒杀系统的方案,通过将秒杀流程拆分为两条流水线,使用Redi... 目录Redis秒杀优化方案(阻塞队列+Stream流的消息队列)什么是消息队列?消费者组的工作方式每