mmoe/Modeling Task Relationships in Multi-task Learning with Multi-gate Mixture-of-Experts

2023-12-30 16:59

文章标签 multi modeling learning mixture gate experts mmoe task relationships

本文主要是介绍mmoe/Modeling Task Relationships in Multi-task Learning with Multi-gate Mixture-of-Experts，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

文章目录

总结
细节
实验

总结

每个task分开emb，每个task分开attention

细节

现有的方法对任务间的relationship敏感

MTL

改进1: 不使用shared-bottom，使用单独的参数，但是加一个多个task参数之间的L2正则

在这里插入图片描述

shared-bottom，共用emb，每个任务上再套一个tower network。这种做法可以降低overfitting，但若task之间没关系则学习不好
$y_k = h^k(f(x))$

moe：每个task单独emb，最后的输出乘权重后相加，类似attention
$\sum_i^n g(x)_if_i(x)$

mmoe：每个task单独emb，单独attention

实验

数据集：uci census-income
评估指标：auc
baseline：shared-bottom, l2-constrained, cross-stitch, omoe, mmoe

这篇关于mmoe/Modeling Task Relationships in Multi-task Learning with Multi-gate Mixture-of-Experts的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！

http://www.chinasem.cn/article/553477。 23002807@qq.com

相关文章

Deep Learning复习笔记0

Deep Learning复习笔记0

Key Concept: Embedding: learned dense, continuous, low-dimensional representations of object 【将难以表示的对象(如图片，文本等)用连续的低维度的方式表示】 RNN: Recurrent Neural Network -> for processing sequential data (time se

阅读更多...

多头注意力机制（Multi-Head Attention）

多头注意力机制（Multi-Head Attention）

文章目录多头注意力机制的作用多头注意力机制的工作原理为什么使用多头注意力机制？代码示例多头注意力机制（Multi-Head Attention）是Transformer架构中的一个核心组件。它在机器翻译、自然语言处理（NLP）等领域取得了显著的成功。多头注意力机制的引入是为了增强模型的能力，使其能够从不同的角度关注输入序列的不同部分，从而捕捉更多层次的信息。多头注意力机

阅读更多...

【C++11 之新增容器 array、foward_list、tuple、unordered_(multi)map/set】应知应会

【C++11 之新增容器 array、foward_list、tuple、unordered_(multi)map/set】应知应会

C++11 标准中新增了多个容器，这些容器为 C++ 程序员提供了更多的选择，以满足不同的编程需求。以下是对这些新容器的介绍和使用案例： std::array 介绍： std::array 是一个固定大小的数组容器，它在栈上分配内存，并提供了类似于标准库容器的接口。它提供了更好的类型安全性和范围检查，同时保持了与原生数组相似的性能。std::array 的大小必须在编译时确定，并且不能更改。

阅读更多...

Elasticsearch java API (10)Multi Get API

Elasticsearch java API (10)Multi Get API

Multi Get API编辑多让API允许基于他们得到的文档列表 index, type和 id: MultiGetResponse multiGetItemResponses = client.prepareMultiGet().add("twitter", "tweet", "1") // <1> .add("twitter", "tweet

阅读更多...

GIM： Learning Generalizable Image Matcher From Internet Videos

GIM： Learning Generalizable Image Matcher From Internet Videos

【引用格式】：Shen X, Yin W, Müller M, et al. GIM: Learning Generalizable Image Matcher From Internet Videos[C]//The Twelfth International Conference on Learning Representations. 2023. 【网址】：https://arxiv.or

阅读更多...

越复杂的CoT越有效吗？Complexity-Based Prompting for Multi-step Reasoning

越复杂的CoT越有效吗？Complexity-Based Prompting for Multi-step Reasoning

Complexity-Based Prompting for Multi-step Reasoning 论文：https://openreview.net/pdf?id=yf1icZHC-l9 Github：https://github.com/FranxYao/chain-of-thought-hub 发表位置：ICLR 2023 Complexity-Based Prompting for

阅读更多...

spring task 定时任务实现

spring task 定时任务实现

一、引入spring相关jar包：二、在web.xml中配置spring <listener><description>Spring监听器</description><listener-class>org.springframework.web.context.ContextLoaderListener</listener-class></listener><conte

阅读更多...

5.How Fast Should You Be When Learning?(你应该用多快的速度学习? (一))

5.How Fast Should You Be When Learning?(你应该用多快的速度学习? (一))

Normally when I talk about learing quickly, I’m using speed as a synonym for efficiency.Use more effective methods and you’ll learn more in less time.All else being equal, that means you’re learing fa

阅读更多...

【Deep Learning】Meta-Learning：训练训练神经网络的神经网络

【Deep Learning】Meta-Learning：训练训练神经网络的神经网络

元学习：训练训练神经网络的神经网络本文基于清华大学《深度学习》第12节《Beyond Supervised Learning》的内容撰写，既是课堂笔记，亦是作者的一些理解。 1 Meta-Learning 在经典监督学习中，给定训练数据 { ( x i , y i ) } i \{(x_i,y_i)\}_i {(xi,yi)}i，我们需要训练一个神经网络 f f f使得 f (

阅读更多...

【Deep Learning】Self-Supervised Learning：自监督学习

【Deep Learning】Self-Supervised Learning：自监督学习

自监督学习本文基于清华大学《深度学习》第12节《Beyond Supervised Learning》的内容撰写，既是课堂笔记，亦是作者的一些理解。在深度学习领域，传统的监督学习(Supervised Learning)的形式是给你输入 x x x和标签 y y y，你需要训练一个基于参数 θ \theta θ的神经网络 f θ ( x ) f_\theta(x) fθ(x)使其能

阅读更多...