#Reading Paper# 【序列推荐】FiLM: Frequency improved Legendre Memory Model for Long-term Time Series Forec

本文主要是介绍#Reading Paper# 【序列推荐】FiLM: Frequency improved Legendre Memory Model for Long-term Time Series Forec,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

#论文题目:【序列推荐】FiLM: Frequency improved Legendre Memory Model for Long-term Time Series Forecasting(FiLM:长期时间序列预测的频率改进勒让德记忆模型)
#论文地址:https://openreview.net/pdf?id=zTQdHSQUQWc
#论文源码开源地址:https://github.com/tianzhou2011/FiLM/
#论文所属会议:NeurIPS 2022
#论文所属单位: 阿里
在这里插入图片描述

一、综述

现有的序列推荐算法中,在预测长时间序列的时候,采用Transformer/LSTM等方法容易受噪声影响(因为它们倾向于过度拟合过去的所有峰值,从而导致有限的长期预测性能),LMU模型为长时间序列提供了良好的表示,同时为了减少噪声信号对勒让德投影的影响,通过结合傅立叶分析和低秩矩阵近似引入了一个降维层。更具体地说,其保留了勒让德投影的大维度表示,以确保历史数据的所有重要细节都得到保留。

二、模型结构

在这里插入图片描述

2.1 RevIN:数据标准化块

输入数据首先被归一化,然后被投影到勒让德多项式空间(LPU存储器C)。
对于每一个输入数据在这里插入图片描述,平均值和标准差分别为:在这里插入图片描述,因此,我们可以将输入数据进行标准化,即:
在这里插入图片描述
γ \gamma γ β \beta β是可学习的参数矩阵,然后将标准化的输入数据发送到模型中进行后续训练。最后,我们通过归一化的倒数来反归一化模型的输出。

2.2 LPU:勒让德投影装置

在这里插入图片描述
LPU包括两个部分:投射和重构。
LPU是一个状态空间模型: C C Ct= A C AC ACt-1+ B B B x x xt x x xt ∈ \in |R是输入信号, C C Ct ∈ \in |RN是记忆存储单元, N N N代表勒让德多项式的个数,LPU包含两个不可训练的前缀矩阵A和B,定义如下:
在这里插入图片描述

2.3 FEL: 频率增强层(傅里叶变换)

在这里插入图片描述

低秩近似:FEL具有单个可学习的权重矩阵(W∈RM′×N×N ),是我们需要从数据中学习的内容。然而,这个矩阵可能很大。因此,我们可以将W分解为三个矩阵在这里插入图片描述,将勒让德多项式数设置为N = 256,分解矩阵中N′= 4。

2.4 多尺度专家机制的混合

利用具有不同时间范围的输入序列{T,2T,…nT }来预测预测层位T,并将每个专家预测与线性层合并。(因为单独的以时间T为序的模型可能缺乏一致性的对待历史序列点)。

三、总结

在长期预测中,关键的挑战是在历史信息保存和噪音降低之间进行权衡,以实现准确和稳健的预测。为了应对这一挑战,论文提出了一种频率改进的勒让德记忆模型FilM,以准确地保存历史信息并消除噪声信号。此外,论文还从理论和经验上证明了勒让德和傅立叶投影在模型中的有效性。

  • FiLM模型是不同模型的拼接。主要利用勒让德投影预先处理序列信息,之后通过傅里叶变换筛选信息。同时进行不同时序信息的T变换糅合信息。

这篇关于#Reading Paper# 【序列推荐】FiLM: Frequency improved Legendre Memory Model for Long-term Time Series Forec的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/233379

相关文章

Spring Boot + MyBatis Plus 高效开发实战从入门到进阶优化(推荐)

《SpringBoot+MyBatisPlus高效开发实战从入门到进阶优化(推荐)》本文将详细介绍SpringBoot+MyBatisPlus的完整开发流程,并深入剖析分页查询、批量操作、动... 目录Spring Boot + MyBATis Plus 高效开发实战:从入门到进阶优化1. MyBatis

GORM中Model和Table的区别及使用

《GORM中Model和Table的区别及使用》Model和Table是两种与数据库表交互的核心方法,但它们的用途和行为存在著差异,本文主要介绍了GORM中Model和Table的区别及使用,具有一... 目录1. Model 的作用与特点1.1 核心用途1.2 行为特点1.3 示例China编程代码2. Tab

C++从序列容器中删除元素的四种方法

《C++从序列容器中删除元素的四种方法》删除元素的方法在序列容器和关联容器之间是非常不同的,在序列容器中,vector和string是最常用的,但这里也会介绍deque和list以供全面了解,尽管在一... 目录一、简介二、移除给定位置的元素三、移除与某个值相等的元素3.1、序列容器vector、deque

查看Oracle数据库中UNDO表空间的使用情况(最新推荐)

《查看Oracle数据库中UNDO表空间的使用情况(最新推荐)》Oracle数据库中查看UNDO表空间使用情况的4种方法:DBA_TABLESPACES和DBA_DATA_FILES提供基本信息,V$... 目录1. 通过 DBjavascriptA_TABLESPACES 和 DBA_DATA_FILES

最新Spring Security实战教程之表单登录定制到处理逻辑的深度改造(最新推荐)

《最新SpringSecurity实战教程之表单登录定制到处理逻辑的深度改造(最新推荐)》本章节介绍了如何通过SpringSecurity实现从配置自定义登录页面、表单登录处理逻辑的配置,并简单模拟... 目录前言改造准备开始登录页改造自定义用户名密码登陆成功失败跳转问题自定义登出前后端分离适配方案结语前言

python中time模块的常用方法及应用详解

《python中time模块的常用方法及应用详解》在Python开发中,时间处理是绕不开的刚需场景,从性能计时到定时任务,从日志记录到数据同步,时间模块始终是开发者最得力的工具之一,本文将通过真实案例... 目录一、时间基石:time.time()典型场景:程序性能分析进阶技巧:结合上下文管理器实现自动计时

OpenManus本地部署实战亲测有效完全免费(最新推荐)

《OpenManus本地部署实战亲测有效完全免费(最新推荐)》文章介绍了如何在本地部署OpenManus大语言模型,包括环境搭建、LLM编程接口配置和测试步骤,本文给大家讲解的非常详细,感兴趣的朋友一... 目录1.概况2.环境搭建2.1安装miniconda或者anaconda2.2 LLM编程接口配置2

Redis 内存淘汰策略深度解析(最新推荐)

《Redis内存淘汰策略深度解析(最新推荐)》本文详细探讨了Redis的内存淘汰策略、实现原理、适用场景及最佳实践,介绍了八种内存淘汰策略,包括noeviction、LRU、LFU、TTL、Rand... 目录一、 内存淘汰策略概述二、内存淘汰策略详解2.1 ​noeviction(不淘汰)​2.2 ​LR

Vue项目的甘特图组件之dhtmlx-gantt使用教程和实现效果展示(推荐)

《Vue项目的甘特图组件之dhtmlx-gantt使用教程和实现效果展示(推荐)》文章介绍了如何使用dhtmlx-gantt组件来实现公司的甘特图需求,并提供了一个简单的Vue组件示例,文章还分享了一... 目录一、首先 npm 安装插件二、创建一个vue组件三、业务页面内 引用自定义组件:四、dhtmlx

前端 CSS 动态设置样式::class、:style 等技巧(推荐)

《前端CSS动态设置样式::class、:style等技巧(推荐)》:本文主要介绍了Vue.js中动态绑定类名和内联样式的两种方法:对象语法和数组语法,通过对象语法,可以根据条件动态切换类名或样式;通过数组语法,可以同时绑定多个类名或样式,此外,还可以结合计算属性来生成复杂的类名或样式对象,详细内容请阅读本文,希望能对你有所帮助...