时间序列新范式!多尺度+时间序列,刷爆多项SOTA

2024-06-07 19:44

本文主要是介绍时间序列新范式!多尺度+时间序列,刷爆多项SOTA,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

当我们面对复杂模式和多变周期的应用场景(比如金融市场分析)时,采用多尺度时间序列来做分析和预测是个更好的选择。

这是因为:传统时序方法通常只用固定时间窗口来提取信息,难以适应不同时间尺度上的模式变化。但多尺度时间序列通过调整时间分辨率和距离,不仅能捕捉到时序的局部细节,还能把握其长期趋势和周期性变化。这就大大提升了模型对新数据集的适应性和不同应用场景迁移能力,让我们能够实现更精确的时间序列预测。

举个比较热门的例子:Pathformer。
Pathformer结合了时间分辨率和时间距离的概念,采用自适应Pathways来根据输入时序的时间特征动态提取和聚合多尺度特征,取得了SOTA预测效果。

除此之外,研究者们已经开发了很多创新的多尺度时间序列方案,我挑选了最新的10篇给各位作参考,开源代码贴心附上,欢迎各位讨论~

论文原文以及开源代码需要的同学看文末

Multi-Scale Transformer Pyramid Networks for Multivariate Time Series Forecasting

方法:论文提出了一种多尺度Transformer金字塔网络(MTPNet)用于多元时间序列(MTS)预测。MTPNet通过将MTS数据分解为季节和趋势组件来处理时间依赖性,其中线性层用于直接从历史数据生成趋势组件的预测。同时,MTPNet用于建模时间依赖性并生成季节组件的预测。MTPNet利用多个Transformer来捕捉不同尺度上的时间依赖性,然后将这些多尺度潜在表示连接起来,并应用CNN层来生成季节组件的预测。

创新点:

  • 提出了一种维度无关嵌入技术,用于捕捉短期时间依赖关系。该技术将多元时间序列数据投影到高维空间中,同时保留原始的时间步长和变量维度。

  • 提出了一种新颖的多尺度Transformer金字塔网络(MTPNet),专门用于有效地捕捉多个不受限制的尺度上的时间依赖关系。该网络利用来自不同尺度Transformer的多尺度潜在表示来进行预测。

  • MTPNet尤其在包含细粒度信息的数据集中表现出色,能够有效捕捉从细粒度到粗粒度尺度的各种时间依赖关系。这一发现突出了MTPNet在分析以分钟为单位采样的多元时间序列数据方面的潜力。

Time Series Prediction Based on Multi-Scale Feature Extraction

方法:论文提出了一种基于Transformer模型的多尺度特征提取模型MSFformer,用于解决长时间序列预测任务中长期依赖和短期特征提取不足的问题。研究通过引入一种新颖的特征卷积方法在CSCM中获取粗粒度信息,通过具有指定步长的卷积操作构建金字塔形数据结构,连续提取时间特征信息。

创新点:

  • MSFformer模型:提出了一种基于Transformer模型的多尺度特征提取模型,用于处理长期时间序列预测任务,能够有效提取长期依赖关系和短期特征,提高了模型的准确性和效率。

  • Skip-PAM组件:引入了Skip-PAM组件,通过多层级的注意力机制,在不同时间步长上处理输入数据,从而捕捉不同粒度的时间依赖关系,既能关注短期、细粒度的模式,又能捕捉宏观趋势和周期性。该组件有效提高了模型的预测能力。

HiMTM: Hierarchical Multi-Scale Masked Time Series Modeling for Long-Term Forecasting

方法:论文介绍了一种用于长期预测的分层多尺度遮蔽时间序列建模方法(HiMTM)。该方法包括分层多尺度Transformer(HMT)、解耦编码器-解码器(DED)、多尺度遮蔽重构(MMR)和跨尺度注意力微调(CSA-FT)等四个核心模块。

创新点:

  • 引入了层次多尺度Transformer,通过层次分割更精细的补丁,增强了处理具有多尺度特征的时间序列的能力。这种方法提供了多尺度特征提取能力,为掩蔽时间序列建模提供了更好的指导信号。

  • 在每个编码器层次上实现了专门用于重建掩蔽部分的解码器。这种多层次方法提供了不同层次的监督信号,从而更有效地指导预训练过程。这种方法克服了固定尺度重建的局限性,可以为时间序列提供多阶段的指导信号,更好地对时间序列进行建模。

MSHyper: Multi-Scale Hypergraph Transformer for Long-Range Time Series Forecasting

方法:本文提出了一种用于长期时间序列预测的多尺度超图Transformer模型MSHyper。通过引入H-HGC模块来建立超图和超边图,以提供高阶交互建模的基础。通过TMP机制来聚合高阶模式信息,并学习不同尺度时间模式之间的交互强度。

创新点:

  • H-HGC module:通过引入H-HGC模块,作者提出了一种建模不同尺度时间模式之间高阶相互作用的方法。该模块能够为模型提供基础,用于建模高阶模式之间的相互作用。

  • TMP mechanism:作者提出了TMP机制,用于聚合高阶模式信息,并学习不同尺度时间模式之间的相互作用强度。该机制通过三个消息传递阶段来实现。

  • 作者提出了一种多尺度超图Transformer框架,用于建模不同尺度时间模式之间的高阶相互作用。该框架引入了多尺度超图和超边图,并采用三阶段消息传递机制来聚合模式信息和学习相互作用强度。

关注下方《学姐带你玩AI》🚀🚀🚀

回复“多尺度时序”获取全部论文+代码

码字不易,欢迎大家点赞评论收藏

这篇关于时间序列新范式!多尺度+时间序列,刷爆多项SOTA的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1040125

相关文章

服务器集群同步时间手记

1.时间服务器配置(必须root用户) (1)检查ntp是否安装 [root@node1 桌面]# rpm -qa|grep ntpntp-4.2.6p5-10.el6.centos.x86_64fontpackages-filesystem-1.41-1.1.el6.noarchntpdate-4.2.6p5-10.el6.centos.x86_64 (2)修改ntp配置文件 [r

uva 10131 最长子序列

题意: 给大象的体重和智商,求体重按从大到小,智商从高到低的最长子序列,并输出路径。 代码: #include <iostream>#include <cstdio>#include <cstdlib>#include <algorithm>#include <cstring>#include <cmath>#include <stack>#include <vect

SWAP作物生长模型安装教程、数据制备、敏感性分析、气候变化影响、R模型敏感性分析与贝叶斯优化、Fortran源代码分析、气候数据降尺度与变化影响分析

查看原文>>>全流程SWAP农业模型数据制备、敏感性分析及气候变化影响实践技术应用 SWAP模型是由荷兰瓦赫宁根大学开发的先进农作物模型,它综合考虑了土壤-水分-大气以及植被间的相互作用;是一种描述作物生长过程的一种机理性作物生长模型。它不但运用Richard方程,使其能够精确的模拟土壤中水分的运动,而且耦合了WOFOST作物模型使作物的生长描述更为科学。 本文让更多的科研人员和农业工作者

POJ1631最长单调递增子序列

最长单调递增子序列 import java.io.BufferedReader;import java.io.InputStream;import java.io.InputStreamReader;import java.io.PrintWriter;import java.math.BigInteger;import java.util.StringTokenizer;publ

MiniGPT-3D, 首个高效的3D点云大语言模型,仅需一张RTX3090显卡,训练一天时间,已开源

项目主页:https://tangyuan96.github.io/minigpt_3d_project_page/ 代码:https://github.com/TangYuan96/MiniGPT-3D 论文:https://arxiv.org/pdf/2405.01413 MiniGPT-3D在多个任务上取得了SoTA,被ACM MM2024接收,只拥有47.8M的可训练参数,在一张RTX

leetcode105 从前序与中序遍历序列构造二叉树

根据一棵树的前序遍历与中序遍历构造二叉树。 注意: 你可以假设树中没有重复的元素。 例如,给出 前序遍历 preorder = [3,9,20,15,7]中序遍历 inorder = [9,3,15,20,7] 返回如下的二叉树: 3/ \9 20/ \15 7   class Solution {public TreeNode buildTree(int[] pr

批处理以当前时间为文件名创建文件

批处理以当前时间为文件名创建文件 批处理创建空文件 有时候,需要创建以当前时间命名的文件,手动输入当然可以,但是有更省心的方法吗? 假设我是 windows 操作系统,打开命令行。 输入以下命令试试: echo %date:~0,4%_%date:~5,2%_%date:~8,2%_%time:~0,2%_%time:~3,2%_%time:~6,2% 输出类似: 2019_06

【MRI基础】TR 和 TE 时间概念

重复时间 (TR) 磁共振成像 (MRI) 中的 TR(重复时间,repetition time)是施加于同一切片的连续脉冲序列之间的时间间隔。具体而言,TR 是施加一个 RF(射频)脉冲与施加下一个 RF 脉冲之间的持续时间。TR 以毫秒 (ms) 为单位,主要控制后续脉冲之前的纵向弛豫程度(T1 弛豫),使其成为显著影响 MRI 中的图像对比度和信号特性的重要参数。 回声时间 (TE)

LeetCode:64. 最大正方形 动态规划 时间复杂度O(nm)

64. 最大正方形 题目链接 题目描述 给定一个由 0 和 1 组成的二维矩阵,找出只包含 1 的最大正方形,并返回其面积。 示例1: 输入: 1 0 1 0 01 0 1 1 11 1 1 1 11 0 0 1 0输出: 4 示例2: 输入: 0 1 1 0 01 1 1 1 11 1 1 1 11 1 1 1 1输出: 9 解题思路 这道题的思路是使用动态规划

O(n)时间内对[0..n^-1]之间的n个数排序

题目 如何在O(n)时间内,对0到n^2-1之间的n个整数进行排序 思路 把整数转换为n进制再排序,每个数有两位,每位的取值范围是[0..n-1],再进行基数排序 代码 #include <iostream>#include <cmath>using namespace std;int n, radix, length_A, digit = 2;void Print(int *A,