轻松产出创新点!多元时间序列最新可参考成果,高性能高精度

本文主要是介绍轻松产出创新点!多元时间序列最新可参考成果,高性能高精度,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

今天给大家推荐一个好挖创新点的研究方向:多元时间序列。

多元时间序列是我们解决复杂系统分析和预测问题的重要工具。它通过综合分析多个相关时序数据,可以给我们提供更精准的预测结果,非常适合处理涉及多个变量和多个时间点数据的场景,比如交通预测、金融市场分析等,因此拥有广泛的应用范围,创新潜力十分可观。

比如川大、港科大、北理工联合发表的多元时间序列预测新工作MSGNet,使用频域分析和自适应图卷积捕获多个时间尺度上的变化序列间相关性,性能超越时序分析五边形战士TimesNet。

除此之外,今年多元时间序列相关的研究新进展也有不少,我简单整理了15篇给同学们作参考,开源代码已附,方便各位复现。

论文原文以及开源代码需要的同学看文末

MSGNet: Learning Multi-Scale Inter-Series Correlations for Multivariate Time Series Forecasting

方法:本文介绍了一种新的深度学习模型MSGNet,MSGNet的关键组成部分包括:尺度学习和转换层、多重图卷积模块和时间多头注意力模块。通过频域分析和自适应图卷积来捕捉不同时间尺度上的不同序列之间的相关性。MSGNet在5个数据集上实现了最佳性能,在2个数据集上实现了次佳性能。在Flight数据集上,MSGNet超过了当前的最佳模型TimesNet。

创新点:

  • MSGNet设计的多尺度自适应图卷积模块:MSGNet通过自适应图卷积模块学习多尺度间的复杂关系,有效捕捉多尺度间的变化的跨时间序列的相关性。

  • 多头自注意力机制:MSGNet利用多头自注意力机制捕捉序列内部的时间依赖关系,通过对序列进行多尺度的表示学习,从而更好地预测多变量时间序列。

Fully-Connected Spatial-Temporal Graph for Multivariate Time-Series Data

方法:论文提出一种用于多变量时间序列(MTS)数据的表示学习方法,该方法能够全面模拟和捕捉MTS数据中的时空依赖关系,通过构建全连接的时空图和引入移动池化GNN层来实现这一目标,并通过与现有方法的比较和消融实验验证其有效性。

创新点:

  • 提出了完全连接的时空图(Fully-Connected Spatial-Temporal Graph)来明确建模多个时间戳之间和每个时间戳中传感器之间的相关性。通过设计基于时间距离的衰减矩阵,改进了构建的图,有效地建模了MTS数据中的时空依赖关系。

  • 提出了移动池化图神经网络层(Moving-Pooling GNN Layer),用于有效捕捉构建的图中的时空依赖关系,从而学习到有效的表示。它引入了移动窗口来考虑局部的时空依赖关系,然后进行时序池化操作以提取高级特征。

  • FC-STGNN在C-MAPSS数据集的RUL预测任务中实现了11.62的RMSE,在UCI-HAR数据集上实现了95.81%的准确率,在ISRUC-S3数据集上实现了80.87%的准确率,显著优于其他先进方法,并在模型复杂度方面展现了较低的计算需求和训练时间,证明了其在实际系统部署中的实用性。

SiMBA: Simplified Mamba-based Architecture for Vision and Multivariate Time series

方法:本文提出了一种名为EinFFT的新颖的频域信道混合方法,解决了Mamba中的稳定性问题,并在时间序列和ImageNet数据集上验证了该方法;同时,还提出了一种名为SiMBA的经过优化的Mamba架构,SiMBA是为了处理视觉和多元时间序列数据而设计的。

创新点:

  • EinFFT是一种新的频域信道建模技术,通过使用Einstein矩阵乘法来解决Mamba中的不稳定性问题。EinFFT利用复数表示的频率分量,有效地捕捉图像块数据中的关键模式,并具有全局视图和能量压缩。该技术不仅适用于图像数据,还适用于其他序列数据模态,如时间序列、语音和文本数据。

  • SiMBA是一种优化的Mamba架构,用于CV任务。它使用EinFFT进行信道建模和Mamba进行令牌混合,以处理归纳偏差和计算复杂性。SiMBA是第一个在ImageNet数据集和六个标准时间序列数据集上与最先进的基于注意力的Transformer模型相媲美的SSM。

HDMixer: Hierarchical Dependency with Extendable Patch for Multivariate Time Series Forecasting

方法:论文提出了一种名为 HDMixer 的新型深度学习模型,旨在通过层次化的依赖关系和可扩展的补丁(patches)来增强模型对多元时间序列数据的预测性能。HDMixer通过引入可扩展长度的分块策略和层级依赖探索器(HDE),来捕捉不同维度间的交互作用。

创新点:

  • 长度可扩展的分区器(LEP):针对时间序列数据,引入了适应性扩展分区长度的LEP,以丰富时间序列分区的边界语义信息。这种策略可以避免峰值或周期的信息丢失,并且通过引入Patch Entropy Loss作为创新的分区指导,确保分区的准确性。

  • 分层依赖性探测器(HDE):HDE由多个堆叠的Mixer组成,每个Mixer都包含三个MLP来捕捉长期依赖、短期依赖和跨变量交互。HDE使用纯MLP实现,可以保持计算效率和易于实现的优势。

关注下方《学姐带你玩AI》🚀🚀🚀

回复“多元时序”获取全部论文+代码

码字不易,欢迎大家点赞评论收藏

这篇关于轻松产出创新点!多元时间序列最新可参考成果,高性能高精度的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1031075

相关文章

闲置电脑也能活出第二春?鲁大师AiNAS让你动动手指就能轻松部署

对于大多数人而言,在这个“数据爆炸”的时代或多或少都遇到过存储告急的情况,这使得“存储焦虑”不再是个别现象,而将会是随着软件的不断臃肿而越来越普遍的情况。从不少手机厂商都开始将存储上限提升至1TB可以见得,我们似乎正处在互联网信息飞速增长的阶段,对于存储的需求也将会不断扩大。对于苹果用户而言,这一问题愈发严峻,毕竟512GB和1TB版本的iPhone可不是人人都消费得起的,因此成熟的外置存储方案开

服务器集群同步时间手记

1.时间服务器配置(必须root用户) (1)检查ntp是否安装 [root@node1 桌面]# rpm -qa|grep ntpntp-4.2.6p5-10.el6.centos.x86_64fontpackages-filesystem-1.41-1.1.el6.noarchntpdate-4.2.6p5-10.el6.centos.x86_64 (2)修改ntp配置文件 [r

Andrej Karpathy最新采访:认知核心模型10亿参数就够了,AI会打破教育不公的僵局

夕小瑶科技说 原创  作者 | 海野 AI圈子的红人,AI大神Andrej Karpathy,曾是OpenAI联合创始人之一,特斯拉AI总监。上一次的动态是官宣创办一家名为 Eureka Labs 的人工智能+教育公司 ,宣布将长期致力于AI原生教育。 近日,Andrej Karpathy接受了No Priors(投资博客)的采访,与硅谷知名投资人 Sara Guo 和 Elad G

【数据结构】——原来排序算法搞懂这些就行,轻松拿捏

前言:快速排序的实现最重要的是找基准值,下面让我们来了解如何实现找基准值 基准值的注释:在快排的过程中,每一次我们要取一个元素作为枢纽值,以这个数字来将序列划分为两部分。 在此我们采用三数取中法,也就是取左端、中间、右端三个数,然后进行排序,将中间数作为枢纽值。 快速排序实现主框架: //快速排序 void QuickSort(int* arr, int left, int rig

MySQL高性能优化规范

前言:      笔者最近上班途中突然想丰富下自己的数据库优化技能。于是在查阅了多篇文章后,总结出了这篇! 数据库命令规范 所有数据库对象名称必须使用小写字母并用下划线分割 所有数据库对象名称禁止使用mysql保留关键字(如果表名中包含关键字查询时,需要将其用单引号括起来) 数据库对象的命名要能做到见名识意,并且最后不要超过32个字符 临时库表必须以tmp_为前缀并以日期为后缀,备份

秋招最新大模型算法面试,熬夜都要肝完它

💥大家在面试大模型LLM这个板块的时候,不知道面试完会不会复盘、总结,做笔记的习惯,这份大模型算法岗面试八股笔记也帮助不少人拿到过offer ✨对于面试大模型算法工程师会有一定的帮助,都附有完整答案,熬夜也要看完,祝大家一臂之力 这份《大模型算法工程师面试题》已经上传CSDN,还有完整版的大模型 AI 学习资料,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费

uva 10131 最长子序列

题意: 给大象的体重和智商,求体重按从大到小,智商从高到低的最长子序列,并输出路径。 代码: #include <iostream>#include <cstdio>#include <cstdlib>#include <algorithm>#include <cstring>#include <cmath>#include <stack>#include <vect

AI Toolkit + H100 GPU,一小时内微调最新热门文生图模型 FLUX

上个月,FLUX 席卷了互联网,这并非没有原因。他们声称优于 DALLE 3、Ideogram 和 Stable Diffusion 3 等模型,而这一点已被证明是有依据的。随着越来越多的流行图像生成工具(如 Stable Diffusion Web UI Forge 和 ComyUI)开始支持这些模型,FLUX 在 Stable Diffusion 领域的扩展将会持续下去。 自 FLU

POJ1631最长单调递增子序列

最长单调递增子序列 import java.io.BufferedReader;import java.io.InputStream;import java.io.InputStreamReader;import java.io.PrintWriter;import java.math.BigInteger;import java.util.StringTokenizer;publ

MiniGPT-3D, 首个高效的3D点云大语言模型,仅需一张RTX3090显卡,训练一天时间,已开源

项目主页:https://tangyuan96.github.io/minigpt_3d_project_page/ 代码:https://github.com/TangYuan96/MiniGPT-3D 论文:https://arxiv.org/pdf/2405.01413 MiniGPT-3D在多个任务上取得了SoTA,被ACM MM2024接收,只拥有47.8M的可训练参数,在一张RTX