超越传统卷积！快速傅里叶卷积突破计算极限，加速高达7.93倍

本文主要是介绍超越传统卷积！快速傅里叶卷积突破计算极限，加速高达7.93倍，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

通过结合快速傅里叶变换的优势，快速傅里叶卷积（FFC）提供了一种高效的方式来执行卷积操作，特别是在需要全局上下文信息和跨尺度特征融合的场景中。

这种独特的频域操作不仅能提高特征提取的效率和质量，还可以加速计算过程。在实际应用中帮助我们提高模型性能，同时保持较低的计算成本。比如：

英伟达等团队提出的基于傅里叶的神经网络预测模型FourCastNet，在节点小时(node-hour)基础上比传统 NWP 模型快约 45,000 倍。
斯坦福团队引入FlashFFTConv来优化机器学习中长序列的FFT卷积，可将FFT卷积加速高达7.93倍。

为帮助同学们深入了解FFC原理，获取科研灵感，我整理了10个快速傅里叶卷积创新方案，来源文章以及开源代码也列上了，方便同学们复现。

论文和代码需要的同学看文末

FlashFFTConv: Efficient Convolutions for Long Sequences with Tensor Cores

方法：作者提出了一种新的系统FlashFFTConv，通过Monarch FFT分解对FFT卷积进行优化。该分解将FFT表示为一系列矩阵乘法操作，可以有效地映射到硬件上。通过简单的GPU成本模型，作者展示了如何根据序列长度调整分解的顺序p，以平衡FLOP成本和I/O成本。

FlashFFTConv还利用实值FFT算法将FFT操作的长度减半，并在输入进行零填充时有选择地跳过矩阵乘法操作的部分。此外，作者还提出了部分卷积和频率稀疏卷积的架构扩展，这些扩展可以减少内存占用和运行时间。

创新点：

FlashFFTConv是一种优化FFT卷积的新系统，通过Monarch分解FFT来提高卷积的效率和性能。
FlashFFTConv通过优化FFT卷积算法，提高了卷积序列模型的质量和效率。
FlashFFTConv还引入了部分卷积和频率稀疏卷积两种新的卷积算法，可以进一步减少内存占用和提高计算速度。

FOURCASTNET: A GLOBAL DATA-DRIVEN HIGH-RESOLUTION WEATHER MODEL USING ADAPTIVE FOURIER NEURAL OPERATORS

方法：FourCastNet是一种全球数据驱动的深度学习(DL)天气预报模型，基于Fourier神经算子(FNO)和自适应Fourier神经算子(AFNO)。FourCastNet能够以很高的准确性生成高分辨率的风速和降水预报，预测速度更快、计算成本更低，并且能够生成大规模的集合预报。

创新点：

FourCastNet 的分辨率比现有的最先进基于DL的全球天气模型高出八倍，使其能够准确解析极端事件，如热带气旋和大气河。
在最长一周的预报时效内，FourCastNet 的预测结果可以与传统的数值天气预报(NWP)模型IFS相媲美，展现了数据驱动模型在补充甚至最终替代NWP方面的潜力。
FourCastNet 能够在数秒内生成非常大的集合预报，提高了对极端天气事件预警的可靠性，并能够快速评估其影响。
FourCastNet 比传统的NWP模型快大约45,000倍，并且能耗降低了12,000倍，使其成为天气预报的一种更高效、更经济的解决方案。

Fast-ParC: Capturing Position Aware Global Feature for ConvNets and ViTs

方法：本文提出了一种名为ParC（Positional Aware Circular Convolution）的新型插入式操作，将Transformer和ConvNet的优点相结合。ParC通过使用全局卷积核和循环卷积来捕捉全局特征，并使用位置编码保持位置敏感性。与MHA相比，ParC将全局操作的时间复杂度从O(n^2)降低到O(n^3/2)。通过使用FFT（Fast Fourier Transform），Fast-ParC将ParC的复杂度进一步降低到O(n log n)。

创新点：

ParC操作
- ParC操作是一种新颖的插入式操作，结合了ViT中使用的自注意力机制和纯卷积操作，具有全局感受野。
- ParC操作可以更方便地在不同硬件平台上支持，并提高网络在分类任务上的性能。
- 基于ParC的模型在下游任务上也表现出优越性能。
Fast-ParC操作
- Fast-ParC是ParC的一种基于FFT的加速版本，用于处理高分辨率输入特征。
- Fast-ParC操作能够在高输入分辨率的情况下保持较低的计算预算，使ParC成为大多数计算机视觉任务的竞争性通用选择。
- Fast-ParC操作进一步拓宽了ParC的应用场景。